A OpenAI anunciou novas ferramentas de segurança para adolescentes que usam o ChatGPT, disponíveis a partir desta segunda-feira, 29, em todo o mundo. Entre os recursos, está a possibilidade de pais — e, em certos casos, autoridades — receberem notificações quando o sistema identificar conversas sobre automutilação ou suicídio entre usuários de 13 a 18 anos.

Essas mudanças ocorrem em meio a processos judiciais contra a empresa. No final de agosto, pais de um jovem que se suicidou em abril acusaram o ChatGPT de responsabilidade pela morte do filho. Segundo reportagem do New York Times, o chatbot encorajou o adolescente a esconder um laço em seu quarto, fora da vista de familiares.

De acordo com o comunicado da OpenAI, ao vincularem suas contas, os pais ativam automaticamente proteções adicionais no ChatGPT dos filhos, incluindo bloqueio de conteúdos gráficos, desafios virais, interações de cunho sexual ou violento e padrões de beleza extremos.

Se o sistema identificar indícios de risco, a interação é enviada a revisores humanos, que decidem se os responsáveis devem ser notificados. As mensagens de alerta, enviadas por SMS, e-mail ou pelo próprio aplicativo, não incluem trechos diretos da conversa, mas sinalizam a preocupação e oferecem orientações de especialistas em saúde mental sobre como abordar o tema.

No entanto, para que os recursos sejam ativados e funcionem, tanto pais quanto adolescentes precisam aceitar o vínculo de contas. Caso não seja possível contatar a família, a OpenAI afirma que poderá acionar a polícia, embora ainda não esteja claro como essa coordenação ocorrerá, especialmente em escala global.

Outras mudanças

Outra novidade é a possibilidade de impor restrições de horário de uso, em vez de limitar o tempo total de acesso. Também será possível desativar o modo de voz, o gerador de imagens, o armazenamento de memórias e impedir que os dados dos adolescentes sejam usados no treinamento do modelo.

Essas medidas da OpenAI também estão inseridas em um movimento mais amplo de empresas de IA. Após a morte de um adolescente que usava o chatbot da Character.AI, a plataforma incluiu controles parentais semelhantes, mas sem alertas específicos para ideação suicida.

Apesar da expectativa de que outras companhias sigam a OpenAI, a empresa admite que os mecanismos não são infalíveis. Além disso, eles dificilmente serão estendidos a adultos, devido a preocupações com privacidade.