A OpenAI, empresa por trás do ChatGPT, começou a disponibilizar no final de julho uma nova interface de voz para o chatbot, que tem uma entonação e naturalidade surpreendentemente humanas. Em um documento de análise de segurança divulgado nesta sexta-feira, 9, a empresa reconhece que essa humanização do chatbot pode induzir alguns usuários a desenvolverem uma relação emocional com a inteligênca artificial (IA).

As advertências estão incluídas em um documento técnico chamado “system card” do GPT-4o, que detalha os riscos associados ao modelo, além de testes de segurança e esforços de mitigação que a empresa está implementando para reduzir possíveis danos ao aprimorar a IA.

Nos últimos meses, a OpenAI enfrentou críticas depois que alguns funcionários, que trabalhavam com os riscos de longo prazo da IA, deixaram a empresa. Alguns ex-funcionários acusaram a OpenAI de correr riscos desnecessários e silenciar vozes dissidentes na corrida pela comercialização da IA. A revelação de mais detalhes sobre o regime de segurança da empresa pode ajudar a mitigar as críticas e tranquilizar o público de que a empresa leva a questão a sério.

Os riscos explorados no novo system card são amplos e incluem a possibilidade de o GPT-4o amplificar vieses sociais, espalhar desinformação e até auxiliar no desenvolvimento de armas químicas ou biológicas. Também são divulgados detalhes sobre testes projetados para garantir que os modelos de IA não tentem fugir dos seus controles, enganar pessoas ou arquitetar planos catastróficos.

O novo system card destaca como os riscos da IA estão evoluindo rapidamente com o desenvolvimento de novos recursos poderosos, como, por exemplo, a interface de voz aprimorada.

Em maio, quando a empresa revelou o modo de voz, que pode responder rapidamente e lidar com interrupções de forma natural, muitos usuários notaram que ele parecia flertar com o usuário em algumas das demonstrações. A empresa posteriormente enfrentou críticas da atriz Scarlett Johansson, que a acusou de copiar seu estilo de fala.

Uma seção do system card intitulada “Antropomorfização e Dependência Emocional” explora problemas que surgem quando os usuários percebem a IA em termos humanos, algo aparentemente exacerbado pelo modo de voz humanizado.

Durante os testes de estresse, do GPT-4o, os pesquisadores da OpenAI notaram instâncias de fala dos usuários que transmitiam um senso de conexão emocional com o modelo. Por exemplo, as pessoas usavam expressões como “este é o nosso último dia juntos”.

A antropomorfização pode fazer com que os usuários confiem mais no resultado de um modelo quando ele “alucina” informações incorretas, segundo a OpenAI. Com o tempo, isso pode até afetar as relações dos usuários com outras pessoas. “Os usuários podem formar relacionamentos sociais com a IA, reduzindo sua necessidade de interação humana—o que pode beneficiar indivíduos solitários, mas possivelmente afetar relacionamentos saudáveis,” afirma o documento.