As ferramentas de inteligência artificial (IA) generativa, como chatbots e sistemas para criação de texto e imagem, podem produzir respostas com informações incorretas ou imprecisas.

Chamadas de "alucinações", elas podem ocorrer pela falta de treinamento adequado ou de checagem de fatos.

Alguns dos erros apresentados também podem estar associados ao fato das respostas serem baseadas nos dados usados durante o treinamento do modelo.

Ou seja, as respostas das IAs podem ser baseadas em conteúdos fornecidos por usuários.

O que são as chamadas "alucinações" da inteligência artificial

As alucinações acontecem quando uma inteligência artificial apresenta informações falsas, imprecisas ou não verificadas como se fossem verdadeiras.

Isso pode incluir a criação de dados estatísticos inexistentes, citações acadêmicas fabricadas ou descrições incorretas de eventos.

Segundo o Instituto Nacional de Padrões e Tecnologia americano (NIST), responsável pelo estudo "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations", de 2024, as ferramentas ainda não são capazes de fornecer informações 100% seguras.

Ainda não existe um método infalível para proteger a inteligência artificial contra manipulação indevida, e os desenvolvedores e usuários devem desconfiar de quem afirma o contrário.

Por que sistemas de IA podem gerar informações incorretas?

Os grandes modelos de linguagem são treinados com enormes conjuntos de dados públicos e licenciados. Durante esse período, eles aprendem relações estatísticas entre palavras, frases e contextos.

Esse processo, no entanto, não garante compreensão factual no sentido humano. 

Um artigo publicado pela OpenAI detalha que, quando o chatbot não encontra a resposta para a pergunta ou pedido do usuário, ele oferece um palpite na tentativa de atender o que foi solicitado.

É como se fosse um teste de múltipla escolha. Se você não sabe, mas chuta uma resposta, pode acabar acertando. Mas vai ser pura sorte. Além disso, você sabe que deixar a resposta em branco é sinônimo de nota zero.

Além disso, podem ocorrer erros quando:

• Modelo recebe perguntas ambíguas ou mal formuladas;
• Há pouca informação disponível sobre determinado tema nos dados de treinamento;
• Usuário solicita detalhes muito específicos;
• Sistema tenta preencher lacunas com base em padrões semelhantes.

Em quais situações as alucinações acontecem com mais frequência?

As alucinações tendem a ser mais comuns em perguntas que exigem:

• Dados muito recentes;
• Estatísticas exatas;
• Citações formais;
• Informações altamente técnicas ou especializadas.

Pesquisas também indicam maior incidência de erros quando a IA é pressionada a responder mesmo na ausência de informação suficiente, em vez de admitir incerteza.

Como reduzir o risco de respostas incorretas ao usar IA?

Algumas práticas dos usuários podem mitigar os riscos.

• Formular perguntas claras e específicas;
• Solicitar fontes ou referências verificáveis;
• Cruzar informações com veículos confiáveis;
• Utilizar a IA como ferramenta complementar, e não como única fonte.

A Organização das Nações Unidas para a Educação, a Ciência e a Cultura (Unesco) defende que é necessário criar diretrizes para garantir o uso responsável da IA.

Entre elas, a organização cita obrigatoriedade de proteção da privacidade dos dados e inclusão de um limite de idade para a sua utilização.

Por que a checagem humana ainda é importante

Apesar dos avanços tecnológicos, a supervisão humana continua sendo considerada essencial.

Em áreas como saúde, direito, finanças e jornalismo, erros factuais podem gerar consequências significativas.

Cruzar pesquisas, dados de fontes seguras e informações recentes pode evitar erros históricos e analíticos, a criação de ações e pessoas inexistentes e atribuições falsas.