IA alucina em até 15% das respostas, diz estudo. Como identificar uma falsa resposta?

Uma resposta bem escrita pode transmitir segurança mesmo quando contém um erro. Esse é um dos principais desafios no uso de inteligência artificial: modelos de linguagem conseguem produzir textos coerentes e detalhados, mas isso não significa que todas as informações apresentadas estejam corretas.

A questão ganhou atenção em pesquisas sobre o uso de IA no direito, área em que uma informação incorreta pode ter consequências relevantes.

Um estudo conduzido por Matthew Dahl, Varun Magesh, Mirac Suzgun e Daniel E. Ho analisou respostas de diferentes modelos a perguntas sobre legislação e jurisprudência e encontrou taxas elevadas de informações falsas.

A pesquisa publicada identificou que os modelos analisados apresentaram alucinações em pelo menos 58% das consultas jurídicas avaliadas.

Todo mundo fala de IA — poucos sabem por onde começar. O pré-MBA EXAME + Saint Paul ensina em 4 aulas, online, por R$37. Comece hoje. Vagas abertas.

O que é uma alucinação de IA

O termo é usado para descrever situações em que o sistema apresenta como verdadeira uma informação que não corresponde aos fatos. Isso pode incluir desde um dado incorreto até uma referência inexistente.

No estudo, os pesquisadores encontraram casos em que os modelos inventaram decisões judiciais, confundiram informações sobre processos ou aceitaram premissas incorretas apresentadas pelo usuário.

Um dos problemas apontados é que a resposta pode parecer plausível mesmo quando está errada. Por isso, a linguagem confiante do chatbot não deve ser usada como indicador de precisão.

Como identificar uma resposta falsa

Uma das formas mais seguras de conferir uma informação é verificar a fonte original.

Se a IA mencionar uma pesquisa, lei, decisão judicial, estatística ou declaração, vale procurar o documento e confirmar se ele realmente diz aquilo que foi atribuído a ele.

Uma ótima forma de identificar uma alucinação é checando as datas oferecidas pela ferramenta. Uma resposta pode misturar informações de períodos diferentes e apresentar uma regra antiga como se ainda estivesse em vigor.

Quer entender IA na prática? EXAME + Saint Paul criaram um pré-MBA com 4 aulas online por R$37. Comece do zero e dê o primeiro passo agora.

Outro sinal é a presença de detalhes muito específicos sem qualquer referência verificável. Nomes, números de processos, títulos de estudos e citações podem parecer legítimos, mas precisam ser conferidos individualmente.

A IA consegue reconhecer quando está errada?

Nem sempre. O estudo de Dahl e colegas mostrou que os próprios modelos tiveram dificuldade para prever suas alucinações. Ou seja, pedir que a IA simplesmente diga se a resposta anterior está correta não garante uma checagem independente.

Uma estratégia mais segura é solicitar fontes primárias e depois conferir o material fora do chatbot. Para temas jurídicos, por exemplo, isso significa consultar a legislação, decisões oficiais ou bases especializadas.

Aprenda IA do zero com EXAME + Saint Paul: pré-MBA online (4 aulas) por R$37. Ideal pra quem quer começar e não sabe como. Matrículas abertas.

O que mudou nas pesquisas mais recentes

Trabalhos posteriores dos mesmos pesquisadores avaliaram ferramentas jurídicas desenvolvidas com bases externas de informação.

Os resultados foram melhores do que os observados em modelos de uso geral, mas as alucinações continuaram presentes: Lexis+ AI apresentou esse problema em 17% das consultas, enquanto ferramentas da Westlaw e da Thomson Reuters chegaram a taxas maiores, dependendo do produto.

Os números mostram por que a verificação continua necessária, principalmente quando a resposta será usada para tomar decisões ou produzir conteúdo factual.