Ana Busch: Alucinações do ChatGPT e como aplicar antídotos de bom senso

As primeiras mulheres foram admitidas no ITA, o Instituto Tecnológico da Aeronáutica, em 1996, então não dava pra mim quando terminei o ensino médio – que na época chamava colegial –, em 1982. Na época, não tinha muita certeza do que fazer da vida, o que é natural para jovens de 16 anos. Acabei atirando para muitos lados. Entrei em medicina em Marília, onde moravam meus pais à época, em ciência da computação ou algo que o valha no CTA, que era as mulheres podiam cursar algo próximo do ITA, mas acabei escolhendo fazer arquitetura na USP. No fim, o mais perto que cheguei de CTA na vida é o que hoje chamam, no marketing digital, de call to action, ou seja, aquela ação que se pede a alguém quando postamos algo em uma rede social: curta, compartilhe, comente… Então, com minha formação de humanas, vou precisar me esforçar para tentar explicar o que significa alucinação de máquina. Como jornalista, o que acabei me tornando mais tarde, vou começar contando uma história.

IBM Watson

Quando a gigante de tecnologia IBM lançou seu Watson for Oncology, em 2014, o objetivo era ajudar oncologistas a tratar o câncer com o apoio da inteligência artificial Watson, apresentada ao mundo três anos antes no mais tradicional programa da TV americana de perguntas e respostas, o Jeopardy!, em que a inteligência desafiou e venceu de lavada os supercampeões da atração da CBS. A inteligência artificial, segundo a IBM, foi usada por 230 hospitais ao redor do mundo, e teria oferecido suporte a mais de 80 mil pacientes. O sistema teria sido treinado usando dados de milhares de casos reais de câncer e foi projetado para analisar os sintomas do paciente a ser tratado e outros fatores relevantes para recomendar o melhor tratamento possível.

Mas uma reportagem no site especializado em saúde Stat, em 2018, descobriu que o sistema acabou recomendando tratamentos que não eram baseados em evidências científicas sólidas ou que estavam em desacordo com os padrões estabelecidos, sendo potencialmente perigosos.

O Stat se baseou em documentos internos da própria IBM e mostrou que pode ter havido um problema no treinamento do sistema ou nos dados que foram inseridos. Naquele momento, a IBM empregava 7.000 pessoas em sua divisão de saúde, pensando em um mercado potencial de US$ 200 bilhões.

Em 2021, The New York Times  voltou a questionar os usos da inteligência da IBM para saúde e apontou que a própria companhia voltou atrás em diversas iniciativas devido aos problemas com o sistema, adotando uma visão agora mais modesta sobre os avanços.

Alucinando

O ChatGPT, o fenômeno da inteligência artificial que tem dominado as conversas sobre tecnologia nas últimas semanas, ​​foi treinado com cerca de 570 gigabytes de texto, mais ou menos o equivalente a cerca de um milhão de livros. Mas o modelo não funciona exatamente como uma biblioteca em que você busca a informação em uma enciclopédia e encontra a resposta em um verbete.

Imagine que você faz uma pergunta ao ChatGPT. Vamos imaginar, por exemplo: "Qual é o maior mamífero do mundo?".

O modelo não procura a informação em um livro específico que esteja em sua memória, mas busca por palavras relevantes como "maior", "mamífero" e "mundo". Com base nas relações que aprendeu durante seu treinamento, vai ser capaz de inferir que a baleia azul é o maior mamífero do mundo.

Isso não significa que as respostas geradas sejam sempre precisas ou confiáveis. O modelo não tem um entendimento completo do mundo real. As respostas são baseadas em probabilidades estatísticas e relações semânticas, e não em um conhecimento factual. E aí entra a alucinação. Você pode fazer uma pergunta para o chatbot e receber uma resposta completamente louca.

Mas como é que isso acontece?

É mais simples do que se possa imaginar. Na hora de juntar as palavras relevantes para gerar a resposta, a inteligência artificial escorrega, e pega a informação que está logo ali do lado. E constrói um texto incrível, bem articulado e gramaticalmente correto, que faz você acreditar que seja real.

Dito de outra forma, a alucinação ocorre quando o modelo usa palavras que estão próximas em sua representação matemática, mas que não têm uma relação entre si na vida real. Com isso, acaba criando realidades alternativas.

Vou dar um exemplo bem menos grave que as duas primeiras histórias contadas no início deste texto. Pedi ao chat que produzisse uma lista de filmes brasileiros que tivessem o Carnaval como tema. Eis o resultado:

• Orfeu Negro (1959)
• O Pagador de Promessas (1962)
• A Conquista do Paraíso (2001)
• Quanto Mais Vida Melhor (1999)
• Rio, Eu Te Amo (2014)
• Um Sonho de Liberdade (2007)
• Amor & Cia (1982)
• De Pernas pro Ar (2010)
• O Samba (2014)
• Maré, Meu Amor (2004)

Não precisa ser cinéfilo para saber que O Pagador de Promessas não trata de Carnaval, que A Conquista do Paraíso (Ridley Scott) e Um Sonho de Liberdade (Frank Darabont) não são filmes brasileiros, e por aí vai. Essa lista é pura alucinação.

Será que Carnaval é paraíso, é liberdade, e isso confundiu a máquina? Brincadeiras à parte, não se trata de psicodelia de conteúdo. A lição que fica é que estamos convivendo com os primórdios de uma tecnologia, mesmo que ela esteja sendo desenvolvida há décadas. E o olhar que precisamos ter sobre sua produção precisa ter o mesmo senso crítico que depositamos sobre todo e qualquer conteúdo. E principalmente, precisamos submetê-la a um escrutínio sério.

Para finalizar alguns links para você aprender um pouco mais sobre inteligência artificial. Como o ChatGPT vai revolucionar o mercado e as relações humanas

ChatGPT mode on: como funciona e que cuidados tomar

Como a IA impacta o futuro das profissões e conselhos administrativo

Cristiano Zanetta: A importância da humanização diante das novas tecnologias

*Ana Busch é jornalista, diretora de Redação da Bússola e sócia da Tamb Conteúdo Estratégico. Foi diretora da Folha de S.Paulo por mais de 20 anos, fundou a Folha Online e dirigiu áreas com Revistas e Publifolha