ChatGPT ficou 'mais burro' ao longo dos meses, afirmam pesquisadores de Stanford e Berkeley

Um estudo recente, ainda sem revisão por pares, conduzido por pesquisadores de Stanford e Berkeley, confirmou que os modelos de linguagem GPT-3.5 e GPT-4, da OpenAI, apresentaram mudanças significativas em seu "comportamento" em um período de alguns meses.

Segundo os cientistas, a precisão das respostas da inteligência artificial (IA) pareceu diminuir ao longo do tempo, corroborando relatos de usuários sobre as versões mais recentes do software terem ficado ''mais burras''.

De acordo com o resumo do estudo, "GPT-4 (março de 2023) foi muito eficaz na identificação de números primos (precisão de 97,6%), mas o GPT-4 (junho de 2023) apresentou desempenho muito inferior nas mesmas questões (precisão de 2,4%)".

Os pesquisadores também apontaram que "tanto o GPT-4 quanto o GPT-3.5 cometeram mais erros de formatação na geração de códigos em junho do que em março".

Os usuários dos modelos de linguagem GPT-3 e GPT-4 da OpenAI têm relatado há mais de um mês a percepção de um declínio na qualidade dos sistemas.

OpenAI nega

Essa suposta degradação na precisão das respostas se tornou tão problemática que Peter Welinder, vice-presidente de produto da OpenAI, tentou atenuar os rumores de que as alterações seriam intencionais.

"Não, não tornamos o GPT-4 menos inteligente", tuitou Welinder na semana passada. "Muito pelo contrário: fazemos cada nova versão mais inteligente do que a anterior".

Ele acrescentou que as mudanças na experiência do usuário poderiam ser resultado de uso contínuo, sugerindo que "quando você usa mais intensivamente o [ChatGPT], começa a perceber problemas que não via antes".

No entanto, a pesquisa de Stanford e Berkeley serve como um ponto de dados convincente contra essa hipótese.

Os pesquisadores, embora não apontem razões para as "derrapagens" na precisão e habilidade, observam que este pioramento comprovável ao longo do tempo desafia a insistência da OpenAI de que seus modelos estão, na verdade, melhorando.

"No estudo, observamos que o desempenho e o comportamento de ambos GPT-3.5 e GPT-4 variam significativamente entre esses dois lançamentos e que seu desempenho em algumas tarefas piorou substancialmente ao longo do tempo", ressaltou o documento.

Os pesquisadores concluem que é "relevante questionar se o GPT-4 está realmente evoluindo".

Eles também observam que "é importante saber se as atualizações do modelo destinadas a melhorar alguns aspectos na verdade prejudicam sua capacidade em outras dimensões", levantando a possibilidade de que as rápidas atualizações da OpenAI possam estar causando mais prejuízos do que benefícios para o ChatGPT, já conhecido por suas imprecisões.