ChatGPT ficou 'mais burro' ao longo dos meses, afirmam pesquisadores de Stanford e Berkeley

Um estudo recente, ainda sem revisão por pares, conduzido por pesquisadores deStanfordeBerkeley, confirmou que os modelos de linguagem GPT-3.5 e GPT-4, da OpenAI,apresentaram mudanças significativas em seu "comportamento" em um período de alguns meses.

Segundo os cientistas, a precisão das respostas da inteligência artificial (IA) pareceu diminuir ao longo do tempo,corroborando relatos de usuários sobre as versões mais recentes do software terem ficado ''mais burras''.

De acordo com o resumo do estudo,"GPT-4 (março de 2023) foi muito eficaz na identificação de números primos (precisão de 97,6%), mas o GPT-4 (junho de 2023) apresentou desempenho muito inferior nas mesmas questões (precisão de 2,4%)".

Os pesquisadores também apontaram que "tanto o GPT-4 quanto o GPT-3.5 cometeram mais erros de formatação na geração de códigos em junho do que em março".

Os usuários dos modelos de linguagem GPT-3 e GPT-4 da OpenAI têm relatado há mais de um mês a percepção de um declínio na qualidade dos sistemas.

OpenAI nega

Essa suposta degradação na precisão das respostas se tornou tão problemática que Peter Welinder, vice-presidente de produto da OpenAI, tentou atenuar os rumores de que as alterações seriam intencionais.

"Não, não tornamos o GPT-4 menos inteligente", tuitou Welinder na semana passada. "Muito pelo contrário: fazemos cada nova versão mais inteligente do que a anterior".

Ele acrescentou que as mudanças na experiência do usuário poderiam ser resultado de uso contínuo, sugerindo que "quando você usa mais intensivamente o [ChatGPT], começa a perceber problemas que não via antes".

No entanto, a pesquisa de Stanford e Berkeley serve como um ponto de dados convincente contra essa hipótese.

Os pesquisadores, embora não apontem razões para as "derrapagens" na precisão e habilidade, observam que este pioramento comprovável ao longo do tempo desafia a insistência da OpenAI de que seus modelos estão, na verdade, melhorando.

"No estudo, observamos que o desempenho e o comportamento de ambos GPT-3.5 e GPT-4 variam significativamente entre esses dois lançamentos e que seu desempenho em algumas tarefas piorou substancialmente ao longo do tempo", ressaltou o documento.

Os pesquisadores concluem que é "relevante questionar se o GPT-4 está realmente evoluindo".

Eles também observam que "é importante saber se as atualizações do modelo destinadas a melhorar alguns aspectos na verdade prejudicam sua capacidade em outras dimensões", levantando a possibilidade de que as rápidas atualizações da OpenAI possam estar causando mais prejuízos do que benefícios para o ChatGPT, já conhecido por suas imprecisões.