ChatGPT ficou 'mais burro' ao longo dos meses, afirmam pesquisadores de Stanford e Berkeley
Estudo aponta deterioração nas respostas dos sistemas GPT-3.5 e GPT-4, a medida em que a ferramenta interagia com os usuários
Modo escuro

Publicado em 20 de julho de 2023 às, 11h12.
Última atualização em 20 de julho de 2023 às, 12h45.
Um estudo recente, ainda sem revisão por pares, conduzido por pesquisadores de Stanford e Berkeley, confirmou que os modelos de linguagem GPT-3.5 e GPT-4, da OpenAI, apresentaram mudanças significativas em seu "comportamento" em um período de alguns meses.
Segundo os cientistas, a precisão das respostas da inteligência artificial (IA) pareceu diminuir ao longo do tempo, corroborando relatos de usuários sobre as versões mais recentes do software terem ficado ''mais burras''.
De acordo com o resumo do estudo, "GPT-4 (Março de 2023) foi muito eficaz na identificação de números primos (precisão de 97,6%), mas o GPT-4 (Junho de 2023) apresentou desempenho muito inferior nas mesmas questões (precisão de 2,4%)".
Os pesquisadores também apontaram que "tanto o GPT-4 quanto o GPT-3.5 cometeram mais erros de formatação na geração de códigos em junho do que em março".
Os usuários dos modelos de linguagem GPT-3 e GPT-4 da OpenAI têm relatado há mais de um mês a percepção de um declínio na qualidade dos sistemas.
OpenAI nega
Essa suposta degradação na precisão das respostas se tornou tão problemática que Peter Welinder, vice-presidente de produto da OpenAI, tentou atenuar os rumores de que as alterações seriam intencionais.
"Não, não tornamos o GPT-4 menos inteligente", tuitou Welinder na semana passada. "Muito pelo contrário: fazemos cada nova versão mais inteligente do que a anterior".
Ele acrescentou que as mudanças na experiência do usuário poderiam ser resultado de uso contínuo, sugerindo que "quando você usa mais intensivamente o [ChatGPT], começa a perceber problemas que não via antes".
No entanto, a pesquisa de Stanford e Berkeley serve como um ponto de dados convincente contra essa hipótese.
Os pesquisadores, embora não apontem razões para as "derrapagens" na precisão e habilidade, observam que este pioramento comprovável ao longo do tempo desafia a insistência da OpenAI de que seus modelos estão, na verdade, melhorando.
"No estudo, observamos que o desempenho e o comportamento de ambos GPT-3.5 e GPT-4 variam significativamente entre esses dois lançamentos e que seu desempenho em algumas tarefas piorou substancialmente ao longo do tempo", ressaltou o documento.
Os pesquisadores concluem que é "relevante questionar se o GPT-4 está realmente evoluindo".
Eles também observam que "é importante saber se as atualizações do modelo destinadas a melhorar alguns aspectos na verdade prejudicam sua capacidade em outras dimensões", levantando a possibilidade de que as rápidas atualizações da OpenAI possam estar causando mais prejuízos do que benefícios para o ChatGPT, já conhecido por suas imprecisões.
Créditos

André Lopes
RepórterCom quase uma década dedicada à editoria de Tecnologia, também cobriu Ciências na VEJA. Na EXAME desde 2021, colaborou na coluna Visão Global, nas edições especiais Melhores e Maiores e CEO. Atualmente, é editor de Inteligência Artificial.Mais lidas em Inteligência Artificial
Últimas Notícias
As empresas brasileiras estão confiantes sobre como inovam, afirma Diego Puerta, da Dell
Há 4 horasNa Wake, da Locaweb, a inteligência artificial sabe quem é o influenciador perfeito para cada marca
Há um diaStartup de IA Writer capta US$ 100 milhões para desenvolver sistema generativo para empresas
Há um diaBranded contents
Conteúdos de marca produzidos pelo time de EXAME Solutions
Acompanhe as últimas notícias e atualizações, aqui na Exame.
leia mais