ChatGPT ficou 'mais burro' ao longo dos meses, afirmam pesquisadores de Stanford e Berkeley
Estudo aponta deterioração nas respostas dos sistemas GPT-3.5 e GPT-4, a medida em que a ferramenta interagia com os usuários
André Lopes
Repórter
Publicado em 20 de julho de 2023 às 11h12.
Última atualização em 26 de janeiro de 2024 às 10h05.
Um estudo recente, ainda sem revisão por pares, conduzido por pesquisadores deStanfordeBerkeley, confirmou que os modelos de linguagem GPT-3.5 e GPT-4, da OpenAI,apresentaram mudanças significativas em seu "comportamento" em um período de alguns meses.
Segundo os cientistas, a precisão das respostas da inteligência artificial (IA) pareceu diminuir ao longo do tempo,corroborando relatos de usuários sobre as versões mais recentes do software terem ficado ''mais burras''.
- Lojas Marisa (AMAR3): ganho de Ebitda de R$ 40 milhões considera apenas parte de 2023
- Boric rebate críticas de Lula: 'temos que ser claros sobre a guerra'
- Calendário de balanços do 2º trimestre de 2023: confira as datas
- PIB da China cresce 6,3% no segundo trimestre de 2023 na comparação anual
- Petrobras reduz preço do gás natural em 7,1%
- Tesla tem avanço anual de 30% no lucro do 2º trim. e supera expectativas do mercado
De acordo com o resumo do estudo,"GPT-4 (março de 2023) foi muito eficaz na identificação de números primos (precisão de 97,6%), mas o GPT-4 (junho de 2023) apresentou desempenho muito inferior nas mesmas questões (precisão de 2,4%)".
Os pesquisadores também apontaram que "tanto o GPT-4 quanto o GPT-3.5 cometeram mais erros de formatação na geração de códigos em junho do que em março".
Os usuários dos modelos de linguagem GPT-3 e GPT-4 da OpenAI têm relatado há mais de um mês a percepção de um declínio na qualidade dos sistemas.
OpenAI nega
Essa suposta degradação na precisão das respostas se tornou tão problemática que Peter Welinder, vice-presidente de produto da OpenAI, tentou atenuar os rumores de que as alterações seriam intencionais.
"Não, não tornamos o GPT-4 menos inteligente", tuitou Welinder na semana passada. "Muito pelo contrário: fazemos cada nova versão mais inteligente do que a anterior".
Ele acrescentou que as mudanças na experiência do usuário poderiam ser resultado de uso contínuo, sugerindo que "quando você usa mais intensivamente o [ChatGPT], começa a perceber problemas que não via antes".
No entanto, a pesquisa de Stanford e Berkeley serve como um ponto de dados convincente contra essa hipótese.
Os pesquisadores, embora não apontem razões para as "derrapagens" na precisão e habilidade, observam que este pioramento comprovável ao longo do tempo desafia a insistência da OpenAI de que seus modelos estão, na verdade, melhorando.
"No estudo, observamos que o desempenho e o comportamento de ambos GPT-3.5 e GPT-4 variam significativamente entre esses dois lançamentos e que seu desempenho em algumas tarefas piorou substancialmente ao longo do tempo", ressaltou o documento.
Os pesquisadores concluem que é "relevante questionar se o GPT-4 está realmente evoluindo".
Eles também observam que "é importante saber se as atualizações do modelo destinadas a melhorar alguns aspectos na verdade prejudicam sua capacidade em outras dimensões", levantando a possibilidade de que as rápidas atualizações da OpenAI possam estar causando mais prejuízos do que benefícios para o ChatGPT, já conhecido por suas imprecisões.