Exame logo 55 anos
Remy Sharp
Acompanhe:

Um estudo recente, ainda sem revisão por pares, conduzido por pesquisadores de Stanford e Berkeley, confirmou que os modelos de linguagem GPT-3.5 e GPT-4, da OpenAI, apresentaram mudanças significativas em seu "comportamento" em um período de alguns meses.

Segundo os cientistas, a precisão das respostas da inteligência artificial (IA) pareceu diminuir ao longo do tempo, corroborando relatos de usuários sobre as versões mais recentes do software terem ficado ''mais burras''.

De acordo com o resumo do estudo, "GPT-4 (Março de 2023) foi muito eficaz na identificação de números primos (precisão de 97,6%), mas o GPT-4 (Junho de 2023) apresentou desempenho muito inferior nas mesmas questões (precisão de 2,4%)".

Os pesquisadores também apontaram que "tanto o GPT-4 quanto o GPT-3.5 cometeram mais erros de formatação na geração de códigos em junho do que em março".

Os usuários dos modelos de linguagem GPT-3 e GPT-4 da OpenAI têm relatado há mais de um mês a percepção de um declínio na qualidade dos sistemas.

OpenAI nega

Essa suposta degradação na precisão das respostas se tornou tão problemática que Peter Welinder, vice-presidente de produto da OpenAI, tentou atenuar os rumores de que as alterações seriam intencionais.

"Não, não tornamos o GPT-4 menos inteligente", tuitou Welinder na semana passada. "Muito pelo contrário: fazemos cada nova versão mais inteligente do que a anterior".

Ele acrescentou que as mudanças na experiência do usuário poderiam ser resultado de uso contínuo, sugerindo que "quando você usa mais intensivamente o [ChatGPT], começa a perceber problemas que não via antes".

No entanto, a pesquisa de Stanford e Berkeley serve como um ponto de dados convincente contra essa hipótese.

Os pesquisadores, embora não apontem razões para as "derrapagens" na precisão e habilidade, observam que este pioramento comprovável ao longo do tempo desafia a insistência da OpenAI de que seus modelos estão, na verdade, melhorando.

"No estudo, observamos que o desempenho e o comportamento de ambos GPT-3.5 e GPT-4 variam significativamente entre esses dois lançamentos e que seu desempenho em algumas tarefas piorou substancialmente ao longo do tempo", ressaltou o documento.

Os pesquisadores concluem que é "relevante questionar se o GPT-4 está realmente evoluindo".

Eles também observam que "é importante saber se as atualizações do modelo destinadas a melhorar alguns aspectos na verdade prejudicam sua capacidade em outras dimensões", levantando a possibilidade de que as rápidas atualizações da OpenAI possam estar causando mais prejuízos do que benefícios para o ChatGPT, já conhecido por suas imprecisões.

Créditos

Últimas Notícias

ver mais
As empresas brasileiras estão confiantes sobre como inovam, afirma Diego Puerta, da Dell
Inteligência Artificial

As empresas brasileiras estão confiantes sobre como inovam, afirma Diego Puerta, da Dell

Há 4 horas
Na Wake, da Locaweb, a inteligência artificial sabe quem é o influenciador perfeito para cada marca
Inteligência Artificial

Na Wake, da Locaweb, a inteligência artificial sabe quem é o influenciador perfeito para cada marca

Há um dia
Startup de IA Writer capta US$ 100 milhões para desenvolver sistema generativo para empresas
Inteligência Artificial

Startup de IA Writer capta US$ 100 milhões para desenvolver sistema generativo para empresas

Há um dia
O próximo capítulo da IA transformará os processos de negócios
Inteligência Artificial

O próximo capítulo da IA transformará os processos de negócios

Há um dia
icon

Branded contents

ver mais

Conteúdos de marca produzidos pelo time de EXAME Solutions

Exame.com

Acompanhe as últimas notícias e atualizações, aqui na Exame.

leia mais