Inteligência Artificial

IA avançou tão rápido que empresas terão que recriar teste que medem desempenho dos chatbots

Empresas como OpenAI, Microsoft, Meta e Anthropic aceleram a criação de benchmarks para avaliar agentes autônomos de IA, que já ultrapassam métricas anteriores

Serviços de inteligência artificial: como medir a evolução dos modelos de linguagem? (Jonathan Raa/Getty Images)

Serviços de inteligência artificial: como medir a evolução dos modelos de linguagem? (Jonathan Raa/Getty Images)

André Lopes
André Lopes

Repórter

Publicado em 11 de novembro de 2024 às 13h44.

Com o avanço rápido das tecnologias de inteligência artificial, líderes do setor, incluindo OpenAI, Microsoft, Meta e Anthropic, estão criando novos parâmetros de avaliação para acompanhar as habilidades de modelos que operam cada vez mais próximos da IA autônoma, capaz de realizar tarefas complexas de maneira independente de humanos.

O desafio dessas empresas é desenvolver métricas que acompanhem essa evolução e possibilitem medir com precisão o desempenho e a capacidade desses sistemas.

A aceleração da indústria de IA tem levado os modelos mais recentes a atingirem até 90% de precisão nos testes padrões, ou benchmarks, destacando a urgência de novos métodos de avaliação. Esses benchmarks tradicionais, que contam com questões de múltipla escolha para testar o senso comum e o conhecimento geral, já não capturam a complexidade crescente dos novos modelos.

No entanto, enquanto essas empresas desenvolvem métodos próprios para avaliação, cresce a preocupação sobre a transparência e a padronização de critérios.

Novos padrões e atualizações: como medir habilidades mais complexas

Para preencher essa lacuna, iniciativas como o SWE-bench Verified, benchmark atualizado em agosto, propõem avaliações mais práticas, envolvendo problemas de programação no mundo real.

A partir de códigos do GitHub, o teste solicita que os modelos de IA identifiquem e resolvam falhas em repositórios de código, exigindo habilidades de raciocínio.

No último teste, o modelo GPT-4o da OpenAI solucionou 41,4% dos problemas, enquanto o Claude 3.5 Sonnet da Anthropic alcançou 49%. Esse desempenho ilustra a complexidade crescente desses testes, que precisam avaliar o uso de ferramentas externas e simular cenários reais.

Nesse contexto, o simples formato de prompt e resposta se mostra insuficiente.

Ao mesmo tempo, a necessidade de problemas inéditos e mantidos fora do domínio público se intensifica para evitar que os modelos “trapaceiem” ao encontrar respostas pré-existentes em seus dados de treinamento.

Outro exemplo é o FrontierMath, benchmark desenvolvido por matemáticos que demonstra como os modelos mais avançados conseguem resolver menos de 2% das questões.

Para especialistas, sem consenso sobre como medir essas capacidades, o setor enfrenta dificuldades em comparar tecnologias e comunicar o valor dos modelos aos consumidores e empresas.

Acompanhe tudo sobre:Inteligência artificial

Mais de Inteligência Artificial

Nova esperança contra o câncer: IA detecta 21% mais casos de tumores em mamografias

IA do Google reconhece emoções para melhorar legenda automática no celular

Você é você? Como essa unicórnio da Estônia usa IA para driblar deepfakes e outras falsificações

xAI vai superar a OpenAI? Empresa de Musk capta R$ 36 bi e desafia gigantes do setor