Perplexity inventa ou erra 1 a cada 3 fontes que cita, alerta estudo

RESUMO ＋

Um estudo da Haus Research avaliou as citações do Perplexity em 310 perguntas sobre empresas de tecnologia e encontrou falhas frequentes: 34,7% das citações numéricas não abriam ou não comprovavam a informação apresentada. Os pesquisadores destacam que o problema não é apenas link quebrado, mas fontes que não sustentam exatamente a afirmação feita pela IA.

A promessa central de buscadores de inteligência artificial (IA) como o Perplexity é diferente da de um chatbot comum: em vez de só responder, eles citam a fonte, dando ao usuário como conferir se a informação é verdadeira. Mas, segundo um estudo da consultoria americana Haus Research, na maioria dos casos, o link citado não prova o que deveria provar.

A pesquisa, fez 310 perguntas factuais sobre 210 empresas de tecnologia aos dois modelos de busca do Perplexity, o sonar e o sonar-pro, usando um serviço que dá acesso a esses modelos por fora do aplicativo do Perplexity.

As perguntas cobriam dados objetivos e checáveis: ano de fundação, valor da última rodada de investimento, número de funcionários, preço do plano de entrada, sede, receita, incidentes de segurança já divulgados, CEO atual, aquisições e o nível de disponibilidade prometido nos planos pagos.

Os pesquisadores coletaram todas as fontes citadas nas respostas, abriram cada uma delas e verificaram se a página realmente continha o número mencionado na frase a que estava associada.

Do total de 1.826 citações ligadas a uma frase com algum dado numérico, 34,7% apontavam para uma página que não abria ou que, ao abrir, não trazia nenhum dos números citados. Contando por afirmação, e não por citação isolada, já que muitas frases têm mais de uma fonte, a taxa de falha cai para 14,4% de 872 afirmações analisadas.

Nem sempre é link quebrado

O problema não é, na maioria dos casos, um link fora do ar. Apenas 1,3% das URLs citadas estavam mortas. As duas categorias mais comuns foram páginas que o leitor comum não consegue acessar, por estarem atrás de login, paywall ou bloqueio automático contra robôs, o que aconteceu com 16,1% das citações, e páginas que abrem normalmente, mas simplesmente não contêm a informação citada.

O exemplo mais direto envolve preço. Ao ser perguntado sobre o plano de entrada da Vercel, empresa de infraestrutura para desenvolvedores, o modelo sonar respondeu que o plano gratuito custa "US$ 0 por mês, então o primeiro plano pago começa em US$ 20 por mês", citando a página oficial de planos da empresa.

Os pesquisadores verificaram a página no momento da checagem: ela carrega normalmente, lista os planos, mas em nenhum lugar aparece o valor de US$ 20. O número até pode estar certo, mas a citação não prova isso.

Um padrão mais revelador aparece nas perguntas sobre sede das empresas. Em vários casos, os modelos informaram um endereço completo, com número e CEP, atribuindo a informação ao artigo da empresa na Wikipédia.

Ao conferir os artigos de quatro empresas diferentes, entre elas a Docker e a Substack, os pesquisadores não encontraram o endereço citado em nenhum deles. Algumas das próprias respostas chegavam a admitir que "vários diretórios de negócios listam" aquele endereço, mas ainda assim citavam a Wikipédia como fonte.

Onde o sistema falha mais?

A taxa de acerto varia bastante conforme o tipo de pergunta. Perguntas sobre quem é o CEO atual de uma empresa tiveram a pior taxa de confirmação, de apenas 44,3%, seguidas por perguntas sobre o endereço da sede, com 53%.

No outro extremo, perguntas sobre número de funcionários acertaram a fonte em 82% dos casos, e sobre ano de fundação, em 75%.

Segundo os pesquisadores, o padrão faz sentido, já que dados como número de funcionários costumam estar em campos estruturados de páginas feitas justamente para guardar esse tipo de informação, enquanto fatos como a data exata em que um executivo assumiu o cargo raramente são publicados de forma clara em algum lugar, mesmo sendo repetidos com frequência.

Nesses casos, o modelo tende a reproduzir o que já é de conhecimento geral e, em seguida, associa a afirmação a uma fonte que nunca trouxe aquele dado específico.

O estudo também comparou o modelo pago mais avançado do Perplexity com a versão padrão e não encontrou diferença relevante entre os dois: o sonar acertou a citação em 65,9% das afirmações numéricas, contra 64,7% do sonar-pro, uma diferença dentro da margem de erro.

Como controle, os pesquisadores testaram também o GPT-4.1, da OpenAI, com um plugin de busca, mas esse modelo cita muito menos fontes por resposta e não numera as citações dentro do próprio texto, o que tornou impossível fazer o mesmo tipo de checagem frase a frase.

Fontes feitas para durar pouco

Outro achado do estudo diz respeito a quem é mais citado. Do total de fontes usadas pelo sonar, 23,4% apontavam para o próprio site da empresa mencionada, e 23,1% eram diretórios de negócios ou plataformas de dados corporativos, como PitchBook, ZoomInfo e Crunchbase.

Justamente essas páginas de diretório foram as menos duráveis do levantamento: apenas 66% delas continuavam acessíveis no momento da checagem, contra 78,7% do total de citações.

Ao cruzar uma amostra de 1.500 links citados com o Wayback Machine, arquivo histórico de páginas da internet mantido pela organização sem fins lucrativos Internet Archive, os pesquisadores descobriram que 25,1% dessas páginas nunca haviam sido salvas em nenhum momento da própria existência.

Entre as páginas de diretório e geração de leads, a proporção sobe para quase 40%. Na prática, isso significa que, quando uma dessas páginas sai do ar, não sobra nenhuma cópia para conferir depois se a citação um dia esteve correta.

Os autores do estudo fazem questão de destacar os limites da própria pesquisa: é um retrato de um único dia, 2 de setembro, sem repetição ao longo do tempo, cobre só perguntas em inglês sobre empresas de tecnologia, e os testes foram feitos por uma via técnica diferente da usada pelo aplicativo comum do Perplexity, o que pode tornar os resultados um pouco piores do que os que um usuário comum encontraria.

---

Perguntas frequentes

O Perplexity sempre comprova as fontes que cita? ＋

Não. Segundo estudo da Haus Research, parte das citações usadas pelo Perplexity não comprovava a informação apresentada na resposta. Em 34,7% das citações ligadas a dados numéricos, a página citada não abria ou não continha o número mencionado.

Como o estudo da Haus Research avaliou o Perplexity? ＋

Os pesquisadores fizeram 310 perguntas factuais sobre 210 empresas de tecnologia aos modelos sonar e sonar-pro do Perplexity. Depois, abriram as fontes citadas e verificaram se cada página realmente sustentava a informação associada à citação.

O problema encontrado foi apenas de links quebrados? ＋

Não. Apenas 1,3% das URLs analisadas estavam fora do ar. Os problemas mais comuns foram páginas inacessíveis por login ou bloqueios e páginas que abriam normalmente, mas não continham a informação citada pela IA.

Quais informações o Perplexity teve mais dificuldade em comprovar? ＋

Segundo o estudo, perguntas sobre CEOs atuais tiveram a menor taxa de confirmação da fonte, com 44,3% de acerto. Informações sobre endereço de sede tiveram 53% de confirmação. Já número de funcionários e ano de fundação tiveram desempenho melhor, com 82% e 75%, respectivamente.

Por que uma IA pode citar uma fonte que não traz a informação? ＋

Segundo os pesquisadores, o modelo pode reproduzir uma informação conhecida e associá-la a uma fonte relacionada ao tema, mas que não contém aquele dado específico. Isso acontece principalmente com informações que não estão organizadas em páginas estruturadas.

O Perplexity sonar-pro é mais confiável que o sonar? ＋

No estudo, não houve diferença relevante entre os dois modelos. O sonar teve 65,9% de confirmação das citações numéricas, enquanto o sonar-pro teve 64,7%, uma diferença considerada dentro da margem de erro.

Quais fontes o Perplexity mais usa? ＋

Segundo o levantamento, 23,4% das fontes citadas vinham dos próprios sites das empresas analisadas, enquanto 23,1% eram diretórios ou plataformas de dados corporativos, como PitchBook, ZoomInfo e Crunchbase.

O estudo prova que as respostas do Perplexity estão erradas? ＋

Não. Os pesquisadores afirmam que o estudo não mediu se a resposta final estava correta, mas se a fonte apresentada funcionava como prova da afirmação feita. A análise também teve limitações, como perguntas apenas em inglês sobre empresas de tecnologia e uma coleta realizada em um único dia.