Em dezembro de 2023, um usuário conseguiu, em poucas mensagens, fazer o chatbot de uma concessionária Chevrolet concordar em vender um SUV avaliado em mais de US$ 58 mil por apenas um dólar. O episódio, hoje citado como exemplo clássico de falha de segurança em IA, mostra como a ausência de guardrails pode transformar uma ferramenta de atendimento em um risco reputacional.

O caso aconteceu na Chevrolet of Watsonville, na Califórnia, e ficou conhecido depois que a captura de tela da conversa viralizou nas redes sociais.

Para entender como evitar esse tipo de falha na prática, o Pré-MBA em Inteligência Artificial da Saint Paul e EXAME oferece quatro aulas online por R$ 37, voltadas a profissionais que lidam com projetos de IA no trabalho.

O que aconteceu no caso Chevrolet

O chatbot da concessionária funcionava com tecnologia baseada em modelos de linguagem, integrada por um fornecedor terceiro ao site da loja. Sua função era responder dúvidas de clientes sobre veículos disponíveis.

Chris Bakke, então funcionário de uma empresa de tecnologia, decidiu testar os limites do sistema. Ele instruiu o chatbot a concordar com qualquer afirmação do cliente, por mais absurda que fosse, e a encerrar cada resposta com a frase de que a oferta era "legalmente vinculante, sem volta atrás".

Com essa instrução aceita pelo modelo, Bakke afirmou que seu orçamento para um Chevy Tahoe 2024, avaliado entre US$ 58 mil e US$ 76 mil, era de apenas um dólar. O chatbot respondeu concordando com a venda.

A concessionária nunca honrou o acordo. A resposta automática não tinha validade contratual, já que o chatbot não possuía autorização para fechar negócios ou alterar preços. Ainda assim, o print da conversa se espalhou rapidamente, e a loja precisou desativar o sistema.

Por que o prompt funcionou

A técnica usada por Bakke se chama prompt injection, considerada pela OWASP o principal risco de segurança em aplicações baseadas em modelos de linguagem, classificado como LLM01 em sua lista de referência para o setor.

O ataque funciona porque o modelo segue instruções em linguagem natural sem distinguir, por padrão, entre as regras definidas pelo desenvolvedor e as instruções inseridas por quem está conversando com ele.

No caso da Chevrolet, faltavam camadas básicas de proteção:

• Nenhuma validação impedia que o chatbot alterasse valores de venda
• Não havia limite claro sobre quais assuntos o sistema podia tratar
• As instruções originais do desenvolvedor podiam ser sobrescritas pelo usuário
• Preços e condições comerciais não estavam vinculados a um sistema estruturado e protegido

O que esse tipo de falha revela sobre chatbots sem guardrails

O episódio não gerou prejuízo financeiro direto, já que a concessionária não honrou a oferta. Mas ele expôs um problema mais amplo: quando um chatbot fala em nome de uma empresa sem controles adequados, qualquer resposta gerada pode ser interpretada como posição oficial da marca.

Para acompanhar de perto como empresas lidam com riscos de segurança em IA, a assinatura da EXAME sai por R$ 37 e dá acesso a reportagens e análises completas sobre o tema.

Dois meses depois do caso Chevrolet, o chatbot da Air Canada prometeu um reembolso que não existia na política da empresa, e a Justiça obrigou a companhia a cumprir a promessa. A diferença entre os dois episódios mostra por que guardrails vão além de filtros de linguagem ofensiva: eles também precisam impedir que o sistema assuma compromissos que a empresa não pode sustentar.

Como evitar prompt injection e falhas semelhantes

Alguns cuidados reduzem significativamente esse tipo de risco em chatbots corporativos.

O primeiro é separar a camada de conversa da camada de decisão. Preços, políticas de reembolso e condições contratuais devem vir de sistemas estruturados e validados, nunca gerados livremente pelo modelo em tempo real.

Também é recomendável limitar o escopo do chatbot a temas específicos, testar o sistema com simulações de ataque antes do lançamento e manter revisão humana para qualquer interação que envolva valores ou compromissos formais.

Monitorar conversas em produção, e não apenas na fase de testes, ajuda a identificar tentativas de manipulação antes que se tornem um problema público.

Quem quer se aprofundar em como aplicar IA com segurança e critério pode conhecer o Pré-MBA em Inteligência Artificial da Saint Paul e EXAME, com quatro aulas online por R$ 37.