Por que 74% das empresas já desligaram algum agente de IA que colocaram no ar

Uma pesquisa global realizada pela Sinch mostra um desafio que aparece depois da implementação da inteligência artificial: manter agentes autônomos funcionando em situações reais.

O levantamento, realizado com 2.527 tomadores de decisão de empresas em dez países, aponta que 74% das organizações que colocaram agentes de IA em produção para comunicação com clientes precisaram posteriormente reduzir seu uso ou desligá-los. 

O dado não significa que 74% dos projetos de inteligência artificial fracassaram. O estudo é específico para agentes utilizados em comunicações com clientes, como atendimento por chat, voz, e-mail e outros canais.

O problema aparece depois do lançamento, quando o sistema passa a lidar com dados reais, diferentes tipos de solicitações e situações que nem sempre foram previstas durante os testes.

Antes de continuar, vale conhecer o Pré-MBA em IA da Saint Paul e EXAME, com quatro aulas práticas, online, por R$ 37.

Por que as empresas estão desligando agentes de IA?

Segundo a pesquisa, falhas de governança estão entre os principais motivos para os recuos. A exposição de informações pessoais de clientes aparece como um dos problemas mais citados, seguida por respostas incorretas geradas pelos sistemas e riscos para a reputação das marcas. 

Outro obstáculo é a falta de auditabilidade. Em alguns casos, a empresa não consegue identificar com precisão por que o agente tomou determinada decisão ou produziu uma resposta.

Isso é especialmente relevante em sistemas que podem executar ações, e não apenas responder perguntas. Um agente conectado a sistemas internos pode consultar informações, alterar registros ou encaminhar solicitações. Um erro, portanto, pode ter consequências além de uma resposta inadequada.

O desafio começa quando a IA chega à produção

A pesquisa mostra que 62% das empresas entrevistadas já tinham agentes de comunicação com clientes funcionando em produção. Ou seja, o principal desafio não é necessariamente colocar a tecnologia no ar, mas mantê-la sob controle depois do lançamento. 

Na prática, isso exige mecanismos para acompanhar o comportamento do agente e definir quando uma interação deve ser transferida para uma pessoa.

Entre os pontos que precisam ser monitorados estão:

• acesso e exposição de dados;
• qualidade das respostas;
• registro das decisões tomadas;
• possibilidade de intervenção humana;
• integração com sistemas e canais da empresa.

Para profissionais que precisam entender como a inteligência artificial pode ser aplicada ao trabalho, o Pré-MBA em IA da Saint Paul e EXAME oferece quatro aulas práticas, online, por R$ 37.

Mais governança não significa ausência de falhas

Um dos resultados mais curiosos do levantamento é que empresas que afirmaram ter estruturas de governança consideradas maduras apresentaram uma taxa de recuo ainda maior, de 81%. 

Isso pode parecer contraditório, mas a própria pesquisa aponta uma possível explicação: organizações com mais controles também podem identificar problemas mais rapidamente e interromper sistemas antes que eles causem danos maiores.

O resultado reforça uma mudança no desafio corporativo. Com agentes de IA cada vez mais presentes em operações reais, avaliar a tecnologia apenas antes do lançamento pode não ser suficiente.

O desempenho também precisa ser acompanhado depois que o sistema começa a interagir com clientes e processos internos. Nesse cenário, monitoramento, segurança e supervisão humana passam a fazer parte da operação da inteligência artificial.

O Pré-MBA em IA da Saint Paul e EXAME reúne quatro aulas práticas, online, por R$ 37, para profissionais que querem compreender aplicações da inteligência artificial no trabalho.