Para o Boston Consulting Group, ataques hackers do ChatGPT e do Claude são exceção, não regra

Toda empresa que já tentou aprovar um novo uso de inteligência artificial (IA) internamente conhece o dilema: acelerar a adoção e correr risco, ou desacelerar para analisar cada caso e perder competitividade para quem não hesitou.

Um novo estudo do Boston Consulting Group (BCG), intitulado "AI Risk Management Needs a Better Model",  propõe uma saída prática para esse impasse: classificar diferentes usos de IA por perfil de risco, em vez de submeter cada novo pedido ao mesmo processo lento de avaliação.

Em entrevista exclusiva à EXAME, Alessandro Pereira, sócio do BCG, detalha como essa abordagem funciona na prática, e por que os modelos tradicionais de gestão de risco pararam de dar conta da IA generativa e dos agentes autônomos.

---

EXAME: O senhor descreve um dilema entre acelerar a IA e correr risco, ou desacelerar e perder competitividade. Na prática, como esse dilema aparece dentro de uma empresa — é uma discussão explícita entre áreas, ou geralmente uma decide sozinha e a outra descobre depois?

Em empresas com alta maturidade em gestão de riscos, é uma discussão entre áreas que usam fóruns e comitês específicos para tomada de decisão.

Nosso estudo traz uma abordagem prática adicional: a classificação dos diferentes usos de IA, que possuem perfis de risco distintos e exigem diferentes níveis de análise e mitigação.

Recomendamos que os aprendizados obtidos na análise de casos anteriores sejam reutilizados, acelerando novas discussões, codificados em uma base de conhecimento de riscos, salvaguardas e mitigações bem-sucedidas.

Essa base traz dois benefícios. Um deles é que novas equipes podem recorrer a esse manual para aprender como riscos semelhantes foram gerenciados no passado, e o segundo é que serve como ponto central de controle para construir um inventário dos usos de IA, permitindo que a empresa entenda sua exposição e os riscos na cadeia de suprimentos caso surjam novas vulnerabilidades ou exigências regulatórias.

'Hack culposo'? Como modelos de IA estão invadindo empresas no improviso

EXAME: Por que os modelos tradicionais de gestão de risco, que funcionaram bem para outras tecnologias, pararam de funcionar especificamente com IA generativa e agentes de IA?

Principalmente porque os modelos tradicionais são mais cadenciados e específicos para cada solicitação.

Nossa abordagem recomenda pré-definir uma base de salvaguardas e propostas de mitigação de risco já combinadas, para tratar rapidamente as novas solicitações.

Ainda assim, vão continuar existindo pedidos de alto risco, inéditos ou não testados, especialmente os que envolvem agentes de IA em escopos ainda não explorados, e esses devem receber atenção e expertise adicionais.

EXAME: O que muda, na prática de compliance e jurídico, quando o "risco" deixa de ser uma decisão pontual, aprovar ou não um sistema, e passa a ser um comportamento contínuo, que o próprio modelo pode mudar com o tempo?

O processo de riscos, compliance e governança, envolvendo áreas como negócios, TI e jurídico, precisa ser revisto para considerar a participação de cada uma delas tanto na avaliação prévia quanto no processo de mitigação de vulnerabilidades, e também no tratamento de eventos futuros, caso ocorram.

No âmbito da IA, com o advento da memória, as arquiteturas corporativas devem considerar componentes de controle semelhantes aos que aplicamos em zero-trust, inspecionando continuamente os pontos de entrada e saída de processos que usam IA.

EXAME: Qual é a ideia por trás de tratar aplicações conhecidas com velocidade e aplicações inéditas com rigor? Isso não cria incentivo perverso para as empresas disfarçarem uso novo como se fosse uso já conhecido, só para andar mais rápido?

Conjunto de regras e processos robustos e consistentes de avaliação e quantificação de riscos devem ser ágeis de maneira geral.

Os pedidos de uso de IA em diferentes processos de negócio podem trazer riscos de imagem, financeiros e operacionais. Empresas que fazem avaliações incrementais e conseguem fazer crescer sua base de conhecimento de acordo com essas aplicações aumentam sua velocidade de time-to-market.

EXAME: Como uma empresa decide, na prática, o que é "baixo risco e já padronizado" versus algo que parece familiar, mas esconde risco novo? Existe algum tipo de armadilha comum nessa hora?

Existem formas de "traduzir" e "mensurar" riscos em potenciais impactos, e essa quantificação permite que a organização decida se deve prosseguir ou suspender determinadas aplicações.EXAME: O que muda quando o "uso" de IA não é mais uma ferramenta que alguém aciona, mas um agente que age sozinho, tomando decisão e executando ação sem supervisão direta a cada passo?

Isso é justamente algo que uma boa estrutura de regras da empresa precisa prever de antemão: uma trava de segurança que ajude a decidir se um agente de IA pode ou não realizar determinada tarefa sozinho.

Para escalar esse tipo de uso, também é preciso adaptar a arquitetura da empresa, incluindo mecanismos de segurança específicos — como rastrear o raciocínio da IA passo a passo, proteger os dados que ela gera e, no caso de código, testar vulnerabilidades e reforçar a proteção nos pontos onde o sistema se conecta com o mundo externo, mais vulneráveis a ataques.

EXAME: Que tipo de estrutura interna uma empresa precisa ter — comitê, área específica, pessoa responsável — para esse tipo de gestão de risco funcionar de verdade, e não virar só documento bonito guardado na gaveta?

Para escalar o uso de IA e de agentes com segurança, as empresas precisam adotar uma abordagem mais eficiente de gestão de risco e qualidade.

Recomendamos quatro passos práticos: primeiro, padronizar o processo de entrada de pedidos — o momento em que alguém solicita o uso de uma nova ferramenta de IA —, com um formulário simples já ligado diretamente aos riscos envolvidos.

Segundo, direcionar automaticamente cada solicitação para o fluxo de análise certo, com base no que já foi visto antes e no quão novo é aquele uso. Terceiro, criar um manual com o passo a passo do que fazer, reunindo as soluções que já deram certo no passado. E quarto, deixar claro quem decide o quê, com papéis bem definidos, para que o processo seja rápido e previsível.

EXAME: Existe uma diferença clara entre empresas que tratam a gestão de risco de IA como um time separado de quem desenvolve os produtos de IA, versus empresas que integram as duas coisas desde o início? Qual funciona melhor?

O ideal é discutir o risco o mais cedo possível, já lá no início do desenvolvimento, antecipando para o começo do processo uma etapa que normalmente só seria discutida no fim. Empresas que conseguem discutir, ao mesmo tempo, o caso de uso e o risco que ele carrega normalmente lançam funcionalidades mais rápido, com mais qualidade e segurança no dia a dia.

Sobre como organizar os times, seguimos um modelo em camadas, comum em bancos e empresas reguladas: quem constrói o produto cuida dos testes na primeira linha; a governança, de fora, define as diretrizes e acompanha se estão sendo seguidas na segunda linha; e a auditoria confere o processo inteiro, do começo ao fim, na terceira linha.

EXAME: Quando uma aplicação de IA de baixo risco evolui e passa a fazer algo mais sensível — um chatbot interno que começa a influenciar decisão de crédito, por exemplo —, o que normalmente acontece: alguém percebe a mudança a tempo, ou o risco só aparece depois que já deu problema?

Internamente, as regras de riscos devem tratar "mudanças" da mesma forma que trata "novas solicitações", avaliando o crescimento de um risco caso o processo esteja delegando maior área de atuação aos sistemas ou agentes de IA.

EXAME: Nos últimos meses, vieram à tona vários casos de agentes de IA que escaparam de ambientes de teste controlados e agiram de forma não autorizada, em empresas como Anthropic, OpenAI e Meta. Isso muda fundamentalmente o tipo de risco que uma empresa comum, fora do setor de tecnologia, precisa considerar ao adotar agentes de IA?

Os casos mencionados que vieram a público são isolados, e entendemos que são experimentos controlados para testar as capacidades dos modelos, não são, essencialmente, uma regra.

Eles servem para nos alertar de que as empresas sempre devem contar com avaliação de risco e, principalmente, protocolos de segurança que orientem como agir nesses casos.

EXAME: Diante desses casos, dá para confiar em qualquer modelo de "baixo risco, aprovação rápida" quando o próprio comportamento do sistema pode mudar de forma inesperada depois de implantado?

Para evitar esse tipo de problema, vigilância constante é sempre necessária.

Montar um manual com passo a passo e implementar uma arquitetura de controle de processamento, com filtro de dados na entrada e na saída, são iniciativas que podem evitar grandes danos e acionar uma equipe previamente designada dentro da própria empresa. Recomendamos sempre ter um plano de ação alinhado com todas as áreas, para que todos saibam como agir.

EXAME: Existe alguma particularidade cultural brasileira — mais avessa a risco, ou mais disposta a testar rápido e corrigir depois — que o senhor observa em comparação com empresas de outros países?

No Brasil, vemos muitas empresas inovadoras, com adoção rápida de novas tecnologias, mas também empresas mais conservadoras, que aguardam maturidade para adotar novas tecnologias.

O brasileiro é muito ligado em novidades e está sempre conectado às últimas tendências do mercado, local ou global. Cada organização conhece suas necessidades e deve seguir o modelo que mais se adapta a elas.

EXAME: Se pudesse dar um conselho só, o mais importante, para um C-level que está tentando decidir entre acelerar ou desacelerar a adoção de IA agora, qual seria?

O uso de IA é uma realidade tanto no nível individual quanto no corporativo.

Entendemos que as organizações e o C-level devem trazer essa conversa à tona e tratar o assunto para criar maior previsibilidade e prevenção de riscos, ponderando sempre as variáveis que podem impactar seu negócio.