A Cloudflare estabeleceu um novo prazo para a indústria de inteligência artificial (IA) separar os rastreadores usados em buscas tradicionais, como as do Google, dos empregados para treinar modelos e alimentar agentes autônomos. A partir de 15 de setembro, a configuração padrão da empresa passará a bloquear rastreadores de "uso misto" em qualquer página que exiba anúncios. O anúncio foi feito na quarta-feira, 1º.

Na prática, os rastreadores que combinam busca, uso por agentes e treinamento serão bloqueados dessas páginas por padrão, a menos que o dono do site ajuste as configurações.

A mudança vale para novos clientes da Cloudflare, para novos sites de clientes já existentes e para todos os clientes atuais do plano gratuito.

O que muda para as empresas de IA

A medida pode afetar a forma como os provedores de modelos de IA acessam o conteúdo da web para treinamento e para alimentar seus serviços de agentes.

A Cloudflare, que administra o tráfego de cerca de 20% da web, argumenta que a maioria dos donos de site quer que seu conteúdo seja encontrável em buscas — e muitas vezes também em serviços de IA —, mas com proteção contra ter sua propriedade intelectual entregue de graça.

A empresa passará a permitir que os clientes gerenciem três categorias de tráfego: busca, que indexa o conteúdo para consulta posterior; agente, que acessa o site em tempo real em nome de um usuário; e treinamento, que coleta conteúdo para treinar ou ajustar modelos.

Rastreadores que misturam essas funções sem dar escolha ao site serão bloqueados nas páginas com anúncios.

A crítica ao Google

Em seu comunicado, a Cloudflare citou o "maior buscador do mundo" — referência ao Google — como detentor de acesso a cerca de duas vezes mais informação do que outras empresas de IA, por dificultar que os sites permaneçam encontráveis sem serem usados para IA.

O Google já rebateu esse tipo de generalização, ao afirmar que oferece um robô chamado Google Extended, que permite aos donos de site recusar o uso do conteúdo para treinamento e para produtos de IA, como os aplicativos do Gemini e a interface de programação (API) Vertex, sem afetar a presença do site na busca.

Ainda assim, o robô principal da empresa, o Googlebot, rastreia para a busca — incluindo recursos de IA, como os resumos gerados no topo dos resultados.

Quando os robôs superaram os humanos

"Agora que a maioria do tráfego na internet é não humana, precisamos ir além e agir mais rápido para que um ecossistema sustentável possa emergir", afirmou Matthew Prince, cofundador e presidente-executivo da Cloudflare, no anúncio.

A fala remete ao marco recente em que os robôs superaram o tráfego humano na web pela primeira vez — algo que não era esperado antes do ano que vem.

Segundo Prince, as novas ferramentas dão aos donos de site mais visibilidade e oportunidades comerciais e beneficiam as empresas de IA que operam robôs com intenção clara e transparente.

A companhia diz esperar que as mudanças incentivem os rastreadores de uso misto a separar a busca do uso por agentes e o treinamento.

De 'pague por rastreio' a 'pague por uso'

A Cloudflare já vinha lançando ferramentas para dar aos publishers mais controle sobre seu conteúdo na era da IA, incluindo um mercado que permite aos sites cobrar dos robôs pela raspagem de dados, batizado de Pay Per Crawl (pague por rastreio).

Agora, ele evolui para o Pay Per Use (pague por uso), que permitirá aos publishers cobrar das empresas de IA quando o conteúdo gera valor, e não apenas quando é buscado.

A mudança também pode ajudar a conservar recursos, já que dados da Cloudflare indicam que mais da metade do tráfego de rastreamento das IAs é gasto rebuscando páginas que não mudaram.

Para colocar o modelo em prática, a empresa trabalha inicialmente com dois parceiros, a Ceramic.ai e a You.com: quando um publisher adere, é pago quando seu conteúdo aparece nos resultados de busca da Ceramic ou quando a You.com acessa um trecho de seu conteúdo premium.