Mais de 170 imagens e dados pessoais de crianças do Brasil foram coletados por um banco de dados de código aberto sem o conhecimento ou consentimento de seus responsáveis e utilizados para treinar inteligências artificiais (IA), afirma um novo relatório da Human Rights Watch divulgado nesta segunda-feira, 10.

Segundo o documento, as imagens foram retiradas de conteúdos postados desde 2023 e até a década de 1990, muito antes de os usuários da internet anteciparem que seus conteúdos poderiam ser usados para treinar IA. O banco de dados chama-se LAION-5B, e é bastante popular entre startups de IA. No arquivo, também haviam dados pessoais dessas crianças, juntamente com links para suas fotografias, como revelou a Wired.

O LAION-5B  — um repositório de dados criado por meio da coleta de informações da web e disponibilizado para pesquisadores — tem sido utilizado para treinar diversos modelos de IA, incluindo a ferramenta de geração de imagens Stable Diffusion da Stability AI. Criado pela organização sem fins lucrativos alemã LAION, o banco é abertamente acessível e agora inclui mais de 5,85 bilhões de pares de imagens e legendas, de acordo com seu site.

As imagens de crianças encontradas pelos pesquisadores vieram de blogs de maternidade e outros blogs pessoais, além de capturas de vídeos do YouTube com poucos acessos, aparentemente postados para serem compartilhados com familiares e amigos.

O porta-voz da LAION, Nate Tyler, informou que a organização já tomou medidas. “O LAION-5B foi retirado do ar em resposta a um relatório de Stanford que encontrou links no dataset apontando para conteúdo ilegal na web pública,” diz ele, acrescentando que a organização está atualmente trabalhando com a Internet Watch Foundation, o Centro Canadense para a Proteção da Criança, Stanford e a Human Rights Watch para remover todas as referências conhecidas a conteúdo ilegal.

Os termos de serviço do YouTube não permitem a coleta de dados, exceto sob certas circunstâncias; esses casos parecem violar essas políticas. “Deixamos claro que a coleta não autorizada de conteúdo do YouTube é uma violação de nossos Termos de Serviço,” afirma o porta-voz do YouTube, Jack Maon, “e continuamos a tomar medidas contra esse tipo de abuso.”

Em dezembro, pesquisadores da Universidade de Stanford descobriram que os dados de treinamento de IA coletados pelo LAION-5B continham material de abuso sexual infantil. O problema dos deepfakes explícitos está crescendo até mesmo entre estudantes nas escolas dos EUA, onde são usados para intimidar colegas, especialmente meninas.

A Human Rights Watch se preocupa que, além de usar fotos de crianças para gerar CSAM, o banco de dados possa revelar informações potencialmente sensíveis, como localização ou dados médicos. Em 2022, uma artista dos EUA encontrou sua própria imagem no dataset do LAION e percebeu que era de seus registros médicos privados.

No ano passado, uma campanha publicitária alemã usou um deepfake gerado por IA para alertar os pais contra postar fotos de crianças online, avisando que as imagens dos filhos poderiam ser usadas para intimidá-los ou criar CSAM. Mas isso não resolve a questão das imagens já publicadas ou das que têm décadas e ainda estão disponíveis online.

Conheça os maiores laboratórios de IA do mundo