OpenAI desenvolve ferramenta para detectar 'trapaças' com o ChatGPT

Embora pronta para uso, tecnologia que identifica textos gerados por inteligência artificial enfrenta resistência dentro das empresas.

A OpenAI,criadora do ChatGPT, desenvolveu uma ferramenta que pode identificar textos escritos por inteligência artificial com uma precisão quase absoluta. No entanto, apesar das preocupações sobre o uso do ChatGPT para trapaças acadêmicas, a empresa ainda não lançou a tecnologia. Há cerca de dois anos, debates internos têm impedido a liberação, com a ferramenta pronta para ser utilizada há pelo menos um ano.

De acordo com reportagem do Wall Street Journal, funcionários da empresa indicam que a hesitação se deve a vários fatores, incluindo o impacto potencial sobre usuários que não falam inglês como língua nativa e a possível reação negativa de uma parte significativa da base de usuários do ChatGPT.Uma pesquisa realizada pela própria OpenAI mostrou que quase um terço dos usuários poderia abandonar a plataforma caso a tecnologia de detecção fosse implementada.A empresa está pesando os riscos de lançar a ferramenta contra os benefícios de manter a confiança dos usuários.

A ferramenta de detecção funciona através da inserção de pequenas alterações nos tokens utilizados pelo ChatGPT para gerar texto, criando um padrão sutil e detectável conhecido como "marca d'água". Esse padrão é invisível ao olho humano, mas pode ser identificado pela tecnologia desenvolvida pela OpenAI. A eficácia da ferramenta é de 99,9%, segundo documentos internos. No entanto, a empresa reconhece que a marca d'água pode ser contornada por técnicas simples, como a tradução do texto para outro idioma ou a adição de elementos que, posteriormente, seriam removidos manualmente.

Uma das questões em aberto é como a OpenAI disponibilizaria a ferramenta. Alguns funcionários sugerem que ela seja entregue diretamente a educadores ou a empresas especializadas em detectar plágio acadêmico, enquanto outros argumentam que um acesso muito amplo poderia comprometer a segurança do sistema.

Google está um passo na frente?

O Google, concorrente da OpenAI, também está desenvolvendo uma tecnologia semelhante, chamada SynthID, que está atualmente em fase beta. Enquanto isso, a OpenAI já lançou uma ferramenta para identificar imagens criadas pelo DALL-E 3, outra de suas plataformas de inteligência artificial.

A OpenAI experimentou um lançamento semelhante em janeiro de 2023, quando disponibilizou um algoritmo que identificava textos gerados por modelos de IA. No entanto, a ferramenta teve um desempenho inferior, acertando apenas 26% das vezes, o que levou à sua retirada em agosto do mesmo ano. Apesar do fracasso, a busca por uma solução eficaz para detectar textos gerados por IA continua, especialmente em instituições de ensino que enfrentam um aumento na utilização dessas tecnologias por estudantes.

O desenvolvimento da tecnologia de marca d'água começou antes do lançamento oficial do ChatGPT, em novembro de 2022. O projeto foi liderado por Scott Aaronson, um professor de ciência da computação que está em licença da Universidade do Texas para trabalhar na OpenAI. Em 2023, a empresa realizou várias discussões internas sobre a tecnologia, buscando opiniões de diversas fontes antes de tomar uma decisão.

Em abril de 2023, uma pesquisa mostrou que a maioria dos usuários globais apoia a ideia de uma ferramenta de detecção de IA. No entanto, uma pesquisa específica com usuários do ChatGPT indicou que 69% temem que a tecnologia leve a acusações falsas de uso de IA, e quase 30% afirmaram que usariam menos a ferramenta caso a marca d'água fosse implementada.

Apesar das preocupações, a tecnologia foi avaliada internamente e os resultados indicaram que não há prejuízo significativo na qualidade dos textos gerados pelo ChatGPT quando a marca d'água é aplicada.