Emojis racistas são desafio para os moderadores do Facebook e Twitter

Em uma partida de futebol no Goodison Park de Liverpool em 1988, o jogador John Barnes afastou-se de sua posição e usou o calcanhar para chutar uma banana que havia sido jogada em sua direção. Capturado em uma foto icônica, o momento resumiu o abuso racial que os jogadores de futebol negros enfrentavam no Reino Unido.

• Quer investir na bolsa e não sabe como? Aprenda tudo com a EXAME Academy

Mais de 30 anos depois, a mídia mudou, mas o racismo persiste: depois que a Inglaterra perdeu para a Itália em julho na final do Campeonato Europeu da UEFA, os jogadores negros da equipe britânica enfrentaram um ataque de bananas.

Em vez de frutas físicas, eram emojis adicionados aos seus perfis de mídia social, junto com macacos e outras imagens. “O impacto foi tão profundo e significativo como quando foi de verdade”, diz Simone Pound, diretora de igualdade, diversidade e inclusão da Associação de Futebolistas Profissionais do Reino Unido.

Facebook e Twitter enfrentaram muitas críticas por demorar muito tempo para filtrar a onda de abusos racistas durante o campeonato europeu deste verão. O momento destacou um problema de longa data: apesar de passar anos desenvolvendo algoritmos para analisar linguagem hostil, as empresas de mídia social muitas vezes não têm estratégias eficazes para impedir a propagação do discurso de ódio, desinformação e outros conteúdos problemáticos em suas plataformas.

Emojis surgiram como uma pedra de tropeço. Quando a Apple  lançou emojis com diferentes tons de pele em 2015, o gigante da tecnologia foi criticado por permitir comentários racistas. Um ano depois, o governo da Indonésia apresentou reclamações após exigir que as redes sociais removessem os emojis relacionados a LGBTQ.

Alguns emojis, incluindo aquele que descreve uma bolsa de dinheiro, foram associados ao antissemitismo. Jogadores negros de futebol têm sido alvo frequente: a Associação de Futebolistas Profissionais e a empresa de ciência de dados Signify conduziram um estudo no ano passado sobre tuítes racialmente abusivos dirigidos a jogadores e descobriu que 29% incluíam alguma forma de emoji.

Na última década, os cerca de 3.000 pictogramas que constituem a linguagem de emoji foram uma parte vital da comunicação online. Hoje é difícil imaginar uma conversa por mensagem de texto sem eles.

A ambiguidade que faz parte de seu charme não vem sem problemas, contudo. Um rosto piscando pode indicar uma piada ou um flerte. Os tribunais acabam debatendo questões como se é considerado uma ameaça enviar a alguém um emoji de um revólver.

Este assunto é confuso para advogados de carne e osso, mas é ainda mais confuso para modelos de linguagem baseados em computador. Alguns desses algoritmos são treinados em bancos de dados que contêm poucos emojis, diz Hannah Rose Kirk, pesquisadora de doutorado no Oxford Internet Institute. Esses modelos tratam emojis como novos personagens, o que significa que os algoritmos devem começar do zero na análise de seu significado baseados no contexto.

“Trata-se de uma nova tendência emergente, e assim,  as pessoas não estão muito cientes dela e os modelos estão defasados com relação aos humanos”, diz Lucy Vasserman, que é gerente de engenharia de uma equipe da Jigsaw do Google, que desenvolve algoritmos para sinalizar discursos abusivos online.

O que importa é “com que frequência eles aparecem nos dados de teste e treinamento”. Sua equipe está trabalhando em dois novos projetos que podem melhorar a análise de emojis, um que envolve a mineração de grandes quantidades de dados para entender as tendências da linguagem e outro que leva em conta a incerteza.

As empresas de tecnologia citaram a complexidade técnica para encobrir soluções mais diretas para muitos dos abusos mais comuns, de acordo com os críticos. “A maior parte do uso não é ambígua”, diz Matthew Williams, diretor do HateLab da Universidade de Cardiff. “Precisamos não apenas de uma IA melhor, mas de maiores e melhores equipes de moderação”.

O uso de emojis não foi analisado em relação à sua importância para a moderna comunicação online, diz Kirk. Ela encontrou o próprio caminho para estudar os pictogramas depois de um trabalho anterior com memes. “O que achamos realmente intrigante como pesquisadores foi: por que o Twitter, o Instagram e as soluções do Google não conseguem refrear o ódio baseado em emojis?” ela diz.

Frustrado com o fraco desempenho dos algoritmos existentes na detecção do uso ameaçador de emojis, Kirk construiu seu próprio modelo, usando humanos para ajudar a ensinar os algoritmos a entender emojis, em vez de deixar o software aprender por conta própria.

O resultado, diz ela, foi muito mais preciso do que os algoritmos originais desenvolvidos pela Jigsaw e outros acadêmicos que sua equipe testou. “Demonstramos, com esforço relativamente baixo e relativamente poucos exemplos, que é possível ensinar emojis de maneira muito eficaz”, diz ela.

Misturar humanos com tecnologia, bem como simplificar a abordagem para moderar a fala, também tem sido uma fórmula vencedora para a startup Respondology em Boulder, Colorado, que oferece suas ferramentas de triagem na Nascar, NBA e NFL. Funciona com o Detroit Pistons, Denver Broncos e com os principais times de futebol ingleses.

Em vez de depender de um complicado algoritmo, a empresa permite que as equipes ocultem comentários que incluem certas frases e emojis com uma tela de cobertura. “Cada cliente que chega até nós, particularmente os clientes de esportes –  ligas, times, clubes, atletas –  todos querem saber sobre emojis na primeira conversa”, disse Erik Swain, presidente da Respondology. “Quase não é necessário  treinamento em IA do seu software para fazer isso.”

O Facebook reconhece que incorretamente informou aos usuários que o uso de certos emojis durante o Campeonato Europeu da UEFA neste verão não violou suas políticas, quando de fato o fez. Foi dito que a plataforma começou a bloquear automaticamente certas sequências de emojis associadas a fala abusiva e também permite que os usuários especifiquem quais emojis eles não querem ver. O Twitter disse em um comunicado que suas regras contra postagens abusivas incluem imagens de ódio e emojis.

Essas ações podem não ser suficientes para acalmar os críticos. Atletas profissionais falando abertamente sobre o abuso racista que enfrentam tornou-se mais um fator na marcha mais ampla em direção a uma possível regulamentação governamental das mídias sociais.

“Todos nós temos preocupações e arrependimentos, mas eles não fizeram nada, é por isso que temos que legislar”, disse Damian Collins, membro do Parlamento do Reino Unido que lidera o trabalho em um projeto de lei de segurança online. “Se as pessoas que têm interesse em gerar conteúdo prejudicial conseguirem ver que as plataformas são particularmente ineficazes em detectar o uso de emojis, veremos cada vez mais emojis sendo usados ​​nesse contexto.” — Com Adeola Eribake

Quais são as tendências entre as maiores empresas do Brasil e do mundo? Assine a EXAME e saiba mais.