Uma decisão judicial contra a Meta e o Google em um julgamento amplamente acompanhado pode ampliar a responsabilidade das plataformas em relação ao conteúdo de ódio. O caso envolveu uma mulher californiana de 20 anos, identificada como K.G.M., que alegou que as plataformas alimentaram o uso viciado enquanto era menor e contribuíram para sua depressão e pensamentos suicidas devido ao design voltado para engajamento.
As empresas negaram qualquer irregularidade, apontando para suas ferramentas de segurança e controles parentais.
““Respeitosamente, discordamos desses veredictos e vamos apelar. Reduzir algo tão complexo quanto a saúde mental dos adolescentes a uma única causa arrisca deixar as muitas questões mais amplas que os adolescentes enfrentam hoje sem resposta e ignora o fato de que muitos adolescentes dependem de comunidades digitais para se conectar e encontrar pertencimento. Estamos comprometidos em construir ambientes seguros e de apoio para os jovens e defenderemos nosso histórico vigorosamente,””
afirmou a Meta em um comunicado.
José Castañeda, porta-voz do Google, também expressou a discordância da empresa em relação ao veredicto e anunciou planos de apelação. Ele declarou que
““o caso mal interpreta o YouTube, que é uma plataforma de streaming construída de forma responsável, não uma rede social.””
O caso evitou a Seção 230, que protege as plataformas de serem responsabilizadas pelo conteúdo das postagens. Em vez disso, a ação judicial atacou os designs dos produtos utilizados pelas empresas, o que pode ter implicações mais amplas sobre como as plataformas lidam com conteúdo de ódio, especialmente quando monetizado.
Liora Rez, fundadora e diretora executiva da StopAntisemitism, classificou a decisão como
““monumental””
e afirmou que grupos de defesa têm alertado as grandes empresas de tecnologia que
““o algoritmo está afetando as pessoas negativamente””
, tanto em relação às suas propriedades viciantes quanto à
““promoção do ódio.””
A StopAntisemitism é uma organização de vigilância dedicada a expor grupos e indivíduos que promovem o antissemitismo. As plataformas de mídia social costumam ter políticas que proíbem certos tipos de conteúdo, especialmente aqueles que promovem ódio ou violência. No entanto, influenciadores começaram a usar palavras-código para contornar a censura, como dizer
““unalive””
em vez de
““matar.””
Rez reconheceu que é possível que aqueles que espalham ódio criem códigos semelhantes, mas afirmou que os
““marcadores de decisão política””
nas principais plataformas estão cientes do problema. Ela mencionou que, devido ao alcance da StopAntisemitism nas redes sociais, especialmente entre os jovens de 25 anos ou menos, a organização é frequentemente informada sobre esses termos e pode alertar as empresas.
A fundadora da StopAntisemitism afirmou que o conteúdo gerado por IA será o centro da próxima batalha, que já começou.
““Estamos realmente preocupados com como a IA está agora ajudando a alimentar conteúdo antissemita nas plataformas. E há muito pouca, se alguma, supervisão sobre isso, e esperamos que essa decisão possa de alguma forma ser utilizada para ajudar,””
disse Rez. Ela apontou para
““rabbis””
gerados por IA que têm milhares de seguidores, com pelo menos um ganhando mais de 1 milhão. As contas frequentemente promovem narrativas antissemitas sobre os judeus controlando sistemas financeiros e usam palavras em iídiche de maneiras que, segundo Rez, indicam que não há uma pessoa judia por trás da conta.
Uma dessas contas — agora deletada — é a do Rabbi Goldman, que acumulou 1,5 milhão de seguidores no Instagram, apesar de ter postado seu primeiro vídeo em meados de fevereiro. O conteúdo do rabino gerado por IA recebeu várias notas da comunidade alertando que era falso. Ele falava sobre supostos segredos que todos os judeus supostamente conhecem, usando palavras em iídiche de maneiras que não fazem sentido.
““Então, de, digamos, 10 vídeos, dois ou três serão interessantes. No entanto, os dois ou três seguintes, e o que notamos é que esses vídeos com mais visualizações são rapidamente seguidos pelos problemáticos, certo? Porque quanto mais seus vídeos são vistos, mais o algoritmo empurra o próximo vídeo e a próxima postagem para seu público,””
disse Rez sobre o Rabbi Goldman gerado por IA.
Apesar das preocupações sobre o conteúdo gerado por IA, Rez expressou otimismo em relação à disposição das empresas de mídia social em abordar o conteúdo de ódio após o veredicto. Ela afirmou que a StopAntisemitism espera que, até o final do ano, veja as empresas de mídia social tomando medidas proativas.
““A Meta precisa se esforçar mais e fazer mais… A falha em avisar, essencialmente, foi uma falha em proteger, as pessoas se machucaram,””
disse Rez.
““Acreditamos que este foi o precedente para futuros litígios em massa. Portanto, novamente, esperamos que eles vejam isso como um sinal de alerta, e esperamos que a IA esteja no centro disso.””
