Um aplicativo chamado Kromix veiculou anúncios nas plataformas da Meta, prometendo gerar deepfakes pornográficos de pessoas reais. O conteúdo, que incluía um vídeo semelhante a um político americano proeminente, passou pelos sistemas de revisão das empresas.
A plataforma Meta possui políticas contra imagens íntimas não consensuais. A Apple também mantém regras contra aplicativos de nudificação. Ambas as companhias afirmam que seus sistemas de revisão identificam esse tipo de conteúdo, mas um incidente recente mostrou falha em ambos os casos.
O aplicativo Kromix estava disponível na App Store da Apple. A empresa removeu o app poucas horas após questionamentos de repórteres. A Meta, que publicamente se comprometeu a combater o abuso de mídia sintética, já havia removido, segundo seus próprios registros, 344 mil anúncios relacionados a nudificação.
A recorrência do problema é notada pela imprensa. Uma investigação anterior apontou centenas de anúncios de nudificação em plataformas da Meta, inclusive usando imagens de atores conhecidos. O padrão é que os anúncios circulam, geram receita e são removidos apenas após denúncia de pesquisadores ou jornalistas.
A falha estrutural reside na facilidade de criar imagens convincentes com IA. As plataformas não foram projetadas para gerenciar o volume e a complexidade desse conteúdo. A ausência de declarações detalhadas de ambas as empresas sobre o ocorrido segue o histórico de resposta a incidentes passados.
