A plataforma Roblox, que conta com mais de 144 milhões de usuários diários, anunciou um novo sistema de moderação de conteúdo que utiliza inteligência artificial (IA) para melhorar a segurança online. A empresa enfrenta o desafio de moderar um ambiente onde o conteúdo é gerado pelos próprios usuários, tornando a identificação de comportamentos prejudiciais mais complexa.
Roblox é um espaço virtual onde os usuários podem criar, compartilhar e jogar jogos feitos por outros. A plataforma não é apenas um único jogo, mas um ecossistema vasto de experiências geradas por usuários, que vão desde simples percursos de obstáculos até mundos virtuais complexos. O diferencial do Roblox é o controle que os usuários têm sobre o conteúdo, criando experiências em tempo real através de avatares, textos e ambientes interativos.
Matt Kaufman, diretor de segurança da Roblox, explicou que a moderação tradicional analisa elementos isoladamente, como mensagens ou imagens, o que pode levar à perda do contexto. O novo sistema de moderação multimodal em tempo real analisa toda a cena simultaneamente, incluindo objetos 3D, avatares e textos, para avaliar se a combinação de conteúdos viola as regras da plataforma.
“”Nós já moderamos todos os objetos em um mundo virtual, mas como eles interagem sempre foi um desafio. Nosso novo sistema de moderação multimodal em tempo real observa toda a cena do ponto de vista do usuário”, afirmou Kaufman.”
O sistema visa identificar combinações de elementos que possam ser prejudiciais, como desenhos e avatares que, isoladamente, parecem inofensivos, mas juntos podem criar conteúdo inadequado. Atualmente, a Roblox já está desativando cerca de 5.000 servidores por dia devido a violações.
Kaufman ressaltou que, embora o sistema seja avançado, nenhum sistema é infalível. “Estamos comprometidos em nos manter à frente daqueles que tentam contornar os protocolos de segurança, e estamos trabalhando para escalar esse novo sistema multimodal para capturar e monitorar 100% do tempo de jogo”, disse ele.
“”Queremos que os pais saibam que não estamos apenas reagindo a denúncias – estamos proativamente construindo alguns dos sistemas de moderação de IA mais sofisticados do mundo para ajudar a proteger seus filhos em tempo real”, completou Kaufman.”
Além disso, a Roblox está implementando um ciclo contínuo de avaliação para melhorar a precisão do sistema e reduzir falsos positivos. A empresa também garante que os dados coletados para segurança são utilizados exclusivamente para esse fim.
O novo sistema de moderação é uma mudança significativa na abordagem da Roblox em relação à segurança online, buscando prevenir comportamentos prejudiciais antes que a maioria dos usuários os veja. Isso levanta questões sobre o futuro dos espaços online e o equilíbrio entre segurança, justiça e liberdade.
