Usuários do ChatGPT que apresentarem sinais de extremismo violento poderão ser encaminhados para apoio especializado. A nova ferramenta está em desenvolvimento na Nova Zelândia, conforme informaram os responsáveis pelo projeto.
O sistema combina atendimento humano e chatbots, com o objetivo de reduzir riscos de violência. A startup neozelandesa ThroughLine, contratada pela OpenAI, busca redirecionar usuários para apoio em situações de crise, como automutilação, violência doméstica ou transtornos alimentares.
A iniciativa surge em resposta a preocupações com a segurança, especialmente após o aumento de processos judiciais contra empresas de inteligência artificial por não impedir episódios de violência. Em fevereiro, o governo do Canadá ameaçou a OpenAI de intervenção após um massacre em uma escola, onde o autor foi banido da plataforma sem aviso às autoridades.
A OpenAI confirmou a parceria com a ThroughLine, mas não forneceu mais detalhes. A ThroughLine, segundo seu fundador Elliot Taylor, ex-assistente social, estuda ampliar o serviço para incluir a prevenção ao extremismo violento.
A ThroughLine está em negociações com o The Christchurch Call, uma iniciativa criada após um ataque terrorista na Nova Zelândia em 2019. Taylor afirmou que o grupo anti-extremismo fornecerá orientações enquanto a ThroughLine desenvolve o chatbot de intervenção.
“”É algo que gostaríamos de avançar e fazer um trabalho melhor em termos de cobertura, para então poder dar um suporte melhor às plataformas”, disse Taylor.”
A startup, que opera a partir da zona rural da Nova Zelândia, oferece uma rede de 1.600 linhas de apoio em 180 países. Quando a IA detecta sinais de crise de saúde mental, o usuário é encaminhado para a ThroughLine, que o conecta a um serviço humano nas proximidades.
O sistema de combate ao extremismo será um modelo híbrido, combinando chatbots e encaminhamentos para serviços de saúde mental. Taylor destacou que não estão utilizando dados de treinamento de modelos de linguagem genéricos, mas sim trabalhando com especialistas.
A tecnologia está em fase de testes, sem data definida para lançamento. Galen Lamphere-Englund, consultor de contraterrorismo, espera que o produto seja útil para moderadores de fóruns de jogos e para pais que desejam combater o extremismo online.
“”Uma ferramenta de redirecionamento de chatbots é uma ideia boa e necessária, porque reconhece que o problema não é apenas o conteúdo, mas também a dinâmica do relacionamento”, afirmou Henry Fraser, pesquisador de IA.”
Taylor mencionou que medidas de acompanhamento, incluindo alertas às autoridades sobre usuários perigosos, ainda estão sendo definidas. Ele ressaltou que pessoas em sofrimento tendem a compartilhar online questões delicadas e que a pressão para bloquear usuários pode agravar o problema.
Um estudo de 2025 do Stern Center for Business and Human Rights da Universidade de Nova York indicou que a moderação excessiva pode levar simpatizantes do extremismo a plataformas menos regulamentadas, como o Telegram.
“”Se você conversar com uma IA, revelar a crise e ela encerrar a conversa, ninguém ficará sabendo do ocorrido, e essa pessoa poderá continuar sem apoio”, concluiu Taylor.”
