Com a popularidade explosiva da inteligência artificial generativa, muitos modelos de código aberto estão agora disponíveis online para qualquer pessoa adaptar para sua tarefa, como gerar renderizações de produtos em um certo estilo artístico.
Mas esses modelos também chegam às mãos de atores nefastos que podem otimizá-los para produzir conteúdo ilegal, como discurso de ódio ou material de abuso sexual infantil (CSAM). Este é um problema crescente — o National Center for Missing and Exploited Children recebeu mais de 1,5 milhão de denúncias de CSAM gerado por IA em 2025, um aumento de 67.000 em 2024.
Os engenheiros geralmente testam a IA para capacidades prejudiciais solicitando o modelo e inspecionando suas saídas, mas isso é impossível para CSAM, pois é ilegal nos EUA gerar tal conteúdo, independentemente da intenção.
Para evitar esse dilema e melhorar a segurança da IA, uma equipe de cientistas do MIT, liderada pelo estudante de pós-graduação Vinith Suriyakumar e pelas professoras associadas Ashia Wilson e Marzyeh Ghassemi, uniu forças com pesquisadores da Thorn para desenvolver uma nova abordagem de auditoria que determina se um modelo pode produzir CSAM, sem solicitá-lo. A Thorn é uma organização sem fins lucrativos de segurança infantil cuja missão é transformar a forma como as crianças são protegidas do abuso e exploração sexual na era digital.
Sua técnica examina como o funcionamento interno de um modelo foi adaptado, mas nunca gera uma saída. Ao examinar representações ocultas, ela pode inferir de forma confiável se um modelo foi especializado para produzir imagens prejudiciais.
Quando testado, o procedimento de auditoria identificou variações de modelo que foram especializadas para gerar CSAM com 100% de precisão. Uma plataforma de hospedagem poderia usar essa técnica para sinalizar modelos inseguros e rapidamente
Fonte: MIT News - AI
Publicado em 2026-07-13