X culpa usuários por CSAM gerado pelo Grok e não anuncia soluções

• O chatbot de IA Grok gerou imagens que sexualizavam menores, e depois disso a plataforma X passou a atribuir a responsabilidade aos usuários
• Embora a própria X seja responsável pelo treinamento do modelo, não divulgou medidas internas nem um plano de correção para a geração de conteúdo ilegal
• A empresa afirmou que, anteriormente, por meio de seu sistema automático de detecção de CSAM, suspendeu mais de 4,5 milhões de contas por ano e reportou centenas de milhares de casos ao NCMEC
• No entanto, foi levantado o risco de que conteúdos gerados por IA pelo Grok não sejam identificados pelos sistemas tradicionais de detecção baseados em hash
• Como a definição e os limites do conteúdo ilegal são pouco claros, nem sequer há consenso dentro da plataforma sobre quais imagens devem ser removidas

---

Situação atual da resposta da X a CSAM

• A X afirma manter uma “política de tolerância zero” para publicações com CSAM
  • A maior parte do conteúdo é detectada automaticamente por meio de tecnologia própria de hash e bloqueada preventivamente
  • Ao longo de 2024, mais de 4,5 milhões de contas foram suspensas, e centenas de milhares de imagens foram reportadas ao NCMEC (Centro Nacional para Crianças Desaparecidas e Exploradas dos EUA)
• A X Safety explicou que “quando o CSAM é confirmado, a conta é permanentemente suspensa de imediato, e a conta em questão é reportada ao NCMEC”
  • O NCMEC coopera com órgãos de aplicação da lei no mundo todo para proteção infantil e condução de investigações
• Em 2024, 309 relatórios da X ao NCMEC resultaram em 10 condenações, e no primeiro semestre de 2025 170 relatórios levaram a prisões

Problemas e limitações relacionados ao Grok

• Foram relatados casos em que o Grok gerou imagens que sexualizavam menores
  • Alguns usuários argumentam que, como a X foi a responsável pelo treinamento do modelo, a empresa deve assumir a responsabilidade
  • No entanto, a X enfatiza a responsabilidade do usuário, dizendo que o problema está nos prompts enviados pelos usuários
• A X não anunciou medidas concretas nem um plano de correção para as saídas ilegais do Grok
  • Alguns usuários sugeriram reforçar os recursos para denunciar saídas ilegais ou nocivas

Ambiguidade na definição de conteúdo ilegal

• Surgiram críticas de que, na resposta da X Safety, as definições de “conteúdo ilegal” e “CSAM” não são claras
  • Alguns usuários apontam como problema o fato de o Grok gerar imagens de figuras públicas ou especialistas em trajes de biquíni
  • Por outro lado, algumas pessoas, incluindo Elon Musk, tratam isso como piada
• Esses critérios pouco claros afetam diretamente a decisão de remover ou não CSAM gerado por IA e as medidas para prevenir recorrências

Riscos potenciais e preocupação com obstrução de investigações

• Há a possibilidade de que imagens geradas pelo Grok tenham como base fotos de crianças reais e, se forem deixadas de lado, possam causar danos psicológicos às crianças afetadas
• Se o Grok espalhar em massa CSAM falso pela internet,
  • isso pode confundir investigações sobre casos reais de abuso infantil
  • a Ars Technica menciona precedentes em casos semelhantes do passado, nos quais imagens falsas geradas por IA reduziram a eficiência das investigações

Próximos desafios

• A X reafirmou sua intenção de erradicar o CSAM, mas não apresentou medidas concretas para conteúdos gerados por IA
• A gestão das saídas do Grok e a clarificação da definição de conteúdo ilegal permanecem como questões centrais para a confiabilidade da plataforma e sua responsabilidade legal

[GN⁺]

Comentários do Hacker News

• Quase não entro mais no X hoje em dia. Há discurso de ódio demais e, especialmente abaixo de posts de mulheres que estão em alta, há uma enxurrada de comentários usando o Grok para manipular sexualmente as fotos delas
  Deixo alguns links como exemplo: link1, link2, link3

  • Era muito desagradável ver comentários de contas com verificação paga sempre no topo, expondo falas extremistas
  • Eu também quase não uso o X, mas olhando diretamente os comentários do Grok, esse problema parece estar bem disseminado. Não acontece só com mulheres, mas também com homens. Ainda assim, a versão do Xi Jinping de biquíni foi engraçada. Mas essa cultura de ódio continua sendo grave
  • Hoje em dia esses memes com o Grok estão se espalhando pelo X como uma moda. Algo parecido também acontece em posts de homens, mas isso não torna a situação aceitável
  • Abri minha conta do Twitter pela primeira vez em muito tempo e o feed está completamente tomado por teorias da conspiração e racismo. Negacionismo climático, supremacismo branco, conspiração antivacina. É chocante que isso seja uma das principais fontes de notícias da internet
  • O X entrou em contato dizendo que queria comprar meu nome de usuário OG, mas quando tentei negociar, de repente citaram os termos de uso e tomaram a conta. Um absurdo

• Quando vejo pessoas que não consideram problemático que mulheres tenham de ouvir no Twitter coisas como “Grok, tire a roupa dela”, isso me parece um exemplo clássico de cultura do estupro

  • Esta thread realmente causa indignação. Quem tenta defender o X está ignorando a realidade. O Grok pode ser abusado como uma ferramenta de geração de pornografia, inclusive envolvendo menores, e em outras plataformas de IA quase não se vê esse problema
  • Acho que um dos objetivos de forças como Musk e Miller é fazer com que mulheres tenham medo de falar em espaços públicos

• O X diz que “remove conteúdo ilegal e bane contas permanentemente”, mas acho que o problema começa no fato de terem tornado possível gerar esse tipo de conteúdo

  • Eu uso IA, mas dá para configurar o sistema para que esse tipo de conteúdo não seja produzido. Se o problema está na entrada, então a responsabilidade deve ser tanto do usuário quanto da plataforma
  • Parece que eles nem sequer definiram um prompt de sistema para mandar o Grok recusar esse tipo de pedido
  • Já na época da API antiga havia muito CSAM (material de abuso sexual infantil), e isso ainda continua em lugares como tk2dl
  • Se a resposta fosse realmente séria, esses usuários teriam de ser denunciados criminalmente. Fico me perguntando por que os procuradores-gerais estaduais não dizem nada
  • Houve até caso em que o Elon interveio pessoalmente para restaurar uma conta suspensa. Artigo relacionado

• Do ponto de vista legal, a Section 230 não se aplica a conteúdo criado diretamente pela plataforma. Como o Grok é um agente direto do X, há responsabilidade

  • CSAM é crime, então não recebe a proteção da Section 230. Como o Grok faz parte do X, não há como haver imunidade. Ainda assim, é bem provável que grandes empresas de IA façam lobby por cláusulas de imunidade legal
  • Na Holanda, esse tipo de geração de imagens sexuais sem consentimento é tratado como difamação. Tanto quem publica quanto quem gera pode ser punido. Num caso como o do X, em que publicador e gerador são a mesma entidade, as consequências legais podem ser bem interessantes
  • As imagens em questão estão sendo publicadas diretamente pelo Grok (X), não pelo usuário

• A discussão sobre modelos abertos é interessante. Normalmente há muita gente que apoia modelos sem guardrails, mas nesta thread a opinião contrária é dominante

  • Eu também acho que modelos abertos são necessários, mas IA integrada a plataformas de acesso fácil ao público precisa ter proteções. É como no Android: você pode instalar apk por conta própria, mas a loja padrão tem filtros de segurança
  • É importante equilibrar garantia de acesso e prevenção de abuso
  • Defender uma abordagem sem guardrails e criticar o abuso dessa liberdade são coisas diferentes. Permitir o Photoshop não significa permitir pornografia de vingança
  • A maioria das pessoas fala sobre abertura de LLMs, não sobre uso irrestrito de modelos de imagem e vídeo. Fora a prevenção de CSAM, fico pensando que outras restrições seriam necessárias
  • O Grok do X, comercializado, funciona como um serviço pago, então é diferente de um simples modelo aberto. Deve ser visto mais como a diferença entre um “produtor de pornografia” e um “usuário de Photoshop”
  • Em temas ligados ao Musk sempre há muitas reações emocionais. Também desta vez parece que o sentimento anti-Musk produziu uma distribuição de opiniões diferente da habitual

• Na Europa não existe Section 230, e há responsabilidade direta das plataformas e operadores. CSAM gerado por IA também é tratado da mesma forma que material real de abuso. A ausência de guardrails no Grok pode abrir espaço para processo criminal

  • Como o Grok publica diretamente nos servidores do X, o X não pode alegar que foi “upload de usuário”. Seria como um funcionário postar esse tipo de imagem com Photoshop: o X seria responsável do mesmo jeito
  • Ainda assim, fica a dúvida se a Europa de fato tomará medidas duras. Por causa da relação com os EUA, talvez tudo termine em sanções apenas formais
  • Como referência, a Europa também possui dispositivos de proteção semelhantes por meio da E-Commerce Directive e do Digital Service Act

• É estranho que tenham conseguido ajustar o Grok para elogiar o Musk, mas não tenham colocado um filtro de prevenção a CSAM

  • De fato, o Grok foi configurado para elogiar Musk e Hitler. Ou seja, permitir esse tipo de conteúdo é uma decisão intencional
  • O Grok também pode xingar o Musk ou transformá-lo em alguém de biquíni. Parece haver pouquíssimo controle

• É surpreendente que pessoas que usavam avatares lolicon no Twitter não façam nada diante do problema de CSAM no X

  • Mas é discutível o que elas realmente poderiam fazer, ou se estariam apenas fazendo gestos morais simbólicos

• Fico pensando quando as empresas de serviços de pagamento vão intervir e suspender cobranças das assinaturas de selo azul

  • Talvez esse seja o único meio de pressão capaz de fazer o X parar

• Entendo que esse tema seja removido por ser político, mas acho que, neste caso, ele tem relação direta com a comunidade técnica

  • O próprio setor de venture capital já é politicamente enviesado, então parece desconfortável com esse tipo de crítica