IA generativa e edição da Wikipédia: o que aprendemos em 2025

• A Wiki Education investigou de forma sistemática, ao longo de 2025, o impacto da IA generativa (ChatGPT etc.) na edição da Wikipédia
• Usando a ferramenta de detecção de IA Pangram para analisar 3.078 artigos criados desde 2022, identificou-se que 178 artigos eram suspeitos de terem sido escritos por IA, e mais de dois terços deles falharam na verificação
• Como resposta, a organização reforçou o treinamento dos participantes e introduziu diretrizes de uso de IA e um sistema de detecção em tempo real para bloquear a simples cópia e colagem de texto gerado por IA
• A IA não é adequada para redigir rascunhos de artigos, mas pode ser útil na etapa de pesquisa, como em busca de materiais, localização de fontes e identificação de lacunas de conteúdo
• A Wiki Education enfatiza que automatizar a detecção de IA e ampliar a formação dos editores é essencial para manter a confiabilidade da Wikipédia

---

A relação entre IA generativa e a Wikipédia

• A Wiki Education é responsável por cerca de 19% dos novos editores ativos da Wikipédia em inglês e analisou os impactos e riscos da IA generativa
  • Com chatbots como ChatGPT, Gemini e Claude se tornando parte do cotidiano, também aumentaram as tentativas de usá-los na edição da Wikipédia
  • A organização avaliou como os participantes usam IA e divulgou os resultados
• Como conclusão, apresentou o princípio de que não se deve copiar e colar diretamente na Wikipédia o conteúdo produzido por IA

Resultados de detecção e verificação de IA

• Entre os artigos criados após o lançamento do ChatGPT em 2022, 178 foram detectados pelo Pangram como escritos por IA
  • Antes de 2022 não havia sinais de uso de IA, e depois disso houve aumento gradual
• Apenas 7% usaram fontes falsas; os demais citaram fontes reais, mas mais de 2/3 falharam na verificação
  • As informações citadas não estavam presentes nas fontes referenciadas, tornando impossível confirmar sua veracidade
• A Wiki Education dedicou considerável esforço humano ao trabalho de limpeza de artigos com falha de verificação
  • Alguns artigos foram tratados como stub, alguns receberam proposta de eliminação (PROD) e outros foram considerados irrecuperáveis

Melhoria do programa e sistema de detecção de IA

• Com apoio do Pangram, foi criado um sistema para analisar em tempo real as edições dos participantes
  • Por meio da plataforma própria Dashboard, a organização opera funções de rastreamento de edições e alertas automáticos
• Foi introduzido o novo módulo educacional “Using generative AI tools with Wikipedia”
  • Ele diferencia com clareza as áreas em que o uso de IA é permitido e as em que é proibido
  • A mensagem central enfatiza: “não copie e cole texto de IA”
• No segundo semestre de 2025, entre 1.406 alertas de edição com IA, apenas 22% ocorreram efetivamente no domínio principal de artigos
  • A maioria foi detectada ainda na fase de sandbox de prática
• O Pangram apresentou alguns falsos positivos (false positive) em textos não frasais, como formatação e listas, mas manteve alta precisão na análise de frases do corpo do texto

Padrões de uso de IA e efeito da formação

• No semestre de outono de 2025, entre 6.357 participantes, apenas 5% tiveram IA detectada em artigos reais, e a maior parte foi revertida manual ou automaticamente
  • Participantes, instrutores e especialistas em wiki colaboraram para remover o texto gerado por IA
• Os instrutores avaliaram os trabalhos dos estudantes com foco na “verificabilidade (verifiability)”
  • Confirmou-se que frases geradas por IA não permitem verificação factual e, portanto, são inadequadas para a Wikipédia
• A intervenção precoce com base no Pangram reduziu a taxa de uso de IA da projeção de 25% para 5%

Possibilidades de uso positivo da IA

• A IA é útil na etapa de pesquisa, como em identificação de lacunas em artigos, busca de fontes e sugestão de caminhos de acesso a materiais
  • Em 7 disciplinas, entre 102 relatos de uso, 87% responderam que foi útil
  • A ferramenta mais usada foi o ChatGPT, seguida pelo Grammarly
• Os estudantes usaram IA para revisão de frases, sugestão de categorias e avaliação de rascunhos
  • No entanto, não houve casos de redação do corpo do artigo com IA
• Destaca-se que a IA só ajuda quando seus resultados são analisados criticamente, e que o julgamento humano é indispensável

Conclusões e planos futuros da Wiki Education

• No estágio atual, a IA generativa produz texto impossível de verificar, portanto é inadequada para redigir o corpo de artigos da Wikipédia
  • O tempo necessário para verificar frases geradas por IA é maior do que escrever diretamente
• Ainda assim, ela pode ser usada como ferramenta de apoio em busca de materiais e geração de ideias
• O sistema de detecção do Pangram deve ser mantido e aprimorado em 2026
• A organização constatou a falta de letramento em IA entre os participantes e passará a oferecer também um módulo adicional de formação sobre modelos de linguagem de grande porte (LLM)
• Em colaboração com Princeton e outras instituições, está em andamento um estudo sobre mudanças na edição dos estudantes antes e depois da adoção da IA
  • Foi confirmado que o Pangram identificou com precisão as edições de 2015 a 2022 como 100% escritas por humanos

Implicações para a Wikipédia como um todo

• 10% dos adultos no mundo usam ChatGPT, e uma parcela considerável o utiliza para redigir textos
  • Existe o risco de que editores iniciantes adicionem conteúdo gerado por IA sem verificação
• Ferramentas automáticas de detecção como o Pangram são essenciais para manter a qualidade da Wikipédia
  • Atualmente só é possível exibir avisos manuais em banner, mas é necessário um sistema de detecção automatizado
• Propõe-se reforçar os avisos sobre uso de IA e a formação em edição centrada em fontes para novos editores
  • O software de apoio à edição da Wikimedia Foundation também deve priorizar formas de resumo centradas no humano
• Para que a Wikipédia se adapte às mudanças tecnológicas e mantenha sua confiabilidade, é importante desenvolver políticas e ferramentas adequadas à era da IA

[GN⁺]

Comentários do Hacker News

• A Wikipédia já sofria há muito tempo com o problema de falha na verificação de fontes
  É difícil encontrar evidências de que a frequência disso tenha aumentado recentemente
  Parece que a maioria dos autores escreve o que sabe e depois adiciona o mínimo de citações plausíveis
  A confiabilidade parece variar conforme o nível de especialização da página e o quão nicho é o tema

  • Houve um caso assim recentemente, em tempo real, num episódio do podcast Changelog
    Os apresentadores perceberam que estavam descritos incorretamente como “ex-GitHub”, e o convidado corrigiu a citação na Wikipédia durante a gravação
  • Os problemas que já vi são dois. Um é citação falsa, e o outro é quando a citação é real, mas a fonte vem de alguém não confiável
    Quando você aponta esses problemas, alguns editores dizem que “a Wikipédia é confiável”
    Enquanto essa percepção não mudar, parece difícil melhorar
  • LLMs podem adicionar conclusões sem fundamento com uma frequência muito maior do que humanos
  • Na verdade, esse tipo de verificação de citações talvez pudesse ser usado para detecção automática por IA, marcando casos para revisão humana
  • Muitos artigos quase não têm citações ou acabam com conclusões distorcidas por citações erradas
    Como no caso, por exemplo, de uma interpretação incorreta do comportamento das moléculas de água

• O artigo enfatiza três vezes: “não dê copy-paste na saída de IA generativa”
  Tive uma experiência parecida. No começo parece impressionantemente plausível, mas logo você percebe que há muita ilusão e ruído
  Ainda assim, é bem útil para ter ideias e fazer brainstorming

• Escolhi esse título para destacar o ponto principal do artigo
  A frase “mais de dois terços dos artigos sinalizados falharam na verificação” me chamou especialmente a atenção

  • Em artigos sobre política, esse problema já era comum há muito tempo
    Quando você verifica as citações diretamente, encontra muita fonte furada
    A IA pode piorar o problema, mas a edição mal-intencionada por humanos continua existindo
  • O título enviado originalmente era “A maioria dos artigos sinalizados falhou na verificação”
    Acho que essa formulação capturava bem a essência
  • Pessoas também escrevem coisas sem base, mas os LLMs são muito mais rápidos em velocidade e escala
    Fico curioso sobre dados comparativos de qual era a taxa de erro de citações antes da IA

• Este artigo não trata da Wikipédia como um todo, e sim apenas de edições feitas pelo programa Wiki Edu
  Ou seja, fala de artigos escritos por universitários como tarefa de aula

  • Se você obriga estudantes a editar a Wikipédia, é natural que saiam resultados de baixa qualidade feitos sem entusiasmo
    No fim, o problema parece estar mais ligado aos hábitos de uso de IA nas universidades do que à Wikipédia em si
  • Isso também se parece com o hábito de estudantes de colar citações aparentemente plausíveis quando escrevem trabalhos acadêmicos
    Dá tristeza ver que até alunos de doutorado às vezes escrevem desse jeito
  • Entre os artigos editados no Wiki Edu, havia alguns que pareciam tarefas de escrita criativa
    Ao ler as fontes, muitas vezes dava para ver que o sentido tinha sido entendido errado ou resumido incorretamente de forma estranha
    LLMs são a ferramenta perfeita para esse tipo de “texto para tirar nota”

• Indo além do problema da Wikipédia, o maior problema é que milhões de pessoas no mundo estão gerando texto com LLMs, e parte disso está sendo consumida como se fosse fato
  LLMs não têm compromisso com a verdade; só com a consistência gramatical

  • Na verdade, LLMs nem mesmo visam consistência gramatical, e sim tendem a se ajustar a um estilo de escrita amplamente aceito
    Às vezes isso acerta por acaso, mas continua sempre instável

• Mesmo olhando só alguns artigos, talvez a proporção de textos escritos por bots tenha sido detectada abaixo do real
  Ou seja, é possível que só tenham sido identificados os artigos que falharam na verificação

  • O Pangram é uma rede neural de classificação de texto treinada comparando textos escritos por humanos com textos escritos por vários LLMs
    Mais detalhes podem ser vistos no PDF do artigo

• Do ponto de vista dos provedores de LLM, isso parece uma tragédia dos comuns do tipo poluição de recurso compartilhado
  A Wikipédia ocupa uma grande fatia dos dados de treinamento, então é estranho ver por que eles mesmos a estariam contaminando
  Seria interessante se surgisse uma política proibindo o uso de IA na Wikipédia

  • Os agentes do problema não são os provedores de IA, e sim os usuários
    A mesma coisa está acontecendo no GitHub
  • Mas esses erros de citação já existiam antes dos LLMs
    Não só na Wikipédia, mas em muitos outros lugares, é comum ver citações cuja fonte não corresponde ao que está sendo afirmado
  • No fim, quem causa esse problema são os usuários individuais

• Um recurso realmente útil seria um chatbot para tirar dúvidas sobre as diretrizes de edição
  Hoje, até editores experientes interpretam as regras como bem entendem nas páginas de discussão
  A cultura de “reverter primeiro e inventar a justificativa depois” vira uma grande barreira para iniciantes
  Esse é o tipo de coisa em que um bot poderia rebater na hora

• Outro problema são wikis baseadas em IA como a Grokipedia
  Na aparência elas podem ser mais sofisticadas e amigáveis para celular do que a Wikipédia, mas contêm informações intencionalmente distorcidas
  Talvez algumas grandes empresas ou grupos políticos queiram enfraquecer fontes democráticas de informação
  É preciso tomar cuidado para que a Wikipédia não vire alvo desse tipo de ataque

• É verdade que spam de IA reduz a qualidade, mas no fundo isso é um problema de controle de qualidade da própria Wikipédia
  O processo de revisão é lento e também não garante que a informação nova esteja correta
  Mesmo que o spam de IA desapareça, não adianta se o controle de qualidade não melhorar
  A Wikipédia deveria reconstruir seu sistema de controle de qualidade para explicar as coisas com clareza no nível do leitor médio