Dois artigos que denunciavam autores falsos foram ambos aceitos para apresentação oral

• Entre 22 artigos revisados no workshop geoespacial TerraBytes de NeurIPS, WACV e ECCV, 15 (68%) continham citações fabricadas, listas de autores adulteradas ou frases claramente geradas por LLM; dois artigos que denunciavam autores falsos também foram aceitos para apresentação oral sob condição de corrigir as referências
• Estima-se que a literatura acadêmica de 2025 tenha tido cerca de 146.900 citações alucinadas; ao rastrear citações alucinadas do bioRxiv até a versão publicada, 85,3% continuavam presentes mesmo após a revisão
• O problema se espalhou além da submissão para a própria revisão: 21% das revisões do ICLR 2026 foram classificadas como totalmente geradas por IA, e no ICML 2026 foi detectado uso de LLM em cerca de 795 revisões escritas por revisores proibidos de usá-los
• Mais do que o uso de LLM em si, o problema é submeter resultados não verificados; erros nas referências, números inconsistentes entre texto e tabelas, promoção exagerada de resultados e seções de discussão que só repetem métricas são sinais de que o manuscrito não foi revisado adequadamente
• O bib-audit, que cruza referências com vários registros, foi publicado, mas como envia parte de submissões privadas para um LLM hospedado, revisores precisam verificar antes as políticas de confidencialidade e de LLM de cada conferência

---

A escala observada ao revisar 22 artigos

• Dois revisores avaliaram ao longo do verão um total de 22 artigos no workshop geoespacial TerraBytes de NeurIPS, WACV e ECCV
  • Em 15 artigos (68%), encontraram sinais claros de geração por LLM, como citações totalmente fabricadas, listas de autores adulteradas de artigos reais, terminologia alucinada, frases sem sentido e citações irrelevantes
  • Um revisor encontrou esses problemas em 6 de 11 artigos (55%); o outro, em 9 de 11 (82%)
• Os resultados por conferência foram os seguintes
  • Trilha Datasets and Benchmarks da NeurIPS: 2 de 5 artigos
  • Trilha Position Paper da NeurIPS: 2 de 2 artigos
  • TerraBytes: 1 de 2 e 4 de 5, respectivamente
  • WACV: ambos os revisores encontraram problemas em 3 de 4 artigos
• Só pelos problemas de citação, havia artigos que mereciam desk reject em número de 5 e 9 para cada revisor
  • Dois artigos da WACV tinham trocado já no primeiro item da bibliografia os autores reais por nomes falsos
  • Um artigo da NeurIPS continha terminologia alucinada ou sem sentido ao longo de 53 páginas, tornando sem propósito até mesmo revisar as referências
  • Os dois Position Papers da NeurIPS foram ambos considerados gerados por LLM, e 4 dos 5 artigos atribuídos no TerraBytes também tinham citações ou autores falsos

Citações alucinadas espalhadas pela literatura acadêmica

• Uma análise da Nature de abril de 2026 indicou que ao menos dezenas de milhares de publicações de 2025 podem ter incluído referências incorretas geradas por IA
• A auditoria de Zhao e colegas em arXiv, bioRxiv, SSRN e PubMed Central estimou cerca de 146.900 citações alucinadas só em 2025
  • Elas não estavam concentradas em poucos agentes maliciosos, mas espalhadas de forma superficial por muitos artigos
  • A maior probabilidade de inclusão apareceu entre pesquisadores em início de carreira e equipes pequenas
  • Ao rastrear até a versão publicada preprints do bioRxiv com citações alucinadas, 85,3% permaneceram inalteradas
• Em uma auditoria de 2,5 milhões de artigos biomédicos da The Lancet, a proporção de artigos com ao menos uma referência falsa aumentou 6 vezes em dois anos
  • Foi de 1 a cada 2.828 artigos em 2023 para 1 a cada 458 em 2025
  • No início de 2026, chegou a 1 a cada 277 artigos
• Em uma análise de 100 citações alucinadas em artigos publicados na NeurIPS 2025, todas as citações passaram por 3 a 5 revisores especialistas
  • Os artigos que continham essas citações eram 53, cerca de 1% dos aceitos, e elas ainda permanecem nos proceedings

Revisão por pares escrita por IA e possibilidade de manipulação

• A análise da Pangram sobre o ICLR 2026 concluiu que 15.899 revisões, ou 21%, foram totalmente geradas por IA
  • Mais da metade de todas as revisões teve algum nível de participação de IA
• A Organization Science registrou um aumento de 42% nas submissões desde a chegada do ChatGPT, e mediu que hoje mais de 30% das revisões por pares usam IA em algum grau
• A detecção de prompt injection no ICML 2026 encontrou uso de LLM em cerca de 795 revisões escritas por 506 revisores da Policy A, para os quais o uso era proibido
  • Isso corresponde a cerca de 1% de todas as revisões
  • Na NeurIPS também foram observadas revisões éticas claramente geradas por IA e várias réplicas também geradas por IA
• Revisões feitas por IA podem elevar a avaliação reescrevendo adversarialmente o resumo, sem alterar o conteúdo científico do artigo
  • No experimento de Li e colegas, o ataque mais forte obteve taxa de sucesso de cerca de 38%
  • Em uma escala de 10 pontos, a pontuação de aceitação subiu 1,31 ponto com revisores Gemini 3 Flash e 0,88 ponto com revisores GPT 5.4 Mini
  • O atacante nem precisava saber qual modelo de revisão seria usado

Manipulações e sinais identificados em revisões reais

• O pior caso foram duas submissões que mantinham conferência, título e outros autores de artigos reais, mas trocavam apenas um autor conhecido pessoalmente por um nome fictício semelhante
  • O revisor recomendou rejeição e denunciou diretamente aos organizadores, mas os dois artigos foram aceitos para apresentação oral sob condição de corrigir as referências
• Um artigo da WACV que citava SatMAE listava os autores como “Yuyang Cong, Saurabh Khanna, Chen Meng, et al.”
  • A lista real de autores começa com Yezhen Cong, Samar Khanna e Chenlin Meng
• Artigos da NeurIPS com 53 e 40 páginas continham terminologia alucinada e referências fabricadas, e um deles até deixou notas internas do LLM ao lado de várias citações
• Autores falsos e referências totalmente inventadas revelam que o manuscrito não foi revisado de forma suficiente
  • Fica incerto se os trabalhos citados foram realmente lidos, se foram citados no contexto correto e se outras partes do artigo, código e dataset também são confiáveis
  • A posição defendida é que artigos com referências alucinadas não estão prontos para aceitação e devem receber desk reject

• Sinais de alta probabilidade de texto escrito por LLM

  • Sinais estilísticos comuns incluem construções de contraste como “It’s not X, it’s Y” e “The real X is Y”, uso excessivo de negrito e travessão, frases densas de difícil interpretação e promoção exagerada dos resultados
  • Um sinal mais sutil é quando números ou métricas no texto não batem com as tabelas
  • Essas inconsistências surgem quando, após reexecutar experimentos, não se manda o agente atualizar ou verificar todos os números
  • O Claude tende a comprimir no corpo do texto números que deveriam ir para apêndice ou código, e a repetir na discussão apenas as métricas das tabelas
  • Modelos customizados que chamam de SOTA melhorias abaixo de 1% sem média nem desvio-padrão, fórmulas complexas onde uma citação bastaria e estudos de ablação que deveriam estar no apêndice também são sinais de alerta

Mudanças no trabalho de revisão

• O processo de revisão mudou para olhar primeiro as referências logo após ler o resumo e verificar rapidamente se o artigo inteiro parece saída de LLM
• Como mais tempo é gasto procurando vestígios de LLM, a premissa de que o artigo foi submetido de boa-fé também enfraquece
  • Há a sensação de que caiu muito o número de artigos interessantes, legíveis e realmente escritos por humanos
  • Ainda assim, excetuando as referências alucinadas, muitos problemas lembram os de artigos ruins escritos por humanos que já existiam antes
• O uso de LLM em si não é critério de avaliação
  • Mesmo se um LLM ajudou na redação, não há problema se a pesquisa for interessante e os experimentos forem válidos e reproduzíveis
  • O problema é submeter saída de LLM sem revisão e pedir que o revisor faça esse trabalho de validação
• Como conferências obrigam autores a fazer 4 ou 5 revisões, o volume de revisão não paga também aumentou
  • Revisores usam noites e fins de semana para revisar, e descobrir tarde uma alucinação de citação desperdiça esse tempo
  • Para aprender com a revisão, o pesquisador precisa primeiro ler e refletir de verdade sobre o próprio trabalho

Como usar LLMs em pesquisa e escrita

• LLMs como Claude são usados diariamente, mas a saída sempre passa por verificação, edição e reescrita
  • Claude é usado em rascunhos de revisão de literatura, mas os artigos e posts originais são lidos diretamente depois
  • O estudo original citado por um blog é localizado e substituído, os materiais são reorganizados e detalhes desnecessários são removidos
• Antes de submeter um artigo, o manuscrito inteiro é lido com cuidado e as referências são checadas manualmente
  • Claude é instruído a encontrar trechos ambíguos e depois entrevistar com perguntas de múltipla escolha para alinhar a intenção
  • Mesmo após rodar bib-audit, itens individuais são conferidos em bases como Google Scholar, IEEE e CVF
  • Também se reutiliza BibTeX real acumulado no Zotero ao longo de vários anos
• Feedback de outras pessoas é buscado cedo e, se necessário, o texto todo é reorganizado ainda na fase de rascunho
  • Trabalhos corridos perto do prazo são vistos como causa de artigos de baixa qualidade feitos com LLM
  • O instinto de pesquisa formado antes dos LLMs continua sendo importante, e há preocupação com jovens pesquisadores gerando pesquisa sem direção

• Como controlar o estilo do Claude

  • Frases escritas por agentes ficam densas demais e fluem mal, por isso travessões e ponto e vírgula são limitados
  • O Fable 5 tende a abusar de dois-pontos no lugar de travessões e a produzir um estilo de marketing B2B SaaS
  • O objetivo é escrever frases que não sejam agressivas nem insossas demais, mas que também possam ser lidas por gente de fora da área
  • Foi eficaz usar um skill com regras entre escrita científica e ASD-STE100 Simplified Technical English
  • Primeiro é preciso definir o objetivo do texto e o público, e depois ajustar o formato a esse público
  • O estilo padrão do Claude não é adequado para leitores científicos
  • Se sobrarem negritos excessivos, listas e frases de marketing, até a origem e a verificação do conteúdo podem passar a ser questionadas

Por que é preciso filtrar na etapa de submissão, e não só exigir divulgação pública

• Exigir divulgação do uso de LLM pode ajudar pesquisadores de boa-fé, mas não deve mudar muito o comportamento real
  • O TorchGeo adicionou uma política de IA com os níveis “sem uso de LLM”, “assistido por LLM” e “inteiramente escrito por LLM”, mas é improvável que muitos escolham voluntariamente a última opção
  • Mesmo se foi escrito com LLM, um bom artigo com resultados verificados e reproduzíveis ainda pode ser aceitável
• É preciso haver um mecanismo de desk reject ou ferramenta de sinalização que detecte erros comuns de LLM e determine se o manuscrito está em condições de ser revisado
  • Hoje, na prática, revisores acabam dividindo esse trabalho de desk reject, o que é injusto com revisores de boa-fé
  • O ICLR passará a divulgar nomes de autores no OpenReview a partir de 2027
• A responsabilidade é de autores, orientadores, chairs de área, organizadores e sociedades acadêmicas
  • Autores não devem submeter em massa artigos de baixo esforço apenas para inflar o currículo
  • Orientadores e mentores devem impedir submissões de baixo esforço feitas por estudantes
  • Organizadores precisam criar formas de filtrar isso em meio ao alto volume de submissões
• O problema de incentivos na publicação já existia antes dos LLMs, e Lipton e Steinhardt já haviam descrito em 2018 a maquiagem matemática, o mau uso da linguagem e os incentivos desalinhados
• Mesmo que um projeto de aula ou um resultado de pesquisa automatizada possa ser transformado por LLM em um artigo no formato da NeurIPS, ele não deve ser submetido se não trouxer contribuição de pesquisa real
  • Com Opus 4.6 e o repositório autoresearch de Karpathy, foi possível produzir resultados com aparência de SOTA e um artigo usando LandCoverAI, mas isso não foi submetido por não constituir contribuição de pesquisa
  • A AAAI 2027 recebeu 48.000 resumos, ampliando ainda mais a escala do problema de filtragem automática

Auditoria automática de referências com bib-audit

• bib-audit é um skill Claude Code sob licença MIT que compara título, ano e lista completa de autores das referências com registros de entidades de registro
• Ele aceita .bib, .bbl e PDF como entrada
  • Em .bbl e PDF, o Claude reconstrói referências renderizadas em campos estruturados
  • Depois, um script verifica cada item em Crossref, arXiv, DataCite, Semantic Scholar
• Os resultados são ordenados dos erros mais graves para os menos graves
  • artigos inexistentes
  • identificadores adulterados e autores falsos
  • metadados incorretos de artigos reais, lista de autores truncada e diferença de ano entre preprint e versão publicada
  • erros de formatação como hífen simples em intervalo de páginas, DOI salvo como URL e iniciais no formato J.D.
• Como não verifica apenas a existência do título, mas compara a lista completa de autores, ele consegue encontrar trocas de autor como no caso do SatMAE
• Itens ligados apenas por busca de título, sem DOI nem ID do arXiv, não são tratados como certeza e retornam como recomendação de verificação manual
  • Em revisões, não se deve especular sobre motivação; só relatar fatos observados, como “o primeiro autor no registro do arXiv não é Yuyang Cong, mas Yezhen Cong”
• A verificação de .bib é somente leitura, não exige dependências separadas e pode ser configurada para falhar apenas em divergências de itens fixados por identificador, permitindo uso como gate de CI antes da submissão
• Além do Claude, também pode ser instalado em Codex, Copilot, Cursor e outros agentes com npx skills add isaaccorley/skills

Confidencialidade e políticas das conferências que revisores precisam checar

• O processo de auditoria envia parte das referências de submissões privadas para um LLM hospedado, então, mesmo sem usar LLM para escrever a revisão, isso pode violar a política da conferência
• A política da ECCV 2026 proíbe usar LLM local ou via API para escrever revisões ou meta-revisões, e também proíbe separadamente compartilhar partes substanciais da submissão com LLMs
• As diretrizes para revisores da WACV definem revisões geradas por LLM como comportamento altamente irresponsável
  • Em caso de violação, o próprio artigo do revisor pode receber desk reject
  • Também é proibido mostrar material confidencial a terceiros, e um LLM hospedado não é um revisor
• A política de LLM da NeurIPS limita o que revisores podem compartilhar com serviços de LLM
  • O experimento oficial de revisão assistida por IA é o caminho de uso autorizado
• Autores podem rodar bib-audit por conta própria antes da submissão, mas revisores devem verificar primeiro a política de LLM e confidencialidade da conferência antes de usar a ferramenta

[GN⁺]

Opiniões no Hacker News

• No processo atual de publicação de pesquisas em IA, a IA está cuidando da redação de artigos, revisão, leitura e resumo
  A NeurIPS também está conduzindo um experimento de revisão assistida por IA, e há tantos artigos nas principais conferências que é impossível uma pessoa ler todos
  No processo de publicação acadêmica, os humanos estão sendo rapidamente empurrados para fora pela automação

  • Vejo isso mais como a automação da produção em massa de artigos de baixa qualidade do que como a remoção de humanos do processo de publicação
    Passei por algo parecido em uma revisão recente da EMNLP, e a IA ainda está longe de conseguir julgar a qualidade de uma pesquisa
    O bem público que é a revisão por pares honesta está sendo abusado, mas não parece haver uma solução clara além de restringir o acesso ao sistema de revisão por meio de algum sistema extremo de pontuação social
  • O próximo passo parece ser periódicos operados por IA cobrando assinatura de outras IAs, e universidades operadas por IA promovendo a IA com mais artigos e citações
  • O ponto importante é que artigos em que o uso de IA foi detectado ainda assim foram aceitos
    Como a grande maioria dos pesquisadores usa IA ativamente, eles não querem punir isso nem criar um ambiente que acabe prejudicando a si próprios; o clima geral é algo como não se preocupe e aceite
    No fim, isso revela a dura realidade de que quase ninguém realmente levava a ciência em si a sério desde o começo
  • Isso faz pensar em desertos de raciocínio (reasoning deserts), algo parecido com desertos alimentares
    Seriam espaços onde, por cálculo econômico, são fornecidos substitutos que só se parecem por fora, sem os componentes reais necessários à saúde e à prosperidade humanas
  • Não estão expulsando os humanos com automação, mas tornando a própria academia sem sentido
    Se essa for a aparência normal da academia, fica mais fácil simpatizar com quem defende cortes no financiamento à pesquisa

• Isso é uma consequência lógica do sistema de publique ou pereça
  Se esse sistema acabar, a maior parte do problema também desaparecerá; e, mesmo que administradores queiram métricas simples, pesquisa não tem esse tipo de métrica

  • A produtividade de publicações na ciência é como medir, em desenvolvimento de software, o número de linhas de código escritas
    A dívida técnica é exatamente igual: há artigos incontáveis, mas a maioria provavelmente não será reproduzida, e não sabemos quais são
  • Então fica a dúvida se existe algum indicador de avaliação de pesquisa que seja complexo, mas utilizável
    Publicações e citações podem ser manipuladas, mas são concretas; artigos muito citados em geral são úteis, e o autor é recompensado por isso
    Se isso for eliminado sem uma alternativa melhor, o sistema pode passar a depender ainda mais de networking e lábia do que hoje
  • Professores já precisam cumprir vários requisitos além de artigos, como aulas, serviço institucional, participação em comitês, orientação e formação de pós-graduandos, e tudo isso entra na avaliação para tenure

• Acho que submeter erros gerados por IA sem conferência deve ser tratado como uma infração equivalente a plágio, com punições semelhantes

  • Pelo que sei, políticas que proíbem submissões a periódicos por um ano ou mais quando o uso de IA não é declarado honestamente já estão sendo adotadas, e o arXiv parece caminhar em direção parecida
    Declaração de uso e uso excessivo são coisas diferentes, mas, se a pessoa nem verificou alucinações e erros, o problema essencial é mais incompetência e preguiça do que IA

• As estatísticas mensais de submissões do arXiv talvez devessem ser convertidas para uma escala logarítmica
  Parece possível que a academia em 2027 vire algo como o Moltbook

  • Se a tendência de crescimento logarítmico tiver começado antes da era dos artigos sobre LLMs, talvez se possa ingenuamente esperar que ela reflita apenas a popularização dos preprints no arXiv
  • A direção geral está correta, mas a situação varia muito entre áreas e subáreas
    Artigos ruins se concentram em temas vistosos e amplos, especialmente em aprendizado de máquina, onde o problema é grave; mas ainda há muitos temas importantes e de nicho que esses autores ainda não tocaram
    Essas áreas continuam sendo lideradas por pesquisadores sérios, mas é difícil saber que existem sem estudá-las diretamente

• Isso é um efeito colateral de a academia não ter tratado a abertura de acesso a artigos e periódicos com seriedade
  Se os artigos não ficassem bloqueados por restrições de acesso dos periódicos, seria fácil verificar ao menos se os artigos citados e as citações existem

  • O problema está mais nas editoras do que na academia: elas se apoiam na marca para extrair o máximo de lucro possível
    A revisão por pares se parece com o papel de moderadores do Reddit, que recebem prestígio sem remuneração enquanto a plataforma e a editora ficam com os ganhos
    É uma estrutura em que o autor paga para publicar e outros autores fazem até a revisão de graça; por isso é natural que acadêmicos publiquem preprints ou artigos populares em seus sites pessoais
  • A existência de um artigo geralmente pode ser verificada facilmente mesmo em periódicos fechados, usando apenas índices públicos do periódico, informações de autores e resumo, e citações por DOI
    No entanto, para verificar se o conteúdo citado realmente corresponde à alegação, é preciso ler e interpretar o artigo, então o acesso aberto por si só não torna isso simples; mesmo usando IA para uma primeira checagem, é um trabalho muito árduo
  • Isso mostra uma falha humana crônica que se repete em qualquer grupo. Ninguém quer limpar a própria casa
  • A existência dos artigos citados já é fácil de verificar
  • Pelo menos na pesquisa biomédica, a maior parte passa a ser de acesso aberto imediatamente após a publicação ou depois de um ano

• Fico em dúvida se é verdade que, ao submeter um artigo a uma conferência, a pessoa é obrigada a revisar 4 ou 5 artigos
  Mesmo artigos bons acabam sendo revisados obrigatoriamente por pessoas cuja origem e especialidade não se conhece

  • É verdade, e 4 ou 5 ainda é uma estimativa baixa
    Eu fui obrigado a revisar 7 artigos; candidatei-me a 30 artigos que queria revisar entre 30 mil, mas não fui designado a nenhum deles e acabei com 7 artigos nos quais não tinha especialidade suficiente
  • Em conferências da família ACL, não se trata de pessoas totalmente aleatórias: elas precisam ser autoras de pelo menos 2 artigos em eventos principais da ACL ou no Findings, e de pelo menos mais 1 artigo na ACL Anthology ou em conferências importantes de ML/IA
    Mas o número de submissões continua crescendo e faltam revisores voluntários, então a revisão obrigatória de fato está sendo aplicada: critérios de incentivo à revisão

• Vale conferir o paradoxo de Chavda: https://zencapital.substack.com/p/chavdas-paradox

• No começo, achei que Caleb e Isaac fossem nomes de dois algoritmos para detectar uso de IA em artigos publicados, mas na verdade eram os nomes de dois autores que escreveram com ajuda de IA
  Se os dois chegaram a julgamentos diferentes, fico curioso sobre quanto se sobrepõem os artigos que cada um marcou como problemáticos

• Ainda está em fase alfa, mas estou desenvolvendo um aplicativo de verificação de citações https://veruscite-data.com/ com objetivo de apresentá-lo no Show HN daqui a algumas semanas
  Quem está familiarizado com ferramentas de IA generativa pode usar diretamente as funcionalidades oferecidas por Caleb e Isaac no texto, mas esta ferramenta é mais eficiente em tokens e oferece uma GUI que facilita revisar e corrigir as referências extraídas