Atualização das práticas de submissão para artigos de revisão e position papers na categoria de Ciência da Computação (CS) do arXiv

• A categoria de Ciência da Computação (CS) do arXiv introduziu novas práticas de avaliação para artigos de revisão (survey) e position papers
• Agora, esses artigos só podem ser submetidos ao arXiv depois de serem aceitos em periódico ou conferência após passar por revisão por pares (peer review)
• No momento da submissão, é obrigatório incluir documentação que comprove a revisão por pares bem-sucedida (ex.: referência do periódico, metadados de DOI)
• Submissões sem documentação de verificação têm alta chance de serem rejeitadas, medida adotada em resposta ao recente excesso de artigos impulsionado pela IA generativa
• Com essa mudança, o arXiv busca compartilhar apenas artigos de revisão de alta qualidade e focar na circulação de artigos de pesquisa centrais

---

Requisitos de submissão atualizados

• Artigos de revisão e position papers só podem ser submetidos ao arXiv após serem aceitos em periódico ou conferência e concluírem a revisão por pares
  • Na submissão, é preciso incluir documentos que comprovem a revisão por pares bem-sucedida
  • Na ausência dessa comprovação, há alta probabilidade de rejeição
• Revisão em nível de workshop não é considerada revisão por pares tradicional e, portanto, não atende aos requisitos de submissão

Contexto da política

• Pela política oficial do arXiv, artigos de revisão e position papers não são tipos de conteúdo oficialmente permitidos
  • No passado, apenas um pequeno número de artigos de alta qualidade era aceito a critério dos moderadores
• Com a recente expansão da IA generativa e dos grandes modelos de linguagem (LLMs), houve um forte aumento de artigos de revisão de baixa qualidade
  • A maioria se limita a listar referências, com pouca discussão de pesquisa realmente nova
• Nessa situação, a carga de trabalho de revisão dos moderadores tornou-se excessiva, prejudicando o objetivo central do arXiv (compartilhar artigos de pesquisa)

Objetivo da mudança

• Garantir que apenas artigos de revisão e position papers valiosos, escritos por especialistas, possam ser encontrados com facilidade no arXiv
• Reduzir a carga de trabalho dos moderadores e permitir foco na análise dos tipos de conteúdo oficiais
• Preservar o objetivo principal do arXiv de promover descobertas científicas de forma rápida e livre

Diferença entre antes e agora

• No passado, artigos de revisão eram escritos por um pequeno número de pesquisadores renomados ou sob solicitação de instituições formais (ex.: Annual Reviews, IEEE, Computing Surveys), o que mantinha a qualidade alta
• Position papers também eram, em sua maioria, produzidos por associações acadêmicas ou grupos governamentais de pesquisa (ex.: Computing Research Association, National Academies)
• Hoje, centenas de artigos de revisão são submetidos todos os meses, e o volume chegou a um ponto em que o controle de qualidade se tornou difícil

Uso de instâncias externas de avaliação

• O arXiv não tem pessoal nem recursos suficientes para realizar por conta própria a verificação de qualidade
• Em vez disso, reconhece a validação feita por instâncias externas confiáveis de avaliação (conferências e periódicos)
  • Essas instâncias realizam análises aprofundadas de temas ligados à IA, como privacidade, ética, segurança e proteção
• Com isso, o arXiv passa a conseguir compartilhar apenas artigos com qualidade assegurada

Reenvio e exceções

• Artigos rejeitados por não terem concluído a revisão por pares podem ser reenviados por meio do processo de recurso (appeal) caso a avaliação seja concluída posteriormente
  • No entanto, não é permitido reenviar sem um recurso aprovado
• Artigos de pesquisa sobre os impactos sociais da ciência e da tecnologia (cs.CY, physics.soc-ph etc.) não são afetados por esta mudança

Possível expansão para outras categorias

• Cada categoria do arXiv é operada de forma independente por moderadores especialistas
• Embora todas as categorias sigam a mesma política, artigos de revisão continuam sendo, em princípio, um tipo de conteúdo não oficial
• Se houver também em outras áreas um aumento repentino de artigos baseados em LLM, medidas semelhantes de endurecimento da triagem poderão ser adotadas
• Caso isso aconteça, haverá um anúncio oficial

[GN⁺]

Comentários do Hacker News

• Aponta-se que o problema está numa estrutura que recompensa pela quantidade produzida pelas pessoas
  Se os pesquisadores recebem incentivos com base no número de artigos, eles acabam explorando o sistema ao máximo, publicando o maior número possível de trabalhos com qualidade mínima
  O mesmo vale para recompensas baseadas em visualizações ou em exibição de anúncios, que também induzem comportamentos distorcidos
  No fim, o mundo online é um sistema desenhado não para humanos, mas para a otimização algorítmica

  • Ouvi dizer que uma estrutura parecida também aparece na indústria de apoio a pessoas em situação de rua
    Em São Francisco, o valor recebido por ONGs é definido pelo “número de pessoas em situação de rua ajudadas”, o que acaba criando incentivos para mantê-las nessa condição em vez de reduzi-la
  • Há quem defenda que não se deve culpar os LLMs
    O problema são as pessoas e o sistema de incentivos, não a ferramenta em si
  • O próprio apelo dos LLMs está na “produção rápida”
    A cultura de medir desempenho por métricas sem sentido, como linhas de código ou número de commits, já está errada por si só
    Parece que vivemos agora no “inferno de Goodhart” — um mundo em que manipular a métrica virou o objetivo
    Em tom de piada, isso satiriza a realidade corporativa em que essa gestão centrada em indicadores acaba provocando grandes falhas
  • Surge a dúvida de como seria um sistema de recompensa centrado em qualidade
    Pergunta-se que forma teria um mundo online centrado em humanos e como os criadores de conteúdo deveriam ser remunerados
  • Alguns consideram que esse problema está sendo mal interpretado
    Enfatizam que o verdadeiro ponto central não é o número de artigos, mas a captação de verba de pesquisa e a qualidade das propostas

• Houve um mal-entendido de que o arXiv não aceitaria mais preprints
  Na realidade, a mudança foi apenas que “artigos de revisão” e “position papers” só podem ser enviados após aprovação em revisão por periódico ou conferência

  • Explica-se que essa medida é necessária porque LLMs podem gerar com facilidade artigos opinativos sem contribuição técnica
  • Não se trata de uma mudança de política; esse tipo de material originalmente já não estava dentro do escopo permitido pelo arXiv
  • A versão de periódico não pode ser enviada, mas o mesmo conteúdo, exceto pela formatação, pode ser publicado
  • Há quem veja a mudança como positiva, já que o arXiv estaria se tornando uma espécie de blog para currículo
  • Ainda é possível enviar artigos de pesquisa

• Surgiu a proposta de introduzir um sistema de reputação no arXiv
  A ideia é que autores publiquem junto uma chave PGP pública para formar uma rede de confiança

  • Com base em web-of-trust, propõe-se uma estrutura em que qualquer pessoa possa recomendar artigos e a qualidade seja julgada pelo cálculo da rede de confiança
    Isso poderia ser menos fechado que periódicos tradicionais e mais organizado do que um sistema totalmente aberto
  • Também foi sugerido um modelo em que o arXiv mantenha os preprints gratuitos, mas ofereça serviços de revisão por especialistas pagos
  • Conta-se que um professor chegou a fazer a proposta extrema de “excluir pesquisadores de fora da Ivy League” — uma crítica satírica à injustiça dos sistemas de reputação

• Aponta-se um problema de controle de qualidade no arXiv
  Só em outubro houve 26.000 submissões (link de estatísticas), e há excesso de artigos sem verificação
  Sugere-se que uma pequena taxa de submissão poderia reduzir spam

  • Ainda assim, há quem diga que usuários de LLM deveriam ser punidos diretamente, em vez de penalizar todos os usuários
  • Também há a análise de que não é uma questão de dinheiro, mas de obter benefícios concretos por meio dos artigos, como emprego, admissão e visto
  • Se houver taxa de submissão, ela deveria ao menos cobrir o custo de uma revisão simples, e propõe-se classificações como “não revisado”, “revisão simples”, “revisão completa” e “verificação de reprodutibilidade”, conforme o nível da análise
  • Também apareceu a opinião de que, como no Metafilter, só uma taxa de adesão de 1 dólar já teria efeito contra spam

• Houve quem apontasse que o título do post no HN estava errado
  Na prática, a formulação correta seria: “Devido ao rápido aumento de artigos de revisão escritos por IA, a área de CS do arXiv passa a exigir peer review para artigos de revisão”

  • O “Due to LLMs” do título original podia ser entendido erroneamente como “artigos escritos por LLM”
  • Como o propósito original do arXiv é a divulgação antes da revisão, essa medida não destrói esse valor
  • Alguns lamentam não poder mais aproveitar o humor bizarro produzido por artigos feitos por LLM

• Há curiosidade sobre a motivação de quem envia artigos totalmente gerados por IA ao arXiv
  O processo de submissão é trabalhoso, então fica a dúvida de por que ainda assim fazem isso

  • Explica-se que a velha prática acadêmica de inflar a contagem de artigos para manipular o h-index está sendo acelerada pelos LLMs
  • Como itens como “autor de artigo acadêmico” contam em avaliações para vistos EB-1 e similares, até uma publicação meramente formal já pode ter grande valor
  • Também se especula que isso possa servir simplesmente para ostentação de resultados, para mostrar à família ou a empregadores

• Aponta-se que a maioria dos artigos de baixa qualidade trata de temas relacionados a IA
  Muita gente, ao ter o primeiro contato com LLMs, faz experimentos autorreferenciais do tipo “vamos fazer um LLM escrever sobre LLMs”
  Como resultado, surgem resumos misturados e confusos dos dados originais

  • Artigos gerados por IA também têm sido encontrados em outras áreas além de CS, e alguns chegam a citar artigos inexistentes
  • Espera-se que o arXiv não se restrinja a “permitir apenas pesquisa nova”. Já existem artigos de pesquisa gerados por IA, e esses são ainda mais difíceis de detectar
  • O valor do arXiv está no feedback inicial e na abertura, então “permitir apenas artigos com peer review” significaria, na prática, “não entrem”

• A medida recente do arXiv é avaliada positivamente
  Em áreas que mudam rápido, como multi-agent systems e agentic LLMs, há necessidade de critérios claros
  Exigir metadados legíveis por máquina sobre tipo de artigo, links para dados/código e escopo de benchmark poderia aumentar a confiabilidade
  Padronizar tags como “Survey” e “Position” e uma checklist de reprodutibilidade ajudaria a manter a qualidade sem bloquear ideias iniciais

• O arXiv já enfrenta há muito tempo o problema de artigos de baixa qualidade para autopromoção
  É algo que existe desde antes dos LLMs

  • Mas o arXiv é, em essência, uma plataforma para compartilhar resultados rapidamente, então a queda de qualidade seria menos um “sofrimento” e mais uma estrutura em que os próprios usuários precisam filtrar o que leem