Substituir o "peer review" por "peer replication" (2021)

• O artigo discute a ideia de substituir a revisão por pares tradicional na pesquisa científica por "replicação por pares".
• O autor argumenta que o processo atual de revisão por pares é falho e pode ser um obstáculo significativo para comunicar descobertas científicas importantes.
• O processo proposto de "replicação por pares" envolve, em vez de receber revisão de alguns especialistas, enviar pré-prints para outros laboratórios a fim de replicar os resultados.
• O autor sugere que o verdadeiro teste de um artigo deveria ser a capacidade de reproduzir seus resultados no mundo real.
• O artigo destaca que atualmente laboratórios independentes têm pouquíssimo incentivo para replicar resultados publicados, o que vai na direção oposta de como a ciência idealmente deveria funcionar.
• No sistema proposto, os pesquisadores que realizarem o trabalho de replicação receberão reconhecimento no artigo publicado, oferecendo motivação por seu esforço.
• O autor reconhece desafios potenciais dessa abordagem, como a necessidade de mais tempo entre submissão e publicação, além da dificuldade de reproduzir resultados que usam técnicas científicas avançadas ou exigem recursos substanciais.
• O autor propõe, para tornar esse processo mais viável, submeter os detalhes da história e organizar a replicação enquanto o manuscrito ainda está sendo preparado.
• O artigo conclui sugerindo que organizações como a Review Commons poderiam organizar testes dessa nova abordagem, e que, se os cientistas virem replicação por pares em artigos impressos, ela poderá se tornar um método preferido em vez da revisão por pares tradicional.

[GN⁺]

Opinião do Hacker News

• Este artigo propõe substituir o atual sistema de revisão por pares na pesquisa científica por "replicação por pares".
• Os críticos argumentam que replicar todos os artigos publicados exigiria esforço e recursos consideráveis, e que isso pode não trazer benefícios para os cientistas que realizam a replicação.
• O objetivo das publicações científicas é compartilhar novos resultados com outros cientistas para que eles possam dar continuidade ao trabalho ou validá-lo. O processo de revisão por pares foi inicialmente concebido para rejeitar artigos mal escritos e spam evidente.
• O processo de revisão por pares não garante a replicação, mas garante a legibilidade e a compreensibilidade do artigo.
• Alguns sugerem que a "replicação por pares" é irrealista para experimentos que custam bilhões de dólares. Em vez disso, adicionar metadados sobre artigos replicados pode ser uma abordagem mais viável.
• Em áreas como ciência da computação e aprendizado de máquina, a ambiguidade dos artigos tem levado à exigência de uma abordagem do tipo "sem código, não aconteceu".
• Alguns afirmam que o conceito de "replicação por pares" foi mal compreendido. Se isso significa que outro laboratório deve gerar um conjunto de dados compatível para replicar os resultados, então não seria viável por causa do custo e do tempo necessários para coletar os dados.
• Propõe-se dividir a "revisão por pares" em "revisão de legibilidade" e "declaração de replicabilidade". Esta última detalharia a metodologia e as estratégias usadas para conduzir o experimento.
• A exigência de submeter uma "revisão de replicabilidade" ou um "mapa metodológico" para cada artigo é vista como uma abordagem mais realista. Isso envolveria idas e vindas entre revisores e autores, com o objetivo de reproduzir os resultados.
• Alguns críticos argumentam que informações cruciais necessárias para reproduzir os resultados frequentemente são omitidas dos artigos, o que reduz a confiança em determinadas linhas de pesquisa científica.
• Apesar do apelo da "replicação por pares", os críticos argumentam que isso nem sempre é prático, especialmente no caso de grandes projetos como LIGO, LHC e JWST.