Substituir a "revisão por pares" por "replicação por pares" (2021)
(blog.everydayscientist.com)- Em muitas áreas científicas, falta reprodução independente, mas a atual revisão por pares acaba sendo uma barreira com alta chance de erro e que atrasa a divulgação de pesquisas importantes
- A replicação por pares proposta troca a avaliação do manuscrito por revisores anônimos por uma estrutura em que outro laboratório reproduz de fato os resultados centrais e isso passa a influenciar a decisão de publicação
- Pesquisadores que participam da replicação ganham uma linha separada com seus nomes no artigo, recebendo citações e um item no CV, e os autores passam a defender seus resultados pela reprodutibilidade em vez de responder a exigências de experimentos extras dos revisores
- Experimentos que exigem técnicas avançadas, muito tempo ou muitos recursos são todos difíceis de replicar, então editores, autores e revisores precisam escolher o que será reproduzido equilibrando rigor e viabilidade
- Para reduzir replicações fracassadas, tentativas repetidas e journal shopping, são necessários mecanismos de transparência como pré-registro, divulgação de casos malsucedidos e arquivamento de artigos rejeitados
A replicação por pares proposta como alternativa à revisão por pares
- A verificação ideal na ciência não é alguns especialistas carimbarem um manuscrito como aprovado, mas confirmar se as descobertas do artigo são reproduzidas no mundo real
- O melhor teste para uma nova metodologia não é a revisão do artigo, mas outro pesquisador realmente usar a técnica
- Como quase não há incentivo para laboratórios independentes verificarem novamente resultados já publicados, a maioria dos artigos publicados nunca é replicada de forma independente depois
- Na replicação por pares, o preprint ou manuscrito é enviado a outro laboratório, e esse laboratório reproduz na prática as descobertas centrais
- Se a descoberta central for replicada, o manuscrito é aprovado e publicado
- O autor pode pedir opiniões a colegas e revisar o manuscrito, mas o editor não assume o papel de intermediar comentários ou exigir revisões
Como publicar junto os resultados da replicação
- O artigo publicado inclui, junto com os dados originais, os resultados das tentativas de replicação
- Pode-se mostrar em forma de tabela quais reagentes e técnicas foram idênticos aos do experimento original
- Quanto mais parâmetros tiverem mudado entre o experimento original e o experimento de replicação, mais a descoberta final se torna um resultado robusto caso se obtenham resultados semelhantes
- Com base nos resultados da replicação, os leitores podem julgar diretamente se o conjunto das evidências sustenta as alegações do artigo
Incentivos para os participantes
- A revisão por pares tradicional exige muito tempo e esforço para ser bem feita, mas oferece quase nenhuma recompensa
- Na replicação por pares, o nome do pesquisador que realizou o trabalho de replicação entra em uma linha separada no artigo publicado
- O revisor pode receber citações
- Ganha outra forma de recompensa equivalente a um artigo que pode entrar no CV
- Os autores podem mostrar que seus resultados se mantêm mesmo após uma verificação rigorosa
- Na revisão tradicional, os autores precisam realizar experimentos adicionais e responder às críticas dos revisores, mas na replicação por pares o revisor assume o papel de defender experimentalmente as descobertas do manuscrito
Viabilidade e efeitos colaterais
- Há muitos estudos difíceis de replicar
- Quando exigem técnicas científicas avançadas
- Quando exigem muito tempo
- Quando exigem muitos recursos, como em experimentos com camundongos
- O editor deve decidir, junto com autores e revisores, quais experimentos serão reproduzidos
- O objetivo é equilibrar rigor e viabilidade
- Partes de experimentos muito complexos podem permanecer sem replicação
- Nesse caso, cabe ao leitor julgar por conta própria como avaliar o artigo como um todo
- A replicação por pares transforma um processo de revisão adversarial em colaboração entre colegas em busca da verdade
- Quando se somam os olhos e o raciocínio de outros pesquisadores, podem surgir novos controles ou abordagens experimentais alternativas que fortaleçam a descoberta original
- O aumento no compartilhamento de procedimentos experimentais pode ajudar em futuras colaborações, novas abordagens e no treinamento técnico de estudantes e pós-doutorandos
- Pode se tornar um canal para disseminar o conhecimento manual/tácito que fica preso dentro de laboratórios individuais
- Quando outros pesquisadores realmente tentam reproduzir os resultados experimentais, fica mais difícil fazer dados manipulados ou imagens adulteradas passarem como reais, o que pode reduzir a má conduta científica
Problemas esperados e como começar
- A replicação por pares pode levar mais tempo entre a submissão e a publicação final
- A revisão por pares tradicional também costuma levar vários meses, então, em muitos casos, os experimentos de replicação podem não acrescentar tempo real ao processo
- O tempo pode ser reduzido se os autores submeterem partes da pesquisa sem esperar a conclusão do manuscrito inteiro
- Um mecanismo independente de periódicos, como o ReviewCommons, seria ideal para preparar a replicação de descobertas parciais
- Quando a replicação falha, é preciso fazer julgamentos
- É preciso decidir se a falha de replicação é essencial para o manuscrito
- Também é preciso avaliar se a tentativa de replicação foi executada de forma adequada
- Pode ser necessária uma segunda tentativa de replicação, mas deve-se evitar o padrão de repetir até dar certo e então parar
- O pré-registro do plano de replicação pode ajudar a reduzir isso
- Os detalhes das replicações malsucedidas devem necessariamente ser incluídos no artigo publicado
- Também permanece o problema do journal shopping, quando o autor é rejeitado em um periódico após uma falha de replicação e depois submete de novo a outro periódico
- Artigos rejeitados devem ser preservados de alguma forma em nome da transparência e da responsabilidade
- Também são necessários mecanismos para que os pesquisadores que participaram da replicação recebam crédito por seu esforço
- A divisão de papéis é a seguinte
- Editor: seleciona os manuscritos submetidos e rejeita ciência claramente defeituosa, experimentos que não valem a pena replicar, ausência de controles essenciais e resultados extremamente tediosos
- Editor: encontra revisores adequados e decide, junto com autores e revisores, quais experimentos replicar e como fazê-lo
- Editor: em consulta com os revisores, toma a decisão final sobre se as descobertas do artigo são suficientemente reprodutíveis para justificar a publicação formal
- Authors: escrevem o manuscrito, buscam feedback por meios como o bioRxiv e o revisam antes da submissão ao periódico
- Authors: apoiam os revisores com desenho experimental, reagentes e, quando necessário, até acesso a pessoal ou equipamentos especiais
- Referees: tentam reproduzir de boa-fé os resultados dos experimentos centrais do manuscrito, realizam experimentos ou controles adicionais se necessário e organizam os resultados
- Readers: com base na confiança de que os experimentos centrais foram replicados independentemente por outro laboratório, avaliam se as evidências sustentam as alegações e citam ciência reprodutível
- Para começar, um piloto em um periódico como a eLife é possível, mas não é preciso esperar que editoras tradicionais deem o primeiro passo
- Uma organização como a Review Commons pode encontrar bons candidatos no bioRxiv, recrutar com os autores revisores que executarão a replicação e depois submeter o pacote completo ao periódico, o que pode ser um caminho mais rápido
- Quando os cientistas passarem a ver, em publicações reais, artigos validados por replicação por pares, ficará difícil levar a sério artigos que passaram apenas por revisão por pares, e uma ciência melhor competirá com descobertas que não foram reproduzidas
1 comentários
Opiniões do Hacker News
Não sei se esse método poderia funcionar na prática, e não cientistas parecem subestimar muito o trabalho necessário para reproduzir todos os artigos
Depende da área, mas reproduzir adequadamente um único artigo pode levar meses. Mesmo sem precisar repetir as tentativas e erros do artigo original, e podendo talvez receber amostras para reduzir o preparo, se não funcionar na primeira tentativa é preciso depurar o experimento e verificar se não houve erro, o que aumenta bastante o tempo
Além disso, esse trabalho traz pouco benefício ao cientista que faz a reprodução e só consome dinheiro e tempo. Se alguém tiver interesse suficiente para expandir aquela pesquisa, de qualquer forma tentará reproduzi-la; se der certo, o artigo subsequente dará apoio indireto ao artigo original, mesmo que não seja um artigo de reprodução direta
Mas há um grande problema: quando o experimento subsequente falha, normalmente ele não é publicado. E isso não se resolve simplesmente dizendo para publicar resultados negativos. Produzir um resultado negativo robusto exige muito mais trabalho do que fazer o experimento e abandoná-lo quando parece não haver chance
Mesmo que algo tenha sido reproduzido, pode não ser publicado se outras condições não se encaixarem. Por exemplo, imagine que uma equipe esteja procurando um novo material inovador para resolver um problema complexo de engenharia e encontre uma substância que foi sintetizada uma vez nos anos 1980 e nunca reproduzida. Como a substância parece ter as propriedades desejadas, eles a sintetizam; a estrutura está correta, mas as propriedades esperadas não aparecem. Nesse caso, é bem provável que não escrevam um artigo e passem para o próximo candidato. Mesmo que várias equipes façam a mesma coisa ao mesmo tempo, quem vier depois não ficará sabendo de nada
“Uma característica singular do processo de revisão é que todos os dados e experimentos relatados no artigo devem ser repetidos com sucesso no laboratório de um membro do conselho editorial, para confirmação de reprodutibilidade, antes da publicação”
https://en.wikipedia.org/wiki/Organic_Syntheses
Por exemplo, reduzir em x o número de artigos exigidos e, em troca, exigir x reproduções, fazendo com que a pessoa tenha um histórico de reprodução em sua área de especialidade. Também seria preciso criar linhas de financiamento para estudos de reprodução e transferi-las para um sistema independente. Mecanismos como distribuição aleatória também seriam necessários. A reprodução deve ser avaliada com o mesmo valor da pesquisa original
Pequenos departamentos de nível R2 poderiam se transformar em hubs de reprodução. Em algumas áreas da biologia, da química e da psicologia, isso pode ser mais fácil do que em física de partículas. Dá para começar por áreas em que o custo de reprodução seja relativamente baixo e ir ajustando os detalhes. Em alguns casos é plenamente possível, mas em algumas áreas talvez continue difícil para sempre
Em robótica, há artigos demais que pegam três ou quatro algoritmos ou modelos de aprendizado de máquina já conhecidos e os aplicam a hardware pronto. Quem tem formação na área consegue praticamente prever os resultados. Para cada espaço de problema popular — próteses de mão, drones de monitoramento de incêndios florestais, robôs-guia de museu — surgem centenas de variações por mês, muito além da quantidade que poderia ser realmente útil
Estudos que afirmam descobertas realmente importantes talvez precisem de um procedimento separado. Não sei exatamente qual deveria ser, mas, sinceramente, talvez o próprio número de artigos devesse diminuir
O objetivo da publicação científica é compartilhar novos resultados com outros cientistas, para que outras pessoas possam construir em cima deles ou verificar sua precisão
Sempre houve aqui um elemento de “reconhecimento de mérito”, mas, do ponto de vista de maximizar o avanço científico, o que realmente importa é a comunicação
Muito tempo atrás, a publicação era mais parecida com um processo informal de circular cartas ou, no caso de um grande resultado, publicar um livro por conta própria. Depois, editoras criaram periódicos formais, e alguns periódicos passaram a receber submissões demais para publicar apenas com base na reputação ou para verificar tudo. Periódicos populares começaram a aplicar critérios editoriais básicos para filtrar artigos pessimamente escritos e spam evidente e, como os editores não eram especialistas em todas as áreas, pediam ajuda a voluntários. Isso é a revisão por pares
Mais tarde, burocratas passaram a exigir uma forma de medir a produtividade dos cientistas para distribuir orçamento e promoções, e usaram o histórico de publicações em alguns periódicos prestigiados como métrica. Como resultado, o processo útil de “compartilhar resultados” passou a parecer, aos olhos de quem está de fora, um processo de obter pontos acadêmicos, e a publicação em si passou a parecer o objetivo final, em vez de uma etapa intermediária no processo de verificação dos resultados
Outros outsiders também entenderam mal esse processo e ficaram irritados com o fato de resultados intermediários poderem estar errados. Em vez de aceitar que o ponto central da publicação é compartilhar amplamente resultados para aumentar a possibilidade de verificação, ou de criar métricas melhores para promoção, eles tentam bloquear o processo central de compartilhamento, torná-lo ineficiente e reduzir o alcance e a velocidade de disseminação da publicação. Essa confusão poderia ser tratada de forma muito mais inteligente
Outro fator aqui é como o público não científico recebe informações da academia. Antigamente, a academia era um grupo relativamente fechado que buscava o conhecimento em si, então esse problema era menos importante. A novidade é que a sociedade passou a se fixar na ideia de que a gestão do Estado e a administração devem seguir fortemente os resultados e opiniões da academia
O entusiasmo por políticas baseadas em ciência causa um impacto triplo. O fato de resultados de pesquisa poderem influenciar políticas pode mudar os próprios incentivos de como a ciência é feita. O fato de resultados acadêmicos terem influência externa também muda que ciência é feita e pode atrair agentes desonestos. Com a influência maior, um público pouco informado vê resultados ainda preliminares ou não reproduzidos e tira conclusões imaturas. Mesmo pesquisas estreitas ou fracas podem receber atenção excessiva se parecerem um bom porrete para atacar o outro lado
Queiram ou não, acadêmicos acabam sendo avaliados por publicações, e acho que quase ninguém entende isso errado. O problema é que esses incentivos são ruins. Criar uma nova categoria de publicação que exija reprodução pode ser possível em algumas áreas, como óptica/fotônica, mas provavelmente será quase impossível em áreas como física experimental de partículas
Em áreas puramente intelectuais, como matemática, física teórica e filosofia, é bem provável que esse tipo de sistema não seja necessário. No meio disso, aprendizado de máquina parece, em teoria, fácil de reproduzir, mas, por exemplo, treinar baselines para grandes modelos de linguagem pode ficar caro demais
A percepção pública de que artigos publicados em periódicos prestigiados são verdades estabelecidas também não ajuda
Hoje, a publicação não cumpre o mesmo papel que cumpria antes da internet. Agora virou algo trivial escrever e publicar um artigo convincente mesmo sem pesquisa: http://theatlantic.com/ideas/archive/…
A revisão por pares não é um mecanismo para garantir a reprodução, mas para garantir a legibilidade e compreensibilidade do artigo
Alguns experimentos custam dezenas de bilhões de dólares para serem realizados, então é impossível aplicar “reprodução por pares” a todos os artigos
Em vez disso, seria possível adicionar metadados sobre artigos reproduzidos
Conferências podem ser diferentes, mas entendo que a revisão por pares está mais próxima de verificar se a metodologia, o escopo, as alegações, a direção, as conclusões e a relevância são válidos e confiáveis
Se alguém dedica tempo para reproduzir algo descrito em apenas um ou dois artigos, isso é valioso para a comunidade e deveria ser incentivado. Melhor ainda se for uma oportunidade para um doutorando aprimorar suas habilidades. Não é glamouroso nem totalmente novo, mas é útil e importante
Esses estudos deveriam ser publicados em periódicos gerais. Se surgirem apenas periódicos dedicados à reprodução, o fator de impacto deles será péssimo e ninguém vai ligar
Sempre há pessoas que consideram algo inadequado se não for uma solução 100% completa e, por isso, não fazem nada. A revisão por pares se mostrou insuficiente, mas as pessoas se agarram desesperadamente a ela. Algumas disciplinas deveriam exigir reprodução para tudo. Não vou apontar especificamente para psicologia ou ciências sociais em geral, mas a taxa de falha de reprodução em algumas áreas está em um nível difícil de aceitar
É preciso mudar os critérios de valor, reconhecendo a reprodução como um caminho válido para tenure e promoção, e tornando-a um elemento obrigatório do doutorado
Em ambas as ocasiões, os pareceres diziam coisas como “o artigo é muito bem escrito, a ponto de até um aluno de graduação conseguir lê-lo”. No fim, a revisão por pares garante o papel de gatekeeper
Por um tempo, havia no Reddit o lema “sem foto, não aconteceu”
Pelo menos em ciência da computação/aprendizado de máquina, precisamos de sem código, não aconteceu. Artigos são ambíguos, e às vezes nem todos os componentes estão definidos, mesmo quando há fórmulas
A reprodução por pares nessa área é uma tarefa fácil e de baixo custo que poderia servir de exemplo para outras áreas da ciência
Algo como um avanço recente em Alzheimer se beneficiaria de reprodução e, de qualquer forma, acabaria sendo reproduzido por causa do interesse comercial. Mas, para temas de nicho comuns, não há dinheiro para reproduzir toda pesquisa. Só porque pesquisas em ciência da computação/inteligência artificial são convenientes de reproduzir, isso não pode ser ampliado para toda pesquisa
É por isso que existe a revisão por pares. É um mecanismo para filtrar estudos pouco plausíveis ou de baixo esforço/baixa relevância, não algo projetado para impedir fraudes
Agora que existem GitHub, GitLab etc., isso deveria ser o padrão. Se um artigo que trata de implementação não fornece o código, em geral há uma boa chance de ser conversa fiada
Gosto da ideia de dividir “revisão por pares” em duas partes e chegar a um acordo sobre um critério de citações segundo o qual, quando um campo ultrapassar certo número de citações, o artigo deve ser reproduzido. Periódicos também deveriam ter uma seção dedicada a tentativas de reprodução
Em algumas áreas, além do conhecimento especializado, bons experimentos exigem uma habilidade que se chama “mão”. Por exemplo, lidar com compostos sensíveis ao ar ou com materiais em estado condensado/cristalino. Nos experimentos da minha tese, eu mesmo construí à mão parte do equipamento
Às vezes também são necessárias instalações especiais. Meu projeto de doutorado usou cerca de US$ 500 mil em equipamentos, e alguns dos equipamentos que usei já tinham sido descontinuados e não estavam mais disponíveis quando me formei
Acho que uma solução mais realista é exigir revisão de reprodutibilidade e a submissão de um mapa metodológico para cada artigo
A primeira seria um processo de ida e volta em que o revisor faz perguntas e verificações com o objetivo de reproduzir os resultados a partir do artigo, mas sem exigir a reprodução de fato. Em geral isso é útil para descobrir detalhes que os autores omitiram por presumir que todos na área já sabem. Já vi doutores em biologia perderem meses rastreando detalhes experimentais que não estavam no artigo
O segundo seria o resultado do primeiro. Em vez de colocar um apêndice longo no texto principal, seria criar, junto com os revisores, um documento separado que cubra cuidadosamente os experimentos e a metodologia, com o nome dos revisores impresso para que ninguém passe por cima de qualquer jeito
Li artigos demais em que faltavam informações importantes para a reprodução. Em aprendizado de máquina/aprendizado por reforço, quando havia código, eu encontrava inúmeros detalhes de implementação que não estavam no artigo. Há resultados mostrando que, na prática, esses detalhes determinam o sucesso ou fracasso de certos algoritmos [1]. Também já vi detalhes essenciais aparecerem apenas em comentários no código
O mais terrível foi um artigo que afirmava avaliar seu método em um benchmark, mas, ao verificar, vi que aquela tarefa nem existia no benchmark. Eles fizeram um fork do benchmark e criaram a própria tarefa, sem deixar isso claro [2]
Coisas assim fazem perder a confiança em determinadas direções científicas. Também vi alguns pesquisadores juniores concluírem que a casa inteira parecia feita de cartas e abandonarem a pesquisa de vez
[1] https://arxiv.org/abs/2005.12729
[2] https://arxiv.org/abs/2202.02465
Se você acha isso trabalhoso ou caro demais, vale lembrar que as editoras têm lucros recordes. Os recursos já existem
https://youtu.be/ukAkG6c_N4M
Hoje, quando reviso manuscritos, presto muito mais atenção se há informação suficiente para reproduzir o experimento ou a simulação. Tudo bem um artigo ser publicado com uma interpretação errada, porque outras pessoas podem descobrir isso ao fazer suas próprias pesquisas. Mas não deveríamos permitir a publicação de artigos cujos resultados não possam ser reproduzidos
Conteúdos longos demais para entrar na seção experimental devem ir para documentos de informações suplementares eletrônicas. Ainda assim, seria bom que as informações suplementares viessem anexadas ao artigo quando se baixa o PDF. Ter que rastrear isso separadamente é realmente irritante. Há áreas, como a caracterização de materiais, em que é comum fornecer informações suplementares com muitos dados e detalhes
Grandes conjuntos de dados devem ir para repositórios ou periódicos de datasets. Assim, os métodos ainda passam por revisão por pares, e o dataset recebe um DOI, ficando mais fácil de reutilizar. Também é uma boa forma de dobrar o número de artigos de um estudante ao fim do doutorado
Fazer um fork de um benchmark, criar a própria tarefa e não deixar isso claro é simplesmente perverso
Mesmo que seja difícil ou impossível de reproduzir, a ciência observacional ainda é um ramo da ciência
Pense na primeira foto de uma lula-gigante viva em seu habitat natural, publicada em 2005: https://royalsocietypublishing.org/doi/10.1098/rspb.2005.315...
Quem, seriamente, acharia que ela não deveria ter sido publicada até que outra pessoa reproduzisse o resultado?
Quer dizer que resultados de ensaios clínicos de medicamentos também não deveriam ser publicados até serem reproduzidos?
Como reproduzir “A stellar occultation by (486958) 2014 MU69: results from the 2017 July 17 portable telescope campaign”, em que uma estrela, o objeto transnetuniano 486958 Arrokoth e uma região específica da Argentina precisavam estar alinhados com precisão: https://ui.adsabs.harvard.edu/abs/2017DPS....4950403Z/abstra...
Como reproduzir os resultados de um sobrevoo rasante de Pluto ou de um helicóptero voando em Mars?
Há também o artigo “Insights from a laboratory fire”, que conheci pelo “In The Pipeline”: https://www.nature.com/articles/s41557-023-01254-6
O ponto é que incêndios em laboratórios de química são relativamente comuns, mas subnotificados, e as consequências podem ser fatais. Nesse caso, o que reprodução por pares tem a ver com isso?
Nesses casos, reprodução significa que outra pessoa consegue executar esse código nesse conjunto de dados e obter os mesmos resultados
Os laboratórios precisam melhorar seus ambientes de software e aprender novas ferramentas? Precisam abrir mão do antigo know-how secreto? Esse é justamente o ponto
O problema não é a publicação de novas descobertas, mas a falta de incentivos para verificá-las depois da publicação
Uma nova observação de uma lula-gigante continua sendo muito valiosa, mesmo que já não seja mais inédita. Portanto, novas observações devem ser incentivadas
O sobrevoo de Pluto e o helicóptero em Mars, na verdade, também não são bons exemplos. Seria preciso enviar outra sonda, e é provável que no futuro haja muitos casos e dados de aeronaves na atmosfera de Mars. Também dá para fazer uma quantidade enorme de simulações. Em Pluto, espectrômetros e vários instrumentos continuarão sendo apontados para lá
Mesmo nesses casos, ainda que os dados venham do mesmo aparato experimental, análises independentes por equipes diferentes podem aumentar a robustez. Nem tudo é preto no branco. Observações estão em um espectro: algumas são muito mais confiáveis que outras, e a reprodução é um dos elementos disso
No caso de incêndios em laboratório, é preciso mais de um caso para saber quais fenômenos decorrem das particularidades de um laboratório específico. É necessário algo como análise estatística e fatorial. Aqui, reprodução não significa incendiar laboratórios de propósito
É como pesquisas sobre acidentes de carro. Não se mata pessoas de propósito, mas são sempre necessários novos artigos que estudem eventos reais para confirmar ou refutar observações anteriores
Em um mundo perfeito, a coleta de dados também seria reproduzida, mas não vivemos em um mundo perfeito
O mesmo vale para ensaios clínicos de medicamentos. Como as empresas alegam que os dados brutos são segredo comercial, há sempre uma briga para obter os dados brutos dos ensaios clínicos. Por isso a verificação independente é muito cara, mas acho que seria muito melhor se a FDA exigisse a divulgação de 100% dos dados coletados, e não apenas conclusões editadas e alguns materiais de apoio
Por exemplo, a FDA disse que levaria décadas para divulgar os dados brutos dos ensaios clínicos das vacinas contra a COVID. Por que teria que ser assim? E isso só aconteceu depois de ter sido forçada por uma ação judicial
Durante a pós-graduação em ciência da computação, passei bastante tempo nos detalhes de implementação de artigos, mas o que percebi repetidamente foi que os artigos não mencionavam todas as desvantagens e casos de falha das técnicas. Há ótimas exceções, claro
Por causa da pressão de publicar ou perecer, há muito pouca honestidade na pesquisa. Felizmente, há pessoas que tornam seu trabalho transparente, mas, no geral, a ciência está afundada em um mar de pesquisas cheias de falta de transparência e falhas de reprodução
CI/CD obriga a codificar exatamente como algo deve ser construído e implantado para colocá-lo em produção. Docker e máquinas virtuais contornam o problema fornecendo uma “minha máquina” que pode ser facilmente copiada e compartilhada
Na área de linguagens de programação, as conferências começaram a permitir que autores submetam artefatos empacotados. Normalmente são código-fonte, dados de entrada, dados de treinamento etc., e em geral são avaliados separadamente após a revisão do artigo.
Os artefatos costumam ser avaliados por um comitê separado, geralmente composto por alunos de pós-graduação, e, como sempre, tudo é trabalho voluntário. Mesmo com diretrizes explícitas, já é suficientemente difícil executar o mesmo código em outro ambiente e obter os mesmos resultados. Se a “reprodução” de uma técnica de software exige que outra equipe a reimplemente do zero, isso parece inviável.
Nem consigo imaginar o quão difícil seria escrever instruções para que outro laboratório reproduza com sucesso experimentos de ponta em física, química ou biologia. Não é só uma questão de equipamento especializado; é algo que acontece na fronteira da ciência, onde se faz pesquisa de ponta.
Esse tipo de proposta soa como se tivesse sido escrito por um não cientista que nunca vivenciou o processo de revisão por pares em nenhuma área. A realidade não funciona assim.
Nas ciências “duras”, a reprodução muitas vezes parece não ser tão difícil. LK-99 é um caso interessante: apesar de haver consenso geral de que o artigo foi escrito às pressas e carecia de detalhes, as pessoas pareciam conseguir reproduzir o experimento com sucesso. Era ciência de ponta, mas a reprodução em si não foi o problema. A maior parte da ciência não é o LHC.
O verdadeiro problema da reprodução aparece nas áreas mais “soft”. Ali não é só uma questão de aleatoriedade ou de dificuldade experimental. É comum ver artigos, ou até campos inteiros, que em princípio não são reprodutíveis. Pesquisadores não acham que outras pessoas deveriam conseguir reproduzir seu trabalho, ou às vezes tentam impedir a reprodução. A forma mais comum é coletar dados de maneira irreprodutível e deliberadamente não divulgá-los; às vezes, o próprio desenho do estudo é o problema.
Diante disso, a inferência mais natural é que eles não querem tentativas de reprodução porque sabem que há a possibilidade de suas alegações não serem verdadeiras.
Portanto, se revisores ou periódicos verificassem apenas algo muito básico, por exemplo se a alegação é reproduzível ao menos em princípio, já seria um bom começo. Ainda restariam artigos que se reproduzem bem mas chegam a conclusões erradas, artigos com metodologia ilógica e artigos que se reproduzem por serem óbvios demais, mas há muita fruta baixa para colher.
A revisão por pares é a solução certa para o problema errado: https://open.substack.com/pub/experimentalhistory/p/science-...
A reprodução é um objetivo valioso, mas precisa haver incentivos de carreira. Acho que a reprodução de pesquisas deveria entrar no currículo da maioria dos programas. Poderia ser uma etapa rumo ao doutorado no lugar de um artigo.
A distinção entre elo forte e elo fraco também se parece com o fato de algumas culturas desaprovarem estimulantes, enquanto outras desaprovam relaxantes.