Pesquisa aberta, rigorosa e reproduzível: um manual para profissionais (2021)
(stanforddatascience.github.io)- Projetar e compartilhar pesquisas de forma aberta, transparente e reproduzível amplia o alcance dos resultados, bem como sua verificabilidade e possibilidade de reanálise
- Artigos pagos, código fechado, dados inacessíveis e software descontinuado dificultam que outros pesquisadores verifiquem o processo real de análise
- Desenhos experimentais e análises mal feitos fazem com que descobertas com erro se acumulem na literatura e aumentam o custo para novos pesquisadores identificarem resultados confiáveis
- Embora abertura e reprodutibilidade exijam trabalho extra e tenham limitações na estrutura de incentivos, elas ajudam a encontrar erros mais cedo e aumentam a confiabilidade da pesquisa
- O manual é estruturado em práticas modulares de desenho de pesquisa, análise e relato de dados, e abertura de materiais de pesquisa, para que seja possível aplicar primeiro apenas o que for necessário
Por que abertura e reprodutibilidade são necessárias
- Se a pesquisa não for conduzida e compartilhada de forma aberta, transparente e reproduzível, seus benefícios diminuem
- Quando artigos são publicados em canais acessíveis apenas mediante pagamento, o número de pessoas que pode ver os resultados da pesquisa fica limitado, e o alcance potencial desses resultados também se reduz
- Muitas análises são complexas, então é quase impossível explicar todas as escolhas e procedimentos apenas no corpo do artigo
- Sem o código que o acompanha, é difícil para outras pessoas terem certeza do que exatamente foi feito
- Mesmo quando o código é aberto, pode ser difícil reproduzir ou reanalisar estudos anteriores por causa da falta de acesso aos dados ou de software descontinuado
- Se pesquisas anteriores não puderem ser reanalisadas facilmente, a comunidade terá mais dificuldade para explorar caminhos analíticos alternativos, combinar conjuntos de dados ou generalizar experimentos para novos contextos
O custo de más práticas de pesquisa
- Se não houver atenção suficiente ao desenho experimental e à análise, é mais provável que descobertas com erro se acumulem na literatura
- Quanto mais resultados pouco confiáveis existirem, mais tempo novos pesquisadores terão de gastar para entender o objeto de estudo e alcançar progresso real
Por que pesquisadores relutam em adotar abertura e reprodutibilidade
- Pesquisas abertas, transparentes e reproduzíveis exigem trabalho adicional, e a estrutura atual de recompensas nem sempre valoriza esse esforço
- Ainda assim, mudanças estão ocorrendo em várias áreas, e algumas comunidades valorizam bastante esse tipo de prática
- O custo de erros pode ser alto, e a abertura ajuda a evitá-los
- Alguns dados não podem ser compartilhados legalmente por questões de privacidade, direitos autorais ou outras considerações
- Pesquisas que usam esses dados podem, em geral, ser menos úteis para o mundo do que pesquisas baseadas em dados mais abertos
- Mesmo assim, divulgar com transparência as análises realizadas, os protocolos de coleta de dados e métodos como pré-registro pode aumentar a confiança na pesquisa
- Às vezes há receio de que, ao abrir dados e código, erros ou baixa qualidade de programação fiquem expostos
- Essa preocupação é compreensível, mas em geral aponta na direção errada
- É melhor descobrir erros cedo, e a maioria das pessoas vê positivamente o ato de compartilhar, independentemente da qualidade do código
- Compartilhar o código desde o início pensando na publicação final também ajuda a melhorá-lo
- Muitas pessoas também não sabem por onde começar
- Guias existentes sobre ciência aberta e reprodutibilidade muitas vezes vêm na forma de livros completos ou grandes coleções de materiais, o que pode criar a sensação de obrigação de aprender toda a filosofia e uma abordagem abrangente de pesquisa
A abordagem do manual
- Em vez de transformar completamente a pesquisa de uma só vez, este manual trata de maneiras de torná-la, aos poucos e de vários modos, mais aberta, transparente e reproduzível
- Cada etapa pode trazer algum benefício por si só
- Existem nuances e exigências específicas de cada área, mas a maioria dos campos que lida com dados e análise estatística tem muito a aprender entre si
- O formato busca ser o seguinte
- Modular: ideias individuais podem ser usadas separadamente ou em combinação
- Prático: foco em práticas viáveis e de alto impacto
- Geral: aplicável a qualquer área que lide com dados e análise estatística
- Conciso: voltado a cientistas ocupados que não têm tempo para assistir a um curso inteiro agora
Três seções principais
- A primeira seção trata de desenho cuidadoso de pesquisa para garantir e demonstrar que os resultados e conclusões são válidos e úteis
- Determinar cuidadosamente os parâmetros experimentais, como estimar o tamanho de amostra adequado usando análise de poder estatístico
- Distinguir entre pesquisa exploratória e pesquisa confirmatória
- Planejar com antecedência a análise estatística
- Coletar todos os dados relevantes para permitir comparação com pesquisas anteriores
- Incluir elementos adicionais como pré-registro, preparação para problemas potenciais e consideração de implicações éticas
- A segunda seção trata de boas práticas em análise de dados e relato de resultados
- Decisões e considerações necessárias antes de lidar com os dados
- Plano prévio de análise estatística
- Geração adequada de dados
- Preparação transparente dos dados
- Visualização de dados rica em informação
- Resumo dos dados com uso de estatísticas apropriadas
- Análise de dados evitando erros comuns
- Considerações adicionais para pesquisa médica
- Relato transparente e abrangente da análise estatística
- Exemplos da literatura publicada que mostram os princípios do manual
- A terceira seção trata de como tornar públicos todos os materiais de pesquisa relevantes
- Open Data: divulgar dados brutos para pesquisa adicional e replicação
- Open Source Code: tornar transparente o pipeline de análise e permitir que outras pessoas o reutilizem ou verifiquem
- Reproducible Environments: oferecer não apenas dados e código, mas também um ambiente em que a análise possa ser executada novamente com facilidade
- Open Publication Models: permitir que qualquer pessoa veja os resultados acadêmicos relacionados à pesquisa
- Documenting Processes and Decisions: deixar claro, por meio de mecanismos como cadernos abertos de experimento, não apenas o que foi feito e como, mas também por que foi feito dessa forma
Escopo do apêndice
- O apêndice aborda recursos complementares, como perguntas frequentes, considerações específicas por área e links para materiais adicionais
1 comentários
Comentários no Hacker News
Registrar as versões dos pacotes usados também é bom, mas uma abordagem melhor é fornecer, junto com o código, uma descrição de ambiente com toda a cadeia de dependências totalmente fixada, como um canal do Guix ou um flake do Nix
O Docker também pode impor versões fixas, mas um único
apt updatepode quebrar tudo completamenteNix e Guix não só oferecem um ambiente para executar o código com as mesmas ferramentas e versões, como também permitem gerar imagens de contêiner compartilháveis
É muito bom que uma universidade que normalmente custa caro, como Stanford, ofereça materiais de estudo gratuitamente
Alguém já usou? É bom?
Nossa equipe está atualmente migrando da área de software para ciência de dados, e este material parece cobrir essa lacuna
A página incorpora https://stanforddatascience.github.io/best-practices/index.h...
Este handbook pode ser resumido como um guia que apresenta boas práticas para tornar a ciência mais aberta, transparente e reprodutível