Artigo com falhas publicado em periódico de administração é citado mais de 6 mil vezes

• Um artigo que defendia uma correlação entre sustentabilidade corporativa e desempenho das ações foi citado mais de 6 mil vezes, mas revelou erros graves e descrições falsas
• Andy King, que tentou reproduzir o estudo, afirmou que autores, academia, periódico e universidades ignoraram repetidamente suas solicitações de correção de erros e verificação
• O artigo inclui vários problemas, como indicação incorreta de significância estatística, erros na metodologia e pareamento irrealista da amostra, sendo que alguns foram tratados como simples erros de digitação
• King levantou a questão por meio de uma publicação no LinkedIn e do periódico especializado em estudos de replicação (JOMSR), mas Harvard Business School e London Business School concluíram que se tratava de um assunto menor
• Os autores ainda não retiraram o artigo, e o texto destaca o colapso do sistema de gestão da confiabilidade científica e a necessidade de reforma

---

O artigo problemático e a tentativa de reprodução

• O artigo “The Impact of Corporate Sustainability on Organizational Processes and Performance” foi citado mais de 6 mil vezes e avaliado como um estudo influente, citado até por executivos de Wall Street e um ex-vice-presidente dos EUA
• Ao tentar reproduzir o estudo, Andy King encontrou inconsistências metodológicas, erros estatísticos, testes ausentes e composição anormal da amostra
  • Ele enviou vários e-mails aos autores, mas não recebeu resposta
  • Há também o estudo Bloomfield et al. (2018), que mostra que é comum pesquisas anteriores ignorarem ou atrasarem pedidos de pesquisadores de reprodução/replicação (Replication)

A resposta da academia e do periódico

• King pediu ajuda a acadêmicos colegas, mas a maioria recusou por evitar conflito ou por falta de tempo
  • Alguns acadêmicos disseram que “apontar erros em artigos já publicados é mais prejudicial para a carreira”
• Ele submeteu um comentário crítico ao periódico Management Science, mas foi rejeitado sob a justificativa de que o “tom era inadequado”
  • Os autores admitiram que a marcação de significância dos principais resultados estava incorreta, mas alegaram que se tratava de um ‘erro de digitação’
  • Todos os pedidos adicionais de correção feitos por King foram rejeitados

Divulgação pública e publicação do estudo de replicação

• Após King divulgar os erros no LinkedIn, o periódico publicou tardiamente um erratum
• O estudo de replicação foi publicado no Journal of Management Scientific Reports (JOMSR), destacando o papel de periódicos dedicados à pesquisa de replicação
• King confirmou que o artigo original descrevia um método diferente do que realmente foi usado, e que os resultados não podem ser reproduzidos com o método real

Investigação de ética em pesquisa e reação das universidades

• King apresentou denúncias de violação de ética em pesquisa à Harvard Business School e à London Business School
  • Os autores explicaram que “uma frase incorreta permaneceu por engano durante o processo editorial”, mas o mesmo erro se repetia em todos os rascunhos
  • Harvard manteve em sigilo se conduziria investigação, e a LBS afirmou que “não houve falsidade intencional”, recomendando apenas medidas educativas
• King criticou: “o acesso aos dados não é a questão central; descrições incorretas destroem a interpretabilidade da pesquisa”

Falha institucional e propostas de reforma

• O artigo recebeu apenas algumas correções, e a descrição incorreta do método ainda não foi corrigida
• King afirmou que “um sistema confiável de gestão da ciência não está funcionando” e propôs o seguinte
  • Evitar citar estudos isolados e verificar se houve replicação
  • Corrigir erros imediatamente quando forem encontrados
  • Alertar colegas sobre condutas antiéticas
  • Apoiar estudos de replicação e periódicos como o JOMSR
  • Reforçar as políticas institucionais de ética em pesquisa
• Ele também propôs institucionalizar transparência, fiscalização independente e sanções graduais na governança acadêmica, além de introduzir sistemas de verificação posterior como o FurtherReview

Comentário de Andrew Gelman

• Gelman classificou a conduta dos autores como má conduta em pesquisa, mas focou mais no problema sistêmico do que nos indivíduos
• Ele apontou que a “postura de não reconhecer erros do passado” transforma a ciência em ‘dead science’
• Advertiu que, enquanto a comunidade acadêmica não incentivar correção de erros e postura responsável, o mesmo problema continuará se repetindo

[GN⁺]

Comentários do Hacker News

• Desenvolvi um toolkit open source de modelagem baseada em agentes que mantenho desde 2003
  Recentemente, um artigo sobre um novo toolkit feito em outra linguagem comparou com meu software e afirmou que eles eram melhores, mas na prática executaram minha ferramenta de forma incorreta e ainda distorceram os dados
  Pedi uma correção, mas o periódico abafou isso em silêncio para preservar as aparências, e os autores só deram desculpas
  O problema é que esse tipo de coisa é comum demais na academia

  • Também passei por algo parecido. Um concorrente publicou um artigo sem entender meu software direito e chegou a conclusões com dados incorretos
    Depois disso, minha confiança em artigos acadêmicos caiu muito
  • No passado eu tinha um software acadêmico que desenvolvi, e acabei revisando um artigo de outro grupo de pesquisa que usava meu programa como comparação
    A metodologia de teste deles estava fundamentalmente errada, e eles treinaram com um critério arbitrário em um problema sem “resposta certa” para então alegar que seu resultado era o melhor
    Recomendei rejeição, e o periódico concordou, mas alguns meses depois vi o artigo ser publicado sem revisões em outro periódico, o que me deixou academicamente desesperançoso
  • Se você for o Sean Luke que eu conheço, suas aulas na graduação da Universidade de Maryland influenciaram muito minha forma de pensar em ciência da computação. Obrigado
  • Uma vez um colega me pediu para revisar o código de um artigo, e vi que eles calcularam a complexidade errado, chegando a uma conclusão totalmente incorreta
    No fim, concluí: “não deixe alguém da psicologia programar isso”. No mínimo, deveriam ter validado com alguém de CS
  • Na pós-graduação, denunciei ao periódico que meu orientador manipulou dados, mas não houve resposta alguma
    O jurídico da universidade foi igual, e desde então minha confiança na academia praticamente desapareceu. Esse é exatamente o motivo da crise de reprodutibilidade

• Hoje em dia, a contagem de citações não significa tanto quanto antes
  Artigos problemáticos continuam sendo citados por puro copiar e colar
  Por isso estou pensando em um serviço que sobreponha uma rede de confiança ao grafo de citações
  A ideia seria marcar como “possivelmente contaminado” um artigo que cite sem crítica um trabalho falho, e também etiquetar autores ou instituições com muitos artigos desse tipo

  • Também explorei essa ideia quando o GPT-3 saiu pela primeira vez
    Mas, ao ler os artigos de verdade, percebi que há artigos ruins demais
    A premissa de que artigos ruins seriam exceções já estava errada, e no fim era um caso de “procurar diamantes na lama”
    Então cheguei à conclusão de que, se uma área é 90% falsa, é melhor ignorar essa área
  • A ideia é interessante, mas não é difícil distinguir citação crítica de citação simples?
    Até resumir pesquisa relacionada poderia acabar sendo penalizado
  • Ao ver em conferências pessoas que construíram carreira com pesquisa falsa, minha confiança em especialistas diminuiu
    Mas sou cético de que um sistema de confiança funcione, porque no fim ele também seria gamificado
  • No meu país também são comuns anéis de citação (citation rings) e o inchaço no número de autores

• Há artigos horríveis em todas as áreas, mas quando você olha para os verdadeiros artigos de escolas de negócios, sua autoestima melhora
  Nessa área, quem faz pesquisa de verdade é quase uma exceção no nível de Galileu

  • Também fiz dupla formação em engenharia, economia e administração, e administração me pareceu no nível de ler jornal
    Era interessante, mas faltava profundidade, quase como um documentário de história superficial
  • No fim, escolas de negócios estudam técnicas para gerar lucro a baixo custo, então isso por si só já é o produto final

• Concordo totalmente com a ideia de que “não se deve citar um único estudo como prova definitiva”
  Por exemplo, o famoso “Harvard Goal Study” na verdade não existe
  Até o FAQ da biblioteca de Harvard afirma explicitamente que esse estudo não existe

  • O “Jick Study” é um caso parecido. Vale consultar o verbete da Wikipédia
  • Deve-se ignorar estudo único. Se o efeito for real, outros pesquisadores fazem estudos de extensão por meio de reprodução parcial
    Por outro lado, se quase não houver citações posteriores, isso é um sinal para fugir

• O problema fundamental é a cultura do “publish or perish”
  Como contratação de professores e verbas de pesquisa dependem da quantidade de citações, citação mútua e produção em massa de artigos viraram rotina

  • O problema é avaliar só por citações
    É preciso um sistema de avaliação em várias etapas, incluindo abertura de dados e verificação de reprodutibilidade
  • No fim, a estrutura competitiva das notas na escola apenas se transforma na “competição por artigos” da vida adulta
  • Este é um caso clássico da lei de Goodhart

• Existem artigos científicos péssimos demais no mundo
  Um texto de que gosto muito é “Why Most Published Research Findings Are False”, de John P. A. Ioannidis

  • É um excelente artigo, mas algumas pessoas da área de tecnologia o usam como desculpa para evitar a realidade, dizendo “minha realidade é a verdade”
  • Ioannidis foi grandioso no estudo da crise de reprodutibilidade, mas me decepcionou com sua postura conspiratória em falas sobre a COVID-19

• O centro do problema é a significância estatística e a estrutura dos periódicos
  Como resultados “sem significância” não são publicados, naturalmente só sobram resultados enviesados
  Pré-registro e abertura de dados reprodutíveis são importantes, mas raramente são seguidos por causa da competição por promoção e dos interesses comerciais

  • Há uma tirinha do xkcd relacionada a isso https://xkcd.com/882/

• Acho difícil concordar com a afirmação de que “motoristas bêbados não são pessoas ruins”
  Se você defende um comportamento que põe a vida dos outros em risco, o significado de “ruim” se esvazia
  Dizer que pesquisadores agem sem ética por “culpa do treinamento” soa como fuga de responsabilidade

  • Rotular alguém como “pessoa ruim” é um tipo de pensamento binário
    Se o sistema torna o mau comportamento fácil, então a causa acaba sendo um problema estrutural
    Dizer que alguém foi “treinado” aqui não significa “ensinado”, mas sim condicionado pelo ambiente
  • Em vez de “mau comportamento”, talvez seja mais preciso dizer “comportamento tolo” ou “comportamento irresponsável”
    A palavra ‘bad’ tem uma carga moral fraca
  • Quando todo mundo fazia isso, as pessoas viviam sob uma ilusão cultural de que eram diferentes
    No fim, foi resultado do efeito Dunning-Kruger, que as levou a confiar demais em si mesmas
    Se cair nesse tipo de ilusão é algo humano, então não dá para dizer que o ser humano em si é mau

• Dizer que “pesquisadores de replicação devem tomar cuidado” vai contra a própria natureza da ciência
  Resultados irreprodutíveis não têm sentido, e pesquisas de replicação deveriam ser incentivadas

• O número de citações de um artigo em um periódico aparece diferente dependendo do site
  No SSRN são 109, no ResearchGate 3936, e no Google Scholar aparecem 6269
  Como cada um usa um critério diferente para contar citações, fica difícil confiar
  Também houve a sugestão de “tornar públicos comentários, correções e pedidos de retratação de todos os artigos”, mas
  isso provavelmente faria até artigos do Einstein receberem comentários malucos

  • De fato, pelo Google Scholar o número correto é 6269 citações
  • Mas, olhando para plataformas como o PubPeer, que permitem comentários anônimos,
    parece que o problema de uso indevido não é tão grande