Indícios de que o novo reitor de uma das universidades mais antigas do mundo organizou um cartel de citações
(english.elpais.com)- Em um sistema em que citações acadêmicas afetam reputação, promoções, salários e grandes projetos, vieram à tona indícios de que o novo reitor da Universidade de Salamanca, Juan Manuel Corchado, ampliou sua influência por meio de citações mútuas organizadas
- Mensagens internas mostram instruções para incluir artigos de Corchado e do periódico ADCAIJ, que ele edita, em dissertações de mestrado, trabalhos de conclusão, teses, artigos de periódicos e papers de conferências
- Alguns artigos chegaram a ter 97~100% das referências dedicadas a citações de Corchado ou do ADCAIJ, incluindo bibliografia sem relação com o tema; até um artigo sobre segurança de redes de distribuição de energia incluía estudos sobre câncer de bexiga, CO₂ marinho e derramamento de óleo
- A Springer Nature informou que vai analisar o caso, e a Elsevier já retratou um estudo publicado em 2019 por Corchado e três colaboradores por plágio de dissertação de mestrado
- Com a abertura de uma investigação pelo Research Ethics Committee da Espanha, especialistas veem o caso como um exemplo das fragilidades do sistema de avaliação de pesquisadores e dos mecanismos internos de fiscalização das universidades
Instruções de citação reveladas por mensagens internas
- Juan Manuel Corchado foi nomeado reitor da Universidade de Salamanca e, no passado, promoveu a própria imagem como o 4º pesquisador em computação da Espanha e entre os 247 melhores do mundo
- Esse avanço no ranking é apontado como resultado da atuação de um cartel de citações, um grupo de cientistas que cita mutuamente seus artigos
- Mensagens internas incluem instruções para que o grupo de Corchado citasse, em cada artigo, o próprio Corchado ou o periódico Advances in Distributed Computing and Artificial Intelligence Journal (ADCAIJ), editado por ele
- Em 7 de junho de 2017, um assistente orientou a inserir 20 referências de Corchado e 10 artigos do ADCAIJ de um documento Word anexado em dissertações de mestrado, projetos finais e teses
- O anexo incluía cerca de 50 artigos de Corchado
- O mesmo assistente acrescentou que estava anexando as referências para facilitar o “copiar e colar”
- Em 26 de julho de 2017, outro assistente repassou instruções para citar artigos de Corchado nos próximos artigos de periódico ou conferência
- No topo da lista anexada havia um artigo de Corchado sobre derramamento de óleo
Padrões anormais repetidos nas referências
- Em 9 de janeiro de 2019, Roberto Casado Vara publicou um artigo sobre segurança computacional em redes de distribuição de energia, e 29 das 31 referências, ou 94%, eram artigos de Corchado
- Entre as referências havia estudos sem relação com o tema do artigo, como risco de câncer de bexiga, CO₂ marinho, derramamento de óleo e maré vermelha de microalgas
- Em três artigos publicados por Casado Vara no mesmo dia, 97~100% das referências eram citações de Corchado ou do ADCAIJ
- Casado Vara foi orientado por Corchado no doutorado e, três anos após defender a tese, em 2022, entrou na lista de pesquisadores mais citados da Stanford University
- Uma análise da Scopus mostrou que colaboradores de Corchado o mencionaram quase 1.700 vezes e citaram o ADCAIJ 520 vezes em 75 publicações
- Um estudo de Pedro Tomás Nevado-Batalla sobre modernização da administração pública citou 42 artigos de Corchado e 7 do ADCAIJ
- 92% das citações do artigo eram a Corchado ou ao periódico dele
- Nevado-Batalla afirmou que não sabia que essas referências haviam sido adicionadas ao seu trabalho e disse que pediria esclarecimentos
Investigações de editoras e ética em pesquisa
- Os anais de conferências da Springer teriam sido usados por Corchado como meio para inserir pacotes de autocitação
- Chris Graf, diretor de Research Integrity da Springer Nature, disse que analisará o caso “com muito cuidado”
- Após a investigação, medidas editoriais serão tomadas se apropriado
- A Elsevier já retratou um estudo publicado em 2019 por Corchado e três colaboradores
- O motivo da retratação foi plágio de dissertação de mestrado
- Após reportagem do EL PAÍS, o Ministry of Science da Espanha anunciou que o Spanish Research Ethics Committee iniciou uma investigação sobre Corchado
- Corchado, por meio de uma declaração anônima nos canais oficiais da Universidade de Salamanca, defendeu sua “honra e integridade científica” e recomendou que sua influência em publicações fosse avaliada pela Scopus e pela Web of Science
Suspeitas de manipulação de contas online e repositórios
- Além de ser apontado por adicionar milhares de autocitações às próprias publicações e exigir que membros do grupo o citassem, Corchado também teria se beneficiado de contas online falsas de cientistas inexistentes
- No ResearchGate, contas de pesquisadores inexistentes como Devika Rout e Marcus Ress mencionavam repetidamente pesquisas de Corchado
- Desde março, Corchado apagou em massa esses perfis falsos, além de remover do repositório Gredos da Universidade de Salamanca publicações evidentemente manipuladas que ele havia enviado
- Em uma entrevista por telefone em 13 de março, Corchado disse que havia “20~30” contas online falsas que o citavam
- Segundo ele, essas contas teriam sido criadas por ex-funcionários insatisfeitos que queriam prejudicá-lo
- Em seguida, ele também afirmou que “um jovem” as criou para demonstrar a possibilidade de manipulação no ResearchGate
- Um porta-voz do ResearchGate disse não ter conhecimento de ataque informatizado e afirmou que a exclusão de perfis só pode ser feita por quem os criou, com a senha correspondente
Reações de especialistas e eleição universitária
- A Universidade de Salamanca foi fundada em 1218, e Domingo Docampo, ex-reitor da University of Vigo e especialista em cartéis de citação, criticou Corchado por sequer ter concorrido a um cargo desse nível
- Segundo ele, publicações sem conteúdo substancial serviram como veículo de uma fazenda de citações, em uma estrutura piramidal no topo da qual estava alguém com influência sobre os signatários dos artigos
- Alberto Ruano, da University of Santiago de Compostela, chamou o caso de “exemplo didático de cartel de citações”
- Ele considera que Corchado está prejudicando uma instituição emblemática, além da credibilidade da Universidade de Salamanca e do conjunto dos professores universitários da Espanha
- Também pediu que o Ministry e a Conference of Rectors of Spanish Universities adotem medidas para evitar casos semelhantes
- Corchado concorreu como candidato único após a renúncia repentina do reitor anterior e venceu a eleição em 7 de maio
- Recebeu apoio de 6,5% dos 33.000 eleitores aptos
- Metade do corpo docente votou em branco em sinal de protesto
- Em 2018, Corchado criou a entidade privada AIR Institute, que administra projetos de vários milhões de euros concedidos pelo governo regional de Castilla y León
Discussão sobre reforma do sistema de avaliação
- O especialista em metodologias de avaliação científica Ismael Ràfols considera que um sistema que valoriza muitas publicações e muitas citações acaba produzindo esse tipo de corrupção
- Ràfols disse que, na Europa, o processo de reforma já começou, mas que a Espanha ainda tem muito a fazer
- A ANECA, órgão de supervisão do sistema universitário espanhol, está mudando para não avaliar pesquisadores com foco excessivo em produtividade
- Pilar Paneque, da ANECA, acredita que a reforma ajudará a conter práticas ruins e a reduzir a pressão sobre os pesquisadores, especialmente os mais jovens
- Paneque enfatizou que o avanço em integridade científica e ética em pesquisa deve começar pela responsabilidade e pelo controle de cada instituição
- Na visão dela, cada universidade conhece bem a produção de seus pesquisadores e, por isso, consegue detectar comportamentos anormais com mais facilidade
1 comentários
Comentários do Hacker News
Parece que tudo isso aconteceu às claras e, como prova disso, na votação de professor com candidato único, 50% foram votos em branco, um voto de protesto. Ou seja, todo mundo ali sabia
Acho que perguntar “como projetaríamos um algoritmo de detecção” para esse escândalo é mirar completamente no lugar errado. Esses grupos de citação são tão descarados que a detecção em si é quase trivial; o problema realmente difícil e ainda não resolvido é a cultura profissional das universidades de pesquisa
[0] https://retractionwatch.com/2022/03/25/how-critics-say-a-com... ("How critics say a computer scientist in Spain artificially boosted his Google Scholar metrics")
Acho que as pessoas gostam de respostas algorítmicas porque elas parecem um substituto para o poder real. Se você não consegue se imaginar encontrando por conta própria a força para consertar algo ruim, pelo menos consegue inventar uma estrutura lógica que talvez conserte automaticamente
Acho que muitos tecnólogos poderiam ter um impacto muito maior se se preocupassem em obter força política em vez de algoritmos
Neste caso, parece que queriam continuar fazendo isso e, ao mesmo tempo, soltar um comunicado dizendo “estamos na linha de frente da detecção daquela coisa ruim que todos conhecemos”
É engraçado, parecido com a mãe de Sam Bankman-Fried estar no comitê de ética de Stanford
Rafael Luque não foi suspenso por desonestidade explícita, mas porque listou a King Abdulaziz University como sua primeira afiliação, e isso incomodou sua própria universidade, que o suspendeu por 13 anos [1]. A KAU é conhecida como um lugar que compra citações desse jeito [2]
Outro caso é Francisco Herrera Triguero [3]. Ele vinha listando a KAU como sua segunda afiliação havia anos, mas, mesmo depois que o caso de outra pessoa estourou, nada aconteceu
Então talvez seja preciso mais fiscalização pública sobre esses casos, em vez de criar ainda mais algoritmos
[1] (em espanhol): https://elpais.com/ciencia/2023-03-31/suspendido-de-empleo-y...
[2] https://liorpachter.wordpress.com/2014/10/31/to-some-a-citat...
[3] (em espanhol): https://www.elsaltodiario.com/universidad/papers-y-mas-paper...
Eu até entenderia se fosse um cartel secreto e inteligente, espalhando referências plausíveis entre várias pessoas e artigos, mas pelo visto era só algo do tipo “citem apenas os artigos ruins desse cara”
O número de citações e o índice h-index claramente também precisam ser melhorados. Rebaixar esse tipo de citação por meio da detecção de panelinhas deveria ser algo trivial
Sem uma suspeita explícita, ninguém verifica sistematicamente todas as citações e todos os artigos. Há artigos demais para cada pesquisador, pós-graduando e professor fazer tudo isso
As universidades não têm recursos para esse tipo de trabalho. Isso significaria contratar várias pessoas dedicadas para trabalhar nisso em tempo integral, e mesmo assim casos um pouco mais sofisticados não seriam detectados. Por exemplo, quando um professor entra como citação obrigatória em todos os artigos publicados pelos alunos do laboratório
Fico curioso para saber como alguém acha possível um único professor publicar 20 ou 30 artigos em periódicos por ano. Esse volume é muito comum e até baixo, embora escrever um artigo e fazê-lo passar pela revisão possa levar meses no melhor dos casos e, nos grandes periódicos, até 2 anos no pior
O trabalho real é feito por pós-graduandos e professores assistentes, e o nome do professor entra na lista de autores como sinal de respeito ou, no pior caso, porque eles foram instruídos a colocá-lo ali. Essa é uma prática extremamente comum
Já vi pessoalmente alguém que, pressionando pós-graduandos dessa forma a atribuir a ele o crédito por trabalhos que não fez, construiu na prática uma carreira acadêmica falsa. Ele quase conseguiu, mas um professor de uma banca de avaliação de tenure em uma universidade de prestígio na Europa já tinha trabalhado com ele antes e sabia como ele havia obtido, no papel, aquele histórico de pesquisa impressionante, então exerceu poder de veto
Além disso, a maioria dos indicadores, como fator de impacto, é só um número. Não dá para ver do que ele foi calculado. A pesquisa sempre foi construída sobre a integridade e a honestidade individuais, e sempre haverá maçãs podres que se aproveitam disso
Sinto que os incentivos e o que está em jogo — carreira, emprego, verba de pesquisa etc. — estão tão distorcidos que muita gente acaba sendo empurrada para esse tipo de fraude
Citações atraem verba de pesquisa, e verba de pesquisa é atraente para as instituições
As editoras não têm motivo para corrigir isso e lucram bastante com a má conduta científica
Esse tipo de coisa também é muito comum. Levou muito tempo para os artigos fraudulentos de Macchiarini serem retratados, e o mesmo aconteceu com alguns artigos fundamentais relacionados às placas de Alzheimer
Como distinguir grupos de pessoas que pesquisam o mesmo tema, como uma panelinha, e citam umas às outras?
O caso Corchado é apenas um exemplo extremo, “preto no branco”, e o problema como um todo é muito mais sutil
Por exemplo, não há uma linha clara entre um cartel de citações implícito dentro de uma pequena comunidade e um grupo de líderes intelectuais. Ao se tornar líder em uma pequena comunidade, fica muito mais fácil obter visibilidade mais ampla, conseguir financiamento e influenciar decisões nos bastidores
De certo modo, Corchado é relativamente inofensivo porque todo mundo sabe que ele é um palhaço. Ele não tem muito a dizer na comunidade europeia de IA. O problema real são as zonas cinzentas que afetam e contaminam todo mundo, e as pessoas que prosperam nelas
Esse sujeito é realmente corrupto. O artigo não explicou por que a University o contratou nem por que ainda não o demitiu, e isso me deixa muito curioso
Muitas vezes reconhecemos que seres humanos fracassam em manter rigor e sistemas planejados
Em geral, admitimos que muitos advogados e políticos são corruptos, e também dizemos que há vários incentivos que empurram as pessoas nessa direção. Mas, quando a mesma coisa acontece na ciência, na academia, na medicina, na religião, nos esportes ou na engenharia, parece que as pessoas ficam surpresas ou tratam como escândalo
Somos todos apenas humanos. Neste caso, esse sujeito fez otimização de métricas para elevar sua própria posição. Está errado? Sim. É alguém a quem se deve confiar alguma coisa? Não. É um caso único? Não
Há um texto curto com mais links sobre essa pessoa: https://forbetterscience.com/2024/05/03/schneider-shorts-3-0...
Fábricas de citações e fábricas de artigos são bastante comuns e podem render bom dinheiro. Lugares como Elsevier e Springer têm pouco a ganhar ao impedir isso
Parece que ele foi excepcionalmente burro a ponto de colocar por escrito o que muitos acadêmicos fazem de forma sutil e implícita
As pessoas citam amigos ou gente da mesma área, e também funciona uma reciprocidade implícita. Fazem isso mesmo quando o trabalho citado tem pouca relação com o artigo atual
A própria prática de citar também é muito estranha. Já vi várias vezes pesquisadores procurando trabalhos para citar no momento de escrever um artigo. Os primeiros resultados do Google são citados, mesmo que a pessoa nunca tenha lido aquele artigo antes. Ela só estava procurando uma citação para sustentar alguma afirmação bem genérica, como “aprendizado de máquina foi aplicado à medicina”
Nem tenho certeza se esse tipo de citação é uma prática ruim. A frase precisa ter uma citação de apoio. Mas o resultado é que o fato de um artigo ter sido citado — por exemplo, um artigo que aparece no topo do Google numa busca por ML e câncer — já não significa que ele seja de fato uma contribuição científica significativa, confiável ou importante
Esse tipo de citação política acontece mesmo sem fraude deliberada
Na pós-graduação, era senso comum que, se você quisesse que um artigo fosse aceito, precisava citar os trabalhos dos membros do comitê do programa e dos revisores influentes. Mesmo quando eu não achava que o trabalho deles tivesse muita relação com o que eu estava fazendo
Não é tão extremo quanto uma panelinha explícita mandando as pessoas fazerem isso, mas parte da distorção é parecida. Pessoas de alto status têm alto status porque são amplamente citadas, e você precisa citá-las de novo porque elas são pessoas de alto status
Não entendo por que alguém faria questão de normalizar uma besteira que viveu no passado
Acho que muitas pessoas que não passaram pela alta academia ou por programas de pós-graduação tinham a visão de que quem trabalha no ensino superior é gente incrível, irrepreensível, fazendo um ótimo serviço à sociedade
Com a idade, tendo mais contato com essas pessoas e lendo artigos como este, hoje passei a ver que uma parte considerável delas é composta por monstros, algumas das pessoas mais insanamente narcisistas e abusivas do planeta
Elas comandam feudos, têm dinheiro, prestígio e poder sobre subordinados. E, por serem pessoas inteligentes, também têm a capacidade de causar danos muito maiores às pessoas ao redor enquanto trabalham
Há muitas áreas “chatas” e “sem glamour”, e nelas o trabalho e a comunidade são bastante tranquilos e funcionam de acordo com os procedimentos
Já áreas muito quentes e competitivas atraem um certo tipo de pessoa
E cientistas tóxicos ou brutais muitas vezes reinam livremente, desde que estejam entregando os resultados desejados
Não é uma visão completa, mas ouvi relatos de pessoas de várias universidades. Alguém vindo de uma universidade disse que não ficou impressionado com as contratações recentes de professores, mas que “tomaria uma bala” por um professor específico de lá que era integralmente admirável
Acho que a maioria dos acadêmicos está mais próxima de uma distribuição normal de pessoas. Têm mais educação formal do que a média e podem ser mais inteligentes em alguns aspectos, mas não têm inteligência sobre-humana, e não parecem mais propensos do que outros humanos a serem santos
Muitos professores também precisam fazer bastante correria e autopromoção, então têm menos tempo, energia e poder para assumir o papel de anciãos benevolentes e sábios da comunidade universitária, como eu imaginava um dia
Em alguns lugares e em alguns indivíduos, também há dinâmicas mais infelizes. Certos aspectos de algumas universidades se comportam como as empresas mais internamente tóxicas que se possa imaginar — talvez até pior, porque instituições e indivíduos tendem a prestar menos contas
Claro que há exceções evidentes, mas, pessoalmente, cheguei à conclusão de que o meio acadêmico e as universidades são uma fossa estagnada com o que a natureza humana pode produzir de pior, mais traiçoeiro e mais dissimulado. Estão longe da meritocracia e, nesse ambiente, o resíduo “sobe” à superfície.
Fico realmente curioso sobre como esse fato se conecta à percepção de queda no valor dos diplomas universitários, que também foi discutida aqui recentemente.
Essas pessoas só foram tolas o bastante para deixar isso por escrito, e em muitos lugares há citações recíprocas sendo trocadas, ou pessoas aparecendo como autoras em artigos sem terem contribuído em nada.
Enquanto não começarem a surgir punições como pena de prisão para esse tipo de coisa, parece difícil que mude.