arXiv garante mais de R$ 50 milhões para upgrades

• O arXiv, infraestrutura pública para artigos de pesquisa, garantiu mais de cerca de US$ 10 milhões em doações e subsídios por meio da Cornell Tech, fortalecendo sua base operacional de longo prazo
• O arXiv, que reúne mais de 2 milhões de artigos, usará esse financiamento para promover a migração para a nuvem e a modernização do código
• O foco da modernização está em garantir confiabilidade, tolerância a falhas e acessibilidade, para que pesquisadores possam continuar dependendo do serviço
• Recursos da NSF também serão usados pelo corpo docente de ciência da computação da Cornell para desenvolver técnicas de busca e recomendação, que poderão ser testadas e implantadas na grande comunidade ativa de usuários do arXiv
• Além da abordagem centrada em PDFs, o serviço ampliará a oferta de versões em HTML, melhorando a acessibilidade para pessoas com deficiência visual e aumentando sua sustentabilidade como infraestrutura de ciência aberta

---

Transição de infraestrutura de um repositório com 2 milhões de artigos

• A Cornell Tech garantiu um total de mais de US$ 10 milhões, somando uma doação da Simons Foundation e um subsídio da National Science Foundation, para apoiar o arXiv
• O arXiv é um serviço gratuito de distribuição de artigos acadêmicos e um arquivo de acesso aberto
• O financiamento será usado em trabalhos de base para operar com mais estabilidade um repositório que contém mais de 2 milhões de artigos

  • Migração para a nuvem e modernização do código

    • Modernizar a base de código e migrar para a nuvem
    • Reforçar confiabilidade, tolerância a falhas e acessibilidade para pesquisadores
    • Greg Morrisett, da Cornell Tech, vê esse investimento como necessário para ampliar o serviço do arXiv e apoiar um público de usuários mais amplo
    • Ramin Zabih, faculty director do arXiv, avalia que a modernização da base de código e a migração para a nuvem fortalecem a infraestrutura do arXiv

Plano de desenvolvimento e apoio à comunidade de pesquisa

• A próxima fase de desenvolvimento do arXiv inclui a contratação de vários desenvolvedores de software para assumir o trabalho de modernização
• Com recursos da NSF, o corpo docente de ciência da computação da Cornell desenvolverá novas técnicas de busca e recomendação
  • Elas poderão ser testadas e implantadas na grande e ativa comunidade de usuários do arXiv
  • Com suporte a garantias modernas de privacidade
• O conteúdo será oferecido não apenas em PDF, mas também em versões em HTML, com a expectativa de melhorar significativamente a acessibilidade para pessoas com deficiência visual
• O arXiv foi fundado em 1991 por Paul Ginsparg, então físico do Los Alamos National Laboratory
  • Ginsparg criou o arXiv antes de retornar à Cornell em 2001
  • Atualmente, o arXiv é mantido e operado pela Cornell Tech
• O arXiv apoia pesquisadores nas áreas de física, matemática, ciência da computação, biologia quantitativa, finanças quantitativas, estatística, engenharia elétrica e ciência de sistemas, e economia
• A Simons Foundation apoia o arXiv desde 2011, e o apoio adicional será usado para acelerar a transição para a sustentabilidade de longo prazo
• Além do apoio contínuo da Simons Foundation, o arXiv também recebe apoio de bibliotecas acadêmicas e de pesquisa, universidades, instituições de pesquisa, sociedades profissionais e doadores individuais

[GN⁺]

Opiniões no Hacker News

• Fico muito feliz que o arXiv vá receber mais financiamento. É uma infraestrutura de pesquisa essencial.
  Pessoalmente, acho interessante saber se o front-end vai mudar. Claramente há espaço para melhorias, como acessibilidade, ferramentas de revisão e suporte a mudança de nome, mas o site do arXiv parece quase um ideal platônico. Como o Craigslist, é HTML simples, carrega rápido, oferece apenas as informações e funções necessárias e não atrapalha.
  A equipe do arXiv merece enorme reconhecimento pelo trabalho que fez até aqui. É difícil exagerar o quanto um servidor de preprints foi útil e transformador para a ciência.

  • “HTML simples, carregamento rápido, só as informações e funções necessárias e nada mais para atrapalhar” é o ponto central. Eu ficaria muito irritado se isso virasse um aplicativo de página única que exige JavaScript, seguindo modismos.
    Seria ótimo usar o dinheiro para aumentar largura de banda ou armazenamento, mas espero que não seja desperdiçado em mudanças de UI inúteis e hostis.
  • Criei uma ferramenta para explorar artigos de ciência da computação usando a API do arXiv: https://trendingpapers.com/
    Espero que continuem fazendo um ótimo trabalho, especialmente no lado da API.
  • PDFs costumam carregar bem devagar, então isso é uma exceção à ideia de que é rápido.

• O arXiv talvez seja o repositório mais importante da ciência, e há pessoas irritadas com o financiamento público, dizendo que, como as grandes empresas de tecnologia o usam para publicar suas pesquisas, elas deveriam apoiá-lo com bastante dinheiro. Mas é preciso pensar nas consequências dessa proposta.
  Quando você financia algo, passa a ter certo grau de autoridade sobre aquilo. Direta ou indiretamente, torna-se possível dizer: “se não seguirem nossa proposta, vamos reconsiderar o apoio financeiro”. Fico em dúvida se queremos colocar um espaço que deve permanecer aberto e independente para a ciência e o interesse público sob a influência corporativa de empresas que nem sempre têm os mesmos objetivos.

  • Open source é literalmente aberto. Contribuir com dinheiro para o arXiv a fim de ajudar nos custos, por si só, não tem problema, desde que esse dinheiro não venha com ameaças ou condições.
    A ideia básica é: se você se beneficia de alguma forma de um repositório aberto, não seria bom contribuir? Se um número suficiente de indivíduos ou organizações contribuir, é bom para todos; e, se a organização por trás do projeto estiver num nível quase de hobby pessoal e for difícil mantê-lo, apoio pode ser necessário.
    No fim, lugares como o arXiv também têm custos. Ninguém é obrigado a contribuir, mas, se contribuir, é uma coisa boa.

• Ao ler que “o arXiv foi fundado em 1991 pelo Dr. Paul Ginsparg, então físico do Los Alamos National Laboratory, antes de ele retornar para Cornell”, percebi pela primeira vez que o arXiv era tão antigo. Para ser sincero, só fiquei sabendo dele e comecei a usá-lo há menos de 10 anos.

  • Cada área começou a publicar artigos regularmente no arXiv em momentos diferentes. Em uma ordem bem aproximada: teoria de altas energias por volta de 1992, outras teorias da física por volta de 1994, física experimental por volta de 1996, matemática por volta de 2000 e ciência da computação por volta de 2008.
    Algumas áreas mudaram quase da noite para o dia; outras cresceram lentamente por alguns anos até que publicar no arXiv virasse o padrão.
  • Antes de virar um site, era um listserv por e-mail.
  • Ainda costumo digitar xxx.lanl.gov. Antes redirecionava, mas agora não mais, o que é uma pena.

• Minha previsão é que o arXiv não precisa desse dinheiro e também não precisa de upgrades. Esse dinheiro só vai atrair vendedores, e todos eles serão pagos para propor deixar o arXiv pior. Talvez um deles consiga.

  • Concordo. O trabalho do arXiv, falando sério, é servir como um repositório de PDFs. Ele faz isso bem hoje.
    Não precisa de um front-end novo e vistoso que, daqui a 18 meses, será alterado de novo porque “agora círculos estão na moda”. Também não precisa migrar para uma “solução de plataforma distribuída, com balanceamento de carga, tolerante a falhas e web-scale” que exige algo como o dobro do tempo atual de manutenção e engenharia.
    O necessário é apenas servir documentos. Se houver problema de carga, como o conteúdo é majoritariamente estático, basta colocá-lo atrás de uma CDN. É exatamente o tipo de uso para o qual CDNs foram criadas.
    Por favor, não mudem.

• “Migrar para a nuvem”, que ótimo. Já dá para esperar um CAPTCHA a cada artigo baixado.
  Para constar, acredito que o arXiv não tomaria uma decisão idiota dessas, mas migração para a nuvem muitas vezes significa que as decisões já não são mais tomadas internamente.

  • Também pode ir direto para uma abordagem híbrida, como muitas empresas usam. Por exemplo, “migração para a nuvem” pode significar simplesmente manter backups dos artigos no S3 e redirecionar de forma transparente para o local no S3 se o download inicial falhar.
    Por outro lado, também pode significar reescrever tudo para rodar em Lambda. Ou seja, “migrar para a nuvem” significa coisas diferentes para cada empresa ou organização.
  • Essa mudança para a nuvem parece ter mais probabilidade de ter como objetivo a segurança, ou seja, impedir invasões externas, do que melhorar o produto. Como você disse, muitas decisões podem deixar de ser de Cornell. Parece um sinal de uma tendência geopolítica maior.

• O arXiv é uma bênção. Só pude chegar onde estou hoje graças ao arXiv e às pessoas que compartilharam suas pesquisas publicamente.
  Não gosto do fato de a DeepMind trancar suas pesquisas atrás de publicações como a Nature. Entendo que isso tenha o efeito de entrar em um clube prestigioso, mas não parece sincero. Abrir a pesquisa é o que faz a humanidade avançar.
  Dá para dizer que o arXiv deixou uma pequena marca no mundo, e fico feliz que esteja recebendo o financiamento necessário para sua sustentabilidade. Só espero que não acabe queimando tudo ao tentar crescer de forma desnecessária.

• Gosto muito do arXiv e fico feliz que ele vá receber mais financiamento. Espero que esse dinheiro ajude a corrigir problemas antigos, especialmente a forma como lida com identidade e exibição de autoria
  Por exemplo, o sistema atual pressupõe que os nomes das pessoas não mudam[1], o que afeta negativamente em especial autores trans. Parece algo que poderia ser corrigido com mais recursos, e espero que seja
  [1]: https://www.kalzumeus.com/2010/06/17/falsehoods-programmers-...

  • Não há uma boa forma de lidar com mudanças de nome. Dá para mudar nos metadados, mas o nome antigo permanece no corpo do artigo
    Mesmo que se permita ao autor alterar o artigo, o nome antigo continuará nas referências bibliográficas de outras pessoas. Referências são mais difíceis. Seria necessária uma automação para encontrar tudo e resolver ambiguidades, e nomes chineses, por exemplo, são especialmente complicados. Além disso, muitos autores se recusariam a deixar outra pessoa alterar seus artigos
  • Isso prejudica muito mais as mulheres que adotam o sobrenome do marido ou acabam fazendo isso por expectativa social
  • Não se deve mudar a história. Um novo nome pode ser usado, mas deve ser visto como uma identidade nova e separada
  • O arXiv parece oferecer suporte a mudanças de nome, mas aparentemente não em citações e referências bibliográficas[1]
    Isso me parece razoável. Alterar citações soa como uma estranha mudança da história e uma intervenção autoral/de direitos autorais
    Se alguém citasse este comentário escrevendo “bigyikes” e depois Dang mudasse meu nome, seria preciso corrigir também o comentário que me citou? Acho que não, mas talvez eu esteja em minoria
    [1]: https://blog.arxiv.org/2021/03/11/update-name-change-policy/

• O arXiv é um recurso excelente. Pelo menos na minha área, linguagens de programação, e provavelmente em grande parte da ciência da computação, parece que a maioria dos artigos está no arXiv
  Não há motivo para não disponibilizar artigos gratuitamente. A maioria das coisas custa dinheiro porque é material em si ou porque sua produção consome dinheiro e recursos que precisam ser recuperados. Mas o custo de distribuição de artigos é praticamente zero, e eles são produzidos com bolsas financiadas pelos próprios resultados e descobertas da pesquisa

  • Minha filosofia é: se alguém quiser gastar tempo com periódicos fechados, fique à vontade
    Quando a área era pequena e de nicho, talvez agrupamentos por tema fossem úteis. Mas, com as ferramentas modernas de busca e computação, questiono por que isso ainda seria necessário
    Não há nada na academia que pareça mais um negócio exploratório do que essa estrutura. Acho que tudo deveria ser publicado, e a discussão natural sobre o tema deveria determinar sua importância

• Será que é necessariamente uma boa ideia mover para a nuvem algo cujo orçamento é realmente apertado?

• Seria bom tornar os artigos nativos da Web

  • Parece que isso já está sendo tentado
    “Além disso, o arXiv transformará o conteúdo não só em PDF, mas também em versões HTML, oferecendo acessibilidade muito melhor a pessoas com deficiência visual”
    Mas se isso vai dar certo é outra questão. Um pipeline que compila para HTML precisa funcionar com todos os pacotes LaTeX que as pessoas usam, ou pelo menos com a maioria deles e falhar de forma elegante no restante. Compilar apenas para PDF já é difícil o suficiente, a ponto de o arXiv ter precisado manter permanentemente versões anuais do TeX Live