2 pontos por GN⁺ 2025-02-27 | 1 comentários | Compartilhar no WhatsApp
  • Há alguns meses, foi anunciado um prêmio de US$ 10.000 para quem melhor visualizasse o espaço de ISBN dos dados do Anna’s Archive
  • Essa visualização mostra os arquivos já preservados e os que ainda não foram preservados, e inclui um conjunto de dados que indica o número de bibliotecas que possuem livros com ISBN
  • Muitas pessoas participaram e apresentaram ideias criativas. A paixão e a energia em torno deste projeto foram impressionantes
  • O objetivo é entender quantos dos livros existentes no mundo já foram preservados e quais livros devem receber foco daqui para frente

Visualização básica

  • Em uma imagem com menos de 300 kb, ela expressa de forma concisa a maior "lista de livros" da história da humanidade.
  • Inclui várias fontes de dados: All ISBNs, Anna’s Archive, Google Books, Internet Archive etc.

Desafio e vencedores

  • Foi decidido oferecer um prêmio de 1º lugar de US$ 6.000, um de 2º lugar de US$ 3.000 e um de 3º lugar de US$ 1.000. Devido ao grande número de participantes, foi decidido conceder o 3º lugar a quatro pessoas, com US$ 500 para cada uma.
  • 1º lugar US$ 6.000: phiresky - As opções flexíveis de visualização e a implementação rápida e fluida se destacam.
  • 2º lugar US$ 3.000: hypha - A visualização em nível macro é impressionante e oferece uma UI amigável.
  • 3º lugar US$ 500 #1: maxlion - Várias visualizações são impressionantes, especialmente as de comparação e de editoras.
  • 3º lugar US$ 500 #2: abetusk - O recurso de comparação é excelente.
  • 3º lugar US$ 500 #3: conundrumer0 - Impressiona como uma ferramenta de visualização altamente flexível.
  • 3º lugar US$ 500 #4: charelf - Oferece recursos simples, mas eficazes.

Ideias dignas de nota

  • BWV_1011: arranha-céus para raridade
  • robingchan: estatísticas em tempo real
  • reguster: anotações e estatísticas em tempo real
  • orangereporter: visualização de mapa e filtros únicos
  • joe.davis: ótimo esquema de cores padrão e mapa de calor
  • timharding: alternância fácil para comparação rápida entre conjuntos de dados
  • j1618: rótulos bonitos
  • immartian: barra de escala mostrando a quantidade de livros
  • backrndsource: muitos controles deslizantes para comparar conjuntos de dados como um DJ

Conclusão

  • O trabalho vencedor do 1º lugar será integrado ao site principal, e outras obras também estão sendo consideradas.
  • Há reflexões em andamento sobre como organizar o processo de identificar, verificar e preservar livros raros.
  • Agradecimentos a todos que participaram, e também por tantas pessoas terem demonstrado interesse neste projeto.

1 comentários

 
GN⁺ 2025-02-27
Comentários do Hacker News
  • O vencedor foi a visualização que também tinha sido abordada recentemente no HN
    Impressionante tanto nas escolhas técnicas quanto no design gráfico, e visualiza com elegância 2 bilhões de livros de um jeito que lembra estantes
    Discussão relacionada no HN: https://news.ycombinator.com/item?id=42897120

  • Fiquei meio surpreso por meu trabalho ter ficado em 3º lugar. Acho que gostaram da simplicidade e da visualização
    Ainda dá para ver em https://isbnviz.pages.dev
    Sinceramente, acho que os dois trabalhos abaixo são melhores: https://bwv-1011.github.io/isbn-viewer/, https://anna.candyland.page/map-sample.html
    Em especial, o trabalho do bwv é tecnicamente parecido, mas no geral muito melhor que o meu, e mais próximo do formato que eu queria fazer

    • Eu também fiquei surpreso por ter ficado em 3º lugar
      Mas comparando o seu trabalho com o do bwv, não concordo que o bwv seja tecnicamente superior em todos os aspectos
      Faltam funções de comparação, seleção de ISBN e geração de links, e parece que o bwv focou em uma única função de destacar livros raros, enquanto cuidou menos de outros requisitos que o Anna’s Archive queria
    • Tenho curiosidade sobre por que em seu trabalho e no do bwv Spain/Italy etc. aparecem como ilhas flutuantes, separadas, mas também surgem junto do bloco principal
    • Fico feliz em ouvir isso. Eu também me surpreendi que o bwv-1011, mesmo com foco técnico na visualização de raridade, tenha ficado só com menção honrosa
      Porque, olhando de fora, parecia que esse era o principal objetivo desta tentativa
  • Muito legal. Mas notei uma coisa estranha
    Pesquisei por “Stubborn Attachments” e apareceu direitinho, e na mesma estante havia vários livros da Stripe Press
    Entre eles havia um livro da Stephanie Friedman chamado “Zero to One Hundred”, mas ao pesquisar na Amazon o título aparece diferente. Como ainda não foi lançado, dá para entender que o título talvez ainda não esteja definido: https://a.co/d/bQX5CNf
    O estranho é que, se você pesquisar pelo título mostrado na estante, “Zero to One Hundred”, ele não aparece, mas aparece se pesquisar pelo ISBN, e o nome exibido no resultado é ainda outro título
    Então a mesma posição na estante parece diferente dependendo do que foi pesquisado. Ainda não li o post do blog sobre como essa visualização funciona, então não sei a causa

    • Parece não ser problema da ferramenta, e sim de que os próprios dados do livro estão bagunçados
      Se você pesquisar o ISBN na web, “Zero to One Hundred” aparece com a capa de “Built to Grow”, e o contrário também acontece
      Além disso, o mesmo ISBN também aparece associado a “Experiment, Build, Scale” junto com os dois títulos anteriores, e é esse livro que aparece na visualização
      Entre os livros da Stephanie, o único que parece estar no Google Books é “Experiment, Build, Scale”, e no Worldcat há “Zero to One Hundred” com a capa de “Built to Grow”
      A maioria das livrarias online parece embolada desse jeito, então isso parece mais um problema de qualidade de dados a montante, e é difícil culpar a ferramenta
  • Interessante. Se ampliar em https://archive.anarchy.cool/maps/isbn.html, dá para ver várias coisas. Infelizmente, não parece haver links diretos para coordenadas ou nível de zoom
    A leste da seção de língua alemã, dá para encontrar editoras como a Hueber Verlag, que parecem ter espalhado números ISBN em um padrão com intervalos de cerca de 1.360.000
    Sei que o ISBN tem checksum e que isso cria lacunas entre os números, mas por causa disso surge um padrão repetitivo com muito espaço vazio, e parece haver bastante desperdício dos grandes intervalos que a editora possui
    Não existe alguma regra sobre como as editoras devem atribuir esses números? Seria bom se blocos não utilizados que não são mais necessários pudessem ser devolvidos
    Também dá para imaginar que, ao publicar material didático em 30 idiomas, várias “ideias” podem surgir na hora de atribuir ISBNs: https://de.wikipedia.org/wiki/Hueber_Verlag

  • Entre visualizações de grandes conjuntos de dados do tipo em que se espera que o usuário “explore” por conta própria, geralmente acho que elas são bonitas, mas não trazem nenhum insight especial
    Em vez de tentar transmitir uma mensagem ou narrativa específica, elas simplesmente fazem você ficar navegando, e essas visualizações parecem especialmente assim

    • É exatamente esse o problema que sinto em tentativas de forçar visualizações para o 3D
      A menos que esteja modelando um volume realmente tridimensional, como em imagens médicas ou CAD, essa “exploração forçada” que o 3D adiciona só esconde os insights
    • O que o ISBN mapeia é basicamente editora, títulos atribuídos e ordem aproximada de publicação
      Essa é toda a informação que ele transmite, e não há uma estrutura hierárquica que ajude a descoberta ou organize o conteúdo
      Além disso, o mesmo texto pode aparecer várias vezes em encadernações diferentes, o que, do ponto de vista de ebooks, nem é uma diferença muito significativa
      O problema maior é que o “Anna’s Archive” não é um repositório legal de livros, e sim um site pirata, e o que eles exibem é uma ostentação explícita da completude do roubo, junto da consequente ausência de compensação
      Se fosse uma interface baseada em um sistema hierárquico como o da LoC, e que desse acesso a livros legais realmente disponíveis em https://www.gutenberg.org/, ou a livros listados em http://onlinebooks.library.upenn.edu/, ou a livros em elaboração em https://www.wikibooks.org/, seria muito mais interessante)
  • Assim que vi a imagem no topo, tive um impulso automático de abrir o programa de desfragmentação de disco

    • A animação do Windows 98 era a melhor. Depois disso, todas foram bem ruins, uma pena
  • Participar já foi muito divertido, e parabéns a todos os envolvidos
    Para quem tiver curiosidade, minha submissão ainda está no ar: https://d199hl4t3ts6d9.cloudfront.net/

  • Todo o meu carinho sincero para todas as bibliotecas-sombra. Elas estão realmente fazendo o trabalho de Deus

    • Elas fazem metade do trabalho, e só essa metade já é enorme. A outra metade é feita por voluntários que digitalizam livros
      Fiquei triste ao ver a “estante” do meu país, com tantos títulos faltando
      Chega a dar vontade de ir à biblioteca local e digitalizar eu mesmo livros antigos, esgotados e hoje impossíveis de encontrar
      Conhecimento demais está se perdendo
  • Fico me perguntando por que não aparece um mundo hispanófono nítido nessa visualização de ISBN
    O inglês ocupa 2 quadrantes, e francês, alemão, japonês, soviético, chinês etc. têm regiões grandes, mas a Espanha não tem nenhuma região grande
    Será que os livros em espanhol são realmente tão poucos? Ou a distribuição está mais concentrada no mundo anglófono?
    Para alguém que cresceu em bibliotecas e livrarias em espanhol, cercado de livros em espanhol, é estranho sentir que a nossa parte nesse mapa-múndi é tão pequena

    • O conjunto de dados é composto pelos livros do Anna’s Archive, e cada livro é identificado por ISBN
      Os ISBNs e títulos são extraídos dos conjuntos de dados em https://annas-archive.li/datasets, que incluem principalmente revistas e livros em chinês, inglês e francês
      Por exemplo, a Alemanha publica 5 vezes mais livros que os Países Baixos, e a Espanha publica 2 vezes mais que os Países Baixos: https://internationalpublishers.org/wp-content/uploads/2023/11/IPA-Nielsen-BookData-IPA-Full-Report-23022024.pdf
      Mas na visualização a Alemanha parece semelhante aos Países Baixos, e Espanha e México não batem bem com os rótulos principais: https://software.annas-archive.li/AnnaArchivist/annas-archive/-/issues/244#note_2913
    • Eu tive exatamente a mesma dúvida e, embora não tenha nenhuma evidência, tenho uma hipótese
      Há um bloco grande que parece ser Argentina ou Peru, e os títulos ficam nas bordas desse bloco grande
      Em vez de ter o nome no centro como os outros blocos principais, ele fica vazio; eu acharia um pouco surpreendente se aquilo tudo fosse Argentina, e faria bastante sentido se aquele bloco fosse o mundo hispanófono
  • A obra vencedora lembra um pouco o gerenciador de arquivos Eagle mode, em que você amplia para ver os arquivos dentro de um diretório e continua ampliando para acessar subdiretórios
    https://eaglemode.sourceforge.net/emvideo.html