Empresas de IA estão destruindo livros raros

• Empresas de IA estão comprando livros em massa, cortando a lombada de obras raras para escaneamento em alta velocidade e depois destruindo os originais
• A ISBNdb aceita pedidos de até 1 milhão de livros, oferece anonimato aos compradores e NDA, e orienta os clientes a chamarem esse processo de “preservação digital”
• Publicações anteriores a 2022 são altamente valorizadas por serem dados sem texto gerado por IA, e a Anthropic também busca garantir um grande volume de livros
• Um juiz federal considerou uso justo a prática de eliminar o original para deixar apenas uma cópia por vez, mas até livros com pouquíssimos exemplares sobreviventes entram no processo
• O último exemplar existente de um livro do século 18 não pode ser substituído depois de destruído, e uma decisão legal pode acelerar um dano irreversível

---

Como livros raros viram dados de treinamento

• Empresas de IA compram livros em massa, cortam a lombada e fazem escaneamento em alta velocidade, destruindo depois os originais
• A ISBNdb intermedeia pedidos de até 1 milhão de livros enquanto oculta a identidade do comprador
  • Oferece NDA como funcionalidade do serviço
  • Orienta os clientes a chamar esse trabalho de “preservação digital”
  • Em seu próprio site, afirma que “uma manchete dizendo ‘empresa de IA destrói 2 milhões de livros’ não é algo que desperte simpatia”
• Publicações anteriores a 2022 são tratadas como dados premium por não incluírem texto gerado por IA
• A Anthropic contratou o ex-responsável por parcerias do Google Books para garantir “todos os livros do mundo”

A irreversibilidade deixada pela decisão de uso justo

• Um juiz federal considerou essa prática uso justo com a lógica de que, ao eliminar o original, existe apenas uma cópia em cada momento
• Um funcionário de livraria disse à 404 Media que até livros raros com pouquíssimos exemplares restantes entram no processo
• Sites podem ser republicados e best-sellers podem ser reimpressos, mas um livro de botânica do século 18 do qual restam apenas os três últimos exemplares não pode ser substituído depois de destruído
• Diferentemente de scraping da internet, torrents de bibliotecas ou obtenção não autorizada de música, destruir o original é irreversível, e após a decisão legal esse tipo de negócio pode acelerar ainda mais

[GN⁺]

Opiniões no Hacker News

• Não sinto muita simpatia pelas editoras. Elas mantêm livros fora de catálogo até o copyright expirar, transformando livros perfeitamente bons em raridades, e mesmo livros à venda muitas vezes só existem em papel que ondula com umidade e em brochuras coladas que se desfazem em folhas soltas em poucos anos.
  Livros que a editora tirou de catálogo deveriam poder ser publicados por outra editora sem compensar a editora original, mas com renegociação de royalties com o autor. Também deveríamos mudar a lei de copyright para permitir que outra editora faça uma edição premium quando a editora não oferece uma capa dura com papel durável e encadernação costurada.

  • Acho que o copyright deveria terminar com a morte do autor ou do cônjuge. É injusto uma gravadora monetizar até vídeos de análise musical de poucos segundos que são claramente uso justo, tomando a receita de canais pequenos que investiram muito tempo e dinheiro.
    Pequenos streamers também não têm recursos para brigar na Justiça. O canal em questão é https://www.youtube.com/@diggingthegreats/videos.
  • Nos séculos 17 e 18, era comum que editoras não encadernassem os livros, e que os compradores fizessem pedidos personalizados a encadernadores independentes; bibliotecas pessoais inteiras às vezes seguiam um padrão unificado de capas do proprietário.
    Na época, livros eram artigos de luxo que a maioria não podia comprar, e a disseminação da encadernação barata em massa aumentou o acesso. Ainda hoje existe um mercado artesanal que desmonta livros comerciais para criar encadernações e capas personalizadas de alta qualidade.
  • Talvez os livros dos séculos 17 e 18 que ainda vemos hoje tenham sobrevivido justamente porque eram bem feitos desde o início. Há um viés de sobrevivência: os livros mal feitos já desapareceram e não podem mais ser vistos.
  • Se as editoras encadernarem todos os livros em edições premium e os deixarem empilhados em depósitos enquanto os consumidores compram apenas brochuras baratas, não há motivo para a editora arcar com o custo adicional; isso é uma resposta à demanda de mercado.
    Em vez de presumir que as editoras ignoram deliberadamente uma demanda oculta por edições premium, é mais simples supor que elas sabem, pelos dados de vendas, que não venderiam. Se o objetivo é preservação, não deveríamos obrigar o uso de um papel um pouco melhor, mas criar arquivos digitais robustos, não depósitos de estoque ou estantes de colecionadores.
  • Tenho ainda menos simpatia por operadoras de LLMs que roubam propriedade intelectual do que por editoras.

• Estamos republicando livros antigos depois de verificar o copyright. Todos os livros são edições publicadas antes de 1930 e, dependendo de os detentores dos direitos terem renovado ou não, muitos livros até 1964 ou 1973 também podem ser usados.
  Cortamos a lombada com uma guilhotina especial, colocamos as folhas soltas em plástico selado para preservação permanente e também guardamos os arquivos originais sem compressão em discos magnéticos para eventuais redigitalizações. Também procuramos com antecedência livros raros posteriores a 1931 para poder publicá-los assim que o copyright expirar, mas nenhuma empresa de AI jamais nos pediu para treinar com os scans completos.

  • Fico curioso para saber quem é esse “nós” aqui e se o plástico selado é adequado para preservação de longo prazo. Como a decomposição química pode fazer umidade ou vapores corrosivos se acumularem dentro, seria preciso verificar se um ambiente com controle ativo de temperatura e umidade não seria melhor.
  • Livros muito antigos podem introduzir viés em direção a estilos arcaicos, e conhecimentos valiosos muitas vezes são tratados com mais profundidade e detalhe na literatura moderna, então seu valor como material de treinamento de AI tende a ser baixo.
    Documentos antigos em si são interessantes e muito dignos de preservação, mas são menos úteis para serem misturados a enormes conjuntos de dados de treinamento.
  • Precisamos de fontes e contexto para saber se é uma organização sem fins lucrativos de duas pessoas ou uma empresa pré-IPO avaliada em US$ 1 trilhão.
  • Fico me perguntando se, ao cortar a lombada, não acabam sobrando apenas folhas soltas como “manuscritos do Mar Morto” sem origem identificável.

• Se os alvos de digitalização são apenas livros ainda sob copyright, por que livros de botânica do século 18 estão incluídos? Digitalizar um livro que você possui deveria ser legal do ponto de vista de copyright, e não deveria exigir destruição.
  Para obras publicadas há mais de 50 anos e em risco de serem esquecidas, poderiam ser aplicadas regras para obras órfãs, obrigando os detentores de direitos a provar que elas estão preservadas em várias bibliotecas etc., ou a permitir cópias adicionais, ou a abrir mão do copyright.

  • Desmontar um livro em folhas soltas e digitalizá-lo é mais rápido e barato, e o treinamento de AI é uma disputa de volume, então esse método é vantajoso. Depois da digitalização, as folhas soltas sem utilidade são transformadas em polpa e recicladas, portanto é bem possível que a digitalização destrutiva tenha se tornado dominante mesmo quando não há copyright.
    O motivo de a OpenAI não poder simplesmente comprar na Amazon a edição digital de um livro de 2018 e usá-la diretamente é que isso envolveria, além de violação de licença, também o DMCA, que proíbe contornar DRM.
  • Livros do século 18 estão em domínio público, então não é ilegal digitalizá-los preservando o original.
  • O motivo para destruir livros insubstituíveis não é copyright, mas a redução de custos da digitalização destrutiva: https://www.404media.co/ai-companies-are-buying-tons-of-old-....
  • Livros antigos raros dos quais restam cópias em número de um dígito deveriam receber proteção como patrimônio cultural, como acervos de museus. Quando um proprietário quiser danificá-los ou descartá-los, o Estado deveria ter direito de compra prioritária.
  • Livros triturados também têm a vantagem de não poderem ser digitalizados novamente por concorrentes.

• Se a Archive.org não tivesse sido processada por emprestar livros físicos que possuía, talvez esse resultado tivesse sido evitado. As editoras deveriam ter pensado com mais cuidado no resultado que desejavam.

  • Originalmente, a Archive.org emprestava livros que possuía fisicamente e havia digitalizado, com DRM e limite de 1 usuário simultâneo por exemplar, mas durante a pandemia removeu a limitação e permitiu empréstimos simultâneos ilimitados, o que iniciou a disputa com as editoras.
  • Quando uma cópia de um livro é destruída, o valor de outras cópias e do estoque não publicado aumenta, então não dá para presumir que as editoras necessariamente não gostem disso.
  • Pode-se dizer que a abordagem imprudente da Archive.org acabou enfraquecendo até a posição de atividades legítimas de preservação.

• As editoras esperavam processar empresas de AI que treinaram com materiais de bibliotecas-sombra e conseguir grandes contratos de conteúdo, mas as empresas de AI usaram uma brecha analógica. Comprar um livro usado por US$ 5 e gastar US$ 25 em digitalização destrutiva é muito mais barato do que pagar royalties.
  Dito isso, o alvo não são textos antigos, mas livros ainda sob copyright, e nem tudo que é antigo tem valor. Como bibliotecas descartam livros sem demanda que só geram custo de armazenamento, empresas de digitalização conseguem obtê-los por pouco dinheiro.

  • Como são livros que têm valor para empresas de AI, elas deveriam pagar uma compensação justa.
  • A literatura moderna também se torna literatura antiga com o tempo, então não dá para julgar apenas pelo valor físico atual.
  • Mesmo incluindo desgaste de equipamento, mão de obra para retirar papel atolado e custos de reciclagem, o custo da digitalização destrutiva pode estar mais perto de US$ 0,25 do que de US$ 25 por livro.
  • Se você altera informações de vários compradores e destrói o material original, conteúdo incorreto permanecerá no LLM; justificar isso beira a propaganda.

• Parece mais com a fábrica de “triturar e escanear” de 《Rainbows End》, de Vernor Vinge, do que com 《Fahrenheit 451》, de Bradbury

  • Vernor Vinge previu o futuro próximo especialmente bem e retratou a digitalização destrutiva como um método usado por pouco tempo pelos vilões antes de passarem para a digitalização não destrutiva. Acredito que uma das melhores coisas que se pode fazer pela humanidade no longo prazo é apoiar o Anna’s Archive
  • Embora seja diferente do significado que o público costuma atribuir, também está bastante próximo do que o autor de 《Fahrenheit 451》 pretendia dizer

• Ao digitalizar livros raros, também seria possível desfazer os danos de Authors Guild v. Google. Poderiam permitir os escaneamentos das empresas de IA, mas exigir a publicação das cópias digitais, com um período de carência de alguns anos para preservar a vantagem da empresa que fez o primeiro escaneamento: https://en.wikipedia.org/wiki/Authors_Guild,_Inc._v._Google,...

  • Destruir a única cópia de um livro de 1850 e trancar seu conteúdo em um sistema com fins lucrativos é exploração de um recurso público, como extrair recursos de terras públicas sem autorização
    Por outro lado, seria muito mais razoável regulamentar para que ele seja digitalizado em alta qualidade, publicado permanentemente de forma gratuita, acessível por meio de um LLM público gratuito em bibliotecas e online, e, se não houver cópias físicas restantes, preservado em um arquivo público de obras raras após verificação suficiente

• Se, por causa de leis de direitos autorais tolas, esse é o método legal disponível para empresas de IA, é difícil atribuir toda a culpa a elas. É possível apoiar bibliotecas-sombra locais: https://annas-archive.pk/donate

• Olhando apenas para os materiais citados, faltam evidências de que livros raros estejam de fato sendo destruídos. Foi acrescentado o exemplo de um livro de botânica insubstituível do século XVIII, mas isso não exclui a possibilidade de que os alvos reais sejam livros à venda ou comuns

  • Todos os livros do século XVIII já estão em domínio público, então não há motivo para triturá-los

• Aqui, “livros raros” parecem ser não manuscritos medievais historicamente importantes, mas livros relativamente recentes, ainda protegidos por direitos autorais, com poucas cópias físicas à venda. Destruir um exemplar desse tipo para preservar digitalmente o conteúdo não é necessariamente algo ruim; em livros ainda protegidos, o valor geralmente está mais no conteúdo do que no suporte físico

  • Manuscritos medievais historicamente importantes também estão cada vez mais sendo disponibilizados online, e quando pesquisadores têm acesso direto aos escaneamentos das fontes primárias, a pesquisa histórica avança mais rápido. Claro que, nesse caso, o método é não destrutivo
  • Há livros em que o suporte físico em si tem valor, como edições especiais de colecionador com assinatura do autor ou aplicação de folha de ouro, mas é pouco provável que empresas de IA usem essas edições
  • Mesmo para livros dos quais restam cópias em número de um dígito, eu poderia concordar com a digitalização destrutiva sob a condição de que o escaneamento digital de alta qualidade seja publicado
  • A pergunta central é: para quem isso está sendo preservado digitalmente?
  • Fico em dúvida se mudar um pouco os pesos de alguma cadeia de Markov em algum lugar pode realmente ser chamado de preservação de conteúdo