Não ficção de qualidade é o oposto do slop de IA

• A exploração das estantes, combinando o sistema de classificação da biblioteca, a curadoria dos bibliotecários e o histórico de empréstimos, oferece mais qualidade e acaso do que mecanismos de busca, levando leitores a obras de não ficção de qualidade que eles não esperavam encontrar
• A plataforma gratuita Book Prize Index permite pesquisar e ordenar cerca de 6.500 livros vencedores e finalistas dos principais prêmios literários de não ficção em língua inglesa, além de oferecer consultas em linguagem natural e descoberta de livros semelhantes
• A IA foi usada apenas para coleta de dados, programação e busca semântica; até resultados de busca às vezes difíceis de entender acabam criando uma experiência de descoberta parecida com caminhar por estantes bem cuidadas
• Registros de prêmios literários também resgatam excelentes obras esgotadas que foram deixadas de lado pelas recomendações da Amazon. A biografia de W.E.B. Du Bois que ganhou 4 prêmios importantes em 1993 está fora do top 1 milhão em vendas, mas fica perto do top 10 geral no índice
• Bibliotecas de pesquisa com acervo aberto, maior mobilidade, melhor acessibilidade social, mudanças em tecnologias de catalogação e na mídia elevaram a qualidade da não ficção do século 20; subjetivamente, o período entre os anos 1980 e o início dos anos 2000 pode ter sido o auge

---

O acaso curado criado pela exploração das estantes

• Na universidade, ao organizar livros nas seções A a F do sistema de classificação da Library of Congress, o autor teve amplo contato com obras de religião, filosofia, sociologia e história lendo, a cada vez, uma frase em uma página aleatória
  • A maioria não despertava interesse, mas ele se envolvia com livros sobre religiões de mistério helenísticas, The Education of Henry Adams e Are Clothes Modern?, lia várias páginas e examinava também os livros vizinhos
• Essa experiência estava mais próxima de um autodidatismo curado do que de uma leitura totalmente aleatória
  • O sistema de classificação da Library of Congress e a equipe da biblioteca de pesquisa organizavam e selecionavam os materiais
  • A condição de serem livros emprestados funcionava como um filtro adicional, indicando que já haviam conquistado leitores constantes
  • Como resultado, era possível encontrar uma amostra de qualidade, sistematicamente selecionada, mas ainda com uma casualidade interessante

A busca do Google e o declínio das estantes abertas

• A busca do Google usada hoje por estudantes de graduação para encontrar materiais oferece uma experiência de descoberta muito inferior à de percorrer diretamente uma seção específica das estantes de uma biblioteca de pesquisa
• O espaço das bibliotecas de pesquisa também está mudando em relação ao passado
  • As estantes abertas exploráveis estão sendo substituídas por Learning Labs, Digital Innovation Hubs e áreas de assentos para socialização e lanches
  • Também aumentam os casos de descarte de livros antigos e incomuns ou sua substituição por versões digitais
• Ainda assim, a qualidade da não ficção continua alta e, mesmo em um contexto de redução de leitores devido à concorrência com chatbots de IA e podcasts, segue em curso uma era de ouro da não ficção que não recebe o devido reconhecimento

A composição do Book Prize Index

• Book Prize Index é uma plataforma gratuita criada para explorar a cauda longa de não ficção de alta qualidade
• O histórico de vencedores e finalistas dos principais prêmios literários de não ficção em língua inglesa é usado como critério de qualidade
  • Depois de reunir listas dos principais prêmios, Claude e GPT-5.6 foram usados para coletar vencedores e finalistas da Wikipedia e de várias outras fontes online
  • Os dados coletados foram organizados em uma lista pesquisável e ordenável
• A plataforma é mantida com custos de hospedagem e API pagos diretamente pelo autor, para que qualquer pessoa possa usá-la gratuitamente

Um passeio pelas estantes recriado com busca semântica

• O papel da IA se limita à coleta de dados, programação e busca semântica (semantic search)
• A busca semântica melhora diretamente a pesquisa textual que pesquisadores já usam
  • É possível buscar frases simples como modern France e social history
  • Ela também processa consultas em linguagem natural com significado composto, como classic biographies that are surprisingly weird
  • Um modelo de embeddings encontra livros relevantes entre cerca de 6.500 títulos
• Mesmo quando os resultados são às vezes difíceis de entender, essa imprevisibilidade recria uma experiência de descoberta parecida com caminhar aleatoriamente por um jardim bem cuidado
• Ela é especialmente adequada ao uso de books like, para encontrar livros parecidos com um livro de que você já gosta
  • Ao buscar com base no livro de memórias de Stefan Zweig sobre a Viena pré-guerra, The World of Yesterday, é possível encontrar imediatamente livros promissores desconhecidos

Visualização de dados e ranking de editoras

• Com os dados coletados, foram criadas visualizações experimentais
  • Cerca de 5.000 livros do corpus são organizados pela cor da capa
  • Comparando por década, é possível observar se o fenômeno de as cores dos carros terem se tornado mais acinzentadas nas últimas décadas também aparece nas capas dos livros
• Os gráficos na mesma página e o ranking de editoras permitem explorar os selos e editoras com melhor desempenho em prêmios literários de não ficção ao longo do último século

A cauda longa da não ficção preservada por prêmios literários

• Até mesmo a categoria de não ficção do Pulitzer Prize começou relativamente tarde, em 1962
• O número de prêmios literários de não ficção cresceu entre as décadas de 1970 e 1990, atingiu o pico em 2014 e pode ter começado a cair suavemente a partir de 2020
• A cauda longa formada por indicados e vencedores nas últimas décadas mostra uma qualidade consistentemente alta
  • Mesmo escolhendo quase aleatoriamente na lista, é possível encontrar livros originais e excelentes
  • Esses livros não foram obras ignoradas no lançamento, mas sim obras elogiadas pela imprensa, pelo meio literário e pela academia que hoje foram empurradas para fora dos sistemas de recomendação
• A biografia de W.E.B. Du Bois, de David Levering Lewis, ilustra bem essa desconexão
  • Na época de sua publicação, em 1993, recebeu 4 prêmios importantes e fica perto do top 10 geral do índice
  • Hoje está esgotada e sua posição de vendas na Amazon está fora do top 1 milhão, o que torna pequena a chance de ser recomendada, mas pode ser comprada usada por cerca de US$ 4

Mudanças que criaram a era de ouro da não ficção

• O projeto básico das bibliotecas de pesquisa com acervo aberto surgiu nos séculos 18 e 19, mas as mudanças tecnológicas e sociais do pós-guerra transformaram profundamente a maneira como novos conhecimentos eram produzidos em bibliotecas e arquivos
• O avião a jato de passageiros abriu a investigação de campo em vários continentes, antes restrita aos ultra-ricos, para mais escritores e pesquisadores
• À medida que restrições de classe, raça e gênero se enfraqueceram, espaços de elite como bibliotecas de livros raros se tornaram mais acessíveis, e novas perguntas de pesquisa se tornaram possíveis
  • Antes de aproximadamente 1965, biógrafos quase não investigavam a orientação sexual dos biografados
• O sistema de classificação da Library of Congress e tecnologias digitais iniciais como o MARC (machine-readable cataloguing), desenvolvido no fim dos anos 1960, facilitaram a classificação e ordenação dos livros
  • A verificação de fontes e a criação de notas finais de alta qualidade também se tornaram muito mais fáceis
• O telejornalismo, programas singulares de entrevistas na TV como Dick Cavett e o caminho de adaptação de livros por Hollywood deram novos incentivos aos autores e plataformas para divulgar suas obras
• É incerto se processadores de texto e computadores iniciais melhoraram de fato a qualidade da não ficção
  • Depois dos anos 2000, Wikipedia e Google Books/Hathi Trust contribuíram muito para a pesquisa dessa geração

O auge da qualidade da não ficção

• Pelo julgamento subjetivo de quem folheou muitos livros de biblioteca, a qualidade da escrita de não ficção melhorou ao longo do século 20
• O auge pode ter ocorrido entre os anos 1980 e o início dos anos 2000
• É difícil determinar se a qualidade da não ficção atual está realmente em declínio

[GN⁺]

Opiniões no Hacker News

• Vejo que boa ficção é fundamentalmente o oposto da IA. LLMs podem combinar vários elementos e produzir resultados que parecem criativos, mas têm limites; mesmo inserindo prompts milhares de vezes, é difícil imaginar que saia uma obra verdadeiramente original como um grande romance
  Uma obra assim precisa da magia e do absurdo da vida

  • Não faz muito sentido dizer que, para os humanos serem mais criativos, eles necessariamente precisam vivenciar a magia e o absurdo da vida. A criação humana, no fim, também é um processo de costurar e recombinar as próprias experiências, e me pergunto se a IA também não poderia produzir resultados verdadeiramente originais caso tivesse dados suficientes que refletissem isso
    Inteligência e criatividade são ambas recombinação, e a IA também pode fazer isso bem, como os humanos. A diferença atual está no fato de que os dados aos quais os humanos têm acesso são muito mais analógicos, emocionais e baseados na realidade
  • Quanto mais envelheço, mais me vem à cabeça a frase não há nada de novo debaixo do sol
  • IA é bem útil em um ramo da não ficção que documenta e explica conteúdo técnico. Eu informei minhas preferências e pedi para escrever um romance de fantasia, mas o resultado foi horrível; acho que a IA não vai roubar o emprego de autores de fantasia tão cedo
  • Hoje não quero ler romances escritos por LLMs, mas imagino que no futuro eu mude de ideia e apareçam obras que dê para aproveitar. Ainda assim, não ficção também é muito mais difícil de substituir por LLMs
    Os livros que estou lendo agora, https://www.goodreads.com/en/book/show/17801.Underground e https://www.goodreads.com/en/book/show/44824581-a-k-pop-live, dependem de um enorme volume de materiais, incluindo entrevistas presenciais difíceis de viabilizar e participação em eventos no local, portanto são livros que LLMs não poderiam escrever. Mesmo livros relativamente comuns, como https://www.goodreads.com/series/139929-designers-dragons, usam fontes que não foram digitalizadas ou não estão em conjuntos gerais de materiais digitais
    LLMs podem ser bons em síntese, mas ainda faltam ferramentas e sistemas de verificação para escrever um livro de não ficção competente. Mesmo que isso se torne possível no futuro, a não ficção mais brilhante e interessante continuará sendo domínio humano; memórias e relatos de viagem também serão difíceis de substituir, a menos que seja apenas um caso de ditado
  • Modelos vêm demonstrando cada vez mais capacidade de extrapolar para áreas ainda não exploradas por humanos, como em provas matemáticas. Gostaria de saber em que se baseia a certeza de que obter material a partir dos absurdos da vida seria especialmente difícil para modelos

• É bem possível que as informações obtidas ao ler um texto longo e as informações obtidas em uma conversa com um LLM sejam armazenadas de formas diferentes no cérebro. Ao ler um texto difícil ou novo, a pessoa passa bastante tempo pensando em como o conteúdo se encaixa nas experiências ou conhecimentos existentes e, em páginas difíceis, para para integrar e reorganizar o pensamento
  Já ao conversar com um LLM, a sensação é de receber conhecimento passivamente, sem integração suficiente. É um tanto paradoxal, pois não acho que seria assim ao aprender com um professor humano

  • Isso se aproxima de assimilação e acomodação na teoria da educação. Assimilação é o processo em que o conhecimento se encaixa em esquemas cognitivos existentes, enquanto acomodação é o processo de mudar o próprio esquema por causa de um novo conhecimento, gerando a sensação de desafio ou profundidade
    Por exemplo, uma criança aprende que estrangeiros são pessoas vindas de fora do seu país e, na primeira viagem ao exterior, percebe que ela própria é a estrangeira naquele lugar. As saídas de LLMs parecem tender, em geral, para formatos facilmente assimiláveis
  • Ouço audiolivros enquanto caminho ou faço trilhas e, às vezes, ao lembrar do que aprendi, também me vem à mente onde eu estava caminhando. Ainda há muito a descobrir sobre como os humanos processam informações
  • Dizer que se recebe conhecimento passivamente ao interagir com um LLM soa quase como um oxímoro, e é muito diferente da minha experiência
  • Isso parece depender mais de como se usa a ferramenta. Eu não aprendo bem só lendo; aprendo fazendo e perguntando repetidamente sobre os pontos que não entendo, e um LLM permite perguntar de novo tantas vezes que um humano logo perderia a paciência
    Dá para praticar ativamente, escrevendo o que se entendeu e criando flashcards, como ao estudar sozinho com material original, mas também aprofundar as partes difíceis com mais perguntas. Graças a isso, torna-se possível uma integração e reorganização do pensamento que eu não conseguia por outros meios
    Se alguém usa o LLM como uma máquina caça-níqueis de conhecimento, aplicando diretamente o que recebeu sem o processo intermediário, o resultado pode ser diferente
  • Como cada pessoa absorve informações de um jeito, esse tipo de conjectura pode errar feio. Não dá para generalizar o fato de não gostar de LLMs como uma conclusão sobre o cérebro humano ou sobre abordagens de acesso ao conhecimento em geral; aqui, a experiência subjetiva individual é quase tudo

• Prêmios literários são um sinal acima da média, mas editoras inscrevem livros em massa em qualquer prêmio minimamente relacionado e tratam isso como custo de negócio. É parecido com fotógrafos pagando taxa de inscrição para obter o título de “fotógrafo premiado”, ou empresas pagando taxa de avaliação e enviando materiais
  Há livros demais e poucos jurados qualificados, então a premiação pode se tornar arbitrária ou absurdamente fácil. O NCR Book Award passou por uma grande polêmica quando se descobriu que os jurados não tinham lido os livros [1], e o PROSE Award é tão grande que o prestígio de ser finalista ou vencedor em categorias gerais costuma ser exagerado
  [1] https://www.theguardian.com/news/2013/may/19/literary-prize-judges-admit-failure-read-books

  • Prêmios são produtos de sua época, refletindo não só os vieses dos jurados e os gostos literários dos leitores, mas também nepotismo, favoritismo e elitismo. Ao olhar os vencedores e indicados históricos do Hugo, Nebula e Locus, também se encontram muitas obras apenas medianas
  • Prêmios de cerveja e vinho são iguais: alguns são excelentes, mas a maioria está mais para loterias promocionais pagas

• Nas seções “tecnologia” e “ciência”, encontrei vários livros excelentes que já li e outros que quero ler, o que me deu motivação para recuperar o hábito diário de leitura que eu havia perdido. Livros recentes de “sociedade e cultura” também parecem bons para clubes de leitura
  Há um bug: ao selecionar Pulitzer ou National Book Award no filtro “award”, não aparece nenhum resultado, mas essas obras premiadas aparecem durante a navegação

  • No começo, criei este site para uso pessoal, mas acabei me envolvendo em expandi-lo ao descobrir bons livros que eu não conhecia por meio de busca semântica e navegação por categorias. Espero que ele cumpra o mesmo papel para outras pessoas
  • Depois de corrigir recentemente meus hábitos com celular e TV, agora fazemos um clube de leitura silencioso em família em vez de noite de cinema
    1. Instalei o Jomo no celular para esperar 5 segundos antes de abrir apps estimulantes e usá-los por apenas 5 minutos; a cada abertura, o tempo de espera aumenta em 5 segundos e é redefinido à meia-noite. Esse atrito é o ponto central
    2. Quando encontro livros físicos interessantes, compro na hora e deixo espalhados pela casa
    3. Associei a leitura a hábitos existentes. Levo um livro todos os dias quando saio para me exercitar e, depois do treino, leio com um café na cafeteria em frente; à noite, leio antes de dormir. Depois de terminar alguns livros, você se envolve com a leitura e, pelo contrário, fica difícil se concentrar na TV; o scroll infinito começa a dar uma sensação ruim até enquanto você está fazendo, como comer junk food
       Como livro para começar, recomendo https://bookshop.org/p/books/true-grit-charles-portis/5ac45463b35e7b22

• Em uma biblioteca de pesquisa, aprendi muitas técnicas e processos de derivação que mudaram minha vida por meio de livros que estavam duas ou três prateleiras ao lado do livro que eu procurava. Depois que virei pesquisador, passei a pedir ao bibliotecário que enviasse os livros para a filial perto do meu escritório e deixei de percorrer as estantes pessoalmente; mas, ao pegar emprestados alguns livros ao lado dos que estavam na minha lista na sede principal, tive grandes avanços
  Hoje, a mesma biblioteca instalou estantes móveis, o que tornou a exploração incômoda, e sinto que se perdeu algo precioso: as descobertas fortuitas ao explorar estantes
  Eu tinha grandes expectativas para a lista deste site, mas ela ficou aquém na minha área de especialidade. Quando procuro livros semelhantes a Nutritional Ecology of the Ruminant, de van Soest, ou Animal Breeding: Use of New Technologies, de van der Werf, aparecem apenas montes de livros de divulgação científica. Os livros que encontrei no passado na biblioteca mantinham rigor científico e, ao mesmo tempo, eram surpreendentemente compreensíveis e interessantes; já os livros de divulgação científica recomendados dão a impressão de tentar vender algo, em vez de me levar a explorar ideias por conta própria, então acho que vou ter de voltar a olhar as estantes pessoalmente

• Seria bom oferecer suporte a busca por autor. Comecei recentemente a ler a série de Caro sobre LBJ e, até agora, está excelente; fiquei curioso sobre quantos prêmios ele recebeu. Gosto de não ficção e pretendo visitar este site com frequência

  • De forma mais geral, seria bom poder clicar nos cabeçalhos das colunas para ordenar por ano, título, editora, autor, pontuação etc. Em algumas telas funciona, em outras não, então não é intuitivo
    A alternância entre busca “traditional” e “semantic” é interessante, mas seria bom que o interruptor continuasse visível não só na aba inicial, mas também na aba de livros

• Concordo com a ideia de descobertas fortuitas ao explorar livros de maneira um tanto aleatória, mas o web app em si parece ser o oposto disso. Cliquei em algumas categorias e todos os livros no topo tinham cheiro de votação de popularidade, bem distante de uma exploração aleatória

• Seria bom adicionar o Axiom Business Book Awards, o Library Journal Best Books of the Year e o Booklist Magazine's Editor's Choice Awards. Também há alguns Substacks populares que dão bastante destaque a resenhas de livros, mas eu não recomendaria nem mesmo o meu favorito para um site público de agregação

  • Pretendo adicionar o Axiom. No entanto, listas do tipo “livros do ano” são um pouco diferentes de prêmios literários, então ainda estou pensando se e como incluí-las, mas é bem provável que sejam o próximo passo para aumentar a lista de livros
    Também gostaria de receber recomendações de outros prêmios. Como sou historiador, conheço melhor os prêmios ligados à história, então a lista atual pode estar excessivamente inclinada para a área de história

• A seção de história do índice de prêmios de livros é excessivamente enviesada para os Estados Unidos. Ela se concentra em história dos EUA, povos indígenas americanos, Japão após a Segunda Guerra Mundial e Vietnã no último século

  • No fim das contas, é porque esses livros vendem. Os EUA têm uma população grande, então até um tema de nicho como história pode ser lucrativo se mirar leitores americanos
    Historiadores que não tentam vender livros para o mercado de massa escrevem obras muito mais variadas, mas elas são difíceis de encontrar em livrarias comuns
  • Ironicamente, em comparação com Europa, Norte da África, Oriente Médio, Pérsia, China, Ásia Central e Índia, os Estados Unidos na verdade têm um acúmulo histórico relativamente pobre

• Estou procurando livros sobre a Guerra Civil Espanhola em espanhol ou inglês. Não gostei dos livros americanos recomendados e quero continuar procurando independentemente do idioma ou do país em que tenham recebido prêmios, então seria bom incluir também prêmios literários de países não anglófonos

  • Mais do que a guerra em si, é muito mais interessante entender como ela aconteceu e por que o país inteiro aceitou entrar em conflito. Para compreender isso, é preciso começar pelo fim da ditadura anterior e examinar toda a Segunda República Espanhola para então entender a guerra
    Recomendo The Collapse of the Spanish Republic, de Stanley Payne. Ele era um jornalista que esteve na Espanha durante todo aquele período, então transmite principalmente o que testemunhou diretamente; não se apresenta como imparcial, mas conhecia pessoalmente muitos dos principais personagens e trata o tema com bastante nuance
  • Entre os livros que li, recomendo fortemente The Spanish Civil War, de Paul Preston, e Homage to Catalonia, de George Orwell. Na minha lista de leitura estão The Spanish Civil War, de Hugh Thomas, e The Fight for Spain, de Antony Beevor, e quero consegui-los e lê-los logo