- Em descrições de algumas obras incluídas na lista de livros recomendados da A16Z foi encontrada a frase incorreta de que “a maioria dos livros termina no meio da frase”
- Neal Stephenson deixou claro que, embora seus romances possam ser objeto de controvérsia, nunca houve um livro seus que terminasse no meio de uma frase
- Ele afirma que a explicação mais provável é que a frase tenha sido publicada a partir de texto gerado por IA sem revisão posterior
- De fato, pelo histórico do repositório no GitHub foi confirmada uma versão inicial criada pelo Cursor IDE seguida por uma edição descuidada humana
- O caso é relevante por expor o problema da confiabilidade e da falta de validação em conteúdos gerados por IA
Lista de livros da A16Z e frase incorreta
- A lista de leitura recomendada divulgada pela A16Z incluía várias obras de Neal Stephenson
- A descrição continha a frase “a maioria dos livros termina no meio de uma frase (literalmente, termina em mid-sentence)”
- Stephenson destacou que essa afirmação não é verdadeira e, pelo uso de “literalmente”, é um erro factual, não uma metáfora
- Ele explicou que, embora alguns leitores possam se frustrar com os finais, títulos como 《Snow Crash》, 《The Diamond Age》 e 《Seveneves》 têm finais claramente definidos
A natureza do erro e por que importa
- A frase não é uma simples opinião crítica literária; trata-se de uma asserção factual incorreta
- Stephenson disse que esse erro compromete a honestidade do autor e do editor
- Ele questionou como uma declaração como essa conseguiu entrar no site da A16Z
Hipótese 1: frase gerada por IA
- A explicação mais provável apresentada é que um texto gerado por IA foi publicado sem revisão humana
- Erros de grafia e particularidades de estilo reforçam essa hipótese
- Ele observou que esse tipo de situação já acontece com frequência em áreas como direito, academia e mídia
- Stephenson comparou o processo à “Inhuman Centipede”, alertando que erros desse tipo podem ser reaprendidos por LLMs de gerações futuras
Hipótese 2: uso humano de dados incorretos
- A segunda possibilidade é erro humano baseado em materiais incorretos
- Sub-hipótese A: possibilidade de ter se usado uma versão truncada de PDFs piratas (bootleg PDF) como referência
- Sub-hipótese B: a frase pode ter parecido incompleta por causa de problemas de qualidade da tradução
Rastreando a causa real
- Ao investigar o site, Stephenson encontrou evidências no histórico de commits do repositório no GitHub
- No commit de 21 de julho de 2023, foi confirmado um texto original gerado pelo Cursor IDE
- O texto original continha uma metáfora com “segfault”, mas depois uma pessoa o alterou incorretamente para “termina no meio da frase”
- Em seguida, outra pessoa adicionou um erro de digitação durante a sumarização, consolidando o erro final
- Ele avaliou isso como resultado da combinação de preguiça no uso de IA com descuido humano
Confiabilidade da internet e conteúdo de IA
- Stephenson afirmou que usuários da internet ainda mostram confiança excessiva em informações online
- Mencionou um caso anterior em que trechos de sua obra Cryptonomicon foram inseridos aleatoriamente em spam de e-mail
- Esses trechos também terminavam no meio de frases, e ele destacou a possibilidade de LLMs terem sido treinados com esse tipo de dado
- Ele enfatizou o risco de a IA gerar conteúdo sem distinguir fato de ficção
Conclusão
- Stephenson afirmou que ficou grato pela recomendação da A16Z, mas ao mesmo tempo exigiu verificação clara de fatos para a frase incorreta
- O episódio é visto como exemplo da ausência de validação em conteúdos gerados por IA e do problema de responsabilidade humana na revisão
1 comentários
Comentário no Hacker News
Como o histórico de commits é público, dá para ver facilmente que essa lista de leitura passou pela mão de IA
Veja este link do commit relacionado
A mensagem do commit é apenas “stephenson”, então não está claro por que mudaram isso
Link do commit corrigido
Minha experiência com LLMs não é tão positiva quanto a de outras pessoas
Pegando como exemplo a promoção do Gemini do Google: ele apresentou uma linha do tempo para preparar o jantar de Ação de Graças, mas quando fiz perguntas gerou três versões contraditórias entre si
Bastava algo simples como “coloque uma toalha sobre o pão para mantê-lo aquecido”, mas ele repetia respostas completamente sem sentido
Geração de código só deu certo 1 vez em 6, perguntas estilo StackOverflow deram certo 5 vezes em 6, e perguntas gerais variam bastante
Quando falha, falha tão feio que assusta ver o mundo correndo nessa direção de uso massivo de LLMs
Perguntei até mesmo “qual era o preço da ação na véspera do lançamento do AI Overview” e errou isso também
Era maior do que o próprio código e um espaguete sem sentido repetindo só declaração de variáveis. Não vou usar isso de novo
Acho que não se deve levar a A16Z a sério. Parece um bando completo de picaretas
Teria sido muito bom se o post do blog tivesse terminado no meio da frase
As outras obras dele também mostram o caos interior humano, mas sem desfecho nem moral
Mesmo depois de mais de 2000 páginas lidas, a conclusão continua sendo “não recomendo”
Para Neal Stephenson, eu só queria dizer: “obrigado por terminar com frases completas”
Os livros dele sempre passam a sensação de terminarem cedo demais ou tarde demais, então apesar das premissas interessantes eu raramente me animo a pegar um
Isso me lembrou a autobiografia de Werner Herzog
No prefácio, ele diz que sua vida poderia acabar com o tiro de um atirador de elite e avisa que vai usar isso como recurso para encerrar o livro abruptamente
E ele realmente faz isso, mas logo em seguida acrescenta “este é exatamente o final que eu tinha anunciado”, numa virada tipicamente herzoguiana
Quando uma grande empresa publica uma lista de leitura de fim de ano, a mensagem de PR é “somos pessoas com emoções e gostos”
Mas neste caso ficou claro que isso não passava de uma simples encenação promocional
Ao ver a frase “o sentido da vida era um inteiro (integer)” como encerramento, senti na hora que isso era com certeza uma frase escrita por IA
A lista inteira está cheia daquele tom típico de LLM
Dada a origem, nem chega a ser surpreendente. Na verdade, a primeira hipótese (de que foi escrita por LLM) já deveria bastar
Satirizam Stephenson como um escritor dadaísta que termina no meio da frase
Outra hipótese é que tenha sido só uma falha de memória
A pessoa pode ter lembrado de um livro do Stephenson lido há muito tempo como tendo um final frustrante e confundido isso com outro livro que “termina no meio da frase”