Extração de informações de recomendações de livros do Hacker News com a API do ChatGPT

• Artigo sobre como extrair recomendações de livros de threads do Hacker News (HN) usando a API do ChatGPT
• O autor analisou quase 200 histórias do HN que continham a palavra "book" no título e não tinham link para outras páginas
• O autor usou a API do GPT para classificar os dados e gerar a saída das informações em formato JSON
• Os dados foram obtidos pela API do Hacker News, e o autor chamou a API de Chat Completions para extrair do texto o título do livro, autor e URL
• Foram listadas as 50 principais recomendações de livros, sendo "Structure and Interpretation of Computer Programs", de Abelson e Sussman, a mais recomendada
• Em alguns casos, a API não retornava JSON válido, especialmente quando o ChatGPT respondia a comentários como "thanks" ou fazia perguntas
• O autor projetou o prompt para descartar respostas sem título, porque o ChatGPT às vezes incluía menções ao autor sem o título do livro específico
• O processamento de 57 mil comentários custou cerca de US$ 40 usando a API GPT-3.5 Turbo
• O autor descobriu que, mesmo com temperatura 0, os resultados do GPT variavam entre chamadas e mostravam maior variabilidade do que os modelos GPT-3 anteriores
• O autor constatou que o GPT conseguia identificar links no texto, mas que era necessário remover as tags HTML para evitar que ele escolhesse texto de link truncado em vez da URL
• O autor compartilhou exemplos da saída em JSON gerada pelo ChatGPT e dos prompts usados na tarefa
• Os dados brutos gerados pelo GPT foram compartilhados, ordenados por título, para análise adicional
• Como exercício de aprendizado, o autor adicionou links de afiliado da Amazon às URLs da Amazon na tabela

[GN⁺]

Opiniões do Hacker News

• Artigo sobre a extração de informações de recomendações de livros do Hacker News usando a API do ChatGPT
• Alguns usuários apontaram que o ChatGPT deixou passar algumas recomendações de livros
• Um usuário procurou recomendações de livros no Hacker News usando a palavra-chave "books" e elogiou a qualidade das recomendações encontradas na plataforma
• Usuários mencionaram outros recursos de recomendações de livros, como Hacker Recommended Books e Hacker News Books
• Alguns usuários expressaram surpresa pelo fato de alguns livros, como Code, de Charles Petzold, e livros de Knuth, terem ficado de fora da lista dos 50 principais
• Houve preocupações com a qualidade das recomendações de livros geradas por IA, e alguns usuários sugeriram que isso poderia ser usado para gerar links de afiliados da Amazon
• Alguns usuários questionaram a inclusão de certos livros na lista, como How to Win Friends and Influence People e Atlas Shrugged
• Um usuário apontou que Meditations, de Marcus Aurelius, pode ter sido confundido com Meditations on First Philosophy, de Descartes, o que pode ter causado erros na lista
• Alguns usuários encontraram valor em recomendações de livros menos populares descobertas nos comentários de posts do Hacker News
• Houve questionamentos sobre a necessidade de usar o ChatGPT, e alguns usuários sugeriram que Algolia e análise de dados já seriam suficientes