Mapeando o Hacker News para descobrir quem sabe o quê na comunidade do HN

40 million embeddings to find who knows what on Hacker News

Contexto do projeto

• Em uma publicação anterior, foram gerados embeddings de 40 milhões de posts e comentários do Hacker News para criar um mapa semântico da comunidade
• Foi descoberto que, com o apoio da comunidade e com base nas sugestões que ela fez para o projeto, o mapa rapidamente se reduz a relações reais ao redor do mundo
• Em uma conversa com Robert, foi discutido o trabalho dele de 2008 na construção de um algoritmo de significado social
• Foi surpreendente perceber que, mesmo 16 anos depois, redes sociais como o Hacker News ainda não calculam nem mostram vozes confiáveis por tópico

Perguntas principais

• Por que é tão difícil descobrir e explorar as pessoas que mais entendem de determinados temas?
• Qual é o alcance do conhecimento delas e como são suas relações com pessoas de pensamento semelhante?

Novos recursos do app

• O novo app permite explorar e interagir com o mapa semântico do Hacker News (hn2.wilsonl.in)

Descobertas interessantes

• Organização semântica de usuários: mostra semanticamente as contribuições no HN a partir de cada usuário, junto com usuários semelhantes
  • Ex.: confira o novo perfil de robg
• Busca semântica: permite pesquisar o significado no HN com base em quem sabe o quê
  • Exemplos de consulta: startups, programação Go vs Rust, neurociência e sono, marketing por e-mail
• Mapeamento da comunidade: permite mapear a comunidade com base nos significados relacionados a quem sabe o quê
  • Como o conhecimento não é distribuído de forma uniforme, é possível destacar as pessoas e o que elas sabem por meio do relevo da comunidade

Potencial da tecnologia

• Ao combinar as três funções de organizar significado, buscar e mapear a comunidade, é possível mostrar as pessoas por trás das palavras
• Em vez de organizar as informações do mundo, é possível organizar as pessoas do mundo
• Isso leva a refletir sobre vários desafios de conhecimento social
• Quem quiser explorar isso junto, à medida que o projeto avançar mais, é incentivado a entrar na lista de espera

Resumo do GN⁺

• Este projeto apresenta uma forma de encontrar e explorar especialistas em temas específicos por meio de um mapa semântico da comunidade do Hacker News
• As contribuições dos usuários são analisadas semanticamente para visualizar relações com usuários semelhantes
• Com a busca, fica mais fácil encontrar pessoas com conhecimento sobre temas específicos
• O relevo da comunidade destaca as pessoas e o que elas sabem
• O projeto oferece uma nova forma de conectar pessoas e compartilhar conhecimento

[GN⁺]

Comentários do Hacker News

• Gosto do fato de o HN focar em conteúdo e discussões, em vez de usuários individuais

  • Se eu quisesse seguir especialistas, usaria uma rede social como Mastodon ou feeds RSS
  • Esta ferramenta tende a escolher comentaristas ativos em vez de especialistas com conhecimento
  • Ainda assim, é um projeto legal

• Meu nome de usuário vem do alter ego do narrador de "Zen and the Art of Motorcycle Maintenance"

  • Reflete a capacidade de Phædrus de usar a faca analítica
  • Uso com frequência palavras-chave como "part, system, level, language, article, object"

• Fui apresentado como o principal especialista em Optimizing Toilet Lid Design

• Parece que extraíram meu e-mail do texto do perfil e o transformaram em um link mailto:

  • Um comentário sarcástico agradecendo por facilitar a coleta de e-mails para spammers

• Um item chamado "Risk of COVID from pianos" aparece na parte inferior do mapa

  • Tenho curiosidade sobre a origem disso

• A melhor coisa do HN é que os comentários dão a sensação de serem efêmeros

  • É desconfortável ser analisado e exposto sem consentimento
  • Nem tudo precisa ser analisado, e não há necessidade de competir
  • Gosto do foco no conteúdo
  • Isso me fez remover meu identificador do Twitter da bio

• Projeto relacionado recente:

  • "Show HN: Exploring HN by mapping and analyzing 40M posts and comments for fun" (maio de 2024, 159 comentários)

• Houve uma ferramenta controversa alguns anos atrás

  • Era uma ferramenta para encontrar usuários semelhantes por análise de texto e estilo
  • Ouvi dizer que era muito precisa
  • Fico me perguntando se esta ferramenta poderia ser reutilizada para esse fim
  • Não está claro se "Explore More Users" é ordenado por similaridade

• Como um usuário com pouca atividade, sinto que esta ferramenta é imprecisa

  • Parece estar focada em perguntas sobre jpeg xl, que é o assunto sobre o qual menos sei
  • Pode haver um viés em direção a tópicos mais gerais

• Foi difícil tirar algo mais profundo do meu nome de usuário

  • Além de muitos pontos espalhados pelo mapa, não oferece muita informação
  • Estou tentando entender o que é o cluster como um todo
  • A maior parte está relacionada a android/apple/google