40 million embeddings to find who knows what on Hacker News
Contexto do projeto
- Em uma publicação anterior, foram gerados embeddings de 40 milhões de posts e comentários do Hacker News para criar um mapa semântico da comunidade
- Foi descoberto que, com o apoio da comunidade e com base nas sugestões que ela fez para o projeto, o mapa rapidamente se reduz a relações reais ao redor do mundo
- Em uma conversa com Robert, foi discutido o trabalho dele de 2008 na construção de um algoritmo de significado social
- Foi surpreendente perceber que, mesmo 16 anos depois, redes sociais como o Hacker News ainda não calculam nem mostram vozes confiáveis por tópico
Perguntas principais
- Por que é tão difícil descobrir e explorar as pessoas que mais entendem de determinados temas?
- Qual é o alcance do conhecimento delas e como são suas relações com pessoas de pensamento semelhante?
Novos recursos do app
- O novo app permite explorar e interagir com o mapa semântico do Hacker News (hn2.wilsonl.in)
Descobertas interessantes
- Organização semântica de usuários: mostra semanticamente as contribuições no HN a partir de cada usuário, junto com usuários semelhantes
- Ex.: confira o novo perfil de robg
- Busca semântica: permite pesquisar o significado no HN com base em quem sabe o quê
- Exemplos de consulta: startups, programação Go vs Rust, neurociência e sono, marketing por e-mail
- Mapeamento da comunidade: permite mapear a comunidade com base nos significados relacionados a quem sabe o quê
- Como o conhecimento não é distribuído de forma uniforme, é possível destacar as pessoas e o que elas sabem por meio do relevo da comunidade
Potencial da tecnologia
- Ao combinar as três funções de organizar significado, buscar e mapear a comunidade, é possível mostrar as pessoas por trás das palavras
- Em vez de organizar as informações do mundo, é possível organizar as pessoas do mundo
- Isso leva a refletir sobre vários desafios de conhecimento social
- Quem quiser explorar isso junto, à medida que o projeto avançar mais, é incentivado a entrar na lista de espera
Resumo do GN⁺
- Este projeto apresenta uma forma de encontrar e explorar especialistas em temas específicos por meio de um mapa semântico da comunidade do Hacker News
- As contribuições dos usuários são analisadas semanticamente para visualizar relações com usuários semelhantes
- Com a busca, fica mais fácil encontrar pessoas com conhecimento sobre temas específicos
- O relevo da comunidade destaca as pessoas e o que elas sabem
- O projeto oferece uma nova forma de conectar pessoas e compartilhar conhecimento
1 comentários
Opiniões no Hacker News
Pessoalmente, gosto do fato de o HN se concentrar em conteúdo e discussão, mais do que em usuários individuais. Se eu quisesse seguir especialistas, acho que montaria minha própria lista em uma rede social como o Mastodon ou improvisaria algo com feeds RSS.
Esta ferramenta parece identificar melhor comentaristas ativos do que especialistas com conhecimento, e também há o problema das contas descartáveis. Ainda assim, é um projeto bacana.
Não me lembro de forma alguma com quem discuti no HN, mas com certeza aconteceu algumas vezes.
Ao mesmo tempo, também acho excelente o projeto do autor do post.
Idealmente, bastaria olhar o conteúdo sem uma lista de especialistas confiáveis, mas houve uma época em que pesquisar em um mecanismo de busca “qual é o melhor banco de dados para usar” retornava resultados úteis. Hoje não mais. O HN talvez ainda seja melhor do que outros lugares, mas no fim sofre de problemas parecidos.
Assim, não se calcularia apenas a contribuição em si, mas também como essa contribuição se conecta com outras pessoas.
Na parte de baixo do mapa na página https://hn2.wilsonl.in/user/simonw aparece “Risk of COVID from pianos”. Eu realmente queria saber de onde isso veio.
Se você der zoom e mover o cursor vermelho sobre aquela posição/texto no mapa, o comentário original aparece abaixo do mapa.
Tipo quando, no início da pandemia, as vendas de guitarras e equipamentos de academia em casa aumentaram porque as pessoas estavam procurando hobbies para fazer em casa.
Quase não comento sobre meu trabalho de verdade, que é arquitetura de cloud e redes, nem sobre IA, que é uma área lotada demais. Curiosamente, quase não há nada relacionado à Apple, o que é muito irônico considerando meu blog. Então esta ferramenta mostra o que as pessoas discutem aqui, mas não necessariamente o que elas sabem.
https://hn2.wilsonl.in/user/c0l0 — pelo visto, sou um dos principais especialistas em otimização de design de tampas de vaso sanitário. Podem perguntar qualquer coisa.
Minha página tem uma quantidade enorme de itens: https://hn2.wilsonl.in/user/AndrewKemendo
https://hn2.wilsonl.in/user/SketchySeaBeast
Fico me perguntando se, ao criar os embeddings, usaram IDF e acabaram dando peso exagerado a conjuntos de palavras raras.
Post relacionado recente:
Show HN: explorar o HN mapeando e analisando 40 milhões de posts e comentários do HN por diversão - https://news.ycombinator.com/item?id=40307519 - maio de 2024, 159 comentários
É por causa de comunidades como o HN que ainda tenho esperança no futuro da confiança na internet.
Parece que extraíram meu e-mail do texto do perfil e o transformaram em um link
mailto:; admito que, pelos padrões atuais de LLM, ele não estava suficientemente ofuscado.Ainda assim, isso facilitou a coleta, então acho que devo agradecer em nome dos spammers de baixo esforço.
mailto:ainda existem de fato, ou se continuamos fazendo ofuscação de e-mail como uma espécie de culto cargo.O spam mudou muito desde aquela época; será que essa estratégia ainda é usada?
Por exemplo, a ofuscação de um amigo meu que escreveu “firstname [cute arobase sign] domain.com” na página de contato de um blog popular.
Existe alguma forma de fazer opt-out desse recurso?
Lembro de uma ferramenta bastante polêmica que apareceu aqui alguns anos atrás. Ela usava análise de estilo de escrita e estilometria quantitativa para encontrar “usuários parecidos”; você digitava um nome de usuário e ela provavelmente encontrava contas alternativas da mesma pessoa.
Diziam que era assustadoramente precisa — pelo menos foi o que ouvi de um amigo que tinha uma conta alternativa. Será que esta ferramenta também poderia ser adaptada para esse uso? Parece que seria possível codificar como vetor o “mapa” renderizado em cada avatar de usuário e depois compará-lo com outros usuários.
Edit: espera, acabei de perceber que parece que ela já faz isso. Embora não fique imediatamente claro se “Explore More Users” está ordenado por similaridade.
Empregador, política e outros temas: os assuntos em que uma conta alternativa participa tendem a ser diferentes. Já o estilo de escrita funciona porque, mesmo tentando, não há muita gente que consiga mudar fundamentalmente a própria forma de escrever.
Ironicamente, tanto naquela época quanto desde então, tenho usado quase só embeddings, mas esse sistema não usa embeddings. O principal problema dos embeddings é que eles não mudam bem ao longo do tempo. Dá para ajustá-los, mas não tão facilmente quanto outros métodos. A linguagem é cheia de abreviações específicas de cada setor, e os modelos geralmente são fracos para se adaptar a expressões e siglas que mudam. No fim, juntei mais algumas coisas e transformei isso em uma empresa: https://ipcopilot.ai
Agora estou procurando ideias no Hacker News para uma demo: https://m.youtube.com/watch?v=B5ymgh-ZDiI&pp=ygUKSXAgY29waWx...
Por exemplo, algo como: user123 é bem engraçado, fala de forma articulada, tem interesse em TypeScript e desenvolvimento web, e pontua alto em conscienciosidade e extroversão.
Meu nome de usuário veio de outro eu do narrador em 『Zen and the Art of Motorcycle Maintenance』. Tem relação com o trecho sobre a faca da análise.
“Phædrus was a master with this knife, and used it with dexterity and a sense of power. With a single stroke of analytic thought he split the whole world into parts of his own choosing, split the parts and split the fragments of the parts, finer and finer and finer until he had reduced it to what he wanted it to be. Even the special use of the terms "classic" and "romantic" are examples of his knifemanship.”
Não sei se o nome moldou o destino, se eu me conhecia bem o bastante para escolher esse nome, ou se simplesmente uso demais essas palavras, mas minhas palavras-chave incluem “part, system, level, language, article, object” etc.
Foi um pouco difícil realmente me aprofundar pelo meu nome de usuário, e não parece mostrar muito além de espalhar muitos pontos pelo mapa inteiro.
Estou tentando entender o que são os clusters como um todo, mas a maioria parece ser só android/apple/google: https://hn2.wilsonl.in/user/mmastrac
Interessante. Já reparei que meu comentário mais votado é sobre uma questão jurídica. É porque tenho relativamente mais expertise nessa área do que a maioria dos usuários do HN. Fui advogado no passado.
Por esta ferramenta, não apareço entre os principais comentaristas de law/legal/lawyer, mas reconheço com certeza alguns dos nomes no topo e lembro de tê-los visto em threads jurídicas. É uma ferramenta bem legal.
O melhor do HN é que os comentários parecem bastante efêmeros. Não gosto de ser analisado sem meu consentimento e colocado em exposição pública
Não há nada especialmente interessante sobre mim naquela página, mas é uma sensação estranha. Nem tudo precisa ser analisado, e não precisamos competir em todos os lugares. O que quero dizer é que gosto do fato de o foco estar no conteúdo, e não em quem disse. Depois de ver isso, apaguei meu usuário do Twitter da minha bio. Agradeceria se o app atualizasse isso também
Quando descubro naturalmente um post de blog e esse indicador acende, costumo ler os comentários, mesmo que o post tenha sido publicado anos atrás. Muitas vezes obtenho insights ou contexto úteis
Portanto, qualquer coisa que você diga aqui pode ficar associada a você para sempre — e de fato pode acontecer. Seja diretamente, seja de uma forma difusa, como esta ferramenta mostra
Mas percebi que, em qualquer comentário, dois cliques levam a uma consulta como esta: https://news.ycombinator.com/threads?id=RamblingCTO
O próprio Hacker News há anos oferece uma API em tempo real quase gratuita e vários grandes conjuntos de dados, e o objetivo disso é permitir que qualquer pessoa analise facilmente os comentários daqui: https://github.com/HackerNews/API
Nenhum comentário escrito na internet jamais foi efêmero. Há mais de 20 anos eles até deixaram de fingir que eram