Artigos removidos em tempo real da página principal do Hacker News
(github.com/vitoplantamura)- HackerNewsRemovals é um projeto que registra histórias que desapareceram da Front Page do Hacker News para entender os tipos e a escala do ajuste da página principal observável externamente
- O serviço busca a cada minuto as 90 Top Stories pela HN API oficial e registra no log as histórias que saíram ao comparar com as 30 primeiras do minuto anterior
- A premissa central é que é difícil uma história cair da posição entre as 30 primeiras para fora das 90 em apenas 1 minuto, e que, nesses casos, há possibilidade de ela ter sido removida explicitamente
- O serviço não consegue determinar automaticamente se uma história é duplicada, e como duplicatas podem ser um motivo razoável para remoção, isso deve sempre ser verificado ao analisar a lista
- O log é atualizado com atraso máximo de 1 minuto, e se a história voltar a aparecer na Front Page ela é removida da lista; histórias no second-chance pool são excluídas
Objetivo do projeto e problema percebido
- HackerNewsRemovals é um projeto para entender em que escala e de que forma acontece o ajuste da Front Page do Hacker News
- Considera-se que o ajuste da Front Page observável externamente se divide em dois grandes tipos
- Edição do título da história: isso pode afetar a subida no ranking de forma voluntária ou involuntária
- Remoção direta da Front Page
- Como o rastreamento de alterações de título já é oferecido em hackernewstitles.netlify.app, este projeto foca nas histórias removidas
- Originalmente era um pequeno aplicativo feito para uso pessoal, mas foi publicado como repositório público porque não foi encontrada nenhuma ferramenta ou site que oferecesse o mesmo tipo de informação
- O autor diz que, se existir uma ferramenta ou site semelhante, o repositório pode ser arquivado ou voltar a ser privado
Atualização de fevereiro de 2024 e observações
- Na atualização de 4 de fevereiro de 2024, foi adicionado um link para a discussão deste projeto no Hacker News
- Discussão: HN discussion
- Comentário de @dang sobre a premissa central: @dang comment
- O número de histórias removidas no sábado, 3 de fevereiro de 2024, foi o mais baixo já registrado pelo serviço, incluindo 2 histórias duplicadas
- Ao analisar a lista, é sempre preciso verificar se a história é duplicada
- Duplicatas podem ser um motivo razoável para remoção
- O serviço não tem como determinar automaticamente se há duplicidade
Como funciona
- O serviço usa a HN API oficial para buscar, a cada minuto, as 90 Top Stories
- Ele compara os dados atuais com as 30 primeiras do minuto anterior, ou seja, a Front Page
- Se uma história que estava na Front Page no minuto anterior não estiver mais entre as 90 Top Stories atuais, ela é registrada no log
- Esse método se baseia na premissa de que uma história não pode cair naturalmente das 30 primeiras para fora das 90 em apenas 1 minuto
- Se a história voltar a aparecer na Front Page, a entrada correspondente é removida do log
- Histórias no second-chance pool são excluídas do log
Dados registrados
- O título e a URL usam os valores do momento em que a história apareceu pela primeira vez entre as 30 primeiras
- Pontuação, número de comentários e ranking usam os valores do momento em que a história foi removida da Front Page
- Cada ID de história aponta para a página news.social-protocols.org
- Essa página fornece um gráfico da posição na Front Page ao longo do tempo
- A lista é atualizada em tempo real, com atraso máximo de 1 minuto
Formato da lista pública
- O README traz uma sequência de listas de histórias removidas por data
- Cada item pode incluir o ID no HN, posição no momento da remoção, pontuação, número de comentários, título da história e link original
- Como exemplo, há itens listados por data de 22 a 27 de junho de 2026
- Em alguns itens, pontuação ou número de comentários não aparecem, e são mostrados apenas posição e título
- Ao interpretar a lista, é preciso verificar se há duplicidade, e o serviço em si não automatiza essa verificação
O que motivou a criação do projeto
- O gatilho foi um caso em que duas histórias relacionadas ao OnnxStream apareceram no Hacker News e foram afetadas de formas diferentes na Front Page
- A primeira história teve o título alterado de “Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes” para “OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2”, e usuários apontaram que o novo título não refletia a intenção da história
- A segunda história chegou à 3ª posição da Front Page em menos de 1 hora após o envio, mas depois foi removida da Front Page
- @dang respondeu que essa história foi sinalizada por usuários mesmo sem exibir marcação explícita de flag, e que a causa das flags só pode ser estimada
- Com base nessa experiência, foi criado um pequeno aplicativo de console para verificar com que frequência isso acontece; depois, como não foi encontrada nenhuma ferramenta pública que monitorasse o mesmo fenômeno, ele foi publicado
1 comentários
Comentários no Hacker News
Olhando a lista de posts removidos, a moderação aqui parece bem satisfatória
Todos eram sensacionalistas, quase propaganda de alguma empresa, títulos caça-clique, muito fora do tema ou alguma combinação disso, e pessoalmente não vi nenhum post que eu achasse que não deveria ter sido removido
Sam Altman Says AI Using Too Much Energy Will Require Breakthrough Energy Source: https://futurism.com/sam-altman-energy-breakthrough
Avoid Async Rust at All Cost: https://blog.hugpoint.tech/avoid_async_rust.html
O último poderia ter um título menos exagerado, mas o conteúdo em si era um artigo de opinião interessante. Parece mais provável que isso não tenha sido ação direta dos moderadores, mas sim falso positivo do filtro de spam, onda de denúncias ou algum mecanismo para evitar manipulação de recomendações
Isso já foi suficiente para eu entender o que precisava saber sobre a moderação deste site. Felizmente alguém deixou um screenshot: https://merveilles.town/@cancel/111834048502040552
Sério? Um relatório da NASA em um site oficial .gov? Os comentários podem até ter sido ruins, mas isso parece bem no centro do tipo de assunto que interessaria ao HN
É bem claro que fóruns online precisam de boa moderação para se manterem saudáveis no longo prazo. O HN tem se saído bem graças a uma comunidade forte que usa votos positivos e negativos e a uma equipe de moderação que normalmente interfere pouco, mas sabe dizer não quando necessário
O autor pode ter partido de uma suspeita, mas no fim isso funciona como um relatório de transparência bastante bom
A suposição de que “um post não pode cair do top 30 para abaixo do 90 em um minuto, então deve ter sido removido explicitamente” está errada
O detector de discussões inflamadas, ou seja, de debates superaquecidos, e as denúncias dos usuários podem causar isso, e há outros mecanismos de software também. Por exemplo, se um post ficou mais de 18 horas na primeira página, o peso dele é automaticamente reduzido, a menos que haja uma exceção manual. Além disso, as denúncias dos usuários afetam o ranking de um envio muito antes de aparecer a marca
[flagged]Vamos supor que alguém acompanhe o feed em tempo real dos envios do HN, denuncie um post que não quer ver e depois peça aos amigos para fazerem o mesmo. Existem proteções para impedir que esse comportamento tenha influência indevida sobre quais coisas uma pessoa tem ou não a chance de ver?
[flagged], que tipos de denúncia de usuário existem e por que isso não é público?As pessoas deveriam saber. Shadow banning é coisa dos anos 2010
Não há problema nenhum em usuários fazerem algo assim. Os princípios pelos quais o HN funciona são simples o bastante para serem explicados e defendidos. Só que algo nesse nível de complexidade inevitavelmente vira bagunça, então para entender com precisão é preciso ter alta tolerância à bagunça
Mas é importante corrigir imprecisões como o erro mencionado aqui: https://news.ycombinator.com/item?id=39231537. Robin89, você pode corrigir o texto? Sei que foi uma suposição equivocada feita de boa-fé, mas está bem errado
Também acho que seria mais fácil responder às perguntas daqui se os IDs do HN na página apontassem para as threads reais do HN. No momento eles levam para social-protocols.org. Claro, você é livre para linkar para onde quiser, mas assim fica difícil acompanhar as perguntas daqui. As pessoas trazem listas do tipo “o que aconteceu com os posts X, Y, Z, e também com W, V, J?”, e em princípio eu gostaria de responder tudo, mas há um limite físico para a quantidade que dá para processar na prática
Vou passar a maior parte das próximas horas em reuniões, então, se eu não me afogar nesta thread, tento responder às perguntas depois
Essa artificialidade e falta de transparência fazem os usuários sentirem que o ranking é arbitrário e injusto, mesmo que existam bons motivos para isso. Não daria para indicar em cada post se houve alguma manipulação do ranking ou de outra lista? Por exemplo, algo como redefinição do horário de envio parece que seria fácil de indicar
Dá para dizer que houve redução de peso, mas o que estamos perguntando é onde podemos ver em que ponto essa redução de peso aconteceu
Acho difícil acreditar quando usuários do HN dizem que estão cansados de notícias sobre LLM, mas eu estou, então podem acreditar
Só que não denuncio por estar cansado
Penso muito nessa frase quando reflito sobre moderação. As pessoas tendem a presumir que todo mundo na comunidade é parecido com elas, e na prática só os moderadores conseguem ter noção de quão saturado um assunto ficou. Por isso também não gosto muito do meme de liberdade de expressão irrestrita que aparece toda vez que
$corporationbane$person_i_like. Toda comunidade precisa de moderação, e quando ela funciona bem parece que nada está acontecendo, então é um trabalho pelo qual é difícil receber reconhecimentoA inteligência coletiva se cansa muito rápido de repetição [2]. O essencial é separar o joio do trigo: aqui, o trigo são textos que trazem informações novas importantes [3], e o joio é a enorme quantidade de posts de acompanhamento e imitação [4]
É importante notar que as opiniões sobre esse problema estão distribuídas por um espectro muito amplo. Se você imaginar um controle deslizante com os extremos “não permitir nenhum post sobre
$TOPIC” e “permitir todos os posts sobre$TOPIC”, quase todo usuário o colocaria em uma posição diferente. Isso vale para qualquer tema, e especialmente para os maiores temasO espaço da primeira página é o recurso mais escasso do HN [5], e cada leitor tem uma “assinatura” diferente de preferências sobre o que quer ou não quer ver ali. Então não só é impossível satisfazer todo mundo, como também é impossível satisfazer completamente qualquer pessoa. Ninguém combina perfeitamente com a primeira página e, para quem talvez queira rebater rapidamente, claro que isso também não combina perfeitamente com as preferências dos moderadores
[1] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[2] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[3] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[4] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[5] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
Tenho algum interesse nesses temas também, mas a maioria dos posts não traz nada de novo e só reage a algum caso recente de violação
Se é preciso mais notícias sobre LLM, a resposta parece ser criar um site de notícias sobre LLM e fazer a comunidade crescer
Eu gosto muito do HN, mas queria mais notícias de computação retrô e jogos, então usei o código-fonte do HN para criar meu site (https://twostopbits.com/). Não é difícil. Basta fazer o que você quer e moderar por conta própria
Estou em várias comunidades online há mais de 35 anos, e a comunidade mais bem moderada e bem-sucedida por mais tempo que já vi é, de longe, o HN. Por um tempo, o The Well também foi excelente
Fico curioso se você sente que uma comunidade com pouco tráfego realmente entrega a mistura de conteúdo que você esperava no começo
Surpreendentemente, sim, nós também estamos cansados de notícias sobre LLM
A maioria desses posts não é removida por denúncias de usuários?
Não é uma pergunta retórica. Há muitos comentários neste tópico agradecendo aos “moderadores”, mas eu não sabia que existia uma equipe de moderação cuidando da primeira página. Alguém pode confirmar?
“Não fomos nós que denunciamos aquele post, foram os usuários. Com envios, quase sempre é assim. Veja https://news.ycombinator.com/newsfaq.html”
https://news.ycombinator.com/item?id=39169622
Existe dang, um único administrador que escreve publicamente, e talvez haja outros administradores do HN ajudando-o, mas quando as pessoas reclamam de “moderadores”, “moderadores embriagados pelo poder” ou “censura”, em 99,9% dos casos isso quer dizer mais ou menos que outros usuários viram o que você disse e simplesmente não quiseram ver aquilo aqui
Às vezes também é estranho como as pessoas acham que existe alguma “regra” sobre o que se pode denunciar. As diretrizes existem, claro, mas como esse poder é algo que qualquer usuário comum pode ter, na prática cada um o usa conforme entende. Por exemplo, eu frequentemente denuncio posts cujo tema e conteúdo considero totalmente válidos, mas que, toda vez que são discutidos no HN, acabam virando discussões inúteis e inflamadas ou ficando cheios de comentários da pior qualidade. Pelo menos para mim, denunciar não é um julgamento sobre o “valor” do post, e sim apenas sobre algo que eu não quero ver no HN
https://news.ycombinator.com/item?id=39231055
Casos como o de um post que praticamente morreu quando o título mudou de “Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes” para “OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2”, ou de um post que era o 3º da primeira página com menos de 1 hora desde o envio e simplesmente sumiu da primeira página, fazem pensar que, se há posts sendo denunciados repetidamente desse jeito, em algum momento é preciso considerar se isso não é simplesmente jogar spam na comunidade para promover links
Eu entendo que as pessoas queiram promover seu próprio trabalho, mas a comunidade também tem preferências. A comunidade pode se cansar de ver posts sobre LLM chegando à primeira página todos os dias. A comunidade pode rejeitar spam e pode denunciar posts
Não entendo por que é tão difícil acreditar que usuários do HN estejam cansados de notícias sobre LLM. Eu também estou cansado, mas não tenho poder de denúncia. É totalmente plausível que usuários do HN que têm esse poder queiram denunciar notícias sobre LLM
Precisa estar na página de comentários, e para ir até lá basta clicar no timestamp do comentário
Se você não consegue nem imaginar que as pessoas possam estar cansadas de notícias sobre LLM, então tenho um NFT para te vender
Não sei se a suposição de que “um post não pode cair do top 30 para fora do top 90 em 1 minuto, então deve ter sido removido explicitamente” é válida
https://news.social-protocols.org/stats?id=39094387 parece um post que caiu para a faixa dos 30 bem rápido. Pode ter sido porque outro conteúdo ficou popular de repente
Olhando os 13 posts listados na segunda-feira, 22 de janeiro de 2024, apenas 3 parecem realmente ter sido removidos do HN. Os outros 10 ainda existem
O post da HP https://news.ycombinator.com/item?id=39087776 parece ter sido empurrado para fora da primeira página por ser duplicata de https://news.ycombinator.com/item?id=39060793
O post da Ford https://news.social-protocols.org/stats?id=39089599 parece ser uma detecção incorreta
Sinceramente, de 13 posts, só 3 ou 4 parecem possível moderação, e mesmo isso não parece ruim. Essa história do arame farpado no Texas combina com Hacker News? Tenho interesse porque moro no Texas, mas esperaria ver esse assunto em outro lugar, não no HN
No geral, acho que o HN está moderando bem
Se a posição cai por causa de denúncias de usuários, por algoritmo, mas o post não é ocultado, isso é explícito? “Explícito” parece implicar intervenção manual de moderador, mas não vejo muita coisa sustentando isso
É político, sim, mas não é uma questão regional