Show HN: Lista OPML de blogs pessoais de usuários do Hacker News

 (github.com/outcoldman)
1 pontos por GN⁺ 2023-07-09 | 1 comentários | Compartilhar no WhatsApp
  • Reúne blogs pessoais compartilhados na thread do Hacker News Ask HN: Could you share your personal blog here? e os disponibiliza em formato OPML, fácil de importar no seu leitor de RSS favorito
  • O uso é baixar list.opml e importá-lo no leitor de RSS; blogs adicionados depois do envio do post no HN são oferecidos separadamente em listx.opml
  • Ao gerar a lista, usuários com karma igual ou inferior a 1 são excluídos, como critério para ignorar spam ou contas descartáveis
  • A lista é ordenada pelo karma dos usuários do Hacker News, e os blogs no início pertencem aos usuários com maior karma
  • O usuário pode editar a lista em um editor para manter apenas os 10 ou 100 principais blogs, ou remover os que não interessam
  • Nem todas as URLs de blogs puderam ser extraídas dos comentários, e como só foram analisadas as URLs reconhecidas corretamente, a lista não é completa
  • Alguns blogs podem ficar de fora por não terem feed RSS ou por não incluírem o feed RSS nas tags <link rel="alternate" type="application/rss+xml" href="...">, <link rel="alternate" type="application/atom+xml" href="...">
  • Como resultado, foram reunidos mais de 1100 blogs, mas a qualidade do conteúdo, a segurança para leitura no trabalho e o idioma usado não foram avaliados
  • A recriação da lista é executada com go run ./main.go | tee > console.log e leva tempo, pois é necessário buscar o karma de cada usuário e o feed RSS de cada blog
  • A forma de contribuir é adicionar blogs manualmente em listx.opml; list.opml é sobrescrito, então não é um arquivo para adições diretas
  • A licença é MIT

Leituras relacionadas

1 comentários

 
GN⁺ 2023-07-09
Comentários do Hacker News

  • Também vale a pena ver a thread antiga sobre o renascimento do RSS: https://news.ycombinator.com/item?id=16907298
    Seria ótimo se essa lista continuasse sendo mantida e atualizada, e também queria saber recomendações de bons leitores de RSS que consigam processar bem esse arquivo OPML
    Testei o Omea Reader, mas ele não conseguiu importar muitos feeds

    • Se você quiser uma abordagem mais leve do que jogar 600 feeds direto no leitor, a opção de feed do IndieBlog.page também é boa
      Além dos 600 URLs da thread recente, ele oferece diariamente textos aleatórios de uma thread parecida de abril do ano passado e de várias fontes indie: https://indieblog.page/rss
    • Consegui importar essa lista com facilidade no Inoreader

  • Meu blog estava na thread já fazia um tempo, mas aparentemente nem foi incluído na saída do console: https://news.ycombinator.com/item?id=36596022
    Sei que não tenho karma suficiente, mas nesse caso parecia que pelo menos isso deveria aparecer no log
    Fico curioso se, como critério anti-spam, também daria para considerar a idade da conta em vez de karma. Estou só acompanhando por aqui há bastante tempo, e imagino que não sejam tão raras pessoas como eu

  • Faz um tempo que eu estava brincando com o Node-RED[1], e como gosto de Node-RED, recriei isso nele
    O fluxo[2], ou seja, o código, pode ser visto online e até editado, mas não implantado. O feed[3] fica em cache e é atualizado mais ou menos a cada hora
    Não posso garantir nada, porque é um servidor pequeno no Heroku e pode estar fora do ar ou cair em breve
    Peguei muitas ideias da base de código original :)

    [1]=https://nodered.org

    [2]=https://demo.openmindmap.org/omm/#flow/a8d90fc15ab6990b

    [3]=https://blog.openmindmap.org/example/hacker-news-personal-bl...

  • No feed: [https://tommasoamici.com](<https://tommasoamici.com>;) by tommasoamici ( 216 ) no feed found for [https://tommasoamici.com](<https://tommasoamici.com>;)
    Ao ver isso, percebi que, ao migrar meu blog recentemente para Astro, eu tinha esquecido de colocar o link do feed RSS na tag head, e agora já corrigi isso

  • Parece que há algumas URLs malformadas aqui

    • Infelizmente isso é problema do u/ntietz. Se você olhar https://ntietz.com, por algum motivo ele codificou o href

  • Vendo várias entradas no formato [https://url.com//feed.xml](<https://url.com//feed.xml>;) na lista, parece que a lógica de scraping precisa de um ajuste
    Você está simplesmente concatenando [https://url.com/](<https://url.com/>;) com /feed.xml?

    • Eu estava extraindo a URL dos links alternativos no HEAD do site do blog
      O problema é que algumas pessoas usam //example.com/feed.rss, outras feed.rss ou /feed.rss
      Então acabei criando uma lógica de resolução de URL bem idiota, quando na verdade eu deveria ter usado o ResolveReference do runtime de Go. Esse problema deve estar corrigido na lista final
    • Também não é uma ótima abordagem. https://andinfinity.eu/ tem esse header e indica claramente que o feed RSS está em index.html
      Acho que esse deve ser o comportamento padrão do Hugo

  • Perdi a thread original, mas adoraria que meu blog também entrasse
    RSS Feed (en): https://backendhance.com/en/blog/index.xml
    RSS Feed (de): https://backendhance.com/blog/index.xml

  • Instalei 5 apps leitores de RSS no Linux Mint para testar o OPML, e 4 deles — Thunderbird, Liferea, Quitrss e mais um cujo nome não lembro — falharam ao importar o arquivo
    O Gnome RSS até importou, mas ficou lento e muito bugado
    Parece que o arquivo é grande demais para um app de RSS comum lidar, e alguns apps deram erro de “incorrect format”, então talvez também haja algum problema de formato. O Thunderbird foi um deles
    Agora estou testando o CPod e dando um tempo para ele. Espero que funcione depois de uns 20 minutos
    Também fico curioso se leitores de RSS baseados na web lidariam melhor com esse arquivo

    • Importei no feedbin.com, e 524 de 598 entraram com sucesso
      Entre os que falharam havia alguns casos de feed não encontrado, erro de conexão e URL inválida
    • No sfeed não houve problema. Dá para baixar em https://codemadness.org
    • Eu rodo o freshrss, e lá consegui importar
      Fico curioso se aparece algum erro durante a importação
      Talvez esse XML não seja válido, então vou gerar de novo daqui a alguns minutos

  • Só faltariam mais 200 de karma, mas eu realmente não sei como juntar karma no Hacker News
    Talvez valha a pena fazer um fork para permitir que o usuário defina diretamente o karma mínimo necessário para o histórico do blog

    • Vou gerar a lista de novo com o critério de karma 2 ou mais
      Aí deixamos que cada um decida por conta própria se gosta ou não. O 100 foi um número escolhido meio arbitrariamente, sem muita ideia do que seria bom ou ruim

  • Existe alguma forma fácil de criar um feed dos feeds que reúna tudo isso? Quero dizer, uma maneira de ver tudo como um único feed RSS

    • Acabei de fazer algo parecido. Só que o feed ficou com quase 100MB, então precisei dividir por ano: https://news.ycombinator.com/item?id=36643086
    • Boa ideia. Só que para atualizar um feed RSS assim, eu realmente teria que rodar um servidor ou GitHub Actions, então talvez eu tente isso depois