Crise de descobribilidade de pequenos sites (2021)
(marginalia.nu)- Há muitos pequenos sites interessantes e únicos na internet, mas é difícil encontrá-los por grandes caminhos como Google ou Reddit, e a busca depende muito do acaso
- Mesmo que quem cria não espere um grande sucesso, quase não ter tráfego além de bots desanima, e a queda de visitantes leva ao dead-sea effect, em que os sites desaparecem
- RSS e Atom sustentam o ecossistema de blogs, mas também forçam todo conteúdo ao formato de entrada de blog, o que pode reduzir a diversidade da web
- O feed automático de links do Gemini funciona bem em pequena escala, mas no HTTP é difícil mantê-lo sem forte moderação por causa de astroturfing, clickbait e blogspam
- A alternativa mais simples é cada pessoa publicar uma lista de favoritos de sites interessantes, e essas listas se conectarem entre si para ampliar os caminhos de descoberta
O desaparecimento dos caminhos de descoberta para pequenos sites
- Há muitos pequenos sites interessantes na internet, mas na prática é muito difícil encontrá-los
- Eles quase não aparecem no Google ou no Reddit, e até podem ser descobertos por acaso com o mecanismo de busca Marginalia, mas isso não oferece uma forma direcionada de exploração
- Mesmo sem buscar grande sucesso, ter quase nenhum tráfego além de bots comuns desmotiva quem mantém o site
- Quanto mais o tráfego cai, mais pequenos sites desaparecem; e quanto menos sites existem, menos visitantes aparecem, criando um dead-sea effect
- RSS e Atom fazem com que os blogs mal consigam se manter, mas a estrutura centrada em feeds força tudo ao formato de entrada de blog, produzindo um resultado sufocante e homogêneo
Limites dos feeds automáticos e da descoberta centralizada
- No Gemini, feeds automáticos de links como o Antenna funcionam bastante bem em pequena escala
- No HTTP, a mesma abordagem dificilmente funciona bem
- entram astroturfing, clickbait raso e blogspam
- para barrar isso, é preciso muita moderação, e mesmo assim o resultado não é bom
- Abordagens centralizadas e algorítmicas são muito vulneráveis à manipulação na internet
- Webrings são simpáticos, mas aleatórios demais, e diretórios de links com curadoria são quase um trabalho em tempo integral para manter
- Também seria possível limitar o acesso aos feeds automáticos de links com um modelo de web-of-trust, mas uma estrutura excludente assim criaria outro walled garden e prejudicaria a descobribilidade
Uma federação frouxa por meio de listas de favoritos
- Uma alternativa mais simples é cada pessoa criar e publicar uma lista de favoritos com sites que acha interessantes
- cada um decide o que considera interessante
- listas de favoritos podem linkar para outras listas de favoritos, expandindo-se recursivamente
- criar uma lista de favoritos é divertido, como montar um álbum de recortes, e o resultado também é agradável de explorar
- Ao observar uma amostra de sites pessoais, vê-se que há pouquíssimos links para outros sites pessoais
- Um hiperlink não é um grande compromisso; se você encontrou qualquer qualidade em um site, já pode linká-lo
- Para que pequenos sites prosperem como uma comunidade saudável, eles precisam promover uns aos outros muito mais do que fazem hoje
1 comentários
Comentários do Hacker News
A Neocities vem trabalhando para aumentar a descobribilidade de pequenos sites pessoais e, como resultado, acabou virando algo como uma plataforma de criação de sites com elementos sociais híbridos: https://neocities.org
Gosto de chamar esse movimento de “small web”; normalmente se dizia “site pessoal” ou “homepage”, mas nenhum desses termos parecia encaixar perfeitamente
Eu gostaria que a busca small web da Kagi incluísse a Neocities; há muitos sites excelentes, e seria fácil importá-los graças ao sitemap compilado: https://neocities.org/browse
Esse assunto costuma ser apresentado como “nostalgia da web dos anos 90” ou “resistência solitária contra o Facebook”, mas, na prática, existe conteúdo mágico que só é possível quando se tem a web como tela, e que não existe nas grandes plataformas de redes sociais
Só a Neocities entrega centenas de milhões de visualizações por mês em todos os seus sites, então ainda há muita navegação pela web acontecendo
Sites pessoais podem até ser melhores para exposição de conteúdo do que uma conta média em redes sociais. Tirando algumas contas sortudas, a maioria tem o alcance orgânico limitado por algoritmos estranhos
O ranqueamento no Google pode não ser grande coisa, mas as pessoas compartilham links por aí, inclusive em canais privados como Slack/Discord/IRC/mensageiros, e isso também permite uma distribuição significativa
Citando @izs, “se você construir, eles virão” é uma citação incorreta daquele filme do Kevin Costner com fantasmas do beisebol, mas, se você criar um bom site com bom conteúdo, as pessoas realmente aparecem de maneiras misteriosas que ainda não entendemos bem
É bem legal ver de antemão quais novos sites da Neocities, por serem especialmente interessantes, vão chegar organicamente a milhões de visualizações
Quase todas as empresas do boom das pontocom também acreditavam que os faróis no fim da história significavam sua validação, mas na verdade eram ambulâncias levando-as para uma ala psiquiátrica, e a maioria estava errada
Ultimamente eu até pensei em sair da NeoCities porque queria colocar elementos dinâmicos no site, mas, pela experiência passada, isso me faria entrar numa toca de coelho e acabar sem fazer nada
Então decidi resolver as partes do Hugo que estavam me enlouquecendo e voltei a trabalhar nisso
No geral, a NeoCities tem muitos usuários com um ar mais jovem, mas eu gosto bastante
Gosto de ter um feed e de descobrir as coisas estranhas que as pessoas colocam em seus próprios sites; ela recria bem a sensação da GeoCities
Também acho ótimo alguém ter ressuscitado os botões 88x31, e gosto do backend em Sinatra + Sequel
Fico curioso se eles também fornecem metadados
Estou trabalhando para tornar o restante da web mais descobrível também, então esse tipo de material seria muito interessante
As redes sociais rebaixam posts com links externos, e o Google rebaixa sites que não são atualizados todos os dias ou que nem têm SSL ativado
Criar um bom site com bom conteúdo exige tempo e esforço, mas, no fim, essa informação tende a virar alimento para pessoas que a repetem de forma mais simples em blogs de conteúdo ou nas redes sociais
Claro, sem backlinks, e no pior dos casos ainda tentam transformar em produto um conhecimento disponibilizado gratuitamente
Quando isso se repete vezes suficientes, as pessoas param de manter esses sites
Até pouco tempo atrás, todo blog tinha um blogroll, uma lista dos blogs de que o autor gostava
Não havia nada melhor do que ver meu blog incluído no blogroll de um blogueiro “famoso”
É engraçado ver pessoas que não viveram aquela era dos blogs reinventarem isso espontaneamente agora
Parece que os blogueiros de 20 anos atrás já sabiam de algo antes de serem mortos pelo monopólio da publicidade
Só que há uma grande diferença entre a antiga blogosfera e a atual. Os blogs antigos tinham anúncios, e a maioria dos blogueiros experimentou com isso de alguma forma
Fomos tentados pela monetização e, no processo, nos destruímos
Os blogueiros mais jovens parecem ter aprendido. Estão recriando os mesmos blogs antigos, mas desta vez sem anúncios e bloqueando ativamente o rastreamento
Pensando bem, acho que é assim que a evolução funciona, e é bonito
Se você gostava daquele blog, havia uma boa chance de encontrar algo interessante também no blogroll
Existem coisas como “redes de anúncios” que promovem gratuitamente vários sites de renascimento da web: https://wsmz.gay/#misc-bannerlink
Gosto bastante, especialmente quando combinam bem com a estética do site
Seria uma página usada como lista pública de favoritos, com coisas que iriam de livros a posts de blog e vídeos do YouTube: https://mahesh-hegde.github.io/readings/
Só que não escrevo muito e também não atualizo há bastante tempo
No inglês da minha região, isso soaria como bog roll, ou seja, papel higiênico, então se fosse esse o caso eu certamente lembraria
Entendo que esses textos venham de boas intenções, mas acho que eles dizem mais sobre os hábitos de uso da internet de alguém do que sobre a internet em si
A maioria das redes sociais tem uma seção de perfil para colocar um “site pessoal”
Encontro muitos desses sites pessoais seguindo perfis de pessoas no GitHub a partir de repositórios ou PRs interessantes
Às vezes esses sites linkam para outros sites, e no HN também olho os perfis de autores de comentários interessantes para ver se há um link para um site
Muitos dos posts que aparecem no HN também vêm de sites pessoais, e esses sites frequentemente linkam para outros sites
Se eu quisesse, acho que poderia passar o dia inteiro assim e não teria problema em encontrar mais coisas para ler do que cabem em um dia
Então não sei se estamos reclamando da internet, ou se estamos presos em jardins murados como YouTube e TikTok e queremos passar mais tempo na internet à moda antiga, mas não conseguimos por causa do vício
Mas, para o usuário médio da internet, sites pequenos praticamente não existem
É muito raro encontrar links para sites feitos à mão em perfis do Instagram e do TikTok, e o Google cada vez mais encaminha todas as consultas para os mesmos 500 grandes sites gigantes de SEO
Antigamente eu usava bastante o Digg para isso, o StumbleUpon também era muito bom para esse tipo de descoberta, e o Reddit inicial tinha um efeito parecido
Hoje em dia não sei para onde ir
Eu poderia ficar clicando e procurando, mas, sinceramente, não tenho tempo, e agora, na metade dos 30, não vou ficar pulando de hiperlink em hiperlink atrás de pistas de bom conteúdo
Como muita gente já faz esse trabalho, falta um bom lugar para reunir essa curadoria e permitir que outras pessoas a descubram
Só acompanhar as conversas de uma sala de anime no Matrix e de um servidor de RPG no Discord já me impediria de trabalhar, de preparar o RPG que eu conduzo e de fazer tarefas domésticas
Isso sem falar em blogs pessoais, Substack, Reddit, HN etc.
Em vez de achar que as pessoas estão famintas por conteúdo pessoal, parece mais, como você disse, um problema do lado do usuário
Soluções de descoberta como simplesmente navegar pela web da forma descrita, ou usar os métodos mencionados no texto do marginalia.nu, não satisfazem a vontade de “ser visto” tão rapidamente quanto um processo mais tecnicamente ajustado
Essa história me pega
Publiquei meu site de prática de idiomas no HN, LinkedIn e em vários outros lugares, mas não consegui fazer as pessoas se interessarem
Só consegui um pouco de reação no Facebook eslavo, e entrar em um webring também parece ter ajudado um pouco
É gratuito, realmente gratuito. Porque é algo de que eu gosto e que quero compartilhar
Se eu publiquei em vários lugares e ninguém clica, o que exatamente devo fazer?
Devo comprar anúncios para fazer as pessoas usarem meu site gratuito?
Também fiz coisas como tags Open Graph e descrições que vi em textos de SEO, e publiquei em redes sociais, mas a reação foi morna
Alguém mencionou algo como delicious, talvez StumbleUpon, ou talvez alguma outra coisa
Talvez algo como favoritos federados
Parece que a cultura virou “se não está no Facebook, é como se não existisse na internet”, e não sei como voltar atrás a partir disso
A maioria das pessoas parece usar computadores e celulares como bootloaders do Instagram
Responda a essa pergunta e, se possível, expanda toda essa categoria de conhecimento
Se você simplesmente começar a postar o que der vontade, a única coisa garantida é a recompensa psicológica de ter colocado seus pensamentos para fora
Se você precisa comprar anúncios, isso significa que já está criando conteúdo em um conjunto de concorrentes grande o suficiente
Se houver um modelo de negócio sustentável, isso por si só não é um problema
Mesmo que usuários do HN diminuam o Google o quanto quiserem chamando-o de empresa de publicidade, é preciso entender que o produto central ainda é a busca
Busca é o processo de levar o usuário a um conteúdo que satisfaça sua consulta
Podemos discutir a qualidade dos resultados ou sentir saudade da experiência de busca antiga, mas a premissa central permanece
O Google também precisa produzir pelo menos resultados minimamente relevantes
Jogos de SEO vão surgir e desaparecer, mas o Google sempre terá incentivo para oferecer resultados significativos que os usuários queiram
As métricas que medem satisfação podem mudar, mas a necessidade de conteúdo satisfatório não desaparece
Feeds RSS, sitemaps, dados estruturados etc. são apenas ferramentas; no fim, o que você cria é conteúdo
Mesmo entre sites com muito tráfego, há muitos que detonam completamente esses fundamentos e ainda assim vão bem
Falar é fácil e executar é difícil, mas está dentro do possível
É preciso pensar mais no valor que você oferece ao usuário
Em uma delas, o mecanismo de busca é uma plataforma de anúncios, e o conteúdo em massa projetado para gerar receita também é uma plataforma de anúncios
Na outra, o mecanismo de busca serve para encontrar informação e lista sites que publicam informações úteis, interessantes, estranhas ou divertidas de graça, para que alguém além do autor também possa gostar
Confundir as duas leva à decepção
Funcionava muito bem
Eu estava procurando desesperadamente bons recursos para praticar e aprender esloveno, sem ser um curso caro da University of Cleveland
Parte desse problema parece estar no fato de que sites pequenos simplesmente não são mais indexados pelo Google
Meu blog de 15 anos tem 15 páginas indexadas segundo o Google Search Console, e 174 páginas em “Descoberta — atualmente não indexada”
Mesmo publicando textos novos de vez em quando, o número de páginas indexadas vem diminuindo com o tempo
A página do Search Console diz para “analisar o problema e decidir se é preciso corrigir esses URLs”, mas praticamente o único conselho que se encontra é esperar até que sejam indexados, algo que na prática parece nunca acontecer
Não vou alegar que meu blog seja o melhor conteúdo do mundo, nem o mais interessante, mas acho que ninguém diria que ele é pior do que o monte de bobagem duplicada, muitas vezes errada e otimizada para SEO que ocupa as primeiras páginas dos resultados de busca sobre tecnologia hoje em dia
Eu opero um SaaS que ajuda donos de sites a fazer o conteúdo ser indexado, e a entrada de usuários vem crescendo; acredito que boa parte da causa seja simplesmente a IA
A quantidade de novas páginas na web vinha aumentando de forma bastante linear ao longo do tempo, mas, quando surgiram as ferramentas de escrita por IA, de repente ela subiu quase verticalmente, como um taco de hóquei
Agora é possível publicar milhares de páginas em questão de minutos e, como resultado, formou-se um enorme acúmulo na fila de rastreamento do Google, aumentando também o tempo de indexação em geral
O impacto é desproporcionalmente maior sobre sites pequenos
A maior parte dos meus sites pessoais está presa há quase 2 anos no limbo “Discovered - currently not indexed” do Google e continua assim mesmo eu solicitando indexação regularmente e fazendo tarefas comuns, como otimizar a pontuação no Lighthouse
Fui ao fórum de suporte da Pesquisa Google e foi bem triste. Parecia um monte de gente gritando para o vazio
Dá até a impressão de que o Google desistiu da busca
Se eles realmente quisessem melhorar, o ponto central seria se afastar do modelo financiado por anúncios
Larry Page e Sergey Brin já alertavam em 1998 que “mecanismos de busca financiados por publicidade serão inerentemente enviesados em favor dos anunciantes e afastados das necessidades dos consumidores”[0]
Pessoalmente, acho que só um modelo de suporte pago já conseguiria cobrir pelo menos os custos operacionais mínimos
Não renderia tanto dinheiro quanto anúncios, mas, como porta de entrada para a internet e para outros serviços do Google, ainda poderia ter enorme valor tanto para o Google quanto para os usuários
[0] "The Anatomy of a Large-Scale Hypertextual Web Search Engine", Computer Networks, vol. 30 (1998), pp. 107-117, a citação está no Appendix A e parece estar ausente em algumas versões online recentes
Meu site não é tão antigo assim, tem cerca de 8 anos, e eu publico conteúdo novo semirregularmente, mas às vezes páginas antigas somem inexplicavelmente do índice, e algumas páginas ficam presas no grupo das descobertas, mas não indexadas
Tento atualizá-las periodicamente ou expandir um pouco o conteúdo, mas normalmente isso não ajuda na indexação
Meu site também não tem o conteúdo mais interessante do mundo, mas recebe tráfego constante
O Google indexa só a página inicial e ignora o restante se não houver links externos
Mesmo com um bom sitemap e boas pontuações de usabilidade, é assim
Espero que medidas antitruste quebrem esse conflito de interesses específico
O Kagi tem uma opção para pesquisar o que eles chamam de “small web”[1]
Não usei muito, mas, nas poucas vezes em que usei, pareceu dar bons resultados
[1] https://blog.kagi.com/small-web
Isso vem em parte do tipo de pessoa que provavelmente teria um site desses, e também de onde eles tiraram a lista
Talvez tenham começado por algo como o blogroll do HN
Ainda assim, no geral são sites interessantes, e acabo voltando a eles a cada poucas semanas
Lembra uma versão mais substanciosa do antigo StumbleUpon
Se o Google não indexa sites pequenos, fico curioso para saber como o Kagi consegue mostrá-los
O problema da ideia de favoritos é a podridão de links
Manter a lista atualizada exige esforço
Os novos webrings também não estão funcionando bem por causa disso
Conheço cerca de 190 webrings “novos”, e só uns 20% deles podem ser acessados sem topar com uma mensagem 404
Um mecanismo de busca da “small web” pode ser o caminho
Além do Kagi, conheço estes
https://search.marginalia.nu/
https://wiby.me/
https://searchmysite.net/
Concordo que é difícil descobrir sites pequenos
Ao criar o https://Cloudhiker.net, reuni centenas desses sites em um serviço parecido com um StumbleUpon moderno, e as pessoas gostam
Clicando por webrings, ainda dá para descobrir muitos sites legais feitos por desconhecidos no mundo todo
No passado, entrei no Indie Webring(https://xn--sr8hvo.ws/) e no Fediring(https://fediring.net/)
Além disso, meu arquivo pessoal de favoritos também tem centenas de links: https://bookmarks.kovah.de
Não sei como isso é mais moderno
O modelo de “crie e publique uma lista de favoritos que levam a sites interessantes. Você decide o que é interessante” e “nada impede que uma lista de favoritos aponte para outras listas de favoritos”, somado a comentários de amigos de amigos sobre favoritos compartilhados, vira o bookmarklet Note in Reader do Google Reader e o recurso de itens compartilhados por amigos[1]
Para quem usava itens compartilhados, a parte de leitor RSS do Reader era só mais uma forma de produzir itens compartilhados
A lista de itens compartilhados podia ser pública, e a participação positiva era amplamente aberta, mas os comentários nos itens compartilhados ficavam restritos a amigos designados e aos amigos desses amigos
Essa estrutura deu persistência ao recurso de compartilhamento
Ao compartilhar itens e comentar, a lista de amigos se expandia, mais itens compartilhados apareciam, e ela podia virar um canal de agregação para levar itens únicos a pessoas além do muro dos amigos
Mesmo itens sem um feed correspondente podiam ser capturados e compartilhados com o bookmarklet
Esses grupos cresciam organicamente e ficavam socialmente isolados de abusos
Por definição, todos os participantes se conheciam ou tinham de ser avalizados uns pelos outros, mesmo sem nomes reais
Além de bloquear usuários individualmente, desfazer uma conexão de amigos em comum na prática bloqueava o caminho pelo qual alguém aparecia para outras pessoas
Era realmente excelente[2]
1: https://www.searchenginejournal.com/google-readers-gets-more...
2: https://www.buzzfeed.com/robf4/googles-lost-social-network
Eu fiz exatamente “crie e publique uma lista de favoritos que levam a sites interessantes” com o share-links
É uma ferramenta que facilita salvar e compartilhar links para coisas de que você gosta na web
O repositório com mais informações fica aqui; para subir uma instância na web, veja o arquivo DEPLOY.md: https://gitlab.com/sodimel/share-links
Minha instância, com mais de 4.000 links, está aqui: https://links.l3m.in/
Se quiser se surpreender, abra este link em uma nova aba: https://links.l3m.in/en/random/