A queda do Stack Overflow

 (observablehq.com)
1 pontos por GN⁺ 2023-07-25 | 1 comentários | Compartilhar no WhatsApp
  • Um notebook de dados no Observable que acompanha, com dados em série temporal, a queda de cerca de 35% no tráfego do Stack Overflow ao longo do último ano e meio; a fonte dos dados é stackoverflow.com/site-analytics
  • Inicialmente, a queda havia sido medida em cerca de 50%, mas aproximadamente 15% da perda observada parecem estar relacionados à reclassificação dos cookies do Google Analytics por volta de maio de 2022, então os gráficos foram ajustados para incluir apenas os dados após essa mudança
  • A queda no tráfego também aparece da mesma forma na redução de cerca de 50% no número de perguntas e respostas e na diminuição do número de votos recebidos pelas postagens
  • Os gráficos mostram o uso em média móvel de 49 dias, e o intervalo do conjunto de dados vai de 2008-07-31 a 2023-07-23
  • O conteúdo principal é composto por várias células de gráfico, e os gráficos não são renderizados no texto fornecido; só é possível verificar os valores brutos em tabela dos três conjuntos de dados: traffic / posts / votes

Resumo das principais mudanças

  • Queda de cerca de 35% no tráfego do Stack Overflow ao longo do último ano e meio
    • A medição inicial era de aproximadamente 50% de queda, mas foi corrigida
    • Cerca de 15% da perda observada parecem estar relacionados à reclassificação dos cookies do Google Analytics por volta de maio de 2022 (mudança em que passaram a ser definidos e armazenados como strictly necessary)
    • Os gráficos foram atualizados para incluir apenas os dados após essa mudança
  • A redução no tráfego também se reflete nos indicadores de uso do site
    • Queda de cerca de 50% no número de perguntas e respostas
    • Também houve redução no número de votos recebidos por essas postagens
  • O uso nos gráficos é expresso em média móvel de 49 dias
  • A fonte dos dados é stackoverflow.com/site-analytics

Dados de tráfego (traffic)

  • Conjunto de dados traffic_2008Jul31_2023Jul23, com 418 linhas
  • Composto por datas e três métricas inteiras, com faixa de valores de aproximadamente 3M–22M / 1.5M–9.5M / 120k–520k
  • O trecho exibido começa em 2022-06-01, com valores diários
    • 2022-06-01 → 18,524,758 / 7,945,523 / 351,184
    • 2022-06-14 → 20,002,931 / 8,485,223 / 390,082
    • Algumas datas, como 2022-06-04, registram valores na faixa de 6,346,105, mais baixos do que em dias úteis

Dados de postagens (posts)

  • Conjunto de dados posts_2008Jul31_2023Jul23, com 1.992 linhas
  • Composto por datas e três colunas inteiras, com faixa de valores de aproximadamente 4k–23k / 2k–12k / 1.5k–12k
  • O trecho exibido começa em 2018-02-08, com valores diários
    • 2018-02-08 → 21,397 / 10,148 / 11,249
    • 2018-02-22 → 21,631 / 10,356 / 11,275

Dados de votos (votes)

  • Conjunto de dados votes_2008Jul31_2023Jul23, com 1.991 linhas
  • Composto por datas e quatro colunas inteiras, com faixa de valores de aproximadamente 400–3,600 / 10k–75k / 10k–65k / 2,000–9,500
  • O trecho exibido começa em 2018-02-08, com valores diários
    • 2018-02-08 → 3,347 / 65,834 / 57,278 / 8,556
    • 2018-02-21 → 3,206 / 66,063 / 57,693 / 8,370

Leituras relacionadas

1 comentários

 
GN⁺ 2023-07-25
Opiniões do Hacker News

  • Esses números mostram uma queda brusca e permanente no tráfego ao longo de alguns dias em maio de 2022. As novas visitas diárias caíram de cerca de 1 milhão para 300 mil; o total diário de pageviews, de cerca de 20 milhões para 14 milhões; e as sessões diárias, de cerca de 9,4 milhões para 6,1 milhões.
    Mas, no mesmo período, não houve uma queda correspondente no número de posts ou votos; excluindo variações sazonais, eles se mantiveram relativamente estáveis até ambos despencarem em fevereiro de 2023. Como os dados de tráfego vêm do Google Analytics e os dados de posts/votos vêm de cálculos internos do StackOverflow, a queda abrupta de maio de 2022 também parece poder ser um artefato de medição, causado por uma mudança repentina na forma como o Google Analytics rastreia tráfego/visitantes.
    https://i.imgur.com/qMj7Lge.png
    https://news.ycombinator.com/item?id=36856249

    • Pelos comentários desta resposta https://meta.stackexchange.com/a/391625/136010, parece que os funcionários também concordaram com a explicação de que a mudança de maio de 2022 foi efeito da implantação de um formulário adequado de consentimento de cookies. Sem cookies de desempenho, o SO não consegue gerar dados analíticos corretamente.
      A funcionária Catija também respondeu: “entre abril e maio de 2022, os números de ‘tráfego’ caíram 40 milhões por semana, e foi quando o rastreamento por cookies mudou. Depois disso, até dezembro, voltou ao normal. Antes da mudança nos cookies, o tráfego era de cerca de 140 milhões a 150 milhões por semana. Mas nós sabemos disso e vínhamos ‘corrigindo’ os números”.
    • Quedas bruscas desse tipo geralmente são causadas por forma de rastrear bots, mudanças no algoritmo do Google ou uma grande alteração interna de design.
    • Faz sentido. “Novas visitas” são usuários que chegaram pela primeira vez, provavelmente jovens desenvolvedores encontrando uma resposta em um mecanismo de busca. São pessoas que acham o que querem no Stack Overflow, talvez cliquem em um anúncio, ou simplesmente vão embora.
      Como é bem provável que elas não votem nem publiquem muito, uma queda repentina pode significar que algo muito ruim aconteceu com o tráfego de busca orgânica. Coisas como mudanças no Google, uma nova estratégia terrível de otimização para mecanismos de busca, ou a interrupção da compra de anúncios. A proporção de conteúdo novo já vinha caindo havia muito tempo em um ritmo deprimente e constante, mas os primeiros meses de 2023 foram especialmente graves.
    • Ou talvez sites que fizeram scraping do StackOverflow tenham roubado os usuários que só procuravam uma solução rápida, enquanto as pessoas com conta no SO continuaram postando e votando.
    • Aquele mês talvez tenha sido o pico de adoção do GitHub Copilot. Se me lembro bem, a extensão para VS Code saiu no fim de março.

  • O que mais me ajudou no SO, em perguntas que ainda não existiam lá, foi justamente o rigor deles. No processo de escrever uma pergunta de qualidade, com exemplo mínimo reproduzível, linha de raciocínio clara e o que eu já tinha tentado, na maioria das vezes eu acabava resolvendo sozinho antes de postar.

  • Minha conta no SO tem quase 12 anos e minha reputação passa um pouco de 2 mil, mas não ligo muito para isso. Ainda respondo, em certa medida, a perguntas básicas nas tags de desenvolvimento mobile, e minha única reclamação com o SO é a hostilidade de alguns moderadores com alta reputação.
    Algumas pessoas parecem se divertir com isso e se esqueceram de que reputação não significa especialização. Em 12 anos, eles não resolveram esse problema. Todo dia eu via novos usuários fazendo perguntas perfeitamente válidas e depois nunca mais respondendo. Antigamente, até perguntas simples e básicas recebiam votos positivos generosos, mas agora não é mais assim.

    • Com o aumento das notificações push, parece que as pessoas não vão mais diretamente ao site para verificar notificações. Novos usuários talvez nunca tenham criado o hábito de voltar ao SO e participar.
      O declínio dos fóruns também parece ter relação com isso. O Reddit ainda funciona porque o app manda 200 notificações por dia, mas, sem isso, não seria tão popular quanto é hoje. No SO, participar é hostil para quem não é especialista; do ponto de vista de um iniciante, não há muito a fazer além de perguntar ou ficar só observando. A pessoa sente que não tem credenciais.
    • É engraçado ver pessoas com alta reputação achando que são o jonskeet. Reputação no Stack Overflow hoje não significa nada e está inflada.
      Muita gente passou dos 100 mil de reputação fazendo ou respondendo perguntas básicas sobre JavaScript, Python, pandas, Git e afins.

  • Sempre que eu postava no SO ou em outro site da SE, precisava escrever explicitamente: “sei que A talvez não seja uma boa ideia e que B pode ser uma solução melhor, mas, no meu caso específico, eu realmente quero fazer A”.
    Mesmo assim, as pessoas tentavam fechar a pergunta como duplicada de B.

    • Já cheguei a incluir até os termos de busca que usei para verificar que não era duplicada. Em outras ocasiões, expliquei por que obviamente não era duplicada. Ainda assim, fecharam como duplicada.
    • As pessoas simplesmente pulam essa parte. O fluxo é: ler o título, passar os olhos pelo exemplo de código, postar uma resposta.
      Depois, quando digo que ignoraram completamente o que eu escrevi, ainda me culpam por ter induzido mal a resposta e recebo votos negativos. É assim que o SO funciona.

  • O problema parece ser que o Google está perdendo a luta contra os spammers. Já faz um bom tempo que é preciso incluir stackoverflow na consulta para evitar sites com conteúdo raspado

    • O Google não está “perdendo” nenhuma luta. O Google está deixando o spam prosperar de propósito
      Esse spam pode conter Google Ads/Analytics, e o engajamento aumenta quando o usuário clica no spam, volta para a página de resultados e tenta outra coisa. Uma dessas coisas pode ser um resultado patrocinado. Tudo isso contribui para a receita do Google
    • Também vejo assim. O Google deve enviar a esmagadora maioria do tráfego do SO
      Alguns anos atrás, ao fazer uma busca relacionada a programação, o Stack Overflow era o primeiro ou o segundo resultado. Agora, com muita frequência aparecem lixos spammers nas 2 ou 3 primeiras posições
    • Entre os sites de conteúdo raspado, os links do YouTube são especialmente ruins. Tristemente, não me surpreenderia se essas pessoas estivessem virando “criadores de conteúdo” só com resultados de busca do Google e ganhando uma boa receita de anúncios
    • Na minha experiência, esses sites de scraping muitas vezes ranqueiam acima do original
    • Faz muito mais sentido se você pensar que o Google não faz mais busca e virou um motor de recomendação. Triste, mas é isso

  • Uma vez eu tinha respondido a uma pergunta parecida, mas não me lembrava; escrevi uma nova resposta em 2 minutos, levei uma enxurrada de votos negativos e abandonei o SO. Procurar minha resposta antiga teria levado muito mais tempo do que escrever a nova
    Quando eu disse que a responsabilidade de encontrar duplicatas era de quem pergunta, não de quem responde, me disseram que eu ainda deveria investir esse tempo, ou então não responder

    • Especialmente quando você sabe que já respondeu à mesma coisa antes, deve procurar a resposta original
      Todos os usuários são moderadores. Há moderadores explícitos também, mas eles não costumam fechar ou votar negativamente com frequência; lidam com outros problemas. Em sites pequenos, a atuação deles se limita a votar e fechar com permissões de usuários comuns
    • É por isso que a maioria dos desenvolvedores agora prefere o ChatGPT. É muito mais rápido e conveniente. Parece um mecanismo de busca bem inteligente
      O SO continuará sendo uma biblioteca para problemas que ele ainda não viu, e ele se encaixa bem nesse papel original

  • Para mim, este texto parece ser sobre a ascensão do ChatGPT, mas também concordo que a moderação excessiva é um grande problema
    Passei por uma situação difícil quando estava aprendendo OpenGL no gamedev StackExchange e fiquei travado. Um moderador marcou imediatamente minha pergunta como duplicada com base em uma pergunta semelhante sobre OpenGL ES, mas OpenGL ES, embora relacionado, é uma API diferente. Tentei contestar, mas fui ignorado. Pouco tempo depois, desisti de um jogo em que vinha trabalhando havia anos, e a decisão daquele moderador também contribuiu para isso. Parecia haver uma parede no caminho para obter uma resposta. Moderação excessiva não é apenas um incômodo; ela pode prejudicar a capacidade do usuário de realizar seu trabalho

    • O gráfico do texto mostra que a queda de tráfego começou por volta de maio de 2022, alguns meses antes do lançamento público do ChatGPT. A causa parece mais provavelmente uma mudança no algoritmo do Google
      Na maioria das vezes em que vou ao Stack Overflow, também é porque digitei uma pergunta em um mecanismo de busca
    • O mesmo problema existe do lado de quem tem experiência. Às vezes quero fazer uma pergunta avançada no SO e interagir com outros especialistas, mas, para manter a pergunta aberta, preciso brigar com moderadores que claramente não entendem minha pergunta

  • Por volta de 2013, eu estava tentando aprender desenvolvimento front-end e lembro de ter ficado fascinado por web design responsivo e pelo Twitter Bootstrap. Publiquei algumas perguntas naquele site, fui ridicularizado várias vezes por fazer perguntas de amador, nunca mais usei o site e acabei não aprendendo front-end

    • Eu tive o problema oposto. Havia uma área que eu realmente conhecia bastante bem, mas não tinha karma suficiente para responder às perguntas, então nunca consegui responder
    • Há uma certa barreira de entrada. Um amigo meu, muito menos experiente como desenvolvedor do que eu, era muito mais competente na própria tecnologia chamada SO. Eu só ficava lendo e resolvia meus problemas por conta própria
    • A universidade em que estudei basicamente jogava um manual de ciência da computação na sua mão e dizia RTFM. Quase reprovei, mas acabei aprendendo
      Tive apenas boas experiências no SO, mas, de todo modo, espero que você não se deixe desanimar por pessoas abaixo da média e sem tato

  • Houve também o inferno da moderação, mas o principal motivo pelo qual parei de responder perguntas no SO foi este: escrever uma boa resposta leva tempo, respostas rápidas de copiar e colar recebem votos positivos mesmo quando estão erradas, e quem escolhe a resposta aceita entre muitas respostas geralmente é o autor da pergunta, que não tem conhecimento para julgar isso
    Além disso, muitas vezes uma resposta não é aceita, como se o autor da pergunta simplesmente não se importasse mais. Houve uma forte reação contrária a um texto antigo que gamificava a disputa por pontos no SO, mas, em vez de tentar consertar um sistema quebrado, o SO continuou como estava. Assim como o SO foi um movimento para fugir de lugares como o Experts Exchange, agora é um bom momento para a comunidade começar um site de perguntas e respostas pós-SO

    • Se você fizer uma pergunta idiota sobre um framework JS da moda, ganha centenas de votos
      Por outro lado, se responder sobre uma parte difícil de um software com pouca documentação, por exemplo em áreas de baixo nível, consegue no máximo alguns votos. Se for aceita, é sorte. Existem alguns heróis anônimos em tags difíceis e obscuras do SO. Eles investem muito tempo, mas quase não recebem recompensa. O que vier depois do SO precisa encontrar uma forma de corrigir isso

  • Os problemas que senti no Stack Overflow são difíceis de reduzir a alguns pontos, mas, em linhas gerais, eram estes. Antes, o Google mostrava muito bem resultados altamente relevantes do SO, mas, em algum momento, deixou de fazer isso, e a moderação do SO foi ficando cada vez mais terrível.
    Perdi a conta de quantas vezes encontrei exatamente aquela pergunta estranha que eu estava procurando, mas havia só um comentário que poderia servir de resposta, e um moderador a tinha fechado de forma agressiva por algo como “fora do escopo”. Como resultado, muitas vezes a resposta exata ficava enterrada nos comentários e recebia reações negativas. Com a soma dessas coisas, ficou cada vez mais difícil filtrar a informação desejada em meio ao ruído, e passou a ser mais fácil encontrar a solução em comentários no GitHub ou em algum blog aleatório.

    • O primeiro ponto parece ser o mais importante. O SO pode estar terrível hoje, mas há anos de respostas que eram boas alguns anos atrás. Então por que elas não aparecem mais?
      O fato de o Google hoje recomendar w3schools ou, pior ainda, fazendas de conteúdo como geeks4geeks é sempre pior do que Stack Overflow. Não sei o que o algoritmo está fazendo, mas parece claro que ele está tentando matar a Busca do Google o mais rápido possível. Também parece piada pesquisar por “[linguagem] [símbolo]” e ser mandado para essas fazendas de conteúdo em vez da documentação. Hoje em dia é realmente difícil encontrar algo útil pelo Google.
    • Eu também já encontrei muitas vezes uma pergunta no SO ao procurar “como faço X?”. Só que os respondentes não davam a resposta até a pessoa explicar por que queria fazer X e, no fim, explicavam muito bem que, na verdade, ela deveria fazer Y.
      Mas eu realmente precisava de X, então aquelas respostas não serviam para nada. Aí, quando eu encontrava outra pergunta sobre como fazer X, os moderadores a fechavam como duplicata da pergunta anterior. Mesmo quando o autor deixava explícito que “eu realmente preciso de X, portanto isto não é duplicata daquela pergunta”, ela era fechada.
    • Uma thread típica do SO é assim. Autor da pergunta: “Como faço X com Y?” Resposta mais votada: “Eu não faria X com Y. Em vez disso, considere Z. Z faz tudo o que X com Y faz e ainda faz estas outras coisas.”
      Comentário enterrado sob a resposta mais votada: “Essa não foi a pergunta. Para fazer X com Y, faça assim.” E a pessoa que de fato respondeu à pergunta é atacada em 10 comentários por não ter seguido o caminho da resposta mais votada.
    • Pessoalmente, acho que o aumento de boa documentação oficial teve um grande impacto. Há 12 ou 13 anos, quando o SharePoint 2013 saiu, eu precisava criar algo para o SharePoint 2010.
      Eu não era desenvolvedor SharePoint e era minha primeira vez, mas estava acostumado ao jeito antigo de entender sistemas lendo manuais ou especificações. Eu já tinha lidado com formatos de bitmap, inversores solares, software embarcado de construção civil etc., então SharePoint também deveria ser fácil, mas eu não teria conseguido sem o StackOverflow. Quando precisei trabalhar com SharePoint de novo em 2023, a documentação oficial estava tão boa que não precisei de mais nada. Esse é um exemplo isolado, mas é parecido com quase tudo com que lido hoje. Também ganhei mais 10 anos de experiência, mas acho que a indústria passou a lidar muito melhor com os canais oficiais. Quando surge um problema, hoje a gente vai para o StackOverflow ou para lugares como issues do GitHub?
    • Há um padrão típico que vi se repetir de várias formas. O título da pergunta é muito claro: “F no contexto X”, e o corpo diz: “Não estou perguntando sobre F no contexto Y, nem sobre libT que pode ser obtida segundo o padrão U. Estou perguntando se F funciona para libS no contexto X.”
      Mas a A1, com mais de 100 votos, bounty de 50 e aceita automaticamente, diz que “funciona” e explica longamente apenas uma parte de F sem contexto, referente a libS no contexto Y. Nos comentários, alguém diz “não é a resposta correta, veja A15”, enquanto outro comentário reclama que a justificativa de A15 sobre U não é confiável por vir de um site secundário. A2 a A7 são repetecos de A1, A8 traz um link para uma pergunta no contexto Y e diz que é duplicata, e A9 a A14 dão exemplos de libT, que se comporta de modo diferente, dizendo que “funciona”. Só A15 diz: “A pergunta é sobre F para libS no contexto X e afirma explicitamente que não é Y; portanto, olhando para o contexto X de libS, não funciona. O motivo é foo”, com links para a documentação ou o código-fonte de libS e exemplos. Depois, quando F no contexto X é adicionado em libS vN+1, anos mais tarde aparece um comentário dizendo “esta resposta está inválida”. E depois vêm respostas aleatórias.