- Stack Overflow já foi o principal espaço de perguntas e respostas para desenvolvedores, mas, após a disseminação de assistentes de IA para programação como ChatGPT, Cursor e Claude, o número de perguntas e o tráfego caíram drasticamente
- No mês passado, o número de perguntas foi de 6.866, voltando a um nível parecido com o do início do serviço em 2008, e Elon Musk chamou isso de “morte causada por LLMs”
- Embora a participação no fórum tenha diminuído, a receita anual quase dobrou para cerca de US$ 115 milhões, e o prejuízo caiu de US$ 84 milhões no FY2023 para US$ 22 milhões
- A estrutura de receita saiu de um modelo centrado em publicidade para soluções corporativas e licenciamento de dados, e o Stack Internal já é usado por 25.000 empresas no mundo todo
- À medida que as perguntas de desenvolvedores migram para chats privados com IA, o novo conhecimento público diminui, mas os LLMs continuam precisando dos dados do Stack Overflow, criando uma dinâmica circular
Assistentes de IA reduziram o tráfego do Stack Overflow
- O Stack Overflow foi por muito tempo o principal fórum de Q&A para desenvolvedores em busca de ajuda técnica, e durante a pandemia sua influência chegou perto do auge graças a desenvolvedores procurando informações úteis por muito tempo
- Com a disseminação de assistentes de IA para programação como ChatGPT, Cursor, Claude, Google Gemini e Microsoft Copilot, o tráfego do site despencou
- Em julho de 2023, Elon Musk descreveu a situação do Stack Overflow como “morte causada por LLMs”
- No mês passado, o número de perguntas publicadas no Stack Overflow foi de 6.866, quase no mesmo patamar típico do lançamento inicial em 2008
O fórum encolheu, mas a receita da empresa continua resistente
- O fórum de Q&A do Stack Overflow enfraqueceu, mas a empresa continua de pé ao monetizar seu vasto acervo de conteúdo histórico
- Depois que o ChatGPT surgiu em 2022, o engajamento despencou, mas a receita anual do Stack Overflow quase dobrou para cerca de US$ 115 milhões
- O prejuízo caiu de US$ 84 milhões no FY2023 para US$ 22 milhões no ano fiscal mais recente
- Fortes cortes de custos, como demissões em massa, também contribuíram para a melhora da rentabilidade
- Ao contrário de hubs de conhecimento como o Chegg, que foram atingidos pela IA generativa, o Stack Overflow conseguiu transformar o valor de seu conteúdo antigo em novas fontes de receita
Da publicidade para soluções corporativas e licenciamento de dados
- No passado, o Stack Overflow dependia da publicidade de seu fórum ativo, mas hoje sua principal fonte de receita mudou para soluções corporativas
- O “Stack Internal” oferece um complemento de IA generativa baseado em milhões de perguntas e respostas acumuladas ao longo de anos
- O Stack Internal já é usado por 25.000 empresas no mundo todo
- O Stack Overflow também vende licenças de dados para empresas de IA, de forma semelhante ao Reddit
- O Reddit é citado como uma plataforma que faturou mais de US$ 200 milhões em 2024 com licenciamento de conteúdo gerado por usuários
O valor da confiança criada por uma comunidade antiga
- O novo nicho do Stack Overflow está na confiança construída por sua comunidade histórica e por sua especialização
- O CEO Prashanth Chandrasekar avalia que, no começo de 2023, a queda nas perguntas ocorreu principalmente entre dúvidas muito simples, enquanto perguntas complexas ainda continuam chegando ao Stack Overflow
- Chandrasekar acredita que, se os LLMs são tão bons quanto os dados selecionados por humanos que recebem, o Stack Overflow pode ser um dos melhores lugares — ou até o melhor — no campo técnico
- Modelos de linguagem de grande escala querem dados sobre problemas de programação e suas soluções, e o Stack Overflow possui um enorme depósito digital desse tipo de informação
IA e conhecimento de desenvolvedores em uma dinâmica circular
- Os dados do Stack Overflow são importantes para os LLMs, mas, à medida que as perguntas dos desenvolvedores migram para janelas de chat privadas com LLMs, diminui a quantidade de novas perguntas e respostas públicas acumuladas
- Os LLMs precisam de volumes gigantescos de dados para funcionar, e os dados do Stack Overflow são um ativo capaz de atender a essa demanda
- Ao mesmo tempo, os dados do Stack Overflow estão se tornando um ativo cada vez mais envelhecido
- O Stack Overflow mostra uma mudança cíclica na indústria de tecnologia: a IA enfraquece o compartilhamento público de conhecimento entre desenvolvedores, mas depois volta a precisar desse mesmo conhecimento público
1 comentários
Comentários do Hacker News
Até dá para pensar que foi bom ter acabado
Eu também usei muito, como todo mundo, e recebi ajuda várias vezes, mas os problemas culturais ficaram graves e nunca desapareceram
A gamificação atraiu pessoas rígidas e obcecadas por regras, e parece que muitas delas nem percebiam quando machucavam os outros
Entendo a intenção de querer boas perguntas e respostas úteis, mas isso não justifica tratar alguém mal só porque fez a pergunta “errada”. A arrogância e o desprezo cínico que eu via lá eram dolorosos de acompanhar
Fechado: duplicata da pergunta nº 1234, de agosto de 2011, “Como faço algo mais ou menos parecido no Django 1.3?”
Os moderadores daquele site tiraram completamente a alegria da interação. Se você administra um site com moderadores, precisa controlar bem para que eles não transformem o site em um Stack Overflow
Do ponto de vista de quem respondia com frequência na fila de “New”, era impressionante a quantidade de perguntas que quebravam regras, tinham baixíssimo esforço ou eram duplicatas óbvias
No fim, 99% das perguntas não valiam a pena de interagir, então parei de responder e passei só a votar para fechar e seguir em frente
No fim das contas, acho que o SO morreu porque ficou famoso demais e a moderação ficou impossível de sustentar
Antigamente, CUDA era uma tecnologia emergente que abria possibilidades interessantes para computação científica e paralela, e no Stack Overflow havia muitas perguntas interessantes sobre como usar CUDA. Então ele começou a responder, acabou respondendo quase 700 perguntas, virou o participante com maior reputação na tag CUDA e se divertiu bastante com isso
Mas, à medida que o CUDA amadureceu, quase todas as boas perguntas já tinham sido feitas e respondidas, e o que aparecia no Stack Overflow passou a ser, em grande parte, só resto; então ele passou a gastar mais tempo editando, dando voto negativo e fechando do que respondendo
Como resultado, a maioria das perguntas sobre CUDA recebeu votos negativos e foi apagada. Estranhamente, isso continuou acontecendo mesmo com o CUDA seguindo em evolução
Se você está passando por dificuldades na vida e procura ajuda online, é uma experiência realmente desanimadora
Agora não bastava fechar a pergunta; apagavam tudo, mesmo quando havia informação útil ali
Uma vez voltei a uma pergunta antiga fechada para procurar um link que alguém tinha deixado nos comentários, e vi que um moderador tinha apagado a pergunta sem motivo, apesar de haver conteúdo real ali
Naquele momento, cansei de vez e passei a me dedicar ao meu domínio e ao meu próprio site; se eu voltar a postar algo lá, sempre será apenas na forma de link para o meu site. É uma forma de manter isso fora do alcance do deletacionismo deles
O Stack Overflow talvez seja o melhor repositório do conhecimento humano sobre programação
Mas acho que a utilidade dele se limita ao conhecimento acumulado. Como serviço ou comunidade, já era bem ruim havia muito tempo
Para novos usuários tentando aprender programação, talvez tenha sido um dos recursos mais tóxicos que existiam. Quase não posto perguntas desde 2019
O máximo que um usuário comum podia esperar era uma resposta ríspida de alguém que nem leu direito o texto, ou um moderador apagando a pergunta por existir outra parecida, houvesse ou não uma resposta satisfatória
Em certo ponto, todas as perguntas relevantes já tinham sido feitas. O site deixou de existir para ajudar com variações de problemas já conhecidos e passou a existir para coletar problemas novos
Também se subestima o impacto de a indústria ter se homogeneizado em torno de alguns poucos frameworks. É sugestivo que o auge do Stack Overflow coincida com a ascensão do React
Depois, passou a ser otimizado para organização e acabou estragando o site; nesse processo, perseguiu especialmente os novos usuários até expulsá-los
Eu costumava postar perguntas simples de matemática e estatística no math SE e no stats SE, e recebia respostas corretas em poucas horas, às vezes em poucos minutos
E não havia nenhum mecanismo para preservar e recompensar a gentileza
Jeff Atwood pensou bastante nisso depois, ao criar o Discourse, e tentou incentivar os membros da comunidade a se tratarem melhor
O autor marcou COVID e o lançamento do ChatGPT no gráfico, mas não mencionou que o Stack Overflow foi adquirido em junho de 2021 pelo fundo de private equity holandês Prosus
Para mim, esse momento combina bastante bem com toda a tendência de queda
A venda em si está mais para sintoma do que para causa
Eles não parecem ter sido “adquiridos”, mas sim algo mais próximo de terem sido herdados
Nesse período, o próprio StackOverflow não mudou tanto, e a mudança nos usuários provavelmente se deveu a fatores externos
O Stack Overflow tinha muitos defeitos, mas no auge foi algo maravilhoso na internet
Especialmente no começo, as pessoas estavam correndo atrás de karma, e qualquer coisa que você perguntasse recebia algum tipo de resposta. Nem sempre certa, mas havia resposta
Os LLMs podem até dar respostas muito melhores em média, mas sinto que essa parte humana que se perdeu deveria ser devidamente lembrada e valorizada
Ironicamente, o StackOverflow praticamente matou esses fóruns e, no fim, ele próprio acabou virando vítima da onda seguinte
Não sei se isso não é algo para se preocupar
As pessoas usavam o Stack Overflow e, nesse processo, criavam novo conhecimento
Sem esse tipo de meio de discussão, como alimentar os modelos com conhecimento atualizado e de alta qualidade?
Algo como postar soluções para problemas descobertas por LLMs após muita investigação
Infelizmente, como os LLMs estão concentrados em alguns poucos provedores, como OpenAI, Anthropic e Google, é possível que cada um crie seu próprio Stack Overflow privado e fechado
Usando esse Stack Overflow privado, seus LLMs poderiam evitar raciocínios complexos e economizar tokens, tempo e custo
Por exemplo, se uma biblioteca tiver um bug que exija uma gambiarra comum, dá para aprender com código open source que usa essa gambiarra
Existem ambientes de aprendizado por reforço, dados sintéticos, dados anotados por humanos, além dos dados de uso de codex/claude code/cursor
Na programação, a maior parte da capacidade dos modelos vem do pós-treinamento, não do pré-treinamento
Dá até para dizer que os LLMs lucraram ao “roubar” conteúdo gerado por usuários de uma época em que LLMs não existiam
Na era dos LLMs, não vai surgir um novo Stack Overflow para treinar os LLMs do futuro
Muitas contas no Twitter também estão se aproximando da teoria da internet morta, em que na prática são LLMs. O Reddit também parece um grande problema. Vai haver muitas contas farmando karma, participando de campanhas de influência ou buscando receita de anúncios
No fim, vamos chegar a um ponto em que o próprio corpus usado para treinar LLMs estará cheio de lixo gerado por LLM. Será esse lixo autoalimentado o futuro?
O problema, mais do que o SO ter se sufocado sozinho, é que até os grandes mecanismos de busca estão mudando de direção e preferindo respostas de IA em vez de mostrar blogs pequenos
Exigências rígidas para escrever perguntas ajudavam a definir o problema com clareza, e muitas vezes, depois de escrever bem a pergunta, eu acabava encontrando a resposta
Mas nos últimos anos, postar uma pergunta lá virou uma experiência quase traumática. Mesmo ao postar uma pergunta totalmente legítima, havia grande chance de receber votos negativos e fechamento, e se houvesse qualquer pequeno problema na pergunta, era ainda pior
Mudou completamente de “postei a pergunta e consegui responder sozinho, e alguém comentou isso” para “não importa que pergunta você poste, o site inteiro corre para tentar eliminá-la”
Pode soar estranho, mas às vezes encontro soluções melhores no Stack Overflow do que no jeito em que o Claude Code insiste
No longo prazo, não sei se um mundo sem SO é melhor
LLMs são excelentes em cuspir soluções conhecidas, mais do que a melhor solução para um problema
Por causa da forma como amostram tokens da distribuição de probabilidade do LLM, a cauda longa das soluções em geral desaparece
O que me ajudou foi pedir, para um mesmo problema, por exemplo 10 soluções diferentes e escolher uma delas. Quando não existem nem 10 soluções realmente diferentes, às vezes até sai algo criativo
Às vezes a solução “melhor” é um código difícil de ler, e ver as pessoas resolvendo de várias maneiras e discutindo como macacos raivosos ajudava a entender melhor o problema
Claro, às vezes era realmente ruim
Mas a cultura do site já vinha rangendo havia bastante tempo
No ServerFault, que faz parte do SO, dediquei muito esforço a editar perguntas e respostas, mas hoje sinto que aquele tempo foi desperdiçado
Eles pareciam querer vender o site fazia algum tempo e ter parado de se importar. Deixaram alguns editores serem desagradáveis por tempo demais, e isso subiu à cabeça deles. Queria poder recuperar esse esforço
Dá até para brincar que o resto da internet serve mais para diluir o espaço latente final limitado por Jon Skeet
Eu sabia que o Stack Overflow sofreria por causa da IA, mas é difícil acreditar que o número de perguntas por mês caiu de 200 mil antes dos chatbots para algo em torno de 1 mil
Claro, eu também não entro lá há 4 anos
https://data.stackexchange.com/stackoverflow/revision/193252...
Hoje literalmente não existe motivo para usar o Stack Overflow. Mesmo com seus defeitos, LLMs são muito melhores como forma de obter respostas para problemas de programação
Era algo tipo: “Obrigado por este post, mas a escolha de palavras aqui está errada, e existem outras 13 respostas com algumas das mesmas palavras, mas como não respondem de fato à pergunta, foram deletadas. E, se este post ficar, vai reduzir as visualizações da minha resposta equivocada”
Não houve um único motivo para aquele fórum morrer
A moderação rígida, goste você ou não, fazia parte da plataforma, e se os LLMs não tivessem eliminado em 99,9% a necessidade de fóruns de perguntas e respostas sobre programação, talvez isso ainda tivesse durado muito mais tempo
Por isso precisavam de respostas “canônicas”, e isso acabou matando o site no longo prazo
No curto prazo, funcionou muito bem, e os fundadores merecidamente ganharam muito dinheiro
Só que, há cerca de um ano, postei algumas perguntas e não recebi resposta nenhuma
Não foram só os que perguntavam que deixaram o SO; os que respondiam também foram embora. Pode ser um problema de ovo e galinha, isto é, uma reversão do efeito de rede
Para depuração ou tarefas de help desk, os LLMs são melhores do que o suporte humano lento, e esse tipo de pergunta nunca foi bem-vindo no SO
O Stack Overflow continua excelente para perguntas canônicas, múltiplas respostas e discussões públicas entre humanos otimizadas para busca
Mas isso provavelmente não será suficiente para uma empresa de private equity tentando transformar um investimento de US$ 1,8 bilhão em 100 vezes esse valor
Seria bom se, algum dia, o site clássico de perguntas e respostas fosse baixado como prejuízo e separado para algo como uma fundação parecida com a Wikimedia, interessada em preservar o site original de perguntas e respostas e sem querer crescimento ou transformação
Concordo que uma fundação como a Wikimedia seria a melhor forma de preservar o objetivo original