A ilusão das alegações sobre IA para programação: por que não estamos vendo uma explosão de 'shovelware'
(mikelovesrobots.substack.com)- Ao verificar com dados as recentes alegações de aumento de produtividade com ferramentas de programação com IA, o resultado real é que nem a velocidade nem a quantidade de entregas aumentam de forma perceptível
- Segundo a pesquisa da METR, os desenvolvedores acreditavam que as ferramentas de programação com IA melhoravam a produtividade em 20%, mas na prática houve uma queda de 19%
- As inúmeras mensagens promocionais e as alegações exageradas de produtividade 10x feitas por empresas e desenvolvedores não estão se refletindo na realidade do mercado nem no lançamento de novos softwares
- Não se observa um fenômeno como um surto de Shovelware (apps produzidos em massa, software de baixa qualidade), ou seja, não há mudança visível
- Empresas como GitHub, Copilot, Cursor, Google e OpenAI, além de alguns desenvolvedores, estão exagerando a produtividade e isso vem sendo usado indevidamente em investimentos, reestruturações e definição salarial
- Conclusão central: “Enquanto não sair de fato mais software, a alegação de que IA para programação transforma desenvolvedores em profissionais 10x é ficção”; portanto, os desenvolvedores não devem ceder à pressão e precisam responder com dados
Introdução: desenvolvedores de software irritados com a IA para programação
- Após viver por muito tempo como desenvolvedor de software, o autor diz ter orgulho e identidade ligados à programação
- No início da adoção de ferramentas de programação baseadas em IA, ele tinha expectativas positivas, mas pesquisas recentes (METR) o deixaram cético
- Ele próprio achava que a IA para programação o tornava cerca de 25% mais rápido, mas o estudo da METR apontou que, na verdade, ela o tornava 19% mais lento
- O estudo mostrou que a percepção subjetiva dos desenvolvedores sobre a eficiência das ferramentas de IA era o oposto dos dados medidos
- Em testes feitos pelo próprio autor, ele também sentiu que o uso de IA não traz impacto positivo no tempo real de programação
Verificação prática: experimento comparando IA e aleatoriedade
- Foi aplicado um método experimental que mede a diferença de tempo (Delta) entre usar IA e não usar IA em cada unidade de trabalho
- Os dados obtidos em 6 semanas de experimento não encontraram diferença estatisticamente significativa
- Apesar do tamanho reduzido da amostra, foi observada uma tendência de que o uso de IA deixava o trabalho 21% mais lento na prática (o mesmo número encontrado pela METR)
- Se de fato existisse um ganho de 2x ou 10x, isso teria aparecido de forma clara nos dados
- O sonho atual da programação com IA não está se concretizando e, na prática, não há mudança
Expectativa e realidade: por que não há explosão de Shovelware
- Se a revolução de produtividade da programação com IA fosse real, deveria haver uma explosão de apps, serviços e jogos de todo tipo
- Há uma enxurrada de mensagens de marketing de ferramentas de programação com IA, como “Built to make you extraordinarily productive”
- Google, OpenAI e GitHub Copilot também afirmam que desenvolvedores ficam 25% mais rápidos ou alcançam produtividade 10x
- Mas, nos dados reais de lançamento de novo software (GH Archive, BigQuery etc.), não há crescimento acentuado nem explosão
- Apesar da popularização da programação com IA desde 2022, não houve grande mudança nos números globais de novos lançamentos e projetos
Impacto no mercado e realidade dos desenvolvedores
- Já aparecem efeitos sociais dentro da indústria, como estratégia AI-First, FOMO, demissões em massa e redução salarial para desenvolvedores
- Nos ambientes reais de desenvolvimento, as ferramentas de IA não estão entregando uma revolução de produtividade
- Nem a curva de aprendizado nem a maior familiaridade com as ferramentas explicam uma diferença absoluta de produtividade
Conclusão: a necessidade de julgar com frieza com base em dados
- O ponto central é confirmar com dados que até agora não houve mudança no volume de novos softwares entregues
- Não há evidência para a alegação de que a IA criou programadores 10x
- Os desenvolvedores não devem ceder à pressão e precisam escolher ferramentas com base nos dados que eles mesmos verificaram
Respostas a objeções frequentes
-
"Se você dominar de verdade a engenharia de prompt, vira um desenvolvedor 10x"
- Se realmente houvesse gente alcançando produtividade 10x, a produção global de novos softwares já teria mais que dobrado
- Mais importante do que a alegação é o resultado objetivo (apps, projetos etc.)
-
"Ainda estamos no começo, então precisa de tempo"
- Já foram investidos bilhões de dólares e a adoção no trabalho real já está em andamento
- As decisões de hoje afetam diretamente a vida real das pessoas
-
"Se você não adotar agora, vai ficar para trás"
- Mesmo em dados do GitHub Copilot, o ganho real de produtividade com aumento de proficiência é extremamente pequeno (29% → 34% de taxa de aceitação)
-
"A qualidade melhorou, só a quantidade ficou igual"
- A qualidade geral do setor, na verdade, está regredindo, e os testes também diminuíram
- Se isso fosse mesmo uma ferramenta de programador 10x, uma inundação de Shovelware já deveria ser realidade
-
"Hoje em dia tudo gira em torno de sites, e ninguém liga mais para nome de domínio. Só subdomínios de lugares como a Vercel bastam"
- Ainda há muita gente que prefere domínios próprios
-
"A explosão de domínios .ai (47% este ano) = crescimento real"
- O aumento de novos domínios vem apenas do pivô de startups de IA, não de uma explosão no total geral de novos domínios
- O número total de domínios não mostra isso
-
"A essência do desenvolvimento está fora do código"
- Fora das grandes empresas, em ambientes de desenvolvedores individuais ou pequenos times, o código continua sendo o centro
- Ainda não houve um aumento perceptível de novos projetos que satisfaçam esse impulso de fazer pequenas coisas em código
Encerramento
- Os desenvolvedores, na prática, não estão lançando mais coisas
- A alegação de que a IA para programação entrega produtividade 10x pode ser contestada com dados
- Em vez de se deixar levar pelo FOMO e pela narrativa de marketing do setor, é preciso avaliar com base nos resultados concretos
- A mensagem do autor: “Se estiverem te pressionando, mostre os dados e os gráficos. Peça os comprovantes para qualquer alegação de produtividade 10x.”
8 comentários
Para um desenvolvedor 10x, com a ajuda da IA talvez dê para saltar para algo como 12x.
IA é uma ilusão. Não é confiável e a qualidade é baixa. Dizer que é possível desenvolver com IA é uma mentira exagerada. É impossível. E usar IA é uma atitude irresponsável de abandonar a ética do desenvolvedor.
Se tarefas repetitivas simples puderem ser deixadas inteiramente para a IA, a ponto de conseguirmos mergulhar completamente no trabalho mais importante, aí sim talvez dê para dizer que a IA ajuda bastante a aumentar a produtividade na escrita de código.
Depois de dar um comando, o resultado sai só após algumas dezenas de segundos de espera, e nesse intervalo nem dá para aproveitar esse tempo direito, além de também não ser como se, passados esses poucos segundos, sempre pudéssemos esperar uma saída perfeita.
No fim das contas, eu preciso continuar prestando atenção até que aquela tarefa simples seja concluída perfeitamente, e também não consigo mudar para outra tarefa, então... achei difícil esperar uma melhora realmente significativa.
Acho que, em vez disso, teria ajudado mais na produtividade contratar no Karrot um bico de algumas horas, pagando 10 mil won por hora, só para fazer tarefas simples.
Pessoalmente, fiquei bem satisfeito gastando algo em torno de 100 mil won por semana.
Em especial, trabalhei com algumas senhoras que faziam serviço administrativo, largaram o emprego e hoje são donas de casa em tempo integral; mesmo sem saber nada de programação, depois de receberem alguns feedbacks elas entregavam tudo bem organizadinho kkk
E às vezes ainda montavam rapidinho códigos boilerplate usando Excel, com preenchimento automático, fórmulas e coisas do tipo...
Hum... sinceramente, o que eu penso é que a IA também é uma ferramenta, então é preciso saber usá-la bem. Qualquer ferramenta é assim: há muito mais gente que usa de qualquer jeito, ou que não consegue aproveitar direito, do que gente que usa bem. Se você configurar a IA para gerar resultados de qualidade, ela consegue mostrar uma performance suficientemente impressionante. Talvez sejam justamente as pessoas que não sabem fazer a IA produzir bons resultados, e só ficam despejando prompts idiotas, que dizem que a produtividade caiu. Sinceramente, não consigo entender negar a produtividade da IA.
Mas dizer isso desse jeito me parece não provar absolutamente nada, como se fosse dizer: “quem realmente entende CS a fundo e acumulou experiência suficiente é mais produtivo do que qualquer IA.”
Eu vi o estudo da METR mencionado há pouco tempo, e ele explicou muito bem algo que eu vinha percebendo e questionando.
Mesmo quando se pede aquele tipo de "trabalho repetitivo" citado nos comentários do Hacker News, na prática a maior parte ainda exige verificação e correção manuais.
Não foi só uma ou duas vezes que, ao ver a lógica toda desorganizada de um resultado "simples" gerado por IA, pensei que teria sido melhor eu mesmo ter feito.
Para tarefas realmente simples, no nível de copiar e colar, ela provavelmente se sai bem.
Mas, para isso, copiar e colar e usar snippets são simplesmente mais eficientes. Também não é preciso se conectar à internet, enviar meus dados para o servidor de outra pessoa e ficar esperando dezenas de segundos.
Comentários do Hacker News
Para mim, a IA parece uma curva em sino, e acho que é parecido para muita gente. Acho que o critério para avaliar o output é importante. Não deveria ser “linhas de código”, e sim “linhas de código de boa qualidade, com manutenção viável, escaláveis e fáceis de atualizar”. Por esse critério, o resultado de pedidos como “gerar um repositório inteiro” é lixo sem sentido, mas a IA autocompletar código como
getUser(...é um ganho de produtividade. Não dá para dizer com certeza se isso representa 0,1%, 1% ou 10% de aumentoDo meu ponto de vista, o problema mais grave é que os problemas com que lido hoje na empresa exigem planejamento e execução cuidadosos, e a IA não ajuda em nada nisso. Só que o nosso gerente disse que reduziu o prazo de entrega do projeto para 20% da estimativa original porque “somos uma empresa AI-first”. Essa loucura coletiva está se espalhando muito entre SVPs e PMs, e eu nunca tinha visto algo assim antes
gitpara antes do código escrito pelo LLM. Meio brincando, meio falando sérioVárias coisas podem ser verdade ao mesmo tempo. LLMs não aumentam em 10x a produtividade de desenvolvedores em tarefas gerais escolhidas aleatoriamente. Por outro lado, LLMs aumentam drasticamente a produtividade em certos tipos de tarefa. Também dá para usá-los para automatizar trabalhos repetitivos e burocráticos; mesmo que levem mais tempo real do que um humano, não importa tanto porque o trabalho roda em segundo plano. LLMs aceleram muito o aprendizado de novas APIs e bibliotecas, e ajudam demais a economizar tempo ao escrever pequenos códigos de integração em linguagens que você não conhece, sem precisar aprender coisas desnecessárias. Em manutenção de grandes codebases existentes, quase não sinto diferença de produtividade. Já para configurar o scaffolding de um site novo, os LLMs fazem um trabalho surpreendentemente bom. Também escrevem classes de mock rapidamente e resolvem em instantes tarefas complexas que eu só faço uma ou duas vezes e depois esqueço, como entender bem o uso de uma biblioteca de mocks. Também ajudam de forma satisfatória, uns 70%, a entender a estrutura de uma nova codebase. Em projetos com arquitetura complexa, como encontrar onde ficam as rotas HTTP ou funções de injeção de dependência, é prático perguntar algo como “ei Claude, onde estão as funções relacionadas à autenticação?”. Acho que é preciso usar a ferramenta certa para o trabalho certo
Na maioria das vezes, não há nada além de vídeos com código jorrando na tela e afirmações de que “os desenvolvedores juniores acabaram”. Acho que isso acontece porque a economia está instável e o clima está cheio de exagero e ansiedade, com a expectativa de que a IA venha salvar tudo. Às vezes ela realmente produz resultados impressionantes, mas no fundo isso só tem significado quando a pessoa já tem um certo nível de habilidade. Pessoas de nível iniciante a intermediário só despejam histórias exageradas de sucesso nas redes sociais. Formou-se um ambiente em que cada um, psicologicamente e na prática, tenta proteger seus “superpoderes de IA”. No fim, só resta esperar o ciclo de hype encontrar um ponto de equilíbrio e mais alguns bilhões de dólares serem queimados novamente
Na minha experiência, a IA foi útil para algumas tarefas menores, como pequenos refactors e automação de definições de tipos, mas em tarefas mais complexas do que isso ela deixava passar várias coisas e exigia retrabalho. Talvez no futuro eu precise rever o que estou dizendo, mas ultimamente tenho visto mais engenheiros menos experientes aceitarem sem espírito crítico como “bom código” o que a IA entrega ao tentar implementar funcionalidades grandes. Só que esses códigos não seguem nosso guia de estilo nem nossos padrões, ou reimplementam lógica do zero em vez de usar bibliotecas já existentes, o que no fim aumenta o código que nós mesmos temos de manter. Depois ainda aparecem PRs gigantes tentando fazer tudo de uma vez
Concordo com a tese aqui. Mesmo usando IA, não estou vendo aumentos revolucionários de produtividade. Acho que, se engenheiros de software não praticarem continuamente resolução de problemas, discernimento e tradução disso em código, seu conhecimento neural pode enfraquecer. A promessa de que a IA traria produtividade 2x ou 10x no futuro não tem substância, e mesmo que tenha havido um pequeno aumento de produtividade em codebases pessoais, isso não resultou em mais lançamentos de produtos realmente melhores no mercado. Trabalhando com consultoria, vejo com frequência founders e CTOs forçando IA e, com isso, acabando sem conseguir gerenciar o código direito e gerando ainda mais caos. Hoje em dia, muitas vezes acabo assumindo também um papel de advisor para ajudar a estabelecer melhores práticas de engenharia
CEOs dizem que a IA aumentou em 10x a produtividade dos desenvolvedores atuais, mas, se isso fosse verdade, fico com a dúvida se não deveriam na verdade contratar muito mais desenvolvedores. Se, com o mesmo investimento, a produtividade sobe 10x, então o racional seria despejar dinheiro nesse “motor”. Mas no campo parece mais que a produtividade ficou igual e só cortaram custo de mão de obra
Achei impressionante a análise que observa a quantidade de lançamentos de novos produtos por um ângulo diferente. Em vez de crescimento acelerado, a sensação foi de que não houve uma mudança tão grande quanto se esperava. Como tese alternativa, dá para interpretar que, na verdade, escrever código não era o gargalo para lançar produtos, e que explorar o que construir e realmente colocar isso em uma plataforma exige muito tempo e esforço. Por outro lado, também concordo que é fácil demais usar mal as ferramentas de IA. Às vezes você pensa “agora finalmente entendi!”, e no dia seguinte percebe “eu estava usando errado de outro jeito de novo”. Mesmo depois de mais de 20 anos desenvolvendo software, ainda não tenho clareza sobre por que isso é tão difícil e por que é tão difícil acelerar a produtividade
Estamos construindo esse futuro agora. Na prática, só comecei a ganhar velocidade a partir de abril-maio, quando a agentic AI ficou boa o bastante. Só hoje fiz uma ferramenta CLI que exporta meu arquivo do iMessage para um site, e algo que antes teria levado semanas agora parece que dá para fazer em um ou dois dias, inclusive com
homebrew formula. Um app para iOS também está avançando muito mais rápido do que se eu estivesse codando tudo à mão, embora eu esteja indo devagar de propósito. Como referência, os dados do post vão até março-abril, e acho que foi justamente a partir desse ponto que a IA generativa começou a ajudar de forma concreta na programação. (Eu uso Copilot desde novembro de 2022)Já fui desenvolvedor em tempo integral e, depois, trabalhando como gerente e CTO, fui me afastando cada vez mais do trabalho prático de desenvolvimento. Quando tentei voltar a programar, reaprender frameworks, APIs, linguagens e pequenos truques, que antes eram interessantes, passou a ser algo irritante. Mas, graças a ferramentas como Claude Code e à minha experiência em design de software, voltei a conseguir desenvolver grandes sistemas como antes. Minha produtividade não aumentou 20%, nem ficou 10x maior. Como me fez voltar a fazer algo que eu nem pretendia fazer, quero descrever isso como um aumento infinito de produtividade. Se eu fosse um grande programador apaixonado por desenvolvimento, talvez essas ferramentas só me irritassem, mas para alguém que normalmente não programaria é o oposto