- A Anthropic publicou um estudo que verificou experimentalmente como o uso de assistentes de programação com IA afeta o aprendizado e a proficiência dos desenvolvedores
- Em um experimento randomizado controlado, o grupo que usou IA teve compreensão conceitual e capacidade de depuração 17% menores, em média, e o ganho de velocidade não foi estatisticamente significativo
- No entanto, os participantes que usaram a IA não apenas para gerar código, mas para pedir explicações e entender conceitos obtiveram pontuações mais altas
- O estudo mostra que a forma de dependência da IA determina os resultados de aprendizagem, e que a simples automação pode atrapalhar o crescimento técnico
- Empresas e desenvolvedores precisam de uma estratégia de adoção de IA que considere o equilíbrio entre aumento de produtividade e acúmulo de habilidades no longo prazo
Visão geral do estudo
- O estudo foi um experimento randomizado controlado conduzido para analisar o impacto de assistentes de IA no aprendizado de programação e na proficiência técnica
- Os participantes eram 52 desenvolvedores juniores com mais de 1 ano de uso de Python e sem familiaridade com a biblioteca Trio
- O experimento foi composto por três etapas: aquecimento, tarefa principal de programação (implementação de 2 funcionalidades com base em Trio) e quiz
- Os participantes trabalharam em um ambiente online de programação com assistente de IA, e o assistente tinha acesso ao código e ajudava a gerar código de resposta
- Os critérios de avaliação foram quatro: depuração, leitura de código, escrita de código e compreensão conceitual, com foco especial em depuração e compreensão conceitual
Principais resultados
- O grupo com IA teve média de 50% no quiz, enquanto o grupo sem IA teve 67%, mostrando uma diferença de cerca de dois conceitos (Cohen’s d=0.738, p=0.01)
- Em velocidade, o grupo com IA foi em média 2 minutos mais rápido, mas sem significância estatística
- A maior diferença de pontuação apareceu nas questões de depuração, sugerindo que o uso de IA pode estar relacionado a uma queda na capacidade de entender erros
- O efeito sobre a aprendizagem variou conforme a forma de uso da IA
- Delegar apenas geração de código ou depuração levou a notas mais baixas
- Já combinar isso com perguntas conceituais ou pedidos de explicação do código levou a notas mais altas
Análise por tipo de interação com IA
- Padrões de baixo desempenho (média abaixo de 40%)
- Delegação à IA (n=4): deixaram todo o código com a IA e concluíram mais rápido, mas com pouca compreensão conceitual
- Dependência progressiva (n=4): no início tentaram sozinhos, mas passaram a depender totalmente da IA, com pouca compreensão dos conceitos da segunda tarefa
- Depuração repetitiva (n=4): deixaram a IA resolver os erros, ficaram mais lentos e tiveram notas baixas
- Padrões de alto desempenho (média de 65% ou mais)
- Gerar e depois entender (n=2): após gerar o código, pediram explicações adicionais à IA e mostraram alta compreensão
- Código + explicação combinados (n=3): pediram código e explicações juntos; foram mais lentos, mas entenderam melhor
- Exploração conceitual (n=7): trabalharam principalmente com perguntas conceituais; cometeram mais erros, mas concluíram rápido ao resolvê-los de forma independente
Interpretação e implicações
- A adoção de IA cria um problema de equilíbrio entre produtividade e aprendizado
- Em ambientes que priorizam resultados rápidos, existe o risco de prejudicar o crescimento técnico de desenvolvedores juniores
- O desenho da forma de uso da IA é a variável central, e são necessárias interações que induzam aprendizagem em vez de simples automação
- As empresas devem gerenciar intencionalmente a implantação de ferramentas de IA e o desenho da aprendizagem,
mantendo a capacidade dos engenheiros de validar código gerado por IA
Conclusão e tarefas futuras
- O estudo sugere que a IA pode aumentar a produtividade em habilidades já dominadas, mas atrapalhar o aprendizado de habilidades novas
- Como a amostra foi pequena e a avaliação ficou restrita ao curto prazo, a relação com o crescimento técnico de longo prazo ainda não foi confirmada
- Como temas para pesquisas futuras, foram propostos
- impactos em áreas de trabalho além da programação
- persistência dos efeitos de aprendizagem no longo prazo
- diferenças entre mentoria humana e apoio de IA
- Mesmo em ambientes com apoio de IA, esforço cognitivo e tentativa e erro continuam sendo essenciais para formar proficiência, e
a IA deve ser projetada para apoiar ao mesmo tempo eficiência e aprendizagem
1 comentários
Comentários do Hacker News
É impressionante que a própria Anthropic tenha desenhado e publicado esse tipo de pesquisa
Acho difícil ver isso em outros laboratórios
É interessante que o grupo com assistência de IA tenha sido só um pouco mais rápido, mas sem significância estatística
No fim, parece que a IA aumenta a produtividade, mas na prática isso vem em troca de queda na capacidade de aprendizado
Até que terceiros repliquem os resultados, é preciso manter uma postura cética em relação às conclusões
Para mim, isso não é muito diferente de “estudos de saúde” feitos por empresas de tabaco
Há preocupação de que os juniores passem a se tornar desenvolvedores dependentes de IA e percam a capacidade de resolver problemas por conta própria
Meu palpite é que usuários de IA evoluíram menos em programação, mas talvez tenham melhorado na capacidade de especificar requisitos
O papel do desenvolvedor iniciante está mudando para um foco maior em definir requisitos com clareza
É bem possível que essa estratégia funcione
A maioria das pessoas escolhe o caminho de menor resistência, mas algumas aprendem mais rápido justamente com IA
Ou seja, não é uma conclusão que se aplique igualmente a todos os usuários
Fico preocupado com o que aconteceria se essas ferramentas ficassem indisponíveis de repente
Se a internet cair ou os créditos acabarem, negócios e meios de subsistência podem parar
No fim, o desenvolvedor pode virar apenas um gatekeeper, incapaz de fazer qualquer coisa quando houver falha no sistema
Trabalhei em vários lugares do mundo e o tempo perdido com problemas de conexão não somou nem um dia
Se a Anthropic cair, dá para trocar por Gemini; se os créditos acabarem, dá para usar créditos grátis
Hoje em dia até modelos locais já são bem utilizáveis
No fim, todo mundo moderno depende de serviços online
Se você não gosta desse risco, tem que pagar por uma alternativa menos eficiente, mas mais estável
Se isso acontecer, acho melhor seguir procedimentos de resposta de emergência do que voltar ao jeito antigo
Antes eu fazia build manual e subia via ISDN, mas hoje o CI/CD cumpre esse papel
Se quebrar, conserta; deploy manual costuma gerar problemas ainda maiores
Esse efeito fica especialmente evidente ao aprender bibliotecas novas
Já fui produtivo em voos longos sem internet
O ser humano tende a se adaptar ainda melhor quando o ambiente piora
Desenvolvedores sêniores ainda têm vantagem em compreensão fundamental
Assim como gerações anteriores entendiam assembly e hardware, a geração atual aprende a lidar com IA
No fim, o que importa é a capacidade de aprender conforme a situação
Eu mesmo, depois de mais de 20 anos de trabalho, já esqueci boa parte do que sabia, e isso não foi por causa da IA
Código ruim e problemas estruturais já existiam antes dos LLMs
Segundo o estudo, a maior queda apareceu justamente na capacidade de resolver problemas
Os juniores de hoje estão perdendo a chance de aprender a debugar por conta própria
Eu venho atuando na equipe como o “último debugger” e já cheguei a encontrar bugs de compilador
Agora uso o Claude para delegar tarefas repetitivas e só me aprofundar de forma estratégica naquilo que vale aprender
Isso aumentou a eficiência do meu aprendizado
Você não perde nada por não aprender, mas também não há desvantagem em aprender
No fim, desenvolvedores humanos com raciocínio lógico ainda têm vantagem sobre LLMs
Não precisa necessariamente escrever, mas é importante conseguir entender
Os modelos antigos “menos inteligentes” (como o GPT‑4 etc.) ajudavam só até uns 90%, então o resto você tinha que resolver sozinho
Nesse processo surgia uma experiência de aprendizado profunda
Os modelos de hoje são bons demais, e isso acaba reduzindo as chances de pensar por conta própria
Talvez seja melhor colaborar com a IA no editor do que via CLI
No fim, quem mais sofre são os desenvolvedores que ainda estão aprendendo
Está surgindo uma cultura em que todas as funções passam a depender de LLMs
Projetar a arquitetura geral continua sendo tarefa humana
Eu uso LLMs como ferramenta de aprendizado e, para visualizar o design, peço exemplos e diagramas de forma interativa
Por exemplo, o grok 4.1 fast custa 10 vezes menos e é um pouco melhor
Quando o modelo funciona bem demais, o pensamento humano pode ficar embotado
Mas, em um ambiente competitivo, quem aprende técnicas eficientes acaba vencendo
Só que a IA muitas vezes mostra apenas resultados superajustados, o que é perigoso
Ainda faltam boas formas de resolver esse problema
No fim, o ser humano precisa verificar por conta própria e construir padrões de aprendizado
É excelente para projetos hobby, mas tem limites em codebases grandes
A essência do trabalho de um programador é o aprendizado contínuo
Trabalho há 25 anos e ainda aprendo algo novo todos os dias
O problema de usar consultores era que o código ficava, mas o conhecimento permanecia fora da empresa
No fim, programar é o próprio ato de aprender
Muitas vezes o trabalho consiste em adaptar soluções que já existem
Às vezes aprender demais pode até aumentar a complexidade
Segundo os resultados da pesquisa, usar IA provoca queda de compreensão e capacidade de debugging, enquanto o ganho de eficiência é mínimo
Veja o link original
O grupo com IA teve média 50, enquanto o grupo de programação manual marcou 67
Foi uma pesquisa interessante
Isso faz pensar se muitas vezes não estamos confundindo conveniência com competência
É bom que esse tipo de pesquisa esteja sendo feito
Como no aprendizado de idiomas, se você não pratica diretamente, a habilidade não se mantém
É natural que, ao parar de usar, venha uma degradação gradual
Valorizo muito a transparência e a abordagem científica da Anthropic
Eu também estou crescendo mais rápido ao delegar o desenvolvimento real e focar no aprendizado de conceitos
O título do post é enganoso
O estudo não trata de aumento de produtividade de desenvolvedores iniciantes, mas sim do impacto no processo de aprendizado
A sociedade funciona com base em proficiência funcional, não em entendimento completo
Eu mesmo mantive uma biblioteca de regex validada apenas por centenas de casos de teste
Mesmo sem entender perfeitamente a implementação, consegui confiar nela pela correção baseada em testes
A IA aumenta a produtividade de iniciantes, mas pode prejudicar a aquisição de habilidades
Usuários que delegam tudo ganham um pouco de eficiência, mas aprendem menos
Em contrapartida, se mantiverem um padrão de engajamento cognitivo, é possível preservar o efeito de aprendizado
Ou seja, a produtividade com IA não é um atalho para a maestria
Mesmo depois de 25 anos de trabalho, continuo aprendendo todos os dias