Ferramentas de codificação com IA atrapalham o aprendizado de desenvolvedores, aponta estudo da Anthropic
(anthropic.com)Resumo em uma linha
Ferramentas de codificação com IA podem ajudar ou prejudicar o aprendizado dependendo de como são usadas. Fazer perguntas ativas para entender conceitos é o ponto-chave, e delegar tudo faz perder tanto velocidade quanto aprendizado.
Visão geral do estudo
- Conduzido pela equipe de pesquisa da Anthropic
- Participantes: 52 engenheiros de software
- Desenho do experimento: aprender uma nova biblioteca Python (Trio) e depois realizar uma tarefa de programação
- Grupo com IA: uso de uma ferramenta de codificação com IA baseada em GPT-4o
- Grupo de controle: uso apenas de documentação + busca na web
- Duração: cerca de 1 hora de trabalho
Principais resultados
- Grupo que usou IA → pontuação no quiz 17% menor
- Mesmo usando IA, a velocidade de execução não aumentou
- Grupo sem IA → encontrou mais de 3 vezes mais erros relacionados ao Trio → capacidade de depuração melhorou naturalmente
Diferenças conforme o padrão de uso da IA (principal descoberta)
- Padrão ruim (menos de 40% no quiz)
- Delegou todo o trabalho à IA (geração completa do código, toda a depuração a cargo dela)
- A dependência foi aumentando com o tempo
- Terminou mais rápido, mas com efeito de aprendizado muito baixo
- Padrão bom (65% ou mais no quiz)
- Usou a IA apenas como ferramenta de apoio à compreensão
- Após gerar código, fez perguntas adicionais / pediu explicações de conceitos / fez perguntas para confirmar entendimento
- Segunda melhor velocidade + alto desempenho de aprendizado
Insights finais
- O problema não é usar IA em si → é o modo de uso que define o aprendizado
- A “experiência dolorosa de ficar travado” é importante para formar proficiência
- Quando a IA resolve os erros no lugar da pessoa → pode haver mais velocidade, mas falta entender “por que o erro aconteceu”
- Existe um trade-off entre produtividade de curto prazo ↑ e formação de habilidades no longo prazo ↓
Opiniões de desenvolvedores na prática (referência)
- Positivas: casos de concluir em 2 semanas um trabalho que levaria 1 ano, com ganho de velocidade de 10x
- Negativas: recomendação de usar apenas em código que já se entende; para juniores, há risco de dívida técnica
- Divisão de opiniões: “programar acabou” vs “é desconfortável mudar de criar para supervisionar”
Recomendações
- Ao aprender uma nova tecnologia: evitar dependência total da IA e permitir de propósito a “experiência de ficar travado”
- Em tarefas que exigem produtividade: é possível usar IA de forma ativa
- Empresas: é preciso conciliar pressão por resultado dos juniores com o desenvolvimento de habilidades para validar e depurar código gerado por IA
- Perspectiva futura: agentes de IA assumirão tarefas principais → humanos precisarão reservar tempo separado para estudar código e conceitos
Limitações do estudo
- Amostra pequena (52 pessoas)
- Tempo de tarefa curto (1 hora)
- Uso do GPT-4o (modelo antigo pelos padrões de 2025)
- Não está claro se a pontuação no quiz prevê habilidades de longo prazo
12 comentários
É como estudar problemas de matemática só olhando para o gabarito aberto. Na hora parece que entendeu, mas quando fecha o livro não sobra nada.
Concordo 100%.
Concordo demais com isso.
Parece ser um resultado de pesquisa que dá uma resposta clara sobre por que não devemos depender totalmente da IA e sim usá-la apenas como uma "ferramenta" auxiliar.
1 ano de trabalho virou 2 semanas, então por que é 10x..
Os dois casos são independentes, mas o texto do corpo foi escrito de um jeito que confunde. Pelo último link do texto, são os dois casos abaixo.
Um arquiteto de software com 30 anos de experiência elogiou dizendo que “concluiu em 2 semanas uma funcionalidade que levaria 1 ano pelo método tradicional”. O colaborador do kernel Linux Roland Dreier disse que “houve um salto enorme nos últimos 6 meses” e afirmou ter experimentado uma melhora de 10x na velocidade em tarefas complexas.
Se tivesse sido com o Opus, talvez tivesse perdido crescimento, mas provavelmente não teria perdido velocidade.
Acho que o escopo do conhecimento que é preciso ter mudou.
Aos poucos, a parte low-level que deixa de ser necessário conhecer está ficando cada vez maior.
Hoje em dia, quando se usa esses modelos, parece que olhar o código está virando algo opcional.
Então apareceu o motivo pelo qual estudantes ou juniores não deveriam usar IA.
Se eu não usar, não vou conseguir emprego, né?
Não seria uma estratégia correta de usar a ferramenta que é a IA utilizá-la só no mínimo durante os estudos e de forma ativa na hora de conseguir emprego? Antes e agora, casos de amigos debatendo criticamente algum tema entre si não são muito comuns, né? Em vez disso, ficam só tentando procurar no YouTube ou em blogs, mas quando vamos aprender alguma coisa, muitas vezes a forma mais rápida é eu mesmo explicar aquilo.