Novo estudo sobre o GitHub Copilot encontra "pressão de queda na qualidade do código"

Resultados de pesquisa sobre o GitHub Copilot apontam "pressão de queda" na qualidade do código

• Um novo estudo sobre o impacto do GitHub Copilot, baseado em IA, no desenvolvimento de software apresentou resultados negativos.
• O white paper "Coding on Copilot", da GitClear, investigou a qualidade e a capacidade de manutenção do código assistido por IA em comparação com o código escrito por humanos.
• O estudo encontrou tendências preocupantes para a manutenção do código, e prevê que, em 2024, o volume de alterações no código dobre em relação a 2021, antes da adoção da IA.

Contraste com a pesquisa do GitHub

• Outros estudos, especialmente uma pesquisa do GitHub de 2022, constataram que desenvolvedores que usaram o GitHub Copilot concluíram tarefas muito mais rápido.
• A pesquisa do GitHub mediu efeitos positivos como aumento de produtividade, maior satisfação dos desenvolvedores e economia de energia mental.
• O estudo da GitClear investiga mudanças na composição do código com o uso de IA e destaca os pontos aos quais líderes técnicos devem prestar atenção em 2024.

Opinião do GN⁺

• Este estudo é importante para entender o impacto da IA no desenvolvimento de software. Em especial, ele destaca problemas potenciais que o uso de IA pode trazer em termos de qualidade e manutenção do código.
• Ferramentas como o GitHub Copilot podem aumentar a produtividade dos desenvolvedores, mas os efeitos de longo prazo sobre a qualidade do código também precisam ser considerados.
• Líderes técnicos podem usar esses resultados como referência para prevenir problemas que possam surgir ao usar ferramentas assistidas por IA e para estabelecer estratégias de manutenção da qualidade do código.

[GN⁺]

Comentários do Hacker News

• Um usuário mencionou que cancelou a assinatura porque precisava gastar esforço mental demais corrigindo erros no código. Disse que, especialmente ao resolver problemas complexos relacionados a SQL, a ferramenta era inútil. Escrever diretamente o que queria era mais fácil, e ele teme que desenvolvedores iniciantes fiquem sobrecarregados por ferramentas ineficientes como essa.
• Outro usuário disse que usou o GPT-4 para desenvolver uma aplicação CRUD em PHP e melhorou muito sua eficiência. Afirmou que o código gerado a partir de instruções simples era fácil de entender e, na maioria das vezes, funcionava imediatamente. Também ajudou a ouvir os requisitos do usuário e resolver problemas. Destacou que o GPT-4 ofereceu ajuda valiosa por um custo baixo, mas enfatizou que, sem conhecer o básico, ele não seria eficaz.
• Um participante da discussão questionou a metodologia de comparar a atividade de commits de 2023 com anos anteriores. Criticou a análise de regressão baseada em apenas 4 pontos de dados, dizendo que ela não é convincente sem considerar o impacto do Copilot.
• Outro usuário apontou que a tecnologia está sendo usada para o crescimento do mercado e do governo, mas que isso muitas vezes resolve problemas de uma forma que apenas se sobrepõe a abstrações incompletas. Disse que é necessária uma mudança qualitativa e demonstrou preocupação de que os LLMs (Large Language Models) incentivem o erro humano de tentar alcançar objetivos sem esforço real.
• Um desenvolvedor descreveu seu fluxo de trabalho e disse que, se o Copilot fornecer código funcional na fase de prototipagem, isso pode fazer com que se pule grande parte do processo necessário para entender bem o problema e estruturá-lo corretamente. Acrescentou que o Copilot pode ser muito útil na fase final de desenvolvimento, mas não se deve esperar dele mais do que foi inserido como entrada.
• Um desenvolvedor iniciante disse que assistentes como o Codeium muitas vezes parecem distrativos e teme não aprender a forma como ele mesmo escreve código. Ferramentas como o Phind ajudam a entender problemas, mas o Codeium frequentemente não funciona, o que causa frustração.
• O autor do estudo demonstrou entusiasmo com a atenção de longo prazo à qualidade do código. Disse que o aumento da duplicação de código e a redução da movimentação de código em 2023 foram resultados inesperados. Espera que equipes de desenvolvimento e criadores de assistentes de IA adotem métricas e incentivos para valorizar mais código reutilizável do que código novo adicionado.
• Um usuário disse que usou o ChatGPT para criar um clone do Yourls baseado em Django/Python, mas não considerou corretamente a funcionalidade de rastreamento de tráfego. Comparou as ferramentas de IA a desenvolvedores iniciantes, mas que cometem erros muito mais rápido.
• Foi apontado que já havia uma reação contrária ao princípio DRY (Don't Repeat Yourself), e que alguns desenvolvedores mais jovens têm atitudes bem diferentes em relação ao código. Segundo ele, demonstram uma postura de desprezo por padrões de design e pelos princípios DRY e SOLID.
• Por fim, um usuário disse sentir que o Copilot tenta ser esperto demais e frequentemente produz resultados errados. Criticou que gostaria que o Copilot fosse uma IntelliSense inteligente, mas que, na prática, ele age mais como um pair programmer mais burro. Disse ainda que muitas pessoas o estão usando na lógica de negócio e que acredita que o produto está indo nessa direção.