O impacto da IA generativa em trabalhos de alta qualificação: um experimento com desenvolvedores de software

Resumo

• Visão geral da pesquisa
  • Este estudo avalia o impacto da IA generativa na produtividade de desenvolvedores de software por meio de três experimentos controlados randomizados conduzidos na Microsoft, Accenture e em uma empresa anônima de manufatura eletrônica da Fortune 100.
  • Os experimentos foram realizados como parte do trabalho cotidiano de cada empresa, oferecendo a desenvolvedores selecionados aleatoriamente um assistente de programação baseado em IA chamado GitHub Copilot.
  • Com um total de 4.867 desenvolvedores de software, o estudo constatou que o número de tarefas concluídas pelos desenvolvedores que usaram ferramentas de IA aumentou 26,08% (erro padrão: 10,3%).
  • Em particular, desenvolvedores menos experientes apresentaram taxas de adoção e ganhos de produtividade mais altos.

Resumo do GN⁺

• Este estudo mostra que a IA generativa pode aumentar significativamente a produtividade de desenvolvedores de software.
• Ela é especialmente útil para desenvolvedores menos experientes, sugerindo que ferramentas de IA podem ajudar a suavizar a curva de aprendizado.
• Ferramentas de IA como o GitHub Copilot podem desempenhar um papel importante no aumento da eficiência no desenvolvimento de software.
• Outros projetos com funcionalidades semelhantes incluem TabNine e Kite.

[GN⁺]

Comentários no Hacker News

• Opinião de um engenheiro experiente

  • O Copilot é mais um incômodo do que uma ajuda para engenheiros experientes
  • A IA é muito útil na etapa anterior à codificação
  • Desenvolvedores experientes podem obter ganhos maiores se souberem usar bem a IA

• Preocupação com a queda na qualidade da força de trabalho de TI

  • As empresas atribuem mais funções a uma única pessoa para reduzir o quadro de funcionários
  • Houve redução de pessoal com a adoção de DevOps e DevSecOps
  • É difícil para novos desenvolvedores aprenderem muitos papéis em ambientes complexos
  • Usar o ChatGPT é um resultado natural

• Dívida técnica gerada pelo uso de IA por desenvolvedores menos experientes

  • Desenvolvedores experientes precisam resolver a dívida técnica criada pelo uso de IA por desenvolvedores menos experientes
  • Desenvolvedores sem grande interesse por tecnologia tendem a se interessar mais por IA

• Falta de um resumo adequado dos resultados da pesquisa

  • Os resultados da pesquisa foram resumidos de forma simplista demais
  • Os resultados variam muito conforme a empresa e a carreira do desenvolvedor
  • Na Microsoft, não houve resultado estatisticamente significativo

• Impacto dos LLMs no crescimento dos desenvolvedores

  • Os LLMs podem atrapalhar o desenvolvimento profissional dos desenvolvedores
  • Quando desenvolvedores júnior usam LLMs, o processo de aprendizado é substituído
  • A habilidade prática acaba se tornando ajustar prompts

• Diferença de produtividade entre desenvolvedores experientes e juniores

  • Desenvolvedores experientes não têm grande aumento de produtividade mesmo usando Copilot
  • O aumento de produtividade de desenvolvedores júnior pode levar à queda de produtividade dos desenvolvedores experientes

• Ajuda da IA ao aprender novas tecnologias

  • A IA ajuda mais ao aprender novas tecnologias

• Atualização do Copilot

  • O Copilot funciona com base no GPT-3.5
  • O Copilot Chat, atualizado para GPT-4, foi lançado em 30 de novembro de 2023

• O significado do aumento no número de PRs

  • O importante não é o aumento no número de PRs
  • O que importa é se a IA aumenta o número de itens que passam no QA, reduz bugs etc.
  • Simplesmente contar PRs não é útil

• Resultados do uso de IA nas empresas

  • Como resultado do uso de IA nas empresas, desenvolvedores ineficientes foram demitidos