Devin, o primeiro engenheiro de software de IA

• Devin é o primeiro engenheiro de software de IA totalmente autônomo do mundo
• Devin pode trabalhar junto com engenheiros humanos ou de forma independente, permitindo que os engenheiros foquem em problemas mais interessantes
• Devin pode planejar e executar tarefas complexas de engenharia e usar ferramentas de desenvolvedor como shell, editor de código e navegador

Capacidades do Devin

• Devin avançou em raciocínio e planejamento de longo prazo, podendo executar tarefas complexas de engenharia ao tomar milhares de decisões.
• Pode colaborar com o usuário, relatar o progresso em tempo real, receber feedback e decidir em conjunto escolhas de design.
• Devin pode aprender tecnologias desconhecidas, criar e implantar apps, encontrar e corrigir bugs em codebases, além de treinar e ajustar seus próprios modelos de IA.

Desempenho do Devin

• No benchmark de codificação SWE-bench, Devin mostrou uma taxa de sucesso de 13,86% na resolução de issues reais do GitHub, superando com ampla margem o recorde anterior de 1,96%.
• Devin foi avaliado em um subconjunto aleatório de 25% do dataset e, enquanto outros modelos receberam ajuda indicando exatamente quais arquivos deveriam editar, Devin executou a tarefa sem ajuda.

Apresentando a Cognition

• A Cognition é um laboratório de pesquisa em IA aplicada com foco em raciocínio.
• Seu objetivo é desenvolver colegas de IA que ofereçam capacidades além das ferramentas de IA atuais.
• A Cognition recebeu um investimento Série A de US$ 21 milhões liderado pela Founders Fund e conta com apoio de líderes do setor.

Contrate o Devin

• Devin está atualmente em fase de acesso antecipado, e se você quiser usar o Devin em tarefas de engenharia, pode entrar em contato com a Cognition.

Junte-se a nós

• A equipe da Cognition é pequena, e o time fundador reúne 10 medalhas de ouro da IOI, além de líderes e builders com experiência na Cursor, Scale AI, Lunchclub, Modal, Google DeepMind, Waymo e Nuro.
• Construir o Devin é apenas o primeiro passo, e os desafios mais difíceis ainda estão por vir.

Opinião do GN⁺

• O engenheiro de software de IA chamado Devin simboliza o futuro do desenvolvimento de software e tem potencial para aumentar bastante a eficiência do trabalho de engenharia por meio da combinação de automação e IA.
• O fato de a IA ter mostrado uma taxa de sucesso tão alta na resolução de problemas reais de engenharia é um resultado digno de destaque, e isso mostra como os avanços em IA podem ser bem integrados ao ambiente de trabalho real.
• No entanto, é necessário considerar os impactos éticos e sociais da substituição do trabalho humano por IA. É preciso uma abordagem cuidadosa em relação ao impacto da adoção da IA nos empregos e às mudanças no papel dos humanos.
• Outra ferramenta de desenvolvimento baseada em IA com funcionalidades semelhantes é o GitHub Copilot, amplamente usado para ajudar desenvolvedores a escrever código.
• Ao adotar tecnologias como o Devin, é preciso considerar segurança de dados, privacidade e também questões de transparência e responsabilidade nas decisões da IA. É importante entender e gerenciar o impacto das decisões da IA sobre empresas e usuários.

[yangeok]

Queria experimentar o Devin de graça

[GN⁺]

Comentários do Hacker News

• Como desenvolvedor e responsável por produto, tentou usar IA para programar, mas falhou por causa do tamanho do contexto, saídas fracas do modelo e falta de arquitetura. Não conseguiu fazer com IA tarefas úteis que fossem além de ajuda com Leetcode. Também tentou, sem sucesso, extrair seletores de uma página HTML simples com vários modelos de IA. Tinha grandes expectativas em relação ao avanço da tecnologia, mas quer um produto que realmente funcione.
• Os humanos buscam trabalhos que deem significado e satisfação. Com o avanço da tecnologia, os artesãos são os primeiros a se tornarem inúteis. A sociedade passa a mensagem de que, se você não produz valor, sua dignidade não é reconhecida. Ao entregar arte e engenharia para a IA, até pessoas que não as compreendem podem usá-las de forma barata. Isso levanta perguntas sobre quem se beneficia do avanço tecnológico e qual será o lugar do ser humano no futuro.
• Scott Wu é uma das poucas pessoas desde 1989 a obter uma pontuação perfeita, e o conheceu em uma olimpíada de programação competitiva. Fica feliz em ver que ele está aproveitando seu talento extraordinário.
• Não ficou muito impressionado com um site que permite enviar arquivos de qualquer tamanho sem autenticação. Enviou um arquivo de 500MB para o servidor.
• Se a IA é tão boa, deve ser usada para algo útil. Como engenheiro de software sênior, escrever código não é 90% do trabalho; o importante é dividir requisitos complexos em tarefas claras, encontrar lacunas nos requisitos, escrever a menor quantidade possível de código e entender a base de código. Mais do que um "engenheiro de software de IA", é preciso um "interlocutor humano de IA".
• A demo é impressionante, mas o escopo é limitado, então há dúvidas sobre quão bem isso funcionaria em situações reais. Há dúvidas sobre se consegue fazer arquitetura de software, se a solução não passa de mera reprodução e com que frequência haverá casos em que uma solução 90% correta não é suficiente.
• Para alguém com experiência em desenvolvimento backend, LLMs oferecem um ganho de produtividade surpreendente na geração de código quando se conhece bem as bibliotecas, frameworks e linguagens básicos. Mas ainda assim é preciso saber tudo, e a IA não consegue fazer tudo sozinha.
• A demo é impressionante e o lançamento merece parabéns, mas fica a dúvida se os bugs que o Devin encontra podem ser resolvidos com correções simples. Por exemplo, envolver o código em try-catch para resolver um KeyError faz o código rodar, mas nem sempre é a solução ideal.
• Os LLMs ainda estão na fase de "fazer rimas". Não se sabe se conseguirão avançar para o "raciocínio", mas programar exige raciocínio sobre problemas complexos. Considerando a velocidade das mudanças, não se descarta nenhuma possibilidade.
• Para quem trabalha na área, o uso atual de IA na programação está no nível de ferramenta auxiliar e autocompletar avançado. Empresas como a Pythagora veem a intervenção humana como algo importante, e dá para pensar em um LLM como um desenvolvedor júnior entusiasmado que age rápido conforme as instruções. Com prompts internos e um pouco de orientação humana, pode produzir resultados surpreendentes.