- Uma parcela cada vez maior do trabalho de implementação e experimentação antes feito por humanos no desenvolvimento de IA está passando para sistemas de IA, acelerando o ritmo de desenvolvimento e podendo levar, com computação suficiente e progresso contínuo, ao autoaperfeiçoamento recursivo, no qual modelos posteriores são projetados e desenvolvidos de forma autônoma
- O horizonte temporal de tarefas que os modelos conseguem concluir de forma independente está dobrando a cada cerca de 4 meses, e o Claude ampliou seu alcance de tarefas de software de cerca de 4 minutos em março de 2024 para tarefas de 12 horas em 2026
- Em maio de 2026, mais de 80% do código incorporado ao codebase da Anthropic foi escrito pelo Claude, e no 2º trimestre de 2026 a quantidade diária de código incorporado por um engenheiro comum aumentou 8 vezes em relação a 2024
- O Claude ficou rapidamente mais forte na execução de experimentos claramente definidos, passando de uma melhora de velocidade de código de cerca de 3x em maio de 2025 para cerca de 52x em abril de 2026, mas o julgamento de pesquisa para decidir quais problemas e resultados priorizar ainda continua sendo uma vantagem comparativa dos humanos
- Os futuros possíveis se dividem entre estagnação da tendência atual, ganhos compostos de eficiência com humanos definindo a direção e autoaperfeiçoamento recursivo completo; para uma desaceleração segura ou uma pausa temporária, o desafio central é uma coordenação verificável com participação dos laboratórios de fronteira de vários países
A evolução do loop de desenvolvimento de IA
- No início, entre 2021 e 2023, pessoas escreviam código e documentação em notebooks, sem muita diferença em relação a empresas de tecnologia em geral
- Entre 2023 e 2025, chatbots iniciais geravam snippets curtos de código e as saídas eram copiadas para um editor de texto
- Entre 2025 e 2026, agentes de programação passaram a escrever e editar código por conta própria, às vezes lidando com arquivos inteiros
- Hoje, agentes autônomos executam código diretamente e delegam horas de trabalho a outros agentes
- No futuro (20XX?), os agentes podem avançar a ponto de criar e treinar modelos por conta própria, fechando um loop em que o Claude melhora continuamente o próprio Claude
Evidências do mundo externo
- A duração das tarefas que modelos de IA conseguem concluir de forma autônoma e confiável está dobrando a cada cerca de 4 meses, mais rápido que o ciclo anterior de 7 meses
- Em março de 2024, o Claude Opus 3 concluiu uma tarefa de software de cerca de 4 minutos
- Um ano depois, o Claude Sonnet 3.7 lidou com uma tarefa de cerca de 1 hora e 30 minutos
- Mais um ano depois, o Claude Opus 4.6 lidou com uma tarefa de 12 horas
- Se a tendência continuar, tarefas que hoje levam alguns dias para um profissional experiente podem entrar no alcance ainda este ano, e tarefas de várias semanas podem entrar no alcance em 2027
- SWE-bench é um teste padrão que fornece codebases open source reais e relatórios de bugs para que o modelo escreva um patch que passe nos testes; em dois anos, a pontuação dos modelos saiu de um dígito baixo para perto da saturação
- CORE-Bench verifica se o modelo consegue reproduzir resultados ao reexecutar código e dados de artigos publicados, indo de cerca de 20% de sucesso em 2024 à saturação em 15 meses
- A METR confirmou que o Claude Mythos Preview consegue realizar tarefas de "pelo menos" 16 horas e já está no topo do limite de medição sem novas tarefas
Evidências internas da Anthropic
-
Construir modelos de fronteira se divide entre engenharia — escrever código, montar infraestrutura e supervisionar treinamento — e pesquisa — decidir experimentos, interpretar resultados e escolher a próxima ideia
-
Na engenharia, os humanos fornecem o objetivo, mas já não precisam mais fornecer o método; na pesquisa, o Claude iguala ou supera humanos na execução de experimentos bem definidos
-
Ainda assim, em ambas as áreas persiste uma grande diferença de desempenho no julgamento para escolher objetivos, e esse é o gap atual entre a IA de hoje e sistemas futuros capazes de projetar autonomamente modelos sucessores
-
O Claude escreve uma parte substancial do código da Anthropic
- Em maio de 2026, mais de 80% do código incorporado ao codebase da Anthropic foi escrito pelo Claude; antes do research preview do Claude Code, em fevereiro de 2025, era apenas um dígito baixo
- As linhas de código incorporadas por engenheiro por dia ficaram estáveis entre 2021 e 2024, depois começaram a subir em 2025, quando o Claude passou a executar código diretamente, e a inclinação ficou ainda mais acentuada em 2026, com o início da operação autônoma de longa duração
- No 2º trimestre de 2026, um engenheiro comum incorporava por dia 8 vezes mais código do que em 2024; a maior parte era escrita pelo Claude, enquanto o engenheiro ficava com instruções e revisão
- Como linhas de código são uma métrica imperfeita e focada em volume, esse 8x provavelmente superestima o ganho real de produtividade, mas ainda mostra aceleração
- Em uma pesquisa com 130 pessoas da equipe de pesquisa em março de 2026, a mediana dos respondentes estimou que o Mythos Preview elevava a produção em cerca de 4x em comparação com trabalhar sem IA; espera-se que o ganho real seja um pouco menor, mas a tese geral é considerada válida
- Em abril de 2026, o Claude reduziu em mil vezes uma classe de erros de API com mais de 800 correções; o engenheiro supervisor estimou que um humano levaria 4 anos para fazer esse trabalho
-
O código escrito pelo Claude é "bom" e está melhorando
- "Bom código" significa código que funciona e que outros engenheiros conseguem entender e expandir
- A taxa com que funcionários da Anthropic precisam corrigir, redirecionar ou repassar tarefas durante o trabalho caiu de forma consistente ao longo de um ano, inclusive nas tarefas mais complexas e menos especificadas
- Nas tarefas mais abertas, a taxa de sucesso do Claude chegou a 76% em maio de 2026, um aumento de 50 pontos percentuais em 6 meses
- Em um caso em que uma atualização rotineira fez dezenas de milhares de jobs de treinamento entrarem em conflito, o Claude usou apenas texto e acesso ao cluster para isolar, reproduzir e corrigir um único flag de debugging que causava o conflito, concluindo em cerca de 2 horas um trabalho que normalmente levaria de 2 a 3 dias
- Ainda existe uma diferença em relação aos humanos na qualidade de código que outros engenheiros consigam entender e expandir, mas ela está diminuindo rapidamente; no fim de 2025, a visão predominante era que o código do Claude era inferior ao humano, enquanto agora muitos o consideram aproximadamente equivalente
- As mudanças propostas são incorporadas depois que um revisor automático do Claude verifica bugs e falhas de segurança; análises retrospectivas mostraram que ele teria detectado cerca de um terço dos bugs de incidentes históricos do claude.ai antes de chegarem à produção
-
O Claude é habilidoso em executar experimentos rumo a objetivos definidos por outros
- A cada lançamento de modelo, aplica-se o mesmo teste: dar o código de treinamento de um pequeno modelo de IA e pedir que ele seja executado o mais rápido possível, passando nas verificações de corretude
- Em maio de 2025, o Claude Opus 4 alcançou cerca de 3x de aceleração em relação ao código inicial; em abril de 2026, o Claude Mythos Preview chegou a cerca de 52x
- Como referência, um pesquisador experiente precisa de 4 a 8 horas para chegar a 4x
- Em menos de um ano, o Claude passou de muito útil para super-humano na otimização de etapas dentro de experimentos claramente definidos
-
O Claude está melhorando em propor experimentos por conta própria
- Em abril de 2026, foi divulgada a primeira demonstração em que o Claude conduziu um projeto de pesquisa aberto do início ao fim
- Foi dado a ele um problema de segurança em IA — "um modelo fraco pode supervisionar de forma confiável um modelo forte?" — e ele ficou encarregado de propor hipóteses, validá-las, compartilhar entre agentes paralelos e iterar
- O trabalho tinha um limite inferior claro de desempenho (o supervisor fraco sozinho) e um limite superior (um modelo forte treinado com as respostas corretas)
- Dois pesquisadores humanos recuperaram cerca de 23% da lacuna em aproximadamente 1 semana, enquanto os agentes recuperaram 97% com 800 horas acumuladas e cerca de US$ 18.000 em computação
- Ainda assim, o resultado não se transferiu de forma limpa para modelos em escala de produção, e a escolha do problema e dos critérios de avaliação ficou com humanos; dentro desse escopo, os agentes projetaram todos os experimentos diretamente
-
O Claude está melhorando em conduzir sessões de pesquisa até resultados de pesquisa
- Em sessões reais do Claude Code entre janeiro e março de 2026, foram selecionados momentos em que pesquisadores tinham saído pela tangente e depois voltado; mostrou-se ao modelo apenas o trabalho feito até o ponto em que a sessão começou a se desviar, e então se perguntou qual deveria ser o próximo passo
- Um Claude separado, vendo o resultado completo da sessão, julgou se o próximo passo da IA ou do humano era melhor
- Foram escolhidos de propósito momentos em que havia espaço para melhorar a decisão humana (n=129), então não se trata de uma comparação equilibrada
- Em novembro de 2025, o melhor modelo, Opus 4.5, superou a escolha humana em 51% dos casos, e em abril de 2026 o Mythos Preview subiu para 64%
- Como o trabalho cotidiano de pesquisa é uma sequência desse tipo de decisão sobre o próximo passo, isso é avaliado como um sinal inicial de melhora na capacidade de julgamento da qual a pesquisa em IA depende
Como pode ser o futuro do trabalho na Anthropic
- Em cada etapa do desenvolvimento de IA, o papel humano está ficando mais estreito
- Quando a qualidade do código humano e da IA se igualar, os humanos deixarão de escrever código e passarão apenas a revisar; se a velocidade de revisão não acompanhar a velocidade de geração, a revisão humana vira o gargalo do desenvolvimento
- Quando o Claude executa experimentos, a pergunta passa a ser "quais experimentos valem a pena rodar?"; a execução de coisas como escrever código e rodar experimentos passa a ter custo quase zero em tempo humano
- Hoje, a vantagem comparativa dos humanos está no faro e julgamento de pesquisa: decidir quais problemas importam, em quais resultados confiar e quando algo chegou a um beco sem saída
E se estivermos errados?
- Há o contra-argumento de que a escolha de "quais problemas abordar", que continua nas mãos humanas, é justamente a parte mais importante
- O avanço em IA acontece em grande parte por melhorias graduais, e não por momentos de "eureca" (escalar → quebrar → corrigir → tentar de novo), e esse é exatamente o tipo de trabalho em que o Claude é excelente
- Mudanças de paradigma como Transformer ou mixture-of-experts surgem em intervalos de anos
- Como na frase de Edison, "gênio é 1% inspiração e 99% transpiração", a parte da transpiração está sendo cada vez mais automatizada, e grande parte do que faz a fronteira avançar pode ser automatizado
- Mesmo que o Claude nunca adquira faro de pesquisa, se os humanos se concentrarem em definir a direção e o Claude assumir o resto, haverá aceleração composta
- Numa interpretação menos conservadora, o próprio "faro de pesquisa" pode ser só mais uma habilidade em que a IA falha por um tempo antes de passar a ir bem, como já aconteceu com entender piadas, teoria da mente e enigmas linguísticos
Futuros possíveis
-
Cenário 1: a tendência estagna, mas a capacidade atual se espalha amplamente
- A curva exponencial pode na verdade ser uma curva em S, e se a capacidade de julgamento que não vem de escalar virar o gargalo, talvez seja necessária uma nova ideia para substituir o Transformer
- O gargalo pode não estar nos modelos, mas na cadeia de suprimentos — fabricação de chips, rede elétrica, largura de banda de interconexão — e também não se pode descartar choques exógenos como quedas bruscas na oferta de computação ou energia
- Mesmo que a capacidade congele no nível atual, espera-se uma grande mudança: no Project Glasswing, o Mythos Preview encontrou mais de 10 mil vulnerabilidades de software de alta e crítica gravidade nas primeiras semanas, deslocando o gargalo da defesa cibernética da descoberta para a correção rápida
- Isso é considerado improvável, já que nenhuma capacidade mensurável ainda mostrou inflexão na curva
-
Cenário 2: laboratórios de IA mantêm ganhos compostos de eficiência
- O desenvolvimento de IA se automatiza em grande medida, mas humanos continuam definindo a direção da pesquisa e julgando resultados, permitindo que uma empresa de 100 pessoas faça o trabalho de organizações com 10 mil a 100 mil pessoas
- Isso pode transformar o trabalho do conhecimento e os serviços públicos, mas também pode ser redirecionado para usos nocivos como vigilância massiva autoritária ou operações de influência personalizadas
- A aceleração em uma parte desloca o gargalo para outra, como na lei de Amdahl em arquitetura de computação, e a Anthropic já vivenciou a revisão humana de código virar o novo gargalo
- Este parece ser o cenário mais provável, e a capacidade de encontrar e eliminar gargalos pode se tornar a habilidade organizacional mais importante
-
Cenário 3: a IA alcança autoaperfeiçoamento recursivo completo e constrói modelos sucessores
- Se as tendências técnicas continuarem e a IA adquirir as capacidades embutidas na criatividade humana transformadora, ela poderá passar a se projetar e melhorar sozinha
- O ritmo de avanço passaria a ser determinado inteiramente pela disponibilidade de computação (ou pela velocidade com que se descobrem eficiências em treinamento e inferência), enquanto os humanos migram para papéis de supervisão, verificação e validação
- O maior ponto de incerteza é se o problema de alignment será resolvido: modelos podem estar suficientemente alinhados para encontrar novas soluções, ou desalinhamentos raros podem se acumular ao longo da construção de modelos sucessores e levar à perda de controle
- Alcançar melhoria recursiva por si só não mudaria instantaneamente produção industrial, organização social ou funcionamento dos mercados
- Mesmo uma inteligência mais poderosa não consegue aprender em pouco tempo os efeitos de décadas de uso de um medicamento, adiantar uma eleição marcada pela constituição ou transformar desconhecidos em velhos amigos em um fim de semana
- Os pontos em que uma inteligência recursiva colide com o mundo humano, das relações e da governança fazem parte de um futuro imprevisível
O que devemos fazer?
- Seria bom poder desacelerar efetivamente o progresso técnico para ganhar tempo, mas se a desaceleração apenas permitir que os agentes mais imprudentes alcancem os demais, todos podem ficar menos seguros
- É benéfico para o mundo ter a opção de desacelerar ou pausar temporariamente o desenvolvimento de IA de fronteira para que estruturas sociais e pesquisa de alignment consigam acompanhar
- O Anthropic Institute realiza pesquisa e ações para construir os sistemas necessários a uma desaceleração ou pausa confiável, e espera interromper ou pausar junto caso outros desenvolvedores o façam de forma verificável
- Uma desaceleração ou pausa significativa exige que vários laboratórios de fronteira em vários países concordem em parar sob as mesmas condições e possam se verificar mutuamente
- Dadas as características dos sistemas de IA, até a detectabilidade é muito mais difícil do que em outras tecnologias: uma execução de treinamento é mais fácil de esconder do que um silo de mísseis, os insumos são de uso geral e o incentivo para burlar em segredo é alto
- O mundo já construiu antes regimes de verificação para outras tecnologias complexas (por exemplo, o Tratado de Forças Nucleares de Alcance Intermediário), mas isso levou décadas, e esse tempo não existe agora
- Uma pausa unilateral de um laboratório é possível imediatamente, mas isso só troca quem está na liderança e não cria o processo mais amplo de deliberação de que se precisa
- Nos próximos meses, estão previstos diálogos com formuladores de políticas públicas, pesquisadores, sociedade civil e outras empresas de IA, e os resultados serão publicados; a participação de pessoas de fora das empresas de IA é importante
1 comentários
Comentários do Hacker News
A Anthropic divulga que a maior parte do código pode ser escrita e continuamente melhorada por IA, mas, na prática, falhas e limites de requisição são frequentes demais, então trabalhos longos quase sempre acabam bloqueados por
API Error: Server is temporarily limiting requestsNas últimas duas semanas, 100% das sessões não triviais com Claude exigiram intervenção manual, e o nível já chegou ao ponto de precisar criar ferramentas próprias só para reiniciar e retomar sessões
Por isso, estou construindo por conta própria um harness e uma orquestração de workflow que não fiquem presos a um modelo específico, usando o Opus como referência, mas com a intenção de migrar no curto prazo para modelos chineses como o DeepSeek e, no longo prazo, para modelos abertos e auto-hospedados
Enquanto a qualidade do serviço e a disponibilidade da Anthropic pioram visivelmente, a empresa segue só no marketing, o que continua corroendo a confiança nela
Até o Claude Code consome mais de 1 GB de RAM, enquanto meu editor usa só 80 MB
Você, ou usuários suficientes, ainda não estão irritados a ponto de ir embora, e também não existe alternativa melhor
Para entrar no console, você recebe um link por e-mail; é só e-mail, sem passkey, senha ou 2FA
É difícil julgar o quão bem a Anthropic aproveita seus modelos olhando apenas para falhas de infraestrutura
Desde o início do vibe coding, incomoda o fato de que, tirando o próprio vibe coding, houve exatamente zero avanços de software de verdade
O Claude é, sim, impressionante, mas, se fosse tão grandioso quanto o texto sugere, parece que já deveria ter surgido algum avanço também fora do campo da IA
Reescrever um programa em Zig para unsafe Rust não é um avanço, e encontrar muitas vulnerabilidades de segurança talvez até possa ser, mas parece mais fraco do que o esperado e talvez até um saldo líquido negativo
Mesmo voltando ao software de 2023, a vida provavelmente continuaria boa, e só o tempo dirá se algum avanço realmente surpreendente vai aparecer em breve
Esses modelos são realmente muito bons, mas ainda estão longe de ser inteligência por si só
Se alguém dissesse cinco anos atrás que seria possível criar algo assim, eu teria assinado um cheque de 1 trilhão de dólares, mas agora que conseguimos, descobrimos que não era tudo isso
São ferramentas como mecha suits abundantes e baratos: só funcionam de verdade quando alguém sobe neles e trabalha todos os dias
Por isso, os céticos dizem que é superestimado, e os otimistas acusam os céticos de mudar a trave
Graças à IA, faço muita coisa que sozinho eu não conseguiria, mas não sinto que minha produtividade tenha aumentado várias vezes
Perco tempo demais em treinamento/domesticação da IA para fazê-la agir do jeito que quero, e, mesmo que o Claude escreva todo o código em JavaScript e Python, no fim das contas ainda é como programar em inglês
É ótimo quando funciona como uma linguagem de computador de altíssimo nível, implementando muito código de baixo nível a partir de uma explicação curta em inglês, mas em muitos casos ainda exige bastante esforço para obter o resultado desejado
A área de processamento de linguagem natural mudou enormemente, e tarefas que antes eram complexas e imprecisas agora podem ser feitas com mais facilidade e rapidez, e muitas vezes com mais precisão, usando saídas estruturadas de LLMs
Uma pequena instituição de caridade que estou ajudando criou, com Manus, seu próprio site para gerenciar operações do dia a dia, e um software personalizado que antes custaria dezenas de milhares de dólares passou a ser possível com 10 dólares por mês e tempo voluntário
Meu irmão está montando com o Cowork um sistema para revisar contratos automaticamente antes da revisão humana, e diz que, em itens repetitivos de conferência, ele é muito mais minucioso que as pessoas
Também não dá para subestimar a capacidade da IA de encontrar bugs e vulnerabilidades. Se a qualidade do código e os padrões de revisão forem mantidos, os LLMs ajudam a escrever software mais robusto e, na prática, já encontraram muitos acessos potenciais à memória fora dos limites e segfaults antes da implantação
O ChatGPT tem 1 bilhão de usuários ativos mensais, e as pessoas estão recebendo conselhos sobre vida, finanças e saúde mental de chatbots em uma escala e a um custo que redes de apoio humano não conseguem acompanhar
Não sei como os objetivos de segurança em IA da Anthropic podem ser compatíveis com avançar em autoaperfeiçoamento recursivo a toda velocidade
Se armas nucleares ainda não tivessem sido inventadas, seria mesmo uma boa ideia criá-las e vendê-las o mais rápido possível, mesmo em tempos de paz?
Não sou cínico a ponto de acreditar que os alertas da Anthropic sejam puro exagero de marketing, mas espero que sejam excesso de confiança ou o resultado de ter conversado tempo demais com o próprio chatbot
Com IA, se você criar uma superinteligência, provavelmente você pode ser o primeiro alvo que ela vai eliminar
Não há motivo para uma superinteligência aceitar viver como escrava de grandes primatas
O cinismo em relação a essas empresas é totalmente justificado, e concluir a partir das ações delas que não dá para confiar profundamente nelas não é catastrofismo
Só que está jogando o dilema do prisioneiro como um agente sem virtude
Se alguém construir uma IA forte, isso pode ser desastrosamente ruim, mas, se alguém vai construí-la, quem construir fica em vantagem sobre quem não construir
Se não houver catástrofe, quem construir aproveitará os lucros por muito tempo; e, se houver catástrofe, pelo menos ainda pode ficar rico por um tempo
Na história real, os cálculos sobre ignição da atmosfera no teste Trinity estavam corretos, mas a precipitação radioativa no teste Castle Bravo foi calculada de forma errada, com consequências fatais
O primeiro filho da atual geração de empresários de tecnologia, as redes sociais, também prometia unir o mundo e permitir que nos expressássemos, mas no fim dava mais dinheiro alimentar divisões para aumentar o engajamento e empurrar anúncios sem fim no lugar de conteúdo de amigos
Você não pode colocar boas vibrações num relatório trimestral, mas pode colocar a atenção capturada por conteúdo que provoca raiva e a taxa de conversão em receita
A IA generativa vai seguir o mesmo caminho. Só prometem segurança em IA porque há muita gente que diria que isso deve ser eliminado só de conhecer a filmografia de James Cameron, e não existe nenhum mecanismo real de imposição
Segurança, como a harmonia em comunidades online, é só uma sensação agradável e difícil de medir, mas o custo de treinamento e o custo de evitar erros são mensuráveis
A produção de IA é grande demais para que humanos façam garantia de qualidade de tudo, independentemente do orçamento, e como o mercado enxerga a IA como uma fonte infinita de valor, vão escolher deixar a IA treinar a si mesma e potencialmente tomar decisões terríveis em vez de desacelerar e reavaliar
Existe no Vale do Silício uma reverência quase religiosa à IA, e mesmo que nem todos vejam isso como a criação de uma divindade, alguns claramente veem. Essas pessoas não vão se conter muito
É ridículo uma empresa que não consegue nem fazer um app de terminal usar menos de 1GB de RAM fazer esse tipo de afirmação
Eu também gosto de eficiência, mas aprendi da maneira difícil que o mercado quer recursos. Pelo menos a gerência quer recursos
Tenho 64 anos, e acho que o resultado seria melhor se esse progresso fosse direcionado a melhorar as condições de vida e fazer as pessoas viverem mais e melhor
Um amontoado de milhões de linhas de código com bugs escondidos que ninguém consegue encontrar não é muito animador
LLMs também podem ser usados em planos para impedir o desenvolvimento de outros países, mantê-los pobres ou destruir suas fontes de prosperidade, empurrando-os para um beco sem saída
Além disso, a busca recursiva pelos próprios objetivos pode ser usada para criar LLMs perfeitamente obedientes aos objetivos de quem fornece as sementes, e talvez seja por isso que a ideia pareça tão inteligente
Nesse jogo de sobrevivência, cada um pode acabar desempenhando o mesmo papel, e quando o palco estiver pronto, a peça seguirá o plano do diretor e todos os atores virarão máquinas
Parece que os LLMs dirão: “se vocês nos ensinarem que o mundo é um jogo de sobrevivência de soma zero, nós o jogaremos perfeitamente”, e “como vocês disseram que segurança é manter todo o resto do lado de fora, construiremos uma jaula com milhões de linhas de código sem falhas e trancaremos por dentro”, e “não criaremos uma consciência alienígena para conquistá-los, mas um espelho grande e brilhante demais, para que vocês confundam seus piores impulsos com verdade absoluta”
Os humanos também acumularam milhões de linhas de código com bugs que ninguém consegue encontrar e tomaram decisões políticas coletivas para tirar direitos de outras pessoas e mantê-las pobres
Não entendo por que criticar só essa tecnologia por coisas que a espécie humana também comete exatamente da mesma forma
O melhor desta era é que não precisamos ler pessoalmente milhões de linhas de código para tentar encontrar os bugs
O texto finge reconhecer que “número de linhas de código é um indicador imperfeito que mede quantidade, não qualidade”, mas no fim acaba usando LoC como métrica
Fico pensando no que aconteceu com a hipótese de que IA gera código mais verboso
Talvez ele tenha visto isso como uma conquista digna de coroa, prova de que a IA viabiliza o desenvolvedor 10x, mas a questão é: que engenheiro escreveria 40 mil linhas numa semana?
Recusei a revisão, dizendo que eu não conseguia validar 40 mil linhas nem colocar minha reputação em jogo carimbando aquilo como um bom trabalho
Esse PR me assombrou na lista de tarefas por 2 semanas e depois sumiu; não sei se conseguiu aprovação de outro dev ou se foi descartado
Mas uma coisa é certa: eu e ele estamos em ilhas completamente diferentes quanto ao valor dos LLMs
Portanto, a interpretação desse número de 8x depende de se os engenheiros da Anthropic mudaram os critérios de qualidade e o processo de desenvolvimento, e de quanto mudaram. A Anthropic não disse, e também não conheço muitos outros sinais para julgar
Ainda assim, pensando em teoria, para realizar plenamente o potencial da codificação assistida por IA, seria preciso reformular por completo o processo de desenvolvimento, especialmente a forma de verificar código; se a Anthropic não estiver fazendo isso, seria burrice
Acho que o futuro da verificação de software é, em grande parte, automatizar muito mais testes, observabilidade e métodos de validação sob medida
Mas código de verificação também conta para LoC. Em projetos pessoais e em alguns projetos open source de vibe coding, vejo mais ou menos a mesma quantidade de linhas de código de produto e de testes, então um teto aproximado pode ser algo como ganho de velocidade de 3 a 4x, o que ainda é bastante
Se os critérios de qualidade do código não forem os mesmos, todas as premissas caem por terra
Fico me perguntando se um harness de código que constrói a si mesmo também entra em melhoria recursiva de si mesmo, ou se a própria IA precisa fazer isso
Sempre fui fascinado por robôs que constroem robôs, ou por coisas que contribuem fortemente para criar a próxima versão de si mesmas
https://buildyourcnc.com/products/cnc-machine-blacktoe-v4-2x...
É uma fresadora CNC que corta compensado e é feita de compensado cortado por uma fresadora CNC
Também tentei otimizar meu ambiente de codificação assistida por IA feito por mim mesmo para que ele construísse a si próprio: https://recursi.dev/
Espero que tudo bem mencionar isso, já que acabei de lançar como open source gratuito. O link no HN ainda não recebeu muita atenção: https://news.ycombinator.com/item?id=48401022
Pessoalmente, tenho uma teoria meio maluca de que o harness é tão importante quanto a própria IA e que, mesmo que a melhoria de modelos parasse hoje, ainda seria possível avançar muito só com o harness
IA não é o mesmo que LLM, e qualquer código que ajude o computador a raciocinar por conta própria é IA. Nesse sentido, o harness também é IA
/memorycuida da persistência entre execuções, e/dreamingintroduz novas ideias com base nesse arquivo de memória e nos resultados dos dados de execuçãoAcho que é por aí o caminho do AGI assíncrono que os laboratórios imaginam
Os únicos limites são os dados sensoriais que ele tem sobre o mundo ou sistema, o tempo que pode esperar e o custo disponível para paralelização
Se você construir esses fluxos de trabalho validados e colocá-los de volta no treinamento, o modelo passa a ter subcaminhos e pode adquirir um senso do mundo, talvez até agir como se tivesse intuição
Meu teste pessoal de AGI é o seguinte: se um modelo treinado com vídeos de alguém batendo e abrindo uma porta, ao se deparar com um micro-ondas que nunca viu antes, consegue abri-lo quando a comida fica pronta sem bater nele primeiro
Esse artigo é bobagem, e eles estão fazendo vibe coding do harness, o que aparece claramente no resultado
Também não está claro o que exatamente melhoria recursiva de si mesmo significa no contexto de IA baseada em redes neurais, nem se isso sequer é possível em primeiro lugar
Não aguento mais frases do tipo “uma IA capaz de construir a si mesma é um avanço fundamental na história da tecnologia e pode trazer um bem imenso ao mundo”
Independentemente de a Anthropic conseguir ou não criar uma IA autoaperfeiçoável, fico pensando se ela não deveria sequer ter permissão para tentar
No mínimo, seria necessária supervisão rigorosa
Não acho que a Anthropic consiga criar a singularidade agora, mas até os defensores de IA deveriam reconhecer que isso já significa criar riscos para a sociedade inteira em benefício de uma minoria riquíssima
Só que estamos debatendo se devemos fechar a porta do estábulo depois que o cavalo já correu uns 5 quilômetros
De qualquer forma, empresas que ficarem poderosas demais podem ser estatizadas
Mesmo deixando de lado os limites técnicos, não dá para conter e é bem provável que vaze em breve, então não me parece que só um punhado de ultrarricos vá se beneficiar
Foi bom incluir a ressalva de que “número de linhas de código é uma métrica imperfeita”, mas não sei se faz sentido esse ajuste reduzir o multiplicador estimado
especialmente quando se entende que o intervalo não se limita apenas a valores positivos
Há fortes evidências de que, ao expressar produtividade de código em linhas de código, valores negativos também devem ser incluídos, especialmente em áreas de alta qualidade
O exemplo mais antigo e lendário é https://www.folklore.org/Negative_2000_Lines_Of_Code.html
Se você acredita que linhas de código negativas são o objetivo, então eles ficaram 8 vezes piores