A catraca da complexidade na era da programação com IA: por que 90% de cobertura de testes é necessário

Trata-se de um longo ensaio compartilhado por Garry Tan (CEO da Y Combinator) no X, no qual ele organiza a experiência de ter criado, ao longo do último ano, dois projetos open source junto com agentes de IA (Claude Code, Codex etc.). Segundo ele, a IA escreveu a maior parte de cerca de 970 mil linhas de código e 665 arquivos de teste, enquanto ele operava simultaneamente 15 sessões de agentes. A partir desse processo, ele afirma que o antigo princípio da engenharia de software de que "velocidade e qualidade são uma escolha excludente" foi quebrado, e apresenta como mecanismo central o conceito de 'catraca da complexidade (Complexity Ratchet)'.

Resumo dos conceitos centrais

• O que é uma catraca (Ratchet): uma metáfora para um mecanismo dentado que se move apenas em uma direção, significando uma estrutura que faz a qualidade da base de código avançar sem retroceder.
• Três artefatos acumulados: a cada sessão de programação com agentes, três elementos se acumulam na base de código: testes (o que está certo), documentação (por que aquela decisão foi tomada) e resultados de avaliação (a linha de base de qualidade).
• Uso da janela de contexto: como o agente de IA da sessão seguinte lê os três elementos antes de trabalhar, ele fica impedido de quebrar testes, ignorar a documentação ou piorar a pontuação das avaliações.

Diferenças em relação ao modelo tradicional

• Mudança no modelo de erro: nos últimos 50 anos, a engenharia de software partiu da premissa de que "erros são fatais, então devem ser evitados", criando processos complexos como code review, QA e staging; agora, porém, a maioria dos erros pode ser diagnosticada e corrigida pelo agente na rodada seguinte.
• Expansão do limite de complexidade: o teto da complexidade de um sistema deixou de ser 'o quanto uma equipe consegue manter na cabeça' e passou a ser 'um indivíduo e agentes com toda a base de código carregada no contexto'.
• Persistência da memória institucional: pessoas saem por demissão ou burnout, mas o conhecimento registrado em testes e documentação pode ser recuperado de novo por qualquer modelo, em qualquer momento.

O significado de 90% de cobertura de testes

• Curva de qualidade não linear: segundo um estudo de mais de 10 mil projetos de Capers Jones, abaixo de 70% de cobertura a taxa de remoção de defeitos fica em 65% a 75%, mas entre 85% e 95% há um 'ponto de inflexão' em que ela salta para 92% a 97%.
• Precedente da indústria aeronáutica: o padrão de software aeronáutico DO-178C exige cobertura MC/DC em sistemas Level A (críticos), com o objetivo de alcançar taxa de remoção de defeitos acima de 99%.
• A IA quebrou a barreira de custo: preencher os 20% finais de cobertura era um trabalho tedioso e caro para humanos, mas agentes não sentem fadiga, então podem escrever indefinidamente testes de edge cases até de madrugada.

Casos práticos apresentados pelo autor

• Melhoria na precisão de extração do GBrain: em mais de 100 mil extrações de crenças, havia um problema em que se errava em 35% dos casos quem havia feito determinada afirmação; isso foi fixado com 17 testes, impedindo que qualquer versão posterior caia abaixo desse nível.
• Testes de TTY no Superpowers: o agente de IA pulava revisões interativas, então esse comportamento foi monitorado e bloqueado diretamente com a funcionalidade de pseudo-terminal do Bun, transformando em teste até um requisito não tradicional como "a IA conversou?".

Vantagens e limitações

• Vantagens: contribuidores externos não precisam entender o sistema inteiro; se conseguirem fazer os testes passarem, já é possível fazer merge do PR com segurança, reduzindo a barreira de entrada para colaboração.
• Limitações: erros destrutivos de estado (migrações erradas de banco de dados, violações de segurança, vazamento de privacidade) continuam sendo críticos, e cerca de 10% dos pontos de integração e da infraestrutura são intrinsecamente difíceis de testar.
• Resposta às objeções: diante da crítica de que "quem escreve bons testes também escreve boa arquitetura", ele enfatiza que o núcleo da catraca não é a pessoa, mas sim a rede de segurança da próxima rodada.

A mensagem central que o autor tenta transmitir é que o verdadeiro valor da programação com IA não está em 'codificar mais rápido', mas em tornar gratuito um nível de validação que até agora era caro demais para justificar. A cobertura de testes de 90%, por 50 anos privilégio de setores como aviação e saúde, agora pode se tornar parte do cotidiano de uma única pessoa, elevando drasticamente o teto de complexidade do software que um único desenvolvedor consegue criar. Ainda assim, o texto também funciona como divulgação dos próprios projetos open source do autor (Superpowers, GBrain), e algumas citações estatísticas (por exemplo, GPT-5.5) exigem verificação, o que faz dele um texto que também pede leitura crítica.

[skymer]

https://www.youtube.com/watch?v=mJ2GZRV63TE
A pessoa que criou um blog em RoR com 4 vezes mais LOC do que o sqlite...