A IA não anestesia uma pessoa, mas a organização inteira: a ironia da automação que aviação e medicina viveram primeiro
(evan-moon.github.io)A capacidade de lidar bem com IA e a capacidade de verificar sua saída são eixos diferentes, e enquanto um sobe, o outro vai sendo silenciosamente desgastado. Este texto trata do mecanismo pelo qual esse desgaste se espalha não no indivíduo, mas no nível organizacional, e de como líderes podem responder a isso por meio de estrutura.
- A IA não é uma abstração que esconde trabalho de baixo nível, mas um agente probabilístico que ocupa esse lugar. Abstrações anteriores, como React e ORM, ainda permitiam descer a escada quando necessário para verificar a causalidade, mas acima da IA essa escada simplesmente não existe.
- O conceito central é o de posse cognitiva, isto é, "um estado em que se consegue explicar do começo ao fim a trajetória lógica de por que este código precisava ser escrito desta forma". A questão não é por quais mãos o código passou, mas em qual cabeça está sua causalidade.
- A IA não nivela habilidade, mas plausibilidade. O ponto mais baixo da distribuição da qualidade de código apenas subiu; a habilidade em si não aumentou, e quanto melhor o modelo fica, menos visível se torna o fato de que a causalidade está vazia.
- O custo de geração converge para 0, mas o custo de verificação permanece o mesmo. Pela pressão econômica que faz da pessoa que leva 1 hora para verificar um código gerado em 1 segundo a mais lenta nos indicadores da organização, a aceitação crítica não se sustenta apenas na força de vontade.
- O texto cita precedentes já vividos antes por aviação, neurociência e medicina: a ironia da automação (Bainbridge, 1983), o voo Air France 447, a atrofia do hipocampo em dependentes de GPS e a redução de sensibilidade do CAD em mamografia.
- A prescrição precisa ser estrutural, não uma decisão individual. O texto propõe contabilizar a ineficiência da posse cognitiva não como "moral", mas como "prêmio de seguro".
Resumo detalhado
IA não é abstração, é agente
- Ferramentas anteriores eram determinísticas (mesma entrada, mesma saída), então era possível rastrear a causalidade. A IA é um agente probabilístico: mesmo com o mesmo pedido, o resultado muda a cada vez, e embora seja possível ler o código, não há caminho para chegar ao "por que foi escrito assim".
- No código escrito pela própria pessoa, a causalidade permanece na cabeça; no código escrito pela IA, só existe o resultado, e a causalidade não passa pela mente. O texto compara isso a assinar repetidamente um contrato em um idioma que você não conhece.
O nivelamento da plausibilidade
- Observações de linha de frente como entrevistador e revisor de PRs: nomes de variáveis limpos e estrutura plausível, mas, ao abrir, surgem funções duplicadas, separação de responsabilidades pouco clara e blocos cheios de efeitos colaterais.
- A prova mais honesta é o momento em que a pessoa trava diante da pergunta: "Por que vocês fizeram assim aqui?". Esse é o sinal direto de um código com aparência aceitável, mas sem causalidade por trás.
A anestesia se espalha no nível da organização
- Antes, a causalidade ficava distribuída e preservada em duas camadas de posse cognitiva — a do autor e a do revisor. Mas, quando a escrita é feita por IA e a revisão também, o PR acaba em um estado em que sua causalidade não existe na cabeça de ninguém da equipe.
- "Se o bot de review com IA resumir, uma pessoa passa o olho e dá LGTM" só parece verificação; na prática, é mais um artefato sem causalidade. O princípio de que "o código que eu escrevo é o código que eu opero" entra em colapso.
O gosto só cresce dentro da falha
- O texto rebate a ideia de que "a IA implementa, e os humanos ficam só com o taste". Gosto não nasce de ler muito código bom, mas da experiência de ver o que você mesmo escreveu quebrar e, naquele momento, tatear a causalidade.
- São citados a metáfora do martelo em Heidegger (a essência da ferramenta só aparece quando ela quebra) e a prudência prática em Aristóteles. A IA não elimina a falha em si, mas a "experiência de atravessar a falha", fechando a forja onde o gosto se desenvolve.
O lugar onde a aprendizagem de mestre e aprendiz foi interrompida
- As abstrações anteriores apenas "escondiam" a causalidade, sem eliminá-la, então a escada permanecia. Sobre a IA, essa escada não surge sozinha. Se a capacidade vai se desenvolver ou não depende menos da vontade individual e mais da estrutura em que a pessoa está inserida.
- Quem decide se essa escada será recolocada artificialmente dentro da equipe é a liderança.
A prescrição precisa ser a estrutura da equipe
- Fixar como regra de review que "código cuja causalidade não pode ser explicada não é mergeado"; mudar o significado de LGTM para uma declaração de aceitação do tipo "eu consigo explicar este código"; fazer verificações aleatórias.
Introduzir checks
- Desenvolver como capacidade da equipe a forma de manter o design nas mãos humanas e delegar à IA com especificações até o nível de restrições e edge cases.
- Definir os pontos que nunca serão largados (domínio central), transformar ineficiência em rota deliberada de aprendizado, medir não apenas velocidade, mas também posse cognitiva — tomando cuidado com a lei de Goodhart e usando isso não como KPI, mas apenas como painel de instrumentos.
A crise do líder: o aprovador que não consegue verificar pode acabar sendo eu
- Quando as duas camadas de sustentação desaparecem, o enferrujamento do líder deixa de ser um problema individual e vira o padrão da organização. O que o líder deve preservar não é a verificação total, mas a capacidade de discernir se a causalidade registrada pela equipe é real.
- Mesmo que não seja possível controlar se a anestesia acontece, é possível controlar a velocidade com que ela se espalha. O objetivo é "continuar sendo uma organização capaz de distinguir as coisas por um pouco mais de tempo".
Ainda não há comentários.