O imposto da orquestração

O ‘imposto da orquestração’ na era dos agentes de IA e o gargalo da atenção humana

O texto de Addy Osmani aborda o problema de que executar vários agentes de IA ao mesmo tempo pode não levar diretamente a um ganho real de produtividade. Os agentes podem atuar em paralelo, mas o julgamento humano necessário para entender, revisar e integrar os resultados não pode ser paralelizado. O autor chama esse custo de ‘imposto da orquestração’. Ou seja, é o custo oculto de coordenar vários fluxos de trabalho. Pela ótica da delegação, isso também pode ser lido como a ideia de que mais importante do que delegar mais é delegar apenas o que se consegue revisar adequadamente.

• Argumento central

  • Ele explica que iniciar agentes de IA é fácil, mas verificar seus resultados e alinhá-los com outras mudanças não é simples.
  • Mesmo executando vários agentes, isso não cria “mais versões de mim”, e o julgamento e a integração acabam tendo de passar pela atenção de uma única pessoa.
  • Ele aponta que sentir-se ocupado e estar realmente produtivo podem ser coisas diferentes.
  • Mesmo rodando 20 agentes, isso não significa automaticamente trabalho entregue na proporção de 20 agentes.

• Imposto da orquestração

  • O autor vê o custo de coordenar vários agentes como um problema estrutural. Não é apenas uma questão de falta de concentração ou treinamento, mas de desenho do sistema.
  • No fim, os resultados produzidos pelos agentes precisam ser revisados por pessoas. Nesse processo, questões como precisão, consistência com a arquitetura e conflitos de merge se acumulam sobre uma única pessoa.
  • Por isso, o ser humano se torna o componente serial lento dentro do sistema de agentes de IA. Um componente serial é a parte que não consegue processar várias coisas ao mesmo tempo e precisa lidar com elas em sequência.

• Analogia técnica

  • O autor compara essa situação ao GIL do Python. O GIL é o mecanismo que faz com que, mesmo com várias threads, apenas uma execute código Python por vez.
  • Isso significa que os agentes podem executar em paralelo, mas, quando chega o momento de compreensão e julgamento reais, todos acabam esperando pelo mesmo bloqueio: a atenção humana.
  • Ele também recorre ao princípio da engenharia de desempenho segundo o qual o ganho de velocidade do processamento paralelo é limitado pelas partes que não podem ser paralelizadas. Ou seja, mesmo aumentando o número de agentes, se o tempo de julgamento não cair, a vazão total dificilmente aumentará muito.

• Vantagens

  • Os agentes podem ser úteis para lidar com tarefas independentes em segundo plano.
  • Tarefas como escrever testes ou gerar capturas de tela, em que a máquina consegue fornecer algum nível de comprovação, podem reduzir a carga humana.
  • Ele sugere agrupar a revisão dos resultados em blocos, para reduzir o custo de troca de contexto entre tarefas.

• Limites e riscos

  • Ele afirma que aumentar o número de agentes não amplia a largura de banda cognitiva humana, isto é, a capacidade de compreender e julgar.
  • Verificar agentes com frequência pode aumentar o cansaço, porque exige recuperar repetidamente contextos de trabalho diferentes.
  • Se a revisão ficar superficial, pode surgir a situação de aceitar código produzido por agentes sem entendê-lo de fato.
  • Se esse custo não for bem gerenciado, dívida técnica e dívida cognitiva podem se acumular ao mesmo tempo. Dívida técnica é o peso de um código difícil de corrigir depois; dívida cognitiva é o acúmulo de mudanças em um sistema que os desenvolvedores já não compreendem bem.

• Diferencial

  • O foco do texto está menos no desempenho dos próprios agentes de IA e mais na atenção humana.
  • Ele argumenta que a produtividade deve ser medida não pelo número de agentes em execução, mas pela quantidade de trabalho realmente revisado, integrado e pronto para deploy.
  • Um ponto marcante é tratar a pessoa não como supervisora externa ao sistema, mas como um recurso limitado que faz parte do próprio sistema paralelo.

• Direção prática

  • Ele sugere que a escala dos agentes deve ser determinada não pelo que a interface da ferramenta permite, mas pela velocidade com que você consegue revisar direito.
  • É preciso separar os tipos de trabalho. Tarefas isoladas podem ser delegadas a agentes em segundo plano, enquanto trabalhos em que o julgamento é central — como bugs estranhos ou decisões de arquitetura — talvez não devam ser paralelizados.
  • A atenção humana deve ser usada para julgar, enquanto as partes verificáveis pela máquina devem ser apresentadas pelos agentes primeiro na forma de testes ou evidências.
  • A delegação, nesse ponto, tem um sentido bastante limitado. Mais importante do que a capacidade de delegar muito é a capacidade de distinguir o que pode ser delegado do que exige julgamento direto.

Este texto destaca que o gargalo no uso de agentes de IA pode estar não na capacidade de execução, mas na capacidade de revisão e julgamento. Ficou mais fácil colocar vários agentes para trabalhar, mas o processo de assumir seus resultados com responsabilidade continua sendo tarefa humana. Assim, a produtividade não vem de simplesmente aumentar o número de agentes, e sim de tratar a própria atenção como um recurso crítico do sistema e distribuir o trabalho de acordo com esse limite. A delegação segue o mesmo princípio: o essencial não é delegar mais, mas delegar dentro do que se consegue julgar adequadamente.

[jjpark78]

Eu também tenho sentido isso ultimamente: quando deixo de 10 a 20 tarefas rodando ao mesmo tempo e volto depois para revisar uma por uma, não consigo fazer a troca de contexto direito e fico tipo “o que era isso mesmo??”, tendo que puxar a memória de volta..

[j2sus91]

Se for feito como trabalho serial, a validação e a revisão humanas inevitavelmente viram um gargalo.

No fim, o fluxo de trabalho precisa migrar para o processamento paralelo por agentes, mas a capacidade cognitiva humana tem limites.

Parece que chegamos a uma era em que criar loops de validação é a chave para qualidade e prevenção de incidentes.
Isso também vale para a validação humana, claro, mas é preciso fortalecer as etapas de verificação com agentes se fiscalizando mutuamente.