5 armadilhas da engenharia de agentes de IA

O texto argumenta que hábitos da engenharia de software tradicional (determinística, com controle rígido) acabam atrapalhando o desenvolvimento de agentes de IA (probabilísticos, centrados em flexibilidade).

• Segundo Philipp Schmid, da Hugging Face, quanto mais sênior o desenvolvedor, mais tende a tentar “eliminar por código” a incerteza dos LLMs, o que o torna mais lento do que um júnior.
• Analogia: é preciso mudar do papel de controlador de tráfego (tradicional) para o de despachante (agente).

1. Texto é o novo estado (State)
   • Armadilha: forçar entradas em linguagem natural a virarem dados estruturados (ex.: true/false) faz perder contexto.
   • Solução: preservar o feedback (ex.: “aprovado, focar no mercado dos EUA”) como texto para permitir ajustes dinâmicos.

2. Entregue o controle
   • Armadilha: hardcodar o fluxo (ex.: rota de cancelamento de assinatura) faz falhar diante de interações não lineares.
   • Solução: confiar que o agente (LLM) julgue a intenção com base no contexto.

3. Erro é apenas mais uma entrada
   • Armadilha: interromper o programa quando ocorre um erro (modo tradicional) desperdiça execuções de alto custo.
   • Solução: fornecer o erro como feedback para que o agente tente se recuperar sozinho.

4. De testes unitários para Eval
   • Armadilha: aplicar testes binários (TDD) em sistemas probabilísticos não faz sentido (há infinitas respostas válidas).
   • Solução: gerenciar a variabilidade com confiabilidade (Pass@k), qualidade (LLM Judge) e rastreamento (Eval).

5. Agentes evoluem, APIs não
   • Armadilha: usar APIs centradas em humanos (com contexto implícito) provoca alucinações nos agentes.
   • Solução: deixar tudo explícito com tipagem semântica detalhada (ex.: user_email_address) e docstrings. Agentes conseguem se adaptar a mudanças nas ferramentas.

Conclusão

Aceite a natureza probabilística e gerencie-a com Eval e autocorreção. “Confie, mas verifique” — o essencial não é rigidez, e sim construir sistemas resilientes. (Fonte do texto original: “Why (Senior) Engineers Struggle to Build AI Agents”, de Philipp Schmid)