Medi a execução duplicada de agentes em traces de benchmarks públicos. O método foi contar os casos em que a mesma ferramenta era chamada duas vezes com os mesmos argumentos e com o mesmo resultado.
Em 6.780 traces, apareceram 8.042 casos; excluindo coisas como repetição de declarações de conclusão de tarefa, ficaram 4.249 casos. Entre eles, comparei os IDs de entidades incluídos nas respostas de 3.432 chamadas duplicadas de ferramentas que alteram estado, e confirmei que em 159 casos duas entidades foram de fato criadas. Por exemplo, dois documentos com o mesmo título ou quatro planilhas iguais sendo criadas.
Há uma limitação clara aqui. Todos esses números vêm de traces de benchmark. São registros de 22 modelos resolvendo tarefas, não serviços reais em produção. Vasculhei oito datasets públicos, e este foi o único em que era possível observar esse fenômeno. A maioria dos benchmarks é projetada para avaliar acurácia, então, quando ocorre duplicação, ela acaba virando uma resposta errada.
Por isso, gostaria de perguntar a quem está operando isso na prática.
- Quantas ferramentas MCP (ou servidores) vocês conectam e usam?
Nos dois datasets que analisamos, a taxa de duplicação diferia em 3 vezes (0,80% vs. 2,41%). O número de ferramentas também era bem diferente, 20 contra 523, mas como o tipo de tarefa e a composição dos modelos também diferiam, não conseguimos isolar se o número de ferramentas era a causa.
Dentro do próprio benchmark, ao segmentar pelo número de servidores associados à tarefa, a taxa foi mais alta quando havia 4 a 5 servidores (cerca de 2,5%) e, acima disso, curiosamente diminuía, num padrão não monotônico. Não vimos uma relação simples do tipo "quanto mais ferramentas, mais duplicações". Tenho curiosidade de saber como isso aparece em ambientes reais.
- Vocês já passaram por execução duplicada? Como descobriram?
Na maioria dos casos que vimos, não houve erro. As duas chamadas retornavam 200 e os logs estavam limpos, então olhando apenas os logs depois não dava para perceber. Imagino que, na prática, muitas vezes isso seja descoberto porque o cliente avisa; como tem sido para vocês?
- As ferramentas que vocês usam retornam IDs de entidade na resposta?
Esse foi o ponto que separou "foi chamado duas vezes" de "duas coisas foram criadas". APIs de criação de documentos geralmente retornam um ID, mas envio de e-mail muitas vezes retorna apenas uma string de "sucesso". Dos 3.197 casos em que não foi possível determinar, 2.011 eram desse tipo, e havia 24 tipos de ferramentas que nunca retornavam um ID na resposta.
Não estou procurando uma resposta definitiva; quero ter uma noção de quão diferentes são benchmarks e operações reais. Só relatos de experiência já ajudariam muito.
Ainda não há comentários.