- Ferramenta CLI multiplataforma para estimar com rapidez e precisão a quantidade de tokens e o custo de API de vários provedores/modelos de LLM, como OpenAI, Claude, Gemini e OpenRouter
- Suporte ao cálculo de tokens por modelo e cálculo automático do custo de chamadas de API com base no preço de token de cada modelo
- Além de prompts únicos, oferece recursos voltados a fluxos de trabalho reais, como formato de chat em JSON, detalhamento de tokens por papel (system/user/assistant), comparação de tokens e custos entre vários modelos, Markdown minify, modo diff e modo watch
- Ao ativar o recurso
load-test, funciona como um runner de teste de carga que mede de uma vez concorrência, latência, taxa de erro, tokens e custo para OpenAI, Anthropic, OpenRouter e endpoints personalizados
- Com o modo dry-run, é possível prever custos sem fazer chamadas reais
- Suporte a diversos formatos de entrada e saída
- Entrada: processa tanto texto simples quanto formato de chat em JSON, com suporte a entrada por arquivo, entrada padrão e comparação de prompts (diff)
- Saída: oferece vários formatos, como text/json/csv/Prometheus/markdown
- Com arquivos de preço personalizados (TOML), é possível manter a precisão da estimativa de custos mesmo com mudanças de preço por modelo
- A estrutura modular de tokenizador, definições de modelo, parser, saída, HTTP/provedor e simulador torna o projeto adequado para adicionar novos modelos e provedores ou integrar pipelines de CI/automação
Ainda não há comentários.