A Mozilla AI disponibilizou como código aberto o servidor proxy any-llm-gateway para resolver o problema da explosão de custos e da inibição da inovação no uso de LLMs (grandes modelos de linguagem). Trata-se de uma ferramenta de nível de produção baseada na biblioteca any-llm, com recursos reforçados de gerenciamento de orçamento, gerenciamento de chaves de API e análise de uso.
Principais recursos:
- Gerenciamento inteligente de orçamento: permite configurar níveis de orçamento compartilhado para vários usuários usarem em conjunto. Suporta redefinição automática diária/semanal/mensal, além de possibilitar aplicação obrigatória ou apenas rastreamento.
- Sistema flexível de chaves de API: oferece suporte a chave mestra (para serviços confiáveis) e chaves virtuais (com configuração de expiração/metadados, ativação e revogação). Rastreamento automático de gastos por usuário.
- Análise completa de uso: registra por requisição a quantidade de tokens, custo e metadados. Dá suporte a relatórios de gastos por usuário e rateio de custos.
Aplicação prática:
Fornece uma API compatível com OpenAI e permite especificar modelos no formato provider:model (ex.: openai:gpt-4o-mini). Inclui streaming e rastreamento automático de tokens. Pode ser implantado facilmente com Docker e, com suporte a configuração via YAML/variáveis de ambiente e probes do Kubernetes, é adequado para ambientes de produção.
A ferramenta é útil para implementação de planos SaaS, gestão de equipes de pesquisa e outros cenários, destacando o equilíbrio entre controle de custos e inovação. Como é open source, qualquer pessoa pode usá-la e personalizá-la livremente.
Ainda não há comentários.