- Um gateway de IA leve semelhante ao LiteLLM; por ser um binário único em Go, a imagem de contêiner é leve e o cold start é rápido
- Integra 11 provedores como OpenAI, Anthropic, Gemini, Groq e xAI em uma única API compatível com OpenAI
- Basta passar as chaves de API como variáveis de ambiente em um contêiner Docker para uso imediato com detecção automática de provedor
- Suporte a todos os endpoints da API da OpenAI, como
/v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files e /v1/batches
- Também oferece
/p/{provider}/... para pass-through de API nativa, repassando a resposta upstream como está (permitindo usar imediatamente recursos que o gateway ainda não suporta)
- Cache de resposta em 2 camadas embutido
- Camada 1: cache de correspondência exata baseado em hash do corpo da requisição (consulta em submilissegundos)
- Camada 2: cache semântico baseado em busca KNN de vetores de embedding (taxa de acerto de 60~70% em cargas de trabalho altamente repetitivas)
- Suporta Qdrant, pgvector, Pinecone e Weaviate como backend vetorial
- Interface de dashboard administrativa embutida para verificar uso de tokens, rastreamento de custos, logs de auditoria, status de provedores e override de modelos
- Recursos de observabilidade embutidos, como métricas do Prometheus, logging de auditoria e pipeline de guardrails (cada um pode ser ativado por variável de ambiente)
- Autenticação de API com
GOMODEL_MASTER_KEY, com SQLite, PostgreSQL ou MongoDB como opções de backend de armazenamento
- Também suporta registro de múltiplas instâncias do mesmo provedor por meio de variáveis de ambiente com sufixo (ex.:
OPENAI_EAST_API_KEY)
- É possível escolher SQLite (padrão), PostgreSQL ou MongoDB como backend de armazenamento, permitindo uso imediato em pequena escala e expansão em grande escala apenas trocando o banco de dados
- Roadmap da versão 0.2.0: roteamento inteligente, adição de DeepSeek V3 e Cohere, gerenciamento de orçamento por
user_path, modo cluster e mais
- Licença MIT
Ainda não há comentários.