GoModel - gateway de IA de alto desempenho escrito em Go

• Um gateway de IA leve semelhante ao LiteLLM; por ser um binário único em Go, a imagem do contêiner é leve e o cold start é rápido
• Integra 11 provedores, como OpenAI, Anthropic, Gemini, Groq e xAI, em uma única API compatível com OpenAI
• Basta passar as chaves de API por variáveis de ambiente em um único contêiner Docker para uso imediato com detecção automática de provedor
• Suporte a todos os endpoints da API OpenAI, incluindo /v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files e /v1/batches
• Também oferece /p/{provider}/... para pass-through de API nativa, repassando a resposta upstream como está (permitindo usar imediatamente recursos que o gateway não suporta)
• Cache de resposta em 2 camadas embutido
  • Camada 1: cache de correspondência exata com base em hash do corpo da requisição (consulta em menos de um milissegundo)
  • Camada 2: cache semântico baseado em busca KNN por vetores de embedding (taxa de acerto de 60~70% em cargas de trabalho altamente repetitivas)
  • Suporta Qdrant, pgvector, Pinecone e Weaviate como backends vetoriais
• Inclui uma UI de dashboard de administração para visualizar uso de tokens, acompanhamento de custos, logs de auditoria, status dos provedores, sobrescrita de modelos e mais
• Recursos de observabilidade embutidos, como métricas Prometheus, logging de auditoria e pipeline de guardrails (cada um pode ser ativado por variável de ambiente)
• Usa GOMODEL_MASTER_KEY para autenticação da API, com backends de armazenamento à escolha entre SQLite, PostgreSQL e MongoDB
• Também suporta registro de múltiplas instâncias do mesmo provedor por meio de variáveis de ambiente com sufixo, como OPENAI_EAST_API_KEY
• Como backend de armazenamento, permite escolher entre SQLite (padrão), PostgreSQL e MongoDB, possibilitando uso imediato em pequena escala e expansão em grande escala apenas trocando o banco de dados
• Roadmap da versão 0.2.0: roteamento inteligente, adição de DeepSeek V3 e Cohere, gestão de orçamento por user_path, modo cluster e mais
• Licença MIT

[xguru]

Parece uma alternativa mais leve que vale a pena considerar para empresas que estejam pensando em adotar o LiteLLM.

Como o LiteLLM, por ser baseado em Python, já sofreu um ataque à cadeia de suprimentos no passado, também dá a impressão de que o Go é relativamente mais seguro.