- Usa a API do usuário para se integrar e otimizar LLMs como um gateway inteligente de camada 7 para proteção, observabilidade e personalização de aplicações com LLM (agentes, assistentes, copilotos)
- Gerencia tarefas importantes relacionadas ao processamento de prompts e detecta e bloqueia tentativas de jailbreak
- Processa requisições chamando APIs de backend de acordo com o prompt
- Fornece roteamento inteligente entre LLMs upstream e recuperação de desastres
- Observa e gerencia centralmente os prompts e as interações com LLMs
Principais recursos
- Baseado em Envoy: Construído sobre o Envoy Proxy, gerencia o tráfego de entrada e saída de prompts da mesma forma que requisições HTTP e oferece capacidades escaláveis de processamento de LLM.
- Function Calling: Dá suporte a apps de agentes e apps RAG por meio de LLMs projetados para lidar com tarefas rápidas e de baixo custo, como chamadas de API ou extração de parâmetros de prompts.
- Prompt Guard: Gerencia centralmente proteções de segurança para prompts, prevenindo tentativas de jailbreak sem código adicional e garantindo interações seguras com usuários.
- Gerenciamento de tráfego: Repete chamadas a LLMs de forma inteligente e alterna conexões automaticamente para garantir disponibilidade contínua das conexões upstream.
- Observabilidade baseada em padrões: Usa o padrão W3C Trace Context para permitir rastreamento completo de requisições entre aplicações e ajuda a otimizar o desempenho de aplicações de IA com métricas como latência, uso de tokens e taxa de erro.
Ainda não há comentários.