Laminar - Plataforma open source de observabilidade e análise para apps com LLM

• DataDog + PostHog para apps com LLM, projetado para ser rápido, estável e escalável
  • Rastreia, avalia, rotula e analisa dados de LLM
• Stack baseada em Rust composta por RabbitMQ (fila de mensagens) + Postgres (armazenamento) + Clickhouse (análise) + Qdrant (busca semântica)

Diferenciais do Laminar

• Foca não apenas em chamadas de LLM, mas em processar o rastreamento completo da execução (execution trace)
• Instrumentação baseada em OpenTelemetry: com apenas 2 linhas de código + decorator, realiza automaticamente chamadas a LLM/banco de dados vetorial e rastreia funções
  • Construiu um coletor em Rust para spans do OpenTelemetry (Otel) usando regras semânticas de GenAI
• Análise baseada em eventos semânticos
  • O Laminar hospeda a fila de tarefas em segundo plano do pipeline de LLM, e a saída do pipeline é convertida em métricas
  • É possível rastrear "métricas semânticas" (como o que agentes de IA realmente dizem) e conectá-las ao ponto onde ocorrem dentro do rastreamento
• Separa a lógica principal do app do processamento de eventos de LLM

Pipeline Builder

• Usa uma UI em grafo que representa LLMs e funções utilitárias como nós, e o fluxo de dados como arestas
• Construiu um mecanismo de execução de tarefas personalizado com suporte a execução de branches paralelos, ciclos e branches
• É possível chamar pipelines diretamente como endpoints de API
• O Laminar rastreia pipelines diretamente, eliminando a sobrecarga de transmitir grandes volumes de saída pela rede

Recurso de busca de rastreamento

• Indexa cada span no banco de dados vetorial e realiza busca híbrida no momento da consulta
• Esse recurso ainda está em beta, mas deverá se tornar uma parte importante da plataforma no futuro

Recurso de avaliação

• Adota a abordagem do Braintrust e do Weights & Biases de "executar tudo localmente e enviar os resultados ao servidor"
• É possível rastrear tudo com um SDK simples e um bom dashboard
• O recurso de avaliação ainda está em estágio inicial, mas está sendo desenvolvido ativamente

Objetivo do Laminar

• Tornar-se o "Supabase para LLMOps", uma plataforma open source padrão e abrangente para tudo relacionado a LLM/GenAI