HyperDX - alternativa open source ao Kibana para logs e traces no ClickHouse

• O HyperDX é uma ferramenta que ajuda engenheiros a resolver rapidamente problemas em produção, permitindo pesquisar e visualizar logs e traces sobre clusters ClickHouse.
• É semelhante ao Kibana, mas oferece recursos otimizados para ClickHouse.
• Principais recursos
  • Permite pesquisar logs e traces em um só lugar e fazer análise de correlação.
  • É compatível com esquemas existentes do ClickHouse e não depende de esquema.
  • Oferece pesquisa e visualização rápidas.
  • Suporta sintaxe intuitiva de pesquisa full-text e pesquisa por atributos.
  • Permite analisar tendências de anomalias por meio de delta de eventos.
  • Oferece dashboards de eventos de alta cardinalidade sem linguagem de consulta complexa.
  • Suporta consultas em strings JSON.
  • Traz recursos de logs e traces para verificar eventos mais recentes em tempo real.
  • Suporte nativo a OpenTelemetry.
  • Permite monitorar integridade e desempenho desde requisições HTTP até consultas ao banco de dados.
• Começando com o HyperDX
  • O HyperDX v2 está atualmente disponível em beta no modo local.
  • É possível executar contêineres locais para rodar o coletor OpenTelemetry, o ClickHouse e a interface do HyperDX.
  • Nos navegadores Safari e Brave, pode ser difícil conectar ao ClickHouse por causa de problemas de CORS.
  • É necessário no mínimo 1 GB de RAM e 1 núcleo de CPU.
• Serviço em nuvem
  • O HyperDX também é oferecido como serviço em nuvem, e uma conta gratuita permite enviar dados rapidamente.
• Instrumentação do app
  • Para enviar logs, métricas, traces, session replay e mais para o HyperDX, é preciso instrumentar o app.
  • Ele oferece várias opções de SDK e integração para facilitar o início.
  • É compatível com OpenTelemetry e oferece suporte a várias linguagens e plataformas.
• Open source vs. nuvem
  • O HyperDX é open core, com a maior parte dos recursos oferecida sob licença MIT.
  • A versão hospedada na nuvem oferece recursos adicionais e existe para sustentar um negócio sustentável.

[GN⁺]

Comentários do Hacker News

• Há uma pergunta sobre se a busca de texto completo nos logs faz uma varredura linear em todos os logs, como o Loki, ou se pode usar índices para acelerar

  • O Loki não usa índices, então leva tempo para encontrar resultados em logs de tamanho na casa de TB
  • Estão considerando integrar o Quickwit.io para resolver o problema de busca de logs baseada em índices

• Há uma pergunta sobre se o HyperDX pretende adicionar suporte a outros backends para se tornar uma solução "Grafana para logs"

  • Adicionar suporte ao VictoriaLogs ajudaria a construir uma UX eficiente no HyperDX

• Conseguiram configurar com sucesso o logging do navegador e de VMs Linux no HyperDX, mas estão tendo dificuldades com logging OTel no Azure Functions

  • O novo recurso "Flex Consumption" oferece suporte nativo a OTel e funciona com o HyperDX

• Um cliente que usa o HyperDX expressa satisfação, dizendo que é mais barato e mais fácil de configurar do que o Datadog

  • A UI é intuitiva e os dashboards nativos são excelentes

• Estão procurando uma alternativa open source ao DataDog e tentando descobrir como migrar para o HyperDX

  • Querem melhorar a visibilidade no Cloudflare Workers usando OTel, e a documentação precisa ser atualizada

• Há uma opinião de que isso é diferente do que se esperava como alternativa ao Kibana

  • O Kibana é adequado para usuários não técnicos, e esperam que o HyperDX encontre um público-alvo claro

• O HyperDX é muito bom, funciona com uma UI de página única e não é lento

  • Foi conectado à tabela system.text_log e configurado rapidamente sem problemas

• Há uma opinião de que o projeto precisa de uma seção 'comparação com o Kibana'

  • Deve explicar por que usuários que já usam Kibana deveriam migrar para o HyperDX

• Melhoraram a observabilidade usando o HyperDX, e a funcionalidade de busca é muito superior à dos produtos de observabilidade do Google

• Há uma pergunta sobre se o branding v2 significa que o produto de observabilidade mais "completo" está desaparecendo ou se está sendo reconstruído sobre o ClickHouse