Aquisição da Quickwit pela Datadog
(quickwit.io)- A equipe da Quickwit vai se juntar à Datadog para se concentrar no desenvolvimento de novos produtos, e planeja lançar uma nova versão do Quickwit sob a Apache License 2.0 para que a comunidade possa dar continuidade ao projeto
- O ponto de partida foram os limites de escalabilidade e os altos custos operacionais do Elasticsearch; a Quickwit tinha como objetivo criar um mecanismo de busca mais de 10 vezes mais eficiente em custo e escalável até múltiplos petabytes
- A Binance construiu com Quickwit um serviço de logs de 100 PB, indexando 1,6 PB por dia, e a Mezmo também processa em produção logs de milhares de clientes e em escala de petabytes
- Embora o interesse pelo open source, a receita e a análise de uma Series A tenham crescido, a estrutura da equipe distribuída entre Tóquio, Paris e Nova York aumentava o peso da expansão, levando a empresa a considerar oportunidades de aquisição
- Há grandes atualizações previstas para Quickwit e tantivy; a nova versão do Quickwit deve incluir ingestão distribuída, agregação de cardinalidade, melhorias de desempenho e memória, entre outros recursos
Entrada na Datadog e continuidade do open source
- A equipe da Quickwit vai se juntar à Datadog e se concentrar em criar novos produtos junto com a Datadog
- Para que a comunidade possa continuar levando o Quickwit adiante, a equipe planeja lançar em breve uma nova versão sob a Apache License 2.0
- Tanto o Quickwit quanto o tantivy têm grandes atualizações previstas
- A nova versão do Quickwit incluirá a ingestão distribuída, muito solicitada pela comunidade
- Também devem entrar agregação de cardinalidade, melhorias de desempenho e memória, além de outros recursos
O problema que a Quickwit queria resolver
- A Quickwit surgiu de uma ideia de colaboração de longa data entre três engenheiros: Paul, Adrien e François
- Em 2020, o projeto pessoal de Paul, tantivy, foi o ponto de partida
- O tantivy já era conhecido como uma alternativa popular ao Lucene
- O principal problema que a equipe mirava era a escalabilidade e o custo operacional do Elasticsearch
- O Elasticsearch não escalava de forma eficiente
- Os custos ficavam altos demais
- A complexidade operacional aumentava
- O objetivo era criar um mecanismo de busca que os operadores pudessem administrar com tranquilidade, que escalasse até múltiplos petabytes e fosse pelo menos 10 vezes mais eficiente em custo
Equipe distribuída e desenvolvimento open source inicial
- O desenvolvimento começou com uma estrutura de equipe distribuída, com Adrien em San Francisco, Paul em Tóquio e François em Paris
- Eles aproveitaram os diferentes fusos horários para criar um ciclo de desenvolvimento follow-the-sun
- A escolha de Rust teve grande impacto na velocidade inicial de desenvolvimento e na estabilidade
- O primeiro demo, criado com o dataset Common Crawl, chegou à página inicial do HN
- Quase não havia bugs; a única exceção mencionada foi um erro de Python
"'NoneType' object has no attribute"
- A primeira versão foi lançada em 13 de julho de 2021
- O open source foi uma escolha estratégica, mas também uma escolha natural para os engenheiros
- A exposição no HN levou a conversas com os primeiros usuários, mas, conforme as conversas aumentavam, ficavam evidentes os recursos ausentes, exigindo muitas implementações
Casos de uso em grande escala e contribuições ao ecossistema Rust
- Os encontros com as equipes de engenharia da Mezmo e da Binance marcaram o ponto de virada para o Quickwit evoluir para um produto real de grande escala
- A Binance construiu com Quickwit um serviço de logs de 100 PB
- Indexa 1,6 PB por dia
- A Mezmo colocou o Quickwit em produção para processar logs de milhares de clientes e em escala de petabytes
- Mantendo a mesma experiência de usuário, reduziu bastante os custos e a complexidade da infraestrutura
- Essas parcerias ajudaram o Quickwit a se consolidar como um mecanismo de busca de múltiplos petabytes eficiente em custo
- Durante o desenvolvimento do Quickwit, a equipe também contribuiu para várias bibliotecas do ecossistema Rust
- tantivy: biblioteca de mecanismo de busca de texto completo que serve de base para o Quickwit
- chitchat: protocolo de associação de cluster com detecção de falhas, inspirado em Cassandra e DynamoDB
- Bitpacking: algoritmo SIMD para compressão de inteiros por bitpacking
- Whichlang: biblioteca rápida e leve de detecção de idioma para Rust
- Mrecordlog: write-ahead log eficiente, projetado para multitenancy
O processo de escolha da Datadog
- No verão de 2024, a Quickwit vivenciou uma expansão do interesse pelo open source, um forte aumento de receita e interesse ativo de VCs
- A empresa avaliou que era o momento de abrir um novo capítulo e buscar uma rodada Series A
- Mas a estrutura da equipe distribuída entre Tóquio, Paris e Nova York já era um grande peso, e a expansão poderia aumentar ainda mais essa dificuldade
- A Quickwit acabou decidindo buscar uma nova casa e avaliar oportunidades de aquisição
- A Datadog se destacou claramente entre os candidatos
- A capacidade da Datadog de oferecer experiência de usuário
- O mecanismo de busca em escala de petabytes da Quickwit
- A oportunidade de criar soluções robustas implantadas nos ambientes dos clientes
- O ceticismo inicial sobre entrar em uma grande empresa desapareceu ao longo das conversas com a equipe da Datadog
- Nas conversas com a equipe da Datadog, foram confirmadas competência intelectual, humildade e uma cultura autêntica
Comunidade e clientes
- A equipe da Quickwit agradece a funcionários, investidores, contribuidores, amigos e apoiadores
- Entre os clientes mencionados estão Mezmo, Formal, Radiant Security, MatterLabs e Fly.io
- A comunidade é agradecida por ter feito parte da jornada da Quickwit
1 comentários
Opiniões no Hacker News
Como cofundador da Quickwit, ver a aquisição pela Datadog chegar à primeira página do HN dá mesmo a sensação de que o ciclo se completou
A jornada da Quickwit esteve ligada ao HN desde o começo, e seu andamento ficou registrado em posts que chegaram à primeira página do HN: “Searching the web for under $1000/month” https://news.ycombinator.com/item?id=27074481, “A Rust optimization story” https://news.ycombinator.com/item?id=28955461, “Decentralized cluster membership in Rust” https://news.ycombinator.com/item?id=31190586, “Filtering a vector with SIMD instructions (AVX-2 and AVX-512)” https://news.ycombinator.com/item?id=32674040, “Efficient indexing with Quickwit Rust actor framework” https://news.ycombinator.com/item?id=35785421, “A compressed indexable bitset” https://news.ycombinator.com/item?id=36519467, “Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog” https://news.ycombinator.com/item?id=38902042, “Quickwit 0.8: Indexing and Search at Petabyte Scale” https://news.ycombinator.com/item?id=39756367, “Tantivy – full-text search engine library inspired by Apache Lucene” https://news.ycombinator.com/item?id=40492834, “Binance built a 100PB log service with Quickwit” https://news.ycombinator.com/item?id=40935701, “Datadog acquires Quickwit” https://news.ycombinator.com/item?id=42648043
Todas essas aparições na primeira página foram marcos, e colocamos muito empenho nos textos de engenharia porque queríamos acrescentar algo de valor à comunidade. Tenho certeza de que o HN teve um papel importante no sucesso da Quickwit, trazendo visibilidade, feedback positivo, comentários críticos e até leads que entraram em contato diretamente
Gosto do pg_search https://www.paradedb.com/blog/introducing_search; embora seja feito por outra empresa, parece ser construído sobre o Tantivy, e essa é uma das grandes vantagens do open source. Ainda assim, fico preocupado que o desenvolvimento pare depois desta aquisição. Fico curioso para saber como manter o Tantivy em desenvolvimento aberto ajuda a receita da Datadog
Como alguém que nunca se afeiçoou aos produtos baseados no Apache Lucene (Solr, Elastic), fiquei muito feliz que o Tantivy tenha saído como open source. A pontuação BM25, o suporte adequado a idiomas asiáticos, a velocidade, o uso de memória etc. são excelentes
https://github.com/quickwit-oss/tantivy
Acho que a Datadog fez uma escolha inteligente. Para mim, basta que o Tantivy em si permaneça para sempre sob a licença Apache 2 e consiga coexistir de forma sustentável com a comunidade open source. Vocês merecem o sucesso comercial
No início deste ano, no PR #5529, a Quickwit parecia estar tentando adicionar uma licença enterprise, mas neste anúncio diz, pelo contrário, que fará o relicenciamento sob a Apache License 2.0 para que a comunidade possa continuar
A mensagem é: “vamos nos concentrar em criar novos produtos com a Datadog e, para que a comunidade open source possa continuar, em breve lançaremos grandes atualizações do Quickwit e do tantivy e faremos o relicenciamento sob a Apache License 2.0”
No fim, teremos um Quickwit com uma licença mais livre, mas, lendo nas entrelinhas, parece que o desenvolvimento vai, na prática, diminuir. Pelo que usei, ele é estável, então não há muito do que reclamar, mas eu estava ansioso para ver o que mais viria pela frente
Ainda assim, parece que querem publicar o produto atual sob uma licença compatível com a OSI para que a comunidade possa assumir a continuidade, e isso é um compromisso razoável. Poderia ter sido muito pior
A Datadog também não é uma empresa totalmente alheia ao open source. O Vector, uma ferramenta de pipeline de observabilidade que ela abriu para uso geral, é um produto bem sólido: https://vector.dev/
Fico um pouco decepcionado com o fato de vários bancos de dados modernos terem sido adquiridos recentemente. Eles tinham potencial para trazer muita inovação
https://www.warpstream.com/, https://www.orioledb.com/, https://quickwit.io/
A Supabase está oferecendo um canal inicial de distribuição para que a equipe do OrioleDB possa se concentrar no mecanismo de armazenamento em vez de hospedagem, além de receber muito feedback de usuários e relatórios de bugs. O objetivo comum é fazer o OrioleDB evoluir para um candidato a mecanismo de armazenamento padrão do Postgres, usado não só na Supabase, mas em qualquer lugar
Já conheci os fundadores das três empresas e tenho certeza de que todos eles levam a sério colocar seu trabalho no mundo. Para constar, a ParadeDB é independente e não tem planos de venda por enquanto
Começou a contagem regressiva até a Datadog descobrir uma forma de cobrar por nó, CPU, contêiner, RAM (KB) e caractere Unicode indexado
O modelo de preços é bem complexo, e com o tempo você começa a se perguntar se todos esses bons recursos realmente valem aquele preço tão alto
A Mezmo diz que colocou o Quickwit em produção para atender milhares de clientes e logs em escala de petabytes, reduzindo muito o custo e a complexidade da infraestrutura; deve ser difícil ver com bons olhos o Quickwit sendo vendido a um concorrente logo depois
O lado bom para todo o resto é que isso sinaliza que haverá bastante demanda por forks se a Datadog estragar tudo
Textos relacionados: Binance built a 100PB log service with Quickwit (6 meses atrás, 228 pontos, 195 comentários) https://news.ycombinator.com/item?id=40935701
Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog (1 ano atrás, 145 pontos, 51 comentários) https://news.ycombinator.com/item?id=38902042
Disseram: “A partir deste verão, o clima mudou. A tração open source ficou mais forte, a receita disparou e os VCs passaram a nos procurar com mais agressividade. Era hora de abrir um novo capítulo da empresa e levantar uma Series A”. Retoricamente, por que era justamente aquela hora?
A resposta prática está bem aí. VCs não se satisfazem apenas com uma empresa de crescimento rápido e boa tecnologia. Ou é uma rodada de alta que permite marcar para cima o valor do portfólio, ou, se o mercado não estiver quente o bastante para receber uma Series A cara, eles pressionam por um exit
Se você quer construir uma empresa em crescimento e lucrativa, dinheiro de VC não é esse caminho
A redação da frase no blog pode causar um pouco de mal-entendido. É provável que os VCs a que François se referiu não fossem os que já tinham investido na Quickwit, mas outros VCs que conheciam a situação da empresa e vinham entrando em contato querendo participar de uma eventual Series A
No geral, apenas sentíamos que estávamos em uma “encruzilhada”, e ninguém nos torceu o braço
Odeio muito a Datadog. Na nossa empresa, usamos o nome Datadog quase como um xingamento para indicar uma forma como não se deve vender nem fazer marketing
Por volta de 2015–2018, fiquei completamente saturado do jeito como eles vendiam. Eram ligações e e-mails intermináveis, e a gota d'água foi uma apresentação sobre Lambda na AWS re:Invent, quando o Lambda tinha acabado de ser anunciado. A equipe inteira foi assistir para tentar usar Lambda cedo, mas acabou sendo uma apresentação de um funcionário da Datadog que basicamente copiava o blog “lambda up and running” do Barr e embrulhava aquilo como stand-up comedy; o palestrante ficava enfatizando o tempo todo que era funcionário da Datadog. Parecia aquela coisa de dar bebida e deixar todo mundo animado para fazer a Datadog parecer legal
Perguntando seriamente: desde então, a empresa mudou o bastante para valer uma nova avaliação?
Como dizia um antigo gerente, não existe a linha “boas pessoas” na demonstração de resultados, e alguém precisa pagar a conta. Por isso é fácil ficar ansioso imaginando caminhos sombrios
Mas um dos resultados possíveis é surgir um concorrente open source efetivo contra o ecossistema Grafana, e só isso já pode ajudar a impedir que o restante do ecossistema mude de licença. Também pode ser um ganha-ganha em que os fundadores encontram um caminho sustentável sem brigas por dinheiro e poder. Quero ver pelo lado positivo, e só o tempo dirá
Acabei de migrar do Elastic para o Quickwit e agora bateu um desânimo. Alguém recomenda outro banco de dados de logs que seja open source e baseado em object storage?
Uns 3 anos atrás, o produto mudava bem rápido e boa parte da documentação estava no git, então upgrades de versões menores davam um pouco de dor de cabeça, mas imagino que hoje esteja bem mais maduro
Ele é construído sobre o ClickHouse, então é rápido e escalável
https://github.com/SigNoz/signoz
Só para constar, eu sou mantenedor do SigNoz
É um executável único pequeno, roda direto com as configurações padrão e armazena todos os dados em um único diretório. O suporte a object storage deve ser adicionado em breve
Fico curioso para ver o que a Datadog vai construir com essa tecnologia. Até poucos meses atrás, acho que a empresa se apresentava como uma concorrente open source da Datadog
Setores regulados como finanças, seguros e saúde precisam manter visibilidade de todo o sistema ao mesmo tempo em que cumprem requisitos de residência de dados, privacidade e regulamentação. Quando os logs precisam permanecer no ambiente do cliente ou em uma região específica, fica difícil garantir observabilidade fluida e obter insights; ao que parece, com o Quickwit, a Datadog quer atender a essa necessidade sem acrescentar várias ferramentas de logs
O que aconteceu com o Vector, open source, que eles adquiriram antes? Aquelas pessoas ainda estão empregadas?