WarpStream: Kafka morreu, vida longa ao Kafka!

• WarpStream é uma plataforma de streaming de dados compatível com o protocolo Kafka, construída diretamente sobre o S3
• É fornecida como um único binário Go stateless, então não há disco local para gerenciar, brokers para rebalancear nem ZooKeeper para operar
• Como troca dados diretamente com o S3, é 5–10x mais barata que o Kafka (podendo representar mais de 80% do custo de infraestrutura de grandes implantações de Kafka)
• Kafka é um software excelente, criado em 2011 para data centers, mas não é adequado para workloads modernas
  • Economia: por design, a estratégia de replicação do Kafka gera custos enormes de largura de banda entre AZs
  • Sobrecarga operacional: operar um cluster Kafka exige uma equipe dedicada e ferramentas customizadas complexas
• WarpStream roda diretamente sobre o armazenamento de objetos de várias nuvens (AWS S3, GCP GCS, Azure Blob Storage)
• Atualmente em developer preview

[xguru]

Veja também a versão resumida pelo GN⁺. https://pt.news.hada.io/topic?id=10254

[pseudojo]

Uma ferramenta que reduz camadas, mas precisa ser tratada com muito cuidado. Esse tipo de ferramenta sempre deixa aberta a possibilidade de virar uma bomba na fatura. (* exceção para os casos em que é operada no próprio data center com minio etc.)

[ehlegeth]

Parece uma tentativa interessante de aproveitar a direção de armazenamento desagregado.
Fico curioso sobre como lidaram com questões como cache e afins.

[xguru]

O título do post no blog é meio caça-clique, mas parece uma tentativa interessante como alternativa mais leve ao Kafka.