Melhorando a arquitetura para um pipeline de dados em tempo real sem lag

 (engineering.ab180.co)
17 pontos por toughrogrammer 2021-11-11 | 2 comentários | Compartilhar no WhatsApp

Este é um relato sobre a relação entre Kafka consumer groups e o número de partitions, a dificuldade de auto scaling causada por isso e a adoção de uma nova arquitetura para resolver o problema.

  • Introdução ao serviço Airbridge e à workload

  • Problemas da arquitetura existente

  • Proposta de nova arquitetura

    • Opção 1: modelo de driver e executor, como no Spark Streaming

    • Opção 2: modelo desacoplado entre Kafka consumer e application server

  • Motivos para escolher a opção 2

  • Arquitetura do modelo desacoplado entre Kafka consumer e application server

  • Pontos a considerar na nova arquitetura

  • Dificuldades encontradas

  • Resultados após aplicar a nova arquitetura

  • O que ainda vale tentar no futuro

Leituras relacionadas

2 comentários

 
lamanus 2021-11-11

Uau... eu também uso ECS, mas nunca tinha refletido sobre isso nesse nível. Muito bom.
 
lamanus 2021-11-11

Ao usar o envoy, parece que a solicitação para reduzir o tráfego entre AZs estava em estado de espera.

https://github.com/aws/aws-app-mesh-roadmap/issues/94