Apache Kafka remove a dependência do ZooKeeper

• Como o ZooKeeper é usado como armazenamento externo de metadados, surgem problemas como duplicação, ineficiência e limitações de escalabilidade

• KIP-500: "Kafka on Kafka"

→ Gerencia os metadados diretamente dentro do Kafka e os armazena em partições

→ Trata os metadados como logs

→ Melhora a velocidade de criação/remoção de tópicos: diferentemente do ZooKeeper, basta uma operação O(1) para criar um novo tópico na partição de metadados

→ Um único cluster pode suportar mais de um milhão de partições

• Roadmap

→ Ainda existem ferramentas de administração que se comunicam diretamente com o ZooKeeper. Está prevista a oferta de APIs para substituí-las

→ Como surge uma dependência entre a partição de metadados e o controlador, o KIP-595 prevê implementar um quorum de metadados autogerenciado com o protocolo Raft

→ Modo KIP-500 para executar o Kafka sem ZooKeeper: no início, como o suporte completo será incompleto, o ZooKeeper continuará sendo usado junto no modo legado

→ O KIP-500 é uma "Bridge Release". É uma atualização intermediária preparada para permitir a migração sem downtime para versões posteriores ao KIP-500, nas quais o suporte ao ZooKeeper será totalmente removido. Também dará suporte a mais uma atualização para uma versão realmente sem ZooKeeper

[minji]

Obrigado. Foi muito bom de ver.