- Replica facilmente alterações que ocorrem no Postgres para filas/brokers de mensagens como Kafka, Redpanda, Google PubSub e Azure Event Hub
- Ativa CDC do Postgres internamente usando logical decoding do Postgres
- Embora o Debezium seja muito usado para CDC existente, a curva de aprendizado é longa e é preciso bastante conhecimento prévio para aplicá-lo em produção
- A configuração é difícil (a UI ainda está em desenvolvimento), o suporte a formatos e transformações de dados também não é simples, e para brokers de mensagens além do Kafka ele não oferece o mesmo nível de recursos
- O PeerDB tem como objetivo tornar a implementação de CDC para Postgres mais simples e abrangente
- Para que engenheiros consigam implementar um CDC de Postgres pronto para produção em poucos dias, com curva de aprendizado mínima
- Pode ser configurado facilmente pela UI do PeerDB
- Configuração de fontes e destinos de dados (como Postgres e Kafka)
- Monitoramento do progresso do CDC, incluindo throughput (por tabela) e latência
- Busca de logs
- Alertas por Slack/e-mail conforme o aumento dos replication slots
- Também oferece recursos avançados como ajuste de mirrors, pausa e adição de tabelas ao mirror
- Também oferece CLI. Fornece uma camada SQL compatível com Postgres, tornando o uso mais amigável
- Aplica transformações em nível de linha antes do streaming de CDC para o Kafka
- Uso de scripts em Lua
- Criptografia/mascaramento de informações de identificação pessoal (PII), suporte a vários formatos de dados (JSON, MsgPack, Flatbuffers, Protobuf etc.)
- Fornece editor de scripts e templates úteis
- Fornece conectores nativos para destinos além do Kafka
- Google Pub/Sub, Azure Event Hubs
1 comentários
PeerDB - plataforma de ETL/ELT para Postgres
Debezium - open source para fazer streaming de alterações no banco de dados