Apache SeaTunnel - plataforma distribuída e de alto desempenho para integração de dados

• Plataforma para sincronizar e transformar grandes volumes de dados em modo offline ou em tempo real

• Projeto Apache Incubator (nome anterior: Waterdrop)

• Fácil de usar, configuração flexível, desenvolvimento low-code

• Suporte a streaming em tempo real

• Análise de dados offline com múltiplas fontes

• Processamento de dados de alto desempenho

• Permite agregação e processamento de dados com SQL

• Suporte a Spark Structured Streaming

• Suporte a Spark 2.x

• Plugins compatíveis

→ Input : Fake, File, Hdfs, Kafka, S3, Socket,..

→ Filter : Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid,..

→ Output : ElasticSearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout,..