Tudo sobre logs que todo engenheiro de software deve saber | O contexto por trás do surgimento do Apache Kafka

Artigo que traduz e interpreta o texto escrito por Jay Kreps em 2013, desenvolvedor do Apache Kafka no Linkedin

• Log: a forma de armazenamento abstraída mais simples, que só permite append-only e é uma estrutura de dados em que todos os eventos são ordenados cronologicamente
  • Em sistemas de banco de dados tradicionais, o log desempenha um papel central na implementação de replicação
  • Sistemas distribuídos baseados em máquinas de replicação de estado também são, na prática, sistemas que replicam logs
• Logs e tabelas têm equivalência.
  • Usando um banco como exemplo, o log é o registro de depósitos e saques, enquanto a tabela representa o saldo da conta. É possível criar a tabela a partir do log e, por outro lado, extrair o log da tabela
• Muitas empresas foram proativas na adoção de big data, mas deram pouca atenção à construção de pipelines de dados confiáveis
  • A forma de conectar dados de ponta a ponta ficou cada vez mais difícil por causa de falhas, manutenção, fragmentação de dados e da evolução dos dados de eventos
  • A ideia do Apache Kafka surgiu da motivação de abstrair a estrutura de dados chamada log como a principal camada de rede
  • Jay Kreps explicou no Quora que, no passado, filas de mensagens eram uma área bastante de nicho no mundo da infraestrutura; ele passou a considerar que dados em tempo real deveriam ser abstraídos como fluxos de eventos e que um commit log persistente era a estrutura de dados adequada