Anúncio do S2

• Introdução ao S2

  • O S2 é um armazenamento de dados em streaming para a era da nuvem, uma solução para reforçar o núcleo dos sistemas de dados.
  • Busca aplicar a experiência serverless de armazenamento de objetos existente aos dados de streaming.
  • O S2 considera o stream como um elemento fundamental do armazenamento em nuvem.

• E se o stream tiver prioridade sobre objetos?

  • O armazenamento de objetos é adequado para dados em repouso, enquanto o armazenamento de stream é projetado para atender às necessidades de dados em movimento.
  • O S2 processa dados por unidades de gravação e processa todos os registros em ordem sequencial, mesmo quando vários escritores trabalham ao mesmo tempo.
  • Diferente do S3, o S2 permite acompanhar o stream em tempo real.

• Serverless – e o custo?

  • O S2 foi construído com base na escalabilidade e durabilidade ilimitadas do armazenamento de objetos.
  • Os usuários podem ajustar o equilíbrio entre latência e custo por stream.
  • Oferece duas classes de armazenamento, Standard e Express, baseadas, respectivamente, no S3 Standard e no S3 Express One Zone da AWS.
  • A classe Express oferece uma latência semelhante à de sistemas de streaming em nuvem baseados em disco.

• Próximos passos do S2

  • O S2 é construído sobre uma infraestrutura de nuvem validada e é testado com uma base de código Rust.
  • Atualmente oferece API gRPC, SDK Rust e CLI, com a API REST também em desenvolvimento.
  • Entre os próximos passos estão a compatibilidade com o protocolo Kafka, multirregionalidade e a meta de latência abaixo de 5 milissegundos.
  • O S2 é uma solução indicada para quem busca streaming em nuvem sem limite de número de streams ou de capacidade de processamento.

[GN⁺]

Opinião do Hacker News

• Chamar o produto de S2 e apresentá-lo como uma tecnologia que melhora o AWS S3 pode gerar problemas de marca registrada da Amazon.
• A API é bonita e eu adoraria usá-la no projeto, mas no estado atual não parece algo que vá durar muito. Se tiver sucesso, a AWS provavelmente vai criar uma versão melhor.
  • Se tivesse sido lançado como produto para usuário final, como o Papertrail, teria feito mais sentido.
  • Se fosse possível adicionar um backend compatível com S3, seria um ótimo produto independente de nuvem.
• Parece semelhante ao WarpStream, mas oferecendo uma API de baixo nível em vez de compatibilidade com Kafka.
  • Se for adotado a longo prazo, uma API de streaming no nível do S3 será muito valiosa.
• Fico curioso por que cobra $0.05/GB, quando a transferência de internet da AWS custa $0.09/GB. Fico na dúvida se dá para acessar a tarifa interna de transferência da AWS.
• A tecnologia é ótima, mas a ausência de código aberto decepciona. Se suportasse auto-hospedagem completa com uma licença como FSL, eu consideraria como serviço comercial.
• Parece que escolheram gastar uma vida inteira explicando que não é S3.
• Eu adoraria ver alguém construir um jeito de tornar eventos de stream consultáveis por timestamp.
  • Padrões ou frameworks para criar dados consultáveis em memória de forma específica seriam melhores do que um banco de dados específico.
• A proposta de valor de um modelo de serviço em que toda gravação só é reconhecida após ser salva no S3 é confusa.
  • A AWS pode acabar implementando um serviço compatível com protocolo, como uma reimplementação do Kafka.
• A falta de um Java SDK é uma pena. Como a maioria das empresas usa Spring ou clientes Kafka, até um PoC fica difícil.
• Parece sobrepor-se demais com o Kinesis Data Streams da AWS. É bom ver uma competição para a AWS