SSDs ficaram incrivelmente rápidos, exceto na nuvem

• Nos últimos anos, SSDs baseados em flash substituíram discos na maioria dos casos de armazenamento.
• Os SSDs são compostos por vários chips de flash independentes, que podem ser acessados em paralelo.
• A taxa de transferência dos SSDs depende principalmente da velocidade da interface com o host.
• Nos últimos 6 anos, a rápida migração de SATA para PCIe 3.0, PCIe 4.0 e PCIe 5.0 impulsionou um crescimento explosivo da taxa de transferência dos SSDs.
• Além disso, além do ganho de desempenho, também houve aumento de capacidade por dólar.
• Essas mudanças ocorreram graças a padrões abertos como NVMe e PCIe, à enorme demanda e à competição entre fornecedores.
• Atualmente, SSDs de data center PCIe 5.0 atingem até 13 GB/s de leitura e mais de 2,7 milhões de IOPS aleatórios de leitura.
• Servidores modernos possuem cerca de 100 lanes PCIe, permitindo usar vários SSDs em um único servidor com largura de banda total.

Estagnação do desempenho de SSD na nuvem

• A AWS EC2 lançou as instâncias i3 com os primeiros NVMe SSDs no início de 2017.
• Naquela época, os NVMe SSDs eram caros, e ter 8 por servidor era algo notável.
• Mesmo após 7 anos, ainda fica em torno de 2 GB/s por SSD.
• As instâncias i3 e i3en ainda são as melhores opções da EC2 em IO/$ e SSD/$.
• A diferença de desempenho entre os SSDs oferecidos por fornecedores de nuvem e os SSDs modernos ficou próxima de quase 10x em throughput de leitura, throughput de gravação e IOPS.
• Essa estagnação na nuvem é contraditória em relação aos grandes avanços em outras áreas.
• Por exemplo, a largura de banda de rede da EC2 cresceu de forma explosiva de 10 Gbit/s em 2017 para 200 Gbit/s em 2023.
• Há várias hipóteses para o fato de os provedores de nuvem não terem avançado no armazenamento:
  • A teoria de que a EC2 limita intencionalmente a velocidade de gravação a 1 GB/s para evitar falhas de dispositivo.
  • A possibilidade de haver pouco incentivo para otimizar o sistema por falta de demanda por armazenamento mais rápido.
  • A teoria de que a disponibilização de armazenamento NVMe de instância rápido e barato na EC2 pode atrapalhar a estrutura de custos de outros serviços de armazenamento (como EBS).
• O autor espera ver em breve instâncias em nuvem com SSDs de 10 GB/s.

Opinião da GN⁺

• Apesar do rápido avanço da tecnologia de SSDs, o fato de os provedores de nuvem não acompanharem essas mudanças reflete as diferentes exigências do mercado e limitações técnicas.
• A estagnação de desempenho no armazenamento em nuvem pode conflitar com a expectativa dos usuários de custo-benefício e qualidade de serviço, o que pode impactar a competitividade dentro da indústria de nuvem.
• O texto oferece insights importantes para usuários e fornecedores de computação em nuvem, enfatizando a demanda por soluções de armazenamento mais rápidas e a necessidade de avanço tecnológico

[GN⁺]

Comentários do Hacker News

• Discussão sobre problemas técnicos da nuvem

  • No Google, trabalhei com o problema fundamental da nuvem. Isso é um fator importante para definir a direção tecnológica das pessoas.
  • O SSD da nuvem é conectado pela rede, e isso é essencial. Mas a rede é grande e lenta demais para oferecer o desempenho de um SSD local.
  • Em discos rígidos isso não foi problema, mas em SSDs é, porque eles são muito mais rápidos que a rede.

• Explicação da arquitetura AWS Nitro SSD

  • A documentação e os blogs da AWS explicam a arquitetura Nitro SSD. Ela é conectada fisicamente à placa-mãe do sistema por PCIe, mas é logicamente isolada do sistema com placa-mãe onde a carga de trabalho do cliente é executada.
  • Para maximizar a vida útil do SSD, o firmware cuida de um processo chamado 'wear leveling'. Esse processo inclui uma espécie de coleta de lixo, e SSDs comuns podem ficar lentos em momentos imprevisíveis sob alto volume de escrita. A AWS aproveitou seu conhecimento em bancos de dados para criar no firmware do SSD um banco de dados baseado em journal extremamente sofisticado e seguro contra falhas de energia.

• Experiência com IOPS de instâncias em nuvem

  • O número de 'provisioned IOPS' em instâncias de nuvem é muito baixo, o que surpreende. Isso indica que muita gente, especialmente os jovens que só tiveram experiência com instâncias em nuvem, não sabe quanta performance cabe, na prática, em uma ou duas RU.
  • A velocidade de armazenamento NVMe é parte da tecnologia impressionante de hoje.

• Opinião de alguém que trabalha na OCI

  • A OCI oferece SSDs NVMe mais rápidos nas instâncias. O modelo E4 Dense usa o Samsung MZWLJ7T6HALA-00AU3 para suportar 7000 MB/s de leitura sequencial e 3800 MB/s de escrita sequencial.
  • A provável razão da AWS não oferecer NVMe mais rápido hoje é a falta de demanda específica. Isso é uma suposição, mas normalmente, se uma demanda específica não é suficiente, atualizações podem acabar atrasadas mais do que parece.

• Argumento para sair da nuvem

  • O NVMe e a quantidade de núcleos modernos fornecem uma justificativa forte para sair da nuvem. Essa velocidade é próxima da memória, reduzindo complexidade porque os dados certamente cabem no disco.
  • Um único servidor forte pode ser suficiente para caching/cálculo/serving, o que simplifica muitas cargas de trabalho.

• Crítica à otimização para nuvem

  • O problema não é largura de banda, é IOPS. Em um benchmark de IO aleatório, o comportamento de IOPS se parece mais com o de um grande RAID de discos rígidos em rotação do que com SSD.
  • Um dos motivos para ser difícil levar a sério a otimização para nuvem é que workloads de banco de dados etc. não são bem otimizados, o que pode custar caro.

• Discussão sobre os tipos de instância NVMe da AWS

  • Vários tipos de instância com NVMe, como i4i e im4gn, foram lançados, mas o desempenho não aumentou. Já se passaram 7 anos desde o i3 e ainda fica em 2 GB/s por SSD.
  • O marketing da AWS afirma:
    • até 800K IOPS aleatórios de escrita
    • até 1 milhão de IOPS aleatórios de leitura
    • até 5600 MB/s de escrita sequencial
    • até 8000 MB/s de leitura sequencial

• Escolha pessoal de configuração híbrida de SSD

  • Combinando o X-25E 64GB de 2011 com o PM897 3,7 TB de 2021, foi possível obter a solução mais robusta e o maior banco de dados com o menor consumo de energia.

• Hipótese sobre limitação de desempenho em serviços de nuvem

  • A razão de serviços em nuvem manterem desempenho mais baixo pode ser a demanda insuficiente, o que permite 'truques' na camada de virtualização.

• Considerações de custo de SSD

  • Os SSDs mais rápidos tendem a usar tecnologia MLC, que tem vida útil de escrita muito menor do que outras tecnologias.
  • Aumentar a densidade de dados torna mais fácil melhorar performance, mas como a gravação acontece em blocos/células da memória, se uma célula piora, todas as células podem falhar.
  • Introduzir novas tecnologias na pilha e atualizar a frota de forma eficiente em custo pode ser problemático.