Lançamento do Amazon S3 Files – acesso a buckets do S3 como se fossem sistemas de arquivos

(aws.amazon.com)

4 pontos por GN⁺ 22 일 전 | Ainda não há comentários. | Compartilhar no WhatsApp

Amazon S3 Files é um recurso que permite montar diretamente buckets do S3 como um sistema de arquivos de alto desempenho, possibilitando acesso imediato a partir de EC2, ECS, EKS, Lambda e outros serviços
Mantém a durabilidade e a eficiência de custo do armazenamento de objetos, ao mesmo tempo em que oferece acessibilidade interativa a arquivos e baixa latência (~1 ms)
Suporta o protocolo NFS v4.1+ e fornece operações comuns de arquivo, como criação, modificação e exclusão, além de sincronização automática
Reforça a segurança e o controle de acesso com integração com IAM, criptografia TLS 1.3 e controle de permissões POSIX, com monitoramento via CloudWatch e CloudTrail
Fornece a base para eliminar silos de dados e usar o S3 como hub central de dados em workloads de IA, ML e processamento de dados

Introdução ao Amazon S3 Files

Amazon S3 Files é um novo recurso que permite que recursos de computação da AWS acessem diretamente buckets do Amazon S3 como se fossem um sistema de arquivos de alto desempenho
Reduz a fronteira entre armazenamento de objetos e sistema de arquivos, preservando a durabilidade e a eficiência de custo do S3 enquanto oferece acesso interativo a arquivos
Vários recursos de computação podem compartilhar os mesmos dados sem duplicação, e as alterações são sincronizadas automaticamente com o bucket do S3
Suporta latência em torno de 1 ms e o protocolo NFS v4.1+
Permite acesso a dados do S3 no formato nativo de sistema de arquivos em vários serviços da AWS, como EC2, ECS, EKS e Lambda

O sistema de arquivos exibe objetos do S3 em uma estrutura de arquivos e diretórios e suporta operações comuns como criar, ler, modificar e excluir
Arquivos acessados com frequência são armazenados em cache em storage de alto desempenho para baixa latência, enquanto arquivos grandes de leitura sequencial são transmitidos diretamente do S3
O recurso de byte-range read transmite apenas a parte solicitada, reduzindo o volume de movimentação de dados e os custos
O prefetching inteligente prevê padrões de acesso para otimizar o desempenho
É possível escolher entre carregar o arquivo inteiro ou apenas os metadados, permitindo controle refinado de cache

Internamente, é baseado no Amazon Elastic File System (EFS) e fornece latência de cerca de 1 ms para dados ativos
Suporta acesso simultâneo a partir de vários recursos de computação e mantém o modelo de consistência close-to-open do NFS
É adequado para tarefas compartilhadas baseadas em arquivos, como colaboração entre agentes de IA, pipelines de treinamento de ML e workloads de processamento de dados

Após preparar uma instância EC2 e um bucket S3 comum, é possível criar o sistema de arquivos S3 e configurar o destino de montagem via console ou CLI
No EC2, a montagem pode ser feita com os seguintes comandos
- sudo mkdir /home/ec2-user/s3files
- sudo mount -t s3files fs-0aa860d05df9afdfe:/ /home/ec2-user/s3files
Depois disso, é possível manipular diretamente os dados do S3 no diretório ~/s3files usando comandos padrão de arquivo
Ao modificar arquivos, as alterações são refletidas automaticamente no bucket do S3 em alguns minutos, e mudanças no bucket são refletidas no sistema de arquivos em alguns segundos

Integra-se ao AWS Identity and Access Management (IAM), permitindo controle de acesso no nível do sistema de arquivos e do objeto
Os dados são criptografados em trânsito com TLS 1.3 e, em repouso, com SSE-S3 ou chaves do AWS KMS
Usa o modelo de permissões POSIX para controle de acesso baseado em UID/GID
É possível monitorar desempenho e atualizações com o Amazon CloudWatch e registrar eventos de gerenciamento com o AWS CloudTrail
Nas instâncias EC2, é necessário instalar o pacote mais recente amazon-efs-utils (incluído por padrão nas AWS AMIs)
Também é possível montar buckets do S3 como sistema de arquivos da mesma forma em ECS, EKS, Fargate e Lambda

S3 Files é adequado para workloads que precisam acessar dados armazenados no S3 por meio de uma interface de sistema de arquivos interativa e compartilhada
- Ex.: aplicações de produção, agentes de IA baseados em Python, pipelines de treinamento de ML
Amazon FSx é mais adequado para migração de ambientes NAS on-premises ou quando são necessários recursos específicos de sistema de arquivos
- FSx for Lustre: storage de alto desempenho para HPC e clusters de GPU
- FSx for NetApp ONTAP / OpenZFS / Windows File Server: uso quando houver requisitos de compatibilidade com sistemas de arquivos específicos

O S3 Files está disponível imediatamente em todas as regiões comerciais da AWS
Os itens de cobrança são os seguintes
- Volume de dados armazenados no sistema de arquivos
- Leitura de arquivos pequenos e todas as operações de escrita
- Requisições do S3 geradas durante a sincronização entre o sistema de arquivos e o bucket do S3
Os preços detalhados podem ser consultados na página de preços do Amazon S3

O S3 Files contribui para eliminar silos de dados, reduzir a complexidade de sincronização e eliminar a movimentação manual de dados entre objetos e arquivos
Permite usar dados do S3 diretamente em workloads de IA, ML e engenharia de dados que utilizam ferramentas ou scripts baseados em sistema de arquivos
Possibilita consolidar todos os dados da organização no S3 e utilizá-lo como um hub central com acesso direto a partir de todos os recursos de computação da AWS