O que é Amazon FSx para Lustre?

O Amazon FSx for Lustre é um sistema de arquivos totalmente gerenciado e de alto desempenho para cargas de trabalho com uso intensivo de computação que oferece processamento rápido, escalabilidade e economia.

“FSx” se refere a “sistema de arquivos totalmente gerenciado” e a Amazon atualmente oferece serviços de FSx para vários sistemas de arquivos amplamente usados, incluindo o sistema de arquivos Lustre de código aberto.

O que é o sistema de arquivos Lustre?

Com um nome criado a partir da combinação de “Linux” e “cluster”, o Lustre é um sistema de arquivos paralelo e distribuído. Ela é mais comumente usada para computação em cluster em grande escala. Na verdade, a Lustre tem sido o sistema de arquivos preferido por pelo menos cinco dos 10 principais supercomputadores mais rápidos do mundo, incluindo o primeiro supercomputador Frontier, em novembro de 2022.

A Lustre tem sido uma escolha popular de supercomputadores, datacenters massivos, simuladores e outras organizações de computação de alto desempenho devido à sua extrema escalabilidade e capacidade de operar muitos clusters com dezenas de milhares de nós, dezenas de petabytes de armazenamento em centenas de servidores e uma taxa de transferência média de mais de um terabyte por segundo (TB/s).

Como o FSx para Lustre é usado?

Por ser um serviço totalmente gerenciado, o Amazon FSx for Lustre simplifica a operação e o gerenciamento do sistema Lustre da sua organização. O serviço ajuda você a evitar a necessidade de configurar, configurar e gerenciar o Lustre sozinho. Não é um incômodo obter o sistema de arquivos de alto desempenho que você precisa em apenas alguns minutos. Com várias opções de implantação, você pode escolher o modelo mais econômico para suas necessidades.

Quais são as diferenças entre EFS EBS e FSx?

Além do FSx, a AWS oferece uma série de opções de armazenamento de dados, incluindo Elastic File System (EFS) e Elastic Block Store (EBS). Às vezes, pode ser um pouco confuso para as empresas entender as diferenças entre essas ofertas e quais opções podem atender melhor às necessidades exclusivas de uma empresa.

A resposta curta é que a AWS oferece opções para diferentes tipos de armazenamento, que são armazenamento de arquivos, blocos e objetos. Cada um desses tipos de armazenamento é simplesmente uma maneira diferente de armazenar dados. Antes de comparar EFS e o EBS com o FSx, vamos analisar melhor a EFS e o EBS individualmente.

Elastic File System (EFS)

O EFS é um sistema de armazenamento de arquivos, o que significa que os dados são salvos em hierarquias (como o armazenamento de diretórios, pastas e sistemas de arquivos da maioria dos PCs). Altamente escalável e totalmente gerenciado, o EFS pode ser anexado a instâncias EC2 com sistemas operacionais Mac ou Linux, bem como recursos de computação em datacenters locais. O armazenamento pode expandir para petabytes de capacidade e oferecer baixa latência em milhares de instâncias. Graças à baixa latência e escalabilidade, muitas organizações usam o EFS para mover aplicativos e cargas de trabalho locais diretamente para a nuvem.

Os profissionais da EFS incluem armazenamento centralizado de arquivos acessível, escalável e facilmente acessível. Seu armazenamento compartilhado é compatível com a nuvem e fácil de integrar, sem precisar se aprofundar na recodificação.

Os contras do EFS incluem o fato de que ele não funciona com o Windows, e o armazenamento de arquivos simplesmente não pode oferecer o alto desempenho do armazenamento em bloco em relação às operações de entrada/saída por segundo (IOPS). O armazenamento de arquivos também pode ser difícil de gerenciar quando os volumes de dados ficam grandes o suficiente e os usuários precisam saber o caminho para um arquivo específico para encontrá-lo.

Elastic Block Store (EBS)

Essa é a opção de armazenamento em bloco da AWS. O armazenamento em bloco é conhecido por ser rápido e estável, principalmente porque não inclui metadados e porque os blocos podem ser armazenados nos locais mais eficientes, independentemente do sistema operacional ou mesmo distribuídos entre vários servidores. O armazenamento EBS é anexado a instâncias do Amazon Elastic Compute Cloud (EC2), especialmente aquelas que são principalmente transações e precisam ser dimensionadas facilmente. Por exemplo, algumas organizações usam o EBS para armazenar bancos de dados NoSQL não estruturados ou bancos de dados relacionais que são autogerenciados.

Prós do EBS incluem velocidade, flexibilidade e confiabilidade. Isso o torna ideal para casos de uso pesados de transação que exigem baixa latência. E como você pode atualizar o armazenamento em bloco substituindo blocos individuais (e não um objeto inteiro, como no armazenamento de objetos), as atualizações e alterações são rápidas e eficientes.

Os contras do EBS incluem a falta de metadados, o que torna o armazenamento rápido, mas a pesquisa mais lenta. Além disso, o armazenamento EBS pode ser conectado a apenas um servidor por vez (embora haja um recurso de conexão múltipla EBS em algumas situações).

FSx para Lustre vs. EFS e EBS

O Amazon FSx para Lustre oferece desempenho ultra-alto. É um sistema de armazenamento de arquivos, semelhante ao EFS , mas uma grande diferença é que o FSx pode operar no Windows. O desempenho da FSx supera o desempenho da EFS e EBS quando se trata de cargas de trabalho pesadas, como AI e aprendizado de máquina, projetos massivos de análise de dados, processamento de vídeo e efeitos digitais, análise financeira e muito mais.

A FSx oferece um TCO menor do que a EFS e a EBS e oferece às organizações opções flexíveis de processamento de dados para armazenamento de curto e longo prazo. A FSx também é capaz de determinar a velocidade com que o servidor de arquivos que hospeda o sistema pode fornecer dados de arquivos e oferecer níveis mais altos de taxa de transferência do que a EFS e a EBS, níveis mais altos de IOPS e mais memória para armazenamento em cache.

Como funciona o Amazon FSx para Lustre

Com o Amazon FSx para Lustre, as empresas podem acessar facilmente seus sistemas de arquivos Lustre. Esses sistemas podem expandir conforme necessário em vários servidores e discos de armazenamento. Devido a essa escalabilidade, o FSx pode eliminar muitos dos gargalos tradicionais que os usuários encontram em outros sistemas de arquivos.

Um sistema de arquivos Amazon FSx for Lustre é composto por um servidor de arquivos centralizado e vários discos de armazenamento anexados que armazenam os dados. Os clientes se comunicam com o servidor de arquivos, que pode otimizar o desempenho dos dados que são acessados mais regularmente usando um cache rápido e na memória. Parte do que torna isso tão rápido é que quando um cliente quer acessar informações armazenadas no cache na memória ou na SSD, o servidor não precisa lê-las no disco. Portanto, a latência é menor e a taxa de transferência é maior.

A FSx também oferece duas opções de armazenamento com base na escolha de usar uma unidade de estado sólido (SSD, Solid-State Drive) ou uma unidade de disco rígido (HDD, Hard-Disk Drive). Qual opção é melhor depende das necessidades de uma organização:

O armazenamento SSD é ideal para cargas de trabalho sensíveis à latência ou cargas de trabalho que exigem a taxa de transferência mais alta ou IOPS.
O armazenamento em HDD é ideal para cargas de trabalho que exigem alta taxa de transferência, mas não dependem muito da latência ultrabaixa.

Para configurar o Amazon FSx para Lustre:

Usando o Console de gerenciamento da AWS, crie seu sistema de arquivos. Você também pode usar uma interface de linha de comando (CLI, Command Line Interface) ou um kit de desenvolvimento de software (SDK, Software Development Kit). É aqui que você também pode designar qual opção de implantação você prefere: arranhada ou persistente (veja abaixo).
Se estiver usando o armazenamento Amazon S3, você vinculará seu sistema de arquivos recém-criado ao seu bucket S3 para que possa processar e acessar quaisquer conjuntos de dados armazenados no S3.
Use qualquer cliente Linux, incluindo EC2, EKS ou clientes locais, para acessar seu sistema de arquivos.
Agora você pode executar seus aplicativos, desde aprendizado de máquina até computação de alto desempenho, renderização de mídia e muito mais, com armazenamento de arquivos compartilhados que oferece o alto desempenho que você precisa.

Diferenças entre o modo Scratch e Persistente no FSx para Lustre

As organizações podem escolher entre duas opções de implantação quando usam o Amazon FSx para Lustre: arranhões e persistentes. Qual escolha depende do tempo necessário para armazenar dados.

Os sistemas de arquivos do Scratch devem ser usados para processamento de dados de curto prazo e armazenamento temporário de dados. O sistema não replica dados de rascunho, o que significa que eles podem ser perdidos se um servidor de arquivos falhar. A vantagem dos sistemas de arquivos arranhados é que eles oferecem excelente taxa de transferência, uma grande explosão que pode ser igual a seis vezes a linha de base padrão de 200 MBps por TiB (equivalente a pouco mais de um TB) de capacidade de armazenamento.

Os melhores casos de uso para sistemas de arquivos scratch incluem armazenamento econômico para cargas de trabalho que são pesadas no processamento e necessárias apenas por um curto período de tempo.

Os sistemas de arquivos persistentes devem ser usados para cargas de trabalho que precisam ser armazenadas por um período mais longo. Esse tipo de armazenamento, se altamente disponível e armazenado, é replicado automaticamente na zona de disponibilidade da AWS, onde o sistema de arquivos está localizado. A vantagem aqui é que, se um servidor falhar, os dados armazenados serão substituídos em apenas alguns minutos.

Casos de uso comuns para sistemas de arquivos persistentes incluem armazenamento persistente para contêineres, data lakes armazenados no S3, computação de alto desempenho que precisa de armazenamento de longo prazo, cargas de trabalho focadas em taxa de transferência que precisam ser executadas indefinidamente e cargas de trabalho sensíveis a interrupções na disponibilidade.

Benefícios do Amazon FSx para Lustre

Os benefícios de usar o Amazon FSx para Lustre incluem:

Alto desempenho flexível: Você obtém um desempenho rápido que também é escalável, uniforme e previsível.
Alta disponibilidade e durabilidade: As opções de implantação permitem garantir o nível certo de disponibilidade e durabilidade dos dados.
Facilidade de uso: O serviço totalmente gerenciado simplifica a criação de um sistema de arquivos em minutos, sem a necessidade de se preocupar com backups, atualizações ou consumo.
Economia: A FSx oferece muitas opções de armazenamento e opções que permitem encontrar o equilíbrio certo entre custo e desempenho; além disso, não há taxas mínimas ou taxas de configuração, e você é responsável por pagar apenas pelos recursos que usa.
Segurança e conformidade: A criptografia para dados em trânsito e inativos é automática, e você também pode controlar o acesso à rede conforme desejado.
Integração simples com serviços da AWS: Você pode usar o FSx com todos os outros serviços da AWS sem complicações.

Armazenamento persistente de alto desempenho para sistemas de arquivos

Embora FSx e EFS sejam opções de armazenamento persistentes viáveis para sistemas de arquivos baseados no Amazon Elastic Kubernetes Service, a Portworx da Pure oferece vantagens importantes em relação a ambos. A Portworx permite executar qualquer serviço de dados nativo de nuvem, em qualquer nuvem, usando qualquer plataforma Kubernetes, com alta disponibilidade integrada, proteção de dados, segurança de dados e mobilidade de nuvem híbrida. Graças a todas as opções acima, a Portwox oferece vantagens significativas em:

Desempenho
Custo
Recuperação de desastres

Experimente a simplicidade e o desempenho que acompanham o uso do armazenamento de dados persistente nativo da nuvem para suas cargas de trabalho Kubernetes. Saiba mais sobre a Portworx aqui .