Amazon FSx pour Lustre est un système de fichiers haute performance entièrement géré pour les charges de travail gourmandes en ressources de calcul qui offre un traitement rapide, une évolutivité et une rentabilité.
Le terme « FSx » désigne un « système de fichiers entièrement géré » et Amazon propose actuellement des services FSx pour plusieurs systèmes de fichiers largement utilisés, y compris le système de fichiers open source Lustre.
Qu’est-ce que le système de fichiers Lustre ?
Avec un nom inspiré de la combinaison de « Linux » et de « cluster », Lustre est un système de fichiers parallèle et distribué. Il est le plus souvent utilisé pour le cluster computing à très grande échelle. En fait, Lustre a été le système de fichiers de choix pour au moins cinq des 10 superordinateurs les plus rapides au monde, y compris le premier superordinateur Frontier, en novembre 2022.
Lustre a été un choix populaire de superordinateurs, de datacenters massifs, de simulateurs et d’autres organisations de calcul haute performance en raison de son extrême évolutivité et de sa capacité à exploiter de nombreux clusters avec des dizaines de milliers de nœuds, des dizaines de pétaoctets de stockage sur des centaines de serveurs et un débit moyen de plus d’un téraoctet par seconde (To/s).
Comment utiliser FSx pour Lustre ?
Comme il s’agit d’un service entièrement géré, Amazon FSx pour Lustre simplifie le fonctionnement et la gestion du système Lustre de votre organisation. Ce service vous aide à éviter d’avoir à installer, configurer et gérer vous-même Lustre. Il n’est pas difficile d’obtenir le système de fichiers haute performance dont vous avez besoin en seulement quelques minutes. Et avec plusieurs options de déploiement, vous pouvez choisir le modèle le plus économique pour vos besoins.
Quelles sont les différences entre EFS, EBS et FSx ?
En plus de FSx, AWS propose une gamme d’options de stockage de données, notamment Elastic File System (EFS) et Elastic Block Store (EBS). Il peut parfois être un peu déroutant pour les organisations de comprendre les différences entre ces offres et les options qui peuvent répondre le mieux aux besoins uniques d’une entreprise.
En bref, AWS propose des options pour différents types de stockage, à savoir le stockage de fichiers, de blocs et d’objets. Chacun de ces types de stockage est tout simplement un moyen différent de stocker des données. Avant de comparer EFS et EBS avec FSx, examinons de plus près l’EFS et l’EBS individuellement.
Elastic File System (EFS)
L’EFS est un système de stockage de fichiers, ce qui signifie que les données sont enregistrées dans des hiérarchies (comme le stockage de la plupart des PC dans les répertoires, dossiers et systèmes de fichiers). Hautement évolutive et entièrement gérée, l’EFS peut être reliée à des instances EC2 avec des systèmes d’exploitation Mac ou Linux, ainsi qu’à des ressources de calcul dans des datacenters sur site. Le stockage peut atteindre plusieurs pétaoctets de capacité et offrir une faible latence sur des milliers d’instances. Grâce à sa faible latence et à son évolutivité, de nombreuses organisations utilisent EFS pour transférer leurs applications et charges de travail sur site directement vers le cloud.
Les avantages de l’EFS incluent un stockage de fichiers centralisé, abordable, évolutif et facilement accessible. Son stockage partagé est compatible avec le cloud et facile à intégrer sans avoir à approfondir le recodage.
Les inconvénients de l’EFS incluent le fait qu’il ne fonctionne pas avec Windows, et le stockage de fichiers ne peut tout simplement pas offrir les hautes performances du stockage en mode bloc en ce qui concerne les opérations d’entrée/sortie par seconde (IOPS). Le stockage de fichiers peut également être difficile à gérer une fois que les volumes de données sont suffisamment importants, et que les utilisateurs doivent connaître le chemin d’accès à un fichier spécifique pour pouvoir le trouver.
Elastic Block Store (EBS)
Il s’agit de l’option de stockage en mode bloc d’AWS. Le stockage en mode bloc est connu pour être rapide et stable, principalement parce qu’il n’inclut pas les métadonnées et parce que les blocs peuvent être stockés aux emplacements les plus efficaces, quel que soit le système d’exploitation, ou même distribués entre plusieurs serveurs. Le stockage EBS est associé aux instances d’Amazon Elastic Compute Cloud (EC2), en particulier celles qui sont principalement des transactions et qui doivent évoluer facilement. Par exemple, certaines organisations utilisent EBS pour stocker des bases de données NoSQL non structurées ou des bases de données relationnelles autogérées.
Les avantages de l’EBS sont sa rapidité, sa flexibilité et sa fiabilité. Il est donc idéal pour les cas d’utilisation exigeant des transactions et nécessitant une faible latence. Et comme vous pouvez mettre à jour le stockage en mode bloc en écrasant des blocs individuels (et non un objet entier, comme dans le stockage en mode objet), les mises à jour et les modifications sont rapides et efficaces.
Les inconvénients de l’EBS sont le manque de métadonnées, qui accélèrent le stockage, mais ralentissent la recherche. Et le stockage EBS ne peut être connecté qu’à un seul serveur à la fois (bien qu’il existe une capacité EBS multi-attaches dans certaines situations).
FSx pour Lustre vs EFS et EBS
Amazon FSx pour Lustre offre des performances ultra-hautes. Il s’agit d’un système de stockage de fichiers, similaire à l’EFS, mais une grande différence réside dans le fait que FSx peut fonctionner sur Windows. Les performances FSx dépassent les performances EFS et EBS en matière de charges de travail lourdes telles que l’AI et l’apprentissage machine, les projets d’analyse de données massifs, le traitement vidéo et les effets numériques, l’analytique financière, etc.
FSx offre un TCO inférieur à celui de l’EFS et de l’EBS et offre aux organisations des options de traitement des données flexibles pour le stockage à court et à long terme. FSx est également en mesure de déterminer la vitesse à laquelle le serveur de fichiers hébergeant le système peut fournir des données de fichiers et offrir des niveaux de débit plus élevés que les protocoles EFS et EBS — des niveaux d’IOPS plus élevés et davantage de mémoire pour la mise en cache.
Fonctionnement d’Amazon FSx pour Lustre
Avec Amazon FSx pour Lustre, les organisations peuvent facilement accéder à leurs systèmes de fichiers Lustre. Ces systèmes peuvent évoluer selon les besoins sur plusieurs serveurs et disques de stockage. Grâce à cette évolutivité, FSx peut éliminer la plupart des goulets d’étranglement traditionnels que les utilisateurs trouvent dans d’autres systèmes de fichiers.
Un système de fichiers Amazon FSx pour Lustre se compose d’un serveur de fichiers centralisé et d’un certain nombre de disques de stockage attachés qui contiennent les données. Les clients communiquent avec le serveur de fichiers, ce qui permet d’optimiser les performances des données auxquelles ils accèdent le plus régulièrement à l’aide d’un cache rapide et in-memory. Ce qui rend le système si rapide, c’est en partie que lorsqu’un client souhaite accéder aux informations stockées dans le cache in-memory ou le SSD, le serveur n’a pas besoin de les lire sur le disque. La latence est donc plus faible et le débit plus élevé.
FSx propose également deux options de stockage en fonction du choix d’utiliser un disque SSD (solid-state drive) ou un disque dur (HDD). L’option qui dépend le mieux des besoins d’une organisation :
- Le stockage SSD est idéal pour les charges de travail sensibles à la latence ou celles qui nécessitent le débit le plus élevé ou des IOPS.
- Le stockage HDD est idéal pour les charges de travail qui nécessitent un débit élevé, mais qui ne dépendent pas d’une latence ultra-faible.
Pour configurer Amazon FSx pour Lustre :
- À l’aide de la console de gestion AWS, créez votre système de fichiers. Vous pouvez également utiliser une interface de ligne de commande (CLI) ou un kit de développement logiciel (SDK). C’est ici que vous pouvez également désigner l’option de déploiement que vous préférez : « scratch » ou « persistant » (voir ci-dessous).
Si vous utilisez le stockage Amazon S3, vous lierez votre système de fichiers nouvellement créé à votre compartiment S3 afin de pouvoir traiter et accéder à tous les ensembles de données stockés dans S3.
Utilisez n’importe quel client Linux, y compris EC2, EKS ou les clients sur site, pour accéder à votre système de fichiers.
Vous pouvez désormais exécuter vos applications, de l’apprentissage machine au calcul haute performance, en passant par le rendu multimédia, et bien plus encore, grâce à un stockage de fichiers partagé qui vous offre les performances élevées dont vous avez besoin.
Différences entre le mode à rayure et le mode persistant dans FSx pour Lustre
Les organisations peuvent choisir entre deux options de déploiement lorsqu’elles utilisent Amazon FSx pour Lustre : scratch et persistant. Le choix dépend de la durée nécessaire pour stocker les données.
Les systèmes de fichiers grattés sont destinés à être utilisés pour un traitement des données à plus court terme et un stockage de données temporaire. Le système ne réplique pas les données rayées, ce qui signifie qu’elles peuvent être perdues en cas de dysfonctionnement d’un serveur de fichiers. L'avantage des systèmes de fichiers « scratch » est qu'ils offrent un excellent débit, une grande rafale qui peut être égale à six fois la référence standard de 200 Mo/s par Tio (soit un peu plus d'un To) de capacité de stockage.
Les meilleurs cas d’utilisation des systèmes de fichiers « scratch » incluent un stockage économique pour les charges de travail lourdes à traiter et qui ne sont nécessaires que pour une courte période.
Les systèmes de fichiers persistants sont destinés à être utilisés pour les charges de travail qui doivent être stockées plus longtemps. Ce type de stockage, s’il est hautement disponible et stocké, est répliqué automatiquement dans la zone de disponibilité AWS où se trouve le système de fichiers. L’avantage ici est que si un serveur tombe en panne, les données stockées sont remplacées en quelques minutes seulement.
Les cas d’utilisation courants pour les systèmes de fichiers persistants comprennent le stockage persistant pour les conteneurs, les lacs de données stockés dans S3, le calcul haute performance qui nécessite un stockage à plus long terme, les charges de travail axées sur le débit qui doivent s’exécuter indéfiniment et les charges de travail sensibles aux interruptions de disponibilité.
Avantages d’Amazon FSx pour Lustre
Les avantages de l’utilisation d’Amazon FSx pour Lustre sont les suivants :
- Haute performance flexible : Vous bénéficiez de performances rapides, évolutives, cohérentes et prévisibles.
- Haute disponibilité et durabilité : Les options de déploiement vous permettent de garantir le bon niveau de disponibilité et de durabilité des données.
- Simplicité d’utilisation : Le service entièrement géré simplifie la mise en service d’un système de fichiers en quelques minutes, sans avoir à se soucier des sauvegardes, des mises à jour ou de la consommation.
- Rentabilité : FSx propose de nombreuses options de stockage qui vous permettent de trouver le bon équilibre entre coût et performance. De plus, il n’y a pas de frais d’installation ou de frais minimum et vous n’avez à payer que les ressources que vous utilisez.
- Sécurité et conformité : Le chiffrement des données en transit et au repos est automatique, et vous pouvez également contrôler l’accès au réseau comme vous le souhaitez.
- Intégration simple avec les services AWS : Vous pouvez utiliser FSx avec tous vos autres services AWS sans difficulté.
Stockage persistant haute performance pour les systèmes de fichiers
Bien que FSx et EFS soient des options de stockage persistant viables pour les systèmes de fichiers basés sur Amazon Elastic Kubernetes Service, Portworx de Pure offre des avantages clés par rapport aux deux. Portworx vous permet d’exécuter n’importe quel service de données cloud natif, dans n’importe quel cloud, à l’aide de n’importe quelle plateforme Kubernetes, avec une haute disponibilité, une protection des données, une sécurité des données et une mobilité cloud hybride intégrées. Grâce à tout ce qui précède, Portwox offre des avantages considérables dans les domaines suivants :
- Performance
- Coût
- Reprise après sinistre
Découvrez la simplicité et les performances associées à l’utilisation d’un stockage de données persistant cloud-native pour vos charges de travail Kubernetes. En savoir plus sur Portworx ici .
