Wat is Amazon FSx voor Lustre?

Amazon FSx voor Lustre is een volledig beheerd, high-performance bestandssysteem voor rekenintensieve workloads dat snelle verwerking, schaalbaarheid en kostenefficiëntie biedt.

De "FSx" verwijst naar "volledig beheerd bestandssysteem" en Amazon biedt momenteel FSx-diensten voor verschillende veelgebruikte bestandssystemen, waaronder het open source Lustre-bestandssysteem.

Wat is het Lustre File System?

Lustre is een bestandssysteem dat parallel en gedistribueerd is, met een naam uit de combinatie van "Linux" en "cluster". Het wordt het meest gebruikt voor cluster computing op zeer grote schaal. Lustre is zelfs het bestandssysteem bij uitstek geweest voor ten minste vijf van 's werelds top 10 snelste supercomputers, waaronder de nummer één supercomputer Frontier, vanaf november 2022.

Lustre is een populaire keuze geweest van supercomputers, massieve datacenters, simulatoren en andere high-performance computerorganisaties vanwege de extreme schaalbaarheid en het vermogen om veel clusters te bedienen met tienduizenden nodes, tientallen petabytes aan opslag op honderden servers en een gemiddelde verwerkingscapaciteit van meer dan een terabyte per seconde (TB/s).

Hoe wordt FSx voor Lustre gebruikt?

Omdat het een volledig beheerde dienst is, vereenvoudigt Amazon FSx voor Lustre de werking en het beheer van het Lustre-systeem van uw organisatie. De service helpt u te voorkomen dat u Lustre zelf hoeft in te stellen, te configureren en te beheren - het is geen gedoe om het high-performance bestandssysteem te krijgen dat u nodig hebt in slechts enkele minuten. En met meerdere implementatieopties kunt u het model kiezen dat het meest kosteneffectief is voor uw behoeften.

Wat zijn de verschillen tussen EFS ,EBS en FSx?

Naast FSx biedt AWS een reeks dataopslagopties, waaronder Elastic File System (EFS) en Elastic Block Store (EBS). Het kan soms een beetje verwarrend zijn voor organisaties om de verschillen tussen deze aanbiedingen te begrijpen en welke opties het beste aan de unieke behoeften van een bedrijf kunnen voldoen.

Het korte antwoord is dat AWS opties biedt voor verschillende soorten opslag, namelijk bestands-, blok- en objectopslag. Elk van deze storagetypes is gewoon een andere manier om data op te slaan. Voordat we EFS en EBS vergelijken met FSx, gaan we EFS en EBS afzonderlijk nader bekijken.

Elastic File System (EFS)

EFS is een bestandsopslagsysteem, wat betekent dat data worden opgeslagen in hiërarchieën (net als de directory-, map- en bestandssysteemopslag van de meeste pc's). EFS is zeer schaalbaar en volledig beheerd en kan worden gekoppeld aan EC2-instanties met Mac- of Linux-besturingssystemen en computerresources in on-premise datacenters. De opslag kan worden uitgebreid tot petabytes aan capaciteit en biedt een lage latency in duizenden instanties. Dankzij de lage latency en schaalbaarheid gebruiken veel organisaties EFS om applicaties en workloads op locatie rechtstreeks naar de cloud te verplaatsen.

Voordelen van EFS zijn onder andere gecentraliseerde file storage die betaalbaar, schaalbaar en gemakkelijk toegankelijk is. De gedeelde opslag is compatibel met de cloud en eenvoudig te integreren zonder diep in te hoeven gaan op hercodering.

De nadelen van EFS zijn onder meer het feit dat het niet werkt met Windows, en file storage kan simpelweg niet de hoge prestaties van block storage bieden met betrekking tot input/output-activiteiten per seconde (IOPS ). Bestandsopslag kan ook moeilijk te beheren zijn zodra de datavolumes groot genoeg zijn, en gebruikers moeten het pad naar een specifiek bestand kennen om het te kunnen vinden.

Elastic Block Store (EBS)

Dit is de block storage-optie van AWS. Blockstorage staat bekend om zijn snelheid en stabiliteit, meestal omdat het geen Metadata bevat en omdat blocks op de meest efficiënte locaties kunnen worden opgeslagen, ongeacht het besturingssysteem, of zelfs over meerdere servers kunnen worden gedistribueerd. EBS-opslag is gekoppeld aan instanties van Amazon Elastic Compute Cloud (EC2), vooral die welke voornamelijk transacties zijn en gemakkelijk moeten worden geschaald. Sommige organisaties gebruiken bijvoorbeeld EBS om ongestructureerde NoSQL-databases of relationele databases op te slaan die zelf worden beheerd.

De voordelen van EBS zijn onder andere de snelheid, flexibiliteit en betrouwbaarheid. Dat maakt het ideaal voor transactie-intensieve use cases die een lage latency vereisen. En omdat u block storage kunt bijwerken door afzonderlijke blokken te overschrijven (en niet een volledig object, zoals in objectopslag), zijn updates en wijzigingen snel en efficiënt.

Nadelen van EBS zijn onder andere het gebrek aan Metadata, waardoor het snel is om op te slaan, maar langzamer om te zoeken. En EBS-opslag kan aan slechts één server tegelijk worden gekoppeld (hoewel er in sommige situaties een EBS multi-attach mogelijkheid is).

FSx voor Lustre vs. EFS en EBS

Amazon FSx voor Lustre biedt ultrahoge prestaties. Het is een bestandsopslagsysteem, vergelijkbaar met EFS, maar een groot verschil is dat FSx kan werken op Windows. FSx-prestaties overtreffen EFS- en EBS-prestaties als het gaat om heavy-duty workloads zoals AI en machine learning, massieve data-analyticsprojecten, videoverwerking en digitale effecten, financiële analyses en meer.

FSx biedt een lagere TCO dan EFS en EBS en biedt organisaties flexibele dataverwerkingsopties voor zowel korte- als langetermijnopslag. FSx is ook in staat om te bepalen hoe snel de fileserver die het systeem host bestandsgegevens kan verwerken en hogere doorvoerniveaus kan bieden dan EFS en EBS - hogere IOPS-niveaus en meer geheugen voor caching.

Hoe Amazon FSx voor Lustre werkt

Met Amazon FSx voor Lustre hebben organisaties gemakkelijk toegang tot hun Lustre-bestandssystemen. Deze systemen kunnen naar behoefte worden geschaald over meerdere servers en opslagschijven. Door die schaalbaarheid kan FSx veel van de traditionele knelpunten elimineren die gebruikers in andere bestandssystemen vinden.

Een Amazon FSx voor Lustre-bestandssysteem bestaat uit een gecentraliseerde bestandsserver en een aantal aangesloten opslagschijven die de data bevatten. Klanten communiceren met de bestandsserver, die de prestaties kan optimaliseren voor de data die het vaakst worden benaderd met behulp van een snelle, in-memory cache. Een deel van wat het zo snel maakt, is dat wanneer een klant toegang wil krijgen tot informatie die is opgeslagen in de in-memory cache of de SSD, de server deze niet van de schijf hoeft te lezen. De latentie is dus lager en de verwerkingscapaciteit is hoger.

FSx biedt ook twee opslagopties op basis van de keuze voor het gebruik van een solid-state schijf (SSD) of harde schijf (HDD). Welke optie het beste is, hangt af van de behoeften van een organisatie:

SSD-opslag is ideaal voor workloads die gevoelig zijn voor latency of die workloads die de hoogste verwerkingscapaciteit of IOPS vereisen.
HDD-storage is ideaal voor workloads die een hoge verwerkingscapaciteit vereisen, maar niet in hoge mate afhankelijk zijn van ultralage latency.

Om Amazon FSx in te stellen voor Lustre:

Maak uw bestandssysteem aan met behulp van de AWS-managementconsole. U kunt ook een Command line interface (CLI) of software development kit (SDK) gebruiken. Hier kunt u ook aangeven welke implementatieoptie uw voorkeur heeft: scratch of persistent (zie hieronder).
Als u Amazon S3-opslag gebruikt, koppelt u vervolgens uw nieuw gecreëerde bestandssysteem aan uw S3-bucket, zodat u alle in S3 opgeslagen datasets kunt verwerken en openen.
Gebruik elke Linux-client, inclusief EC2, EKS of on-premise clients, om toegang te krijgen tot uw bestandssysteem.
Nu kunt u uw applicaties draaien, van machine learning tot high-performance computing tot media-rendering en meer, met gedeelde bestandsopslag die de hoge prestaties biedt die u nodig hebt.

Verschillen tussen kras- en persistente modus in FSx voor Lustre

Organisaties kunnen kiezen uit twee implementatieopties wanneer ze Amazon FSx gebruiken voor Lustre: scratch en persistent. Welke u kiest, hangt af van hoe lang u data moet opslaan.

Scratch-bestandssystemen zijn bedoeld om te worden gebruikt voor dataverwerking op korte termijn en tijdelijke dataopslag. Het systeem repliceert geen scratch-data, wat betekent dat deze verloren kunnen gaan als een fileserver defect raakt. Het voordeel van krasbestandssystemen is dat ze een uitstekende verwerkingscapaciteit bieden - een grote burst die tot zes keer de standaardbasislijn van 200 MBps per TiB (equivalent aan iets meer dan een TB) aan opslagcapaciteit kan bereiken.

De beste gebruikssituaties voor scratch file-systemen omvatten kosteneffectieve opslag voor workloads die zwaar worden verwerkt en slechts voor een korte periode nodig zijn.

Permanente bestandssystemen zijn bedoeld om te worden gebruikt voor workloads die voor een langere periode moeten worden opgeslagen. Dit opslagtype, indien zeer beschikbaar en opgeslagen, wordt automatisch gerepliceerd in de AWS-beschikbaarheidszone waar het bestandssysteem zich bevindt. Het voordeel hier is dat als een server uitvalt, opgeslagen data in slechts enkele minuten worden vervangen.

Veelvoorkomende gebruikssituaties voor persistente bestandssystemen zijn persistente opslag voor containers, datalakes die zijn opgeslagen in S3, high-performance computing die opslag op langere termijn nodig heeft, doorvoergerichte workloads die voor onbepaalde tijd moeten draaien en workloads die gevoelig zijn voor verstoringen in de beschikbaarheid.

Voordelen van Amazon FSx voor Lustre

Voordelen van het gebruik van Amazon FSx voor Lustre zijn onder andere:

Flexibele hoge prestaties: U krijgt snelle prestaties die ook schaalbaar, consistent en voorspelbaar zijn.
Hoge beschikbaarheid en duurzaamheid: Implementatieopties stellen u in staat om het juiste niveau van beschikbaarheid en dataduurzaamheid te garanderen.
Gebruiksgemak: De volledig beheerde service maakt het eenvoudig om een bestandssysteem binnen enkele minuten op te starten zonder dat u zich zorgen hoeft te maken over back-ups, updates of verbruik.
Kosteneffectiviteit: FSx biedt veel opslagopties en -keuzes waarmee u de juiste balans kunt vinden tussen kosten en prestaties; bovendien zijn er geen installatiekosten of minimumkosten en bent u verantwoordelijk voor het betalen van alleen de middelen die u gebruikt.
Beveiliging en compliance: Versleuteling voor data in transit en in rust is automatisch, en u kunt ook de netwerktoegang naar wens regelen.
Eenvoudige integratie met AWS-services: U kunt FSx zonder gedoe gebruiken met al uw andere AWS-services.

Krachtige persistente opslag voor bestandssystemen

Hoewel FSx en EFS haalbare persistente opslagopties zijn voor bestandssystemen op basis van Amazon Elastic Kubernetes Service, biedt Pure's Portworx belangrijke voordelen ten opzichte van beide. Portworx stelt u in staat om elke cloud-native dataservice uit te voeren, in elke cloud, met behulp van elk Kubernetes-platform, met ingebouwde hoge beschikbaarheid, dataprotectie, databeveiliging en hybride-cloudmobiliteit. Dankzij al het bovenstaande biedt Portwox aanzienlijke voordelen in:

Performance
Kosten
Disaster recovery

Ervaar de eenvoud en prestaties die gepaard gaan met het gebruik van cloud-native persistente dataopslag voor uw Kubernetes-workloads. Meer informatie over Portworx vindt u hier .