Amazon FSx für Lustre ist ein vollständig verwaltetes, leistungsstarkes Dateisystem für rechenintensive Workloads, das schnelle Verarbeitung, Skalierbarkeit und Kosteneffizienz bietet.
Das „FSx“ bezieht sich auf „vollständig verwaltetes Dateisystem“ und Amazon bietet derzeit FSx-Services für mehrere weit verbreitete Dateisysteme an, einschließlich des Open-Source-Dateisystems Lustre.
Was ist das Lustre-Dateisystem?
Mit einem Namen, der aus der Kombination von „Linux“ und „Cluster“ stammt, ist Lustre ein paralleles und verteiltes Dateisystem. Es wird am häufigsten für Cluster-Computing in sehr großem Maßstab verwendet. In der Tat war Lustre im November 2022 das Dateisystem der Wahl für mindestens fünf der zehn schnellsten Supercomputer der Welt, darunter die Nummer eins der Supercomputer-Frontiers.
Lustre ist aufgrund seiner extremen Skalierbarkeit und seiner Fähigkeit, viele Cluster mit Zehntausenden von Knoten, Dutzenden von Petabyte an Storage über Hunderte von Servern und einem durchschnittlichen Durchsatz von mehr als einem Terabyte pro Sekunde (TB/s) zu betreiben, eine beliebte Wahl von Supercomputern, riesigen Rechenzentren, Simulatoren und anderen Hochleistungs-Computing-Organisationen.
Wie wird FSx für Lustre verwendet?
Da es sich um einen vollständig verwalteten Service handelt, vereinfacht Amazon FSx for Lustre den Betrieb und die Verwaltung des Lustre-Systems Ihres Unternehmens. Der Service hilft Ihnen dabei, die Notwendigkeit zu vermeiden, Lustre selbst einzurichten, zu konfigurieren und zu verwalten – es ist kein Problem, das Hochleistungs-Dateisystem zu erhalten, das Sie in nur wenigen Minuten benötigen. Und mit mehreren Bereitstellungsoptionen können Sie das Modell wählen, das für Ihre Anforderungen am kostengünstigsten ist.
Was sind die Unterschiede zwischen EFS ,EBS und FSx?
Zusätzlich zu FSx bietet AWS eine Reihe von Daten-Storage-Optionen, darunter Elastic File System (EFS) und Elastic Block Store (EBS). Es kann für Unternehmen manchmal etwas verwirrend sein, die Unterschiede zwischen diesen Angeboten und die Optionen zu verstehen, die den einzigartigen Anforderungen eines Unternehmens am besten entsprechen können.
Die kurze Antwort lautet, dass AWS Optionen für verschiedene Arten von Storage bietet, also Datei-, Block- und Objekt-Storage. Jeder dieser Storage-Typen ist einfach eine andere Möglichkeit, Daten zu speichern. Bevor wir EFS und EBS mit FSx vergleichen, wollen wir uns EFS und EBS einzeln genauer ansehen.
Elastic File System (EFS)
EFS ist ein Datei-Storage-System, was bedeutet, dass Daten in Hierarchien gespeichert werden (ähnlich dem Verzeichnis-, Ordner- und Dateisystem-Storage der meisten PCs). EFS ist hochgradig skalierbar und vollständig verwaltet und kann mit Mac- oder Linux-Betriebssystemen sowie mit Rechenressourcen in lokalen Rechenzentren an EC2-Instanzen angeschlossen werden. Der Storage kann auf Petabyte an Kapazität erweitert werden und bietet eine geringe Latenz über Tausende von Instanzen hinweg. Dank seiner geringen Latenz und Skalierbarkeit nutzen viele Unternehmen EFS, um lokale Anwendungen und Workloads direkt in die Cloud zu verschieben.
Zu den Vorteilen von EFS gehören zentralisierter Datei-Storage, der erschwinglich, skalierbar und leicht zugänglich ist. Sein gemeinsam genutzter Storage ist mit der Cloud kompatibel und einfach zu integrieren, ohne tief in die Neucodierung eingehen zu müssen.
Zu den Nachteilen von EFS gehört die Tatsache, dass es nicht mit Windows funktioniert, und der Datei-Storage kann einfach nicht die hohe Performance von Block-Storage in Bezug auf Eingabe-/Ausgabevorgänge pro Sekunde (IOPS ) bieten. Datei-Storage kann auch schwierig zu verwalten sein, sobald die Datenmengen groß genug sind, und Benutzer müssen den Pfad zu einer bestimmten Datei kennen, um sie finden zu können.
Elastic Block Store (EBS)
Dies ist die Block-Storage-Option von AWS . Block-Storage ist dafür bekannt, schnell und stabil zu sein – vor allem, weil er keine Metadaten enthält und weil Blöcke unabhängig vom Betriebssystem an den effizientesten Orten gespeichert oder sogar auf mehrere Server verteilt werden können. EBS-Storage ist an Instanzen der Amazon Elastic Compute Cloud (EC2) angeschlossen, insbesondere an solche, die hauptsächlich Transaktionen sind und einfach skaliert werden müssen. Einige Unternehmen verwenden beispielsweise EBS, um unstrukturierte NoSQL-Datenbanken oder relationale Datenbanken zu speichern, die selbst verwaltet werden.
Zu den Vorteilen von EBS gehören Geschwindigkeit, Flexibilität und Zuverlässigkeit. Dies macht es ideal für transaktionsintensive Anwendungsfälle, die eine geringe Latenz erfordern. Und da Sie Block-Storage aktualisieren können, indem Sie einzelne Blöcke überschreiben (und nicht ein ganzes Objekt, wie im Objekt-Storage), sind Updates und Änderungen schnell und effizient.
Zu den Nachteilen von EBS gehören der Mangel an Metadaten, wodurch es schnell zu speichern, aber langsamer zu suchen ist. Und EBS-Storage kann jeweils nur an einen Server angeschlossen werden (obwohl es in einigen Situationen eine EBS-Multi-Attach-Funktion gibt).
FSx für Lustre vs. EFS und EBS
Amazon FSx für Lustre bietet ultra-hohe Performance. Es handelt sich um ein Datei-Storage-System, ähnlich wie bei EFS, aber ein großer Unterschied besteht darin, dass FSx unter Windows betrieben werden kann. Die FSx-Performance übertrifft die EFS- und EBS-Performance, wenn es um hochbelastbare Workloads wie AI und maschinelles Lernen, massive Datenanalyseprojekte, Videoverarbeitung und digitale Effekte, Finanzanalysen und mehr geht.
FSx bietet niedrigere TCO als EFS und EBS und bietet Unternehmen flexible Datenverarbeitungsoptionen für kurz- und langfristigen Storage. FSx kann auch feststellen, wie schnell der Dateiserver, der das System hostet, Dateidaten bereitstellen und einen höheren Durchsatz bieten kann als EFS und EBS – höhere IOPS-Niveaus und mehr Speicher für das Caching.
So funktioniert Amazon FSx für Lustre
Mit Amazon FSx für Lustre können Unternehmen einfach auf ihre Lustre-Dateisysteme zugreifen. Diese Systeme können nach Bedarf auf mehrere Server und Storage-Disks skaliert werden. Aufgrund dieser Skalierbarkeit kann FSx viele der herkömmlichen Engpässe beseitigen, die Benutzer in anderen Dateisystemen finden.
Ein Amazon FSx für Lustre-Dateisystem besteht aus einem zentralisierten Dateiserver und einer Reihe angeschlossener Storage-Disks, auf denen die Daten gespeichert sind. Clients kommunizieren mit dem Dateiserver, der mithilfe eines schnellen In-Memory-Cache die Performance für die Daten optimieren kann, auf die am häufigsten zugegriffen wird. Ein Teil dessen, was es so schnell macht, ist, dass der Server sie nicht von der Festplatte lesen muss, wenn ein Client auf Informationen zugreifen möchte, die im In-Memory-Cache oder auf der SSD gespeichert sind. Die Latenz ist daher geringer und der Durchsatz höher.
FSx bietet außerdem zwei Storage-Optionen, die auf der Wahl zwischen einem Solid-State-Laufwerk (SSD) oder einem Festplattenlaufwerk (HDD) basieren. Welche Option am besten geeignet ist, hängt von den Anforderungen eines Unternehmens ab:
- SSD-Storage eignet sich ideal für latenzempfindliche Workloads oder für Workloads, die den höchsten Durchsatz oder IOPS erfordern.
- HDD-Storage ist ideal für Workloads, die einen hohen Durchsatz erfordern, aber nicht stark von extrem niedriger Latenz abhängig sind.
So richten Sie Amazon FSx für Lustre ein:
- Erstellen Sie mit der AWS Management Console Ihr Dateisystem. Sie können auch eine Befehlszeilenschnittstelle (CLI) oder ein Software Development Kit (SDK) verwenden. Hier können Sie auch festlegen, welche Bereitstellungsoption Sie bevorzugen: kratzen oder persistent (siehe unten).
Wenn Sie Amazon S3-Storage verwenden, verknüpfen Sie dann Ihr neu erstelltes Dateisystem mit Ihrem S3-Bucket, sodass Sie alle in S3 gespeicherten Datensätze verarbeiten und darauf zugreifen können.
Verwenden Sie jeden Linux-Client – einschließlich EC2, EKS oder lokale Clients –, um auf Ihr Dateisystem zuzugreifen.
Jetzt können Sie Ihre Anwendungen ausführen, von maschinellem Lernen über Hochleistungs-Computing bis hin zu Medien-Rendering und mehr, mit gemeinsamem Datei-Storage, der die hohe Performance bietet, die Sie benötigen.
Unterschiede zwischen Kratz- und persistentem Modus in FSx für Lustre
Unternehmen können aus zwei Bereitstellungsoptionen wählen, wenn sie Amazon FSx für Lustre verwenden: kratzen und persistent. Welche Option Sie wählen, hängt davon ab, wie lange Sie Daten speichern müssen.
Scratch-Dateisysteme sollen für kurzfristigere Datenverarbeitung und temporären Daten-Storage verwendet werden. Das System repliziert keine Kratzdaten, was bedeutet, dass sie bei einer Fehlfunktion eines Dateiservers verloren gehen können. Der Vorteil von Scratch-Dateisystemen besteht darin, dass sie einen ausgezeichneten Durchsatz bieten – ein großer Burst, der bis zum Sechsfachen der Standard-Baseline von 200 MBps pro TiB (entspricht etwas mehr als einer TB) an Storage-Kapazität entsprechen kann.
Zu den besten Anwendungsfällen für Scratch-Dateisysteme gehören kostengünstiger Storage für Workloads, die schwer zu verarbeiten sind und nur für einen kurzen Zeitraum benötigt werden.
Persistent eDateisysteme sollen für Workloads verwendet werden, die für einen längeren Zeitraum gespeichert werden müssen. Dieser Storage-Typ wird, wenn er hochverfügbar und gespeichert ist, automatisch in der AWS-Verfügbarkeitszone repliziert, in der sich das Dateisystem befindet. Der Vorteil besteht darin, dass gespeicherte Daten bei einem Serverausfall in nur wenigen Minuten ersetzt werden.
Häufige Anwendungsfälle für persistente Dateisysteme sind persistenter Storage für Container, in S3 gespeicherte Data Lakes, Hochleistungs-Computing, das längerfristigen Storage benötigt, durchsatzorientierte Workloads, die unbegrenzt ausgeführt werden müssen, und Workloads, die empfindlich auf Unterbrechungen der Verfügbarkeit reagieren.
Vorteile von Amazon FSx für Lustre
Zu den Vorteilen der Verwendung von Amazon FSx für Lustre gehören:
- Flexible Hochleistung: Sie erhalten eine schnelle Performance, die auch skalierbar, konsistent und vorhersehbar ist.
- Hohe Verfügbarkeit und Langlebigkeit: Mit den Bereitstellungsoptionen können Sie das richtige Maß an Verfügbarkeit und Datenbeständigkeit sicherstellen.
- Benutzerfreundlichkeit: Der vollständig verwaltete Service macht es einfach, ein Dateisystem innerhalb weniger Minuten zu starten, ohne sich um Backups, Updates oder den Verbrauch kümmern zu müssen.
- Kosteneffizienz: FSx bietet viele Storage-Optionen und -Optionen, mit denen Sie das richtige Gleichgewicht zwischen Kosten und Performance finden können. Außerdem fallen keine Einrichtungs- oder Mindestgebühren an und Sie sind dafür verantwortlich, nur für die Ressourcen zu zahlen, die Sie nutzen.
- Sicherheit und Compliance: Die Verschlüsselung für Daten während der Übertragung und im Ruhezustand erfolgt automatisch, und Sie können den Netzwerkzugriff auch nach Bedarf steuern.
- Einfache Integration mit AWS-Services: Sie können FSx problemlos mit allen Ihren anderen AWS-Services verwenden.
Hochleistungsfähiger persistenter Storage für Dateisysteme
Während FSx und EFS praktikable persistente Storage-Optionen für Dateisysteme sind, die auf dem Amazon Elastic Kubernetes Service basieren, bietet Portworx von Pure wichtige Vorteile gegenüber beiden. Mit Portworx können Sie jeden Cloud-nativen Datenservice in jeder Cloud mit jeder Kubernetes-Plattform ausführen, mit integrierter Hochverfügbarkeit, Datenschutz, Datensicherheit und Hybrid-Cloud-Mobilität. Dank all der oben genannten Punkte bietet Portwox erhebliche Vorteile bei:
- Performance
- Kosten
- Disaster Recovery
Erleben Sie die Einfachheit und Performance, die die Verwendung von Cloud-nativem persistentem Daten-Storage für Ihre Kubernetes-Workloads mit sich bringt. Erfahren Sie hier mehr über Portworx.
