Was ist NVMe? Der vollständige Leitfaden zu Non-Volatile Memory Express

Storage-Protokolle, die für mechanische Laufwerke entwickelt wurden, schränken die Flash-Performance seit mehr als einem Jahrzehnt ein. Während SSDs eine Hardware bereitstellen, die für eine Mikrosekunde geeignet ist, fügen herkömmliche Protokolle wie SATA und SAS Hunderte von Mikrosekunden unnötiger Latenz durch ihre Architekturen in einer Warteschlange und Protokollübersetzungsschichten hinzu – basierend auf Branchenbenchmarks und realen Implementierungen.

NVMe (Non-Volatile Memory Express) ist ein Storage-Protokoll, das speziell für Solid-State-Laufwerke entwickelt wurde, die direkt über die PCIe-Schnittstelle verbunden werden, wodurch die Engpässe bei Protokollen aus der Festplattenzeit beseitigt werden. Anstatt Befehle über eine einzige Warteschlange wie SATA zu steuern, ermöglicht NVMe bis zu 64.000 Warteschlangen mit jeweils 64.000 Befehlen. Dadurch wird die Kommunikation zwischen Storage und modernen Multi-Core-Prozessoren grundlegend verändert.

Die meisten Diskussionen übersehen jedoch, dass das Hinzufügen von NVMe-Laufwerken nicht ausreicht, wenn Ihr System immer noch zwischen Protokollen übersetzt und NVMe zu SCSI konvertiert und an verschiedenen Punkten im Datenpfad wieder zurückkehrt.

Dieser Leitfaden untersucht die Architektur von NVMe, quantifiziert seine realen Performance-Vorteile und erklärt, warum eine durchgängige NVMe-Implementierung wichtig ist.

Wie NVMe die Storage-Architektur revolutioniert hat

Zwei Jahrzehnte lang wurden Storage-Protokolle auf mechanische Einschränkungen ausgelegt. SATA und SAS gingen davon aus, dass Storage-Geräte Zeit brauchten, um physisch Daten zu suchen, und bauten den Befehls-Overhead ein, der sinnvoll war, wenn sich die Plattenplatten in Position drehen mussten. Diese Protokolle leiten alle Befehle über eine einzige Warteschlange weiter – geeignet für mechanische Suchvorgänge, aber katastrophal für Flash-Speicher, der in der Lage ist, Mikrosekunden-Reaktionen durchzuführen.

Die Protokollabweichung wird in den Zahlen deutlich. SAS unterstützt bis zu 256 Befehle (gemäß der SAS-3-Spezifikation) in seiner einzigen Warteschlange, während Unternehmens-SSDs Tausende gleichzeitiger Operationen verarbeiten. Diese herkömmlichen Protokolle erfordern mehrere Übersetzungsebenen: Anwendungen senden NVMe-Befehle, die in SCSI, dann in SATA oder SAS und dann möglicherweise auf Laufwerksebene wieder in NVMe übersetzt werden. Jede Übersetzung fügt eine Latenz von 50 bis 200 Mikrosekunden hinzu.

Warum Flash sein eigenes Protokoll benötigte

NVMe kam 2011 auf den Markt, um Übersetzungsstrafen zu vermeiden. Anstatt Plattenprotokolle nachzurüsten, entwarf das NVM Express-Konsortium ein Protokoll, bei dem keine mechanischen Komponenten verwendet wurden. NVMe optimiert den Befehlssatz, eliminiert den Analyse-Overhead und behält gleichzeitig die volle Funktionalität bei.

Das Protokoll verbindet Storage direkt mit CPUs über PCIe-Spuren, die gleiche Hochgeschwindigkeitsschnittstelle, die für Grafikkarten verwendet wird. Dadurch wird Storage als Vergleich zu anderen Hochleistungskomponenten positioniert, anstatt ihn hinter Übersetzungsebenen zu delegieren. Mit PCIe Gen 4 mit einer Bandbreite von 64GB/s ermöglicht NVMe den uneingeschränkten Betrieb von Flash.

So funktioniert NVMe: Architektur und Komponenten

Die Architektur von NVMe überdenkt die Storage-Kommunikation grundlegend. Anstelle herkömmlicher Host-Bus-Adapter erscheint NVMe-Storage der CPU als speichermapped I/O, was einen direkten Zugriff ohne Kernel-Overhead für kritische Operationen ermöglicht.

Warteschlangenarchitektur und CPU-Optimierung

Moderne Prozessoren enthalten Dutzende von Kernen, aber herkömmliche Storage-Protokolle führen sie alle über eine einzige I/O-Warteschlange. NVMe weist jedem CPU-Kern dedizierte Warteschlangenpaare zu, wodurch Sperrkonflikte vermieden und eine echte parallele Verarbeitung ermöglicht wird.

Wenn eine Anwendung Daten benötigt, platziert sie Befehle über einfache Speicherschreibvorgänge in Einreichungswarteschlangen – keine Systemanrufe erforderlich. Der NVMe-Controller verarbeitet Befehle unabhängig und platziert die Ergebnisse in Abschlusswarteschlangen. Dieses asynchrone Modell bedeutet, dass CPUs praktisch keine Zyklen auf Storage warten.

PCIe-Bahnen und -Bandbreite

NVMe-Geräte verbinden sich über PCIe-Bahnen, wobei jede Bahn bidirektionale Bandbreite bietet. Eine typische NVMe-SSD verwendet vier PCIe-Lanes, die bis zu 8GB/s mit PCIe Gen 4 liefern. Unternehmens-Arrays aggregieren mehrere Geräte für einen noch höheren Durchsatz.

Aber Bandbreite allein bestimmt nicht die Performance. Latenz – die Zeit zwischen Anfrage und Antwort – ist für Transaktions-Workloads oft wichtiger. Die direkte PCIe-Verbindung von NVMe eliminiert mehrere Busübergänge und Protokollkonvertierungen, die SATA-Implementierungen erschweren.

NVMe-Performance-Vorteile: Echte Zahlen, nicht Marketing

Marketing in der Storage-Branche macht oft vage Behauptungen wie „blitzschnell“ oder „äußerst ansprechbar“. NVMe bietet jedoch echte Vorteile.

Laut Branchentests und Herstellerspezifikationen dauern NAND-Flash-Rohlesungen etwa 100 Mikrosekunden. SATA-SSDs bieten jedoch in der Regel Gesamtlatenzen von 100 bis 200 Mikrosekunden, während NVMe-SSDs 20 bis 100 Mikrosekunden erreichen. Dies zeigt, wie der Protokoll-Overhead die tatsächliche Medienzugriffszeit erreichen oder überschreiten kann.

IOPS und Auswirkungen in der Praxis

Ein einziges NVMe-Gerät kann mehr als 1 Million IOPS für zufällige Lesevorgänge mit 4KB bereitstellen – die Performance erfordert Dutzende von SATA-SSDs. Oracle-Datenbanken auf durchgängigem NVMe zeigen:

• Mehr Transaktionen pro Sekunde
• Verkürzung der Antwortzeit für Abfragen
• Weniger Storage-bezogene Warteereignisse

Stromeffizienz

Die Effizienz von NVMe verstärkt seine Performance-Vorteile. Durch Eliminierung des Protokoll-Overheads:

• SATA-SSD: ~10.000 IOPS pro Watt
• NVMe SSD: ~50.000 IOPS pro Watt

NVMe-oF: Erweiterung von NVMe über Direct Attachment hinaus

NVMe over Fabrics erweitert die Vorteile von NVMe über Rechenzentren hinweg und ermöglicht gemeinsamen Storage, ohne die Latenzvorteile zu beeinträchtigen. Aber Implementierungsentscheidungen beeinträchtigen die Performance drastisch.

NVMe over Fibre Channel (FC-NVMe)

FC-NVMe nutzt die bestehende SAN-Infrastruktur und macht sie für Unternehmen mit Fibre Channel-Investitionen attraktiv. Er erfordert Gen-5-Switches (16 Gb) oder Gen-6-Switches (32 Gb), die NVMe-Weiterleitung unterstützen. Ältere Switches, die „NVMe-Support“ beanspruchen, führen oft Protokollübersetzungen durch und führen den Overhead wieder ein.

NVMe über RoCE

RoCE verspricht die niedrigste Netzwerklatenz durch Kernel-Bypass – RDMA-Vorgänge sind in etwa einer Mikrosekunde abgeschlossen. RoCE erfordert jedoch verlustfreies Ethernet mit Priority Flow Control über jeden Switch und Adapter hinweg. Ein falsch konfigurierter Port kann zu einem Performance-Ausfall führen. In Wirklichkeit führen viele „RoCE“-Implementierungen tatsächlich iWARP aus, da sich echtes RoCE als zu zerbrechlich erweist. Bei ordnungsgemäßer Implementierung kann RoCE eine Storage-Latenz von 160 bis 180 Mikrosekunden liefern.

NVMe über TCP

NVMe/TCP läuft über Standard-Ethernet ohne spezielle Hardware. Kritiker bezeichnen es als „langsam“, aber moderne Implementierungen können eine Latenz im Mikrosekundenbereich von 200 bis 250 Mikrosekunden erreichen – schneller als SATA-SSDs, obwohl sie das Netzwerk überqueren.

Der Hauptvorteil: Einfachheit. NVMe/TCP funktioniert mit bestehenden Switches, Standard-NICs und Cloud-Provider-Netzwerken.

Implementierung von NVMe in der Produktion

Die bloße Installation von NVMe-Laufwerken bietet selten erwartete Vorteile. Der gesamte Storage-Stack muss durchgängige NVMe-Vorgänge unterstützen.

Die Protokollübersetzungs-Trap

Viele Unternehmen kaufen NVMe-SSDs für bestehende Arrays und erwarten eine Transformation. Die Laufwerke kommunizieren über NVMe, aber der Controller übersetzt alles zur Kompatibilität in SCSI. Diese Übersetzung fügt Mikrosekunden hinzu und verneint die Vorteile von NVMe.

OS- und Migrationsanforderungen

NVMe erfordert ein modernes Betriebssystem zur Unterstützung. Jede erfordert spezifische Konfigurationen – Unterbrechung der Affinität, Multipath-Module und Anpassungen der Warteschlangentiefe.

Für eine erfolgreiche Migration:

1. Beginnen Sie mit unkritischen Workloads zur Validierung
2. Latenzüberwachung auf jeder Ebene implementieren
3. Priorisieren Sie latenzempfindliche Datenbanken zuerst
4. Verifizieren Sie durchgängiges NVMe mit Tools wie nvme-cli

NVMe für AI und moderne Workloads

Teure GPUs stehen oft im Leerlauf und warten auf Daten. NVMe ändert dies durch GPU Direct Storage und ermöglicht es Laufwerken, Daten direkt in GPU-Speicher zu übertragen.

Für AISchulungen bedeutet das:

• Schnelleres Epochentraining
• Schnelleres Schreiben von Prüfpunkten
• Höhere GPU-Auslastung 
• CPU für die Vorverarbeitung freigegeben

Datenbanken profitieren über die Rohgeschwindigkeit hinaus. Die vorhersehbare Latenzzeit von NVMe unter 200 Mikrosekunden eliminiert Unsicherheiten bei der Abfrageplanung. Optimierer treffen bessere Entscheidungen, wenn sie wissen, dass Daten schnell eintreffen. Anwendungen, die für langsamen Storage entwickelt wurden, verhalten sich anders, wenn Storage vorhersehbar wird.

Der durchgängige NVMe-Vorteil von Pure Storage

Während die Branche über Einführungsstrategien diskutiert, hat Pure Storage durchgängiges NVMe für Tausende von Kundenimplementierungen bereitgestellt und Telemetrie erzeugt, die zeigt, was tatsächlich funktioniert. Das Unterscheidungsmerkmal besteht darin, jede Protokollübersetzung zwischen der Anwendung und dem NAND-Flash zu eliminieren.

DirectFlash: Eliminierung versteckter Gemeinkosten

Herkömmliche NVMe-SSDs enthalten redundante Controller und Overprovisioning. Pure Storage® DirectFlash®-Module setzen rohes NAND direkt auf die NVMe-Schnittstelle des Arrays um und bieten:

• Mehr nutzbare Kapazität
• Geringerer Stromverbrauch
• Vorhersehbare Latenz ohne Garbage Collection
• Globales Wear Leveling über den gesamten Flash hinweg

Durchgängige NVMe-Architektur

Purity-Software pflegt NVMe von Host zu NAND und unterstützt gleichzeitig herkömmliche Systeme. Für NVMe-Hosts bietet es direkten Namespace-Zugriff. Bei herkömmlichen Hosts wird sie nur einmal an der Peripherie des Arrays und nicht intern übersetzt.

Pure Storage FlashArray//X™ bietet eine konsistente Latenz von weniger als 200 Mikrosekunden, indem interne Protokollkonversionen eliminiert werden:

• Pure Storage-Arrays: durchschnittliche Latenz von 150 μs
• Herkömmliche „NVMe“-Arrays mit interner Übersetzung: 400–600 μs
• Der Unterschied: Eliminierung des Protokollübersetzungs-Overheads

Unterbrechungsfreie Entwicklung

Die Evergreen-Architektur von Pure Storage  ermöglicht die Einführung von NVMe ohne Komplett-Upgrades. Controller führen ein Upgrade auf NVMe-fähige Versionen ohne Datenmigration durch.

Die Zukunft von NVMe

Die Entwicklung von NVMe geht über die Geschwindigkeit hinaus. Die NVMe 2.0-Spezifikation  führt Rechen-Storage ein – die Verarbeitung innerhalb des Storage-Geräts selbst. Datenbankfilterung, Komprimierung und AIInferenz finden dort statt, wo Daten gespeichert sind, wodurch Bewegungsaufwand entfällt.

Fazit

NVMe stellt die Beseitigung künstlicher Engpässe dar, die Anwendungen seit Jahrzehnten einschränken. Bei der durchgängigen Implementierung ohne Protokollübersetzung bietet NVMe eine Latenz von 150 Latenz im Mikrosekundenbereich, der alles von Datenbanktransaktionen bis hin zu AI-Training umwandelt.

Die entscheidenden Erkenntnisse: Die Protokollübersetzung zerstört die Vorteile von NVMe. NVMe-oF erweitert die Vorteile auf Rechenzentren, aber die Implementierung ist wichtig. Moderne Workloads erfordern die vorhersehbare, niedrige Latenz, die nur durchgängiges NVMe bietet.

Eine End-to-End-Implementierung von Pure Storage, die für Tausende Kunden validiert wurde, beweist, dass eine Latenz im Mikrosekundenbereich eine operative Realität ist.  DirectFlash Module erreichen Unternehmen die Performance, die NVMe verspricht. Da sich Storage zu Rechenfunktionen und Speichergeschwindigkeiten entwickelt, stellt Pure Storage Evergreen- Architektur sicher, dass die Investitionen von heute die Innovationen von morgen unterbrechungsfrei liefern.