Was ist DirectFlash und wie funktioniert es?

DirectFlash® ist die wegweisende Flash-Management-Lösung von Pure, die sich aus Purity-Software und den DirectFlash-Modulen zusammensetzt, beides Komponenten, deren Upgrade unabhängig und unterbrechungsfrei durchgeführt werden kann.

Hier erfahren Sie, wie die Lösung funktioniert, was sie ausmacht und warum Sie sie brauchen.

Flash Storage – Übersicht

Der 1980 von Toshiba erfundene Flash-Speicher, der auch als Flash Storage bezeichnet wird, ist eine Art nichtflüchtiger Speicher (d. h., er muss nicht ununterbrochen mit Strom versorgt werden), der elektronisch gelöscht und neu programmiert werden kann.

Es gibt im Prinzip zwei Arten von Flash-Speicher (NOR und NAND), die sich je nach verwendetem Logikgatter auf Schaltkreisebene voneinander unterscheiden. Derzeit macht der NAND-Flash-Speicher mehr als 95 % des Flash-Speicher-Marktes aus. Dieser Speichertyp kommt in fast allen nicht integrierten Flash-Geräten zum Einsatz.

Innerhalb der NAND-Kategorie gibt unter anderem folgende Speichertypen, die nach Anzahl der pro Speicherzelle gespeicherten Bits klassifiziert werden:

• SLC: Ein (einzelnes) Bit pro Zelle
• MLC: Zwei (oder mehr) Bit pro Zelle
• TLC: Drei Bit pro Zelle
• QLC: Vier Bit pro Zelle

DirectFlash ist der ganzheitliche Ansatz von Pure Storage zum Aufbau von All-Flash-Systemen. Für unsere DirectFlash-Module nutzen wir Raw Flash, statt darauf angewiesen zu sein, Standard-SSDs (Solid State Drives) kaufen zu müssen. Dadurch erhalten wir unseren Flash an einer anderen Stelle in der Lieferkette als andere Anbieter von Solid-State-Arrays. DirectFlash bietet jedoch weit mehr Vorteile als nur eine bessere Lieferkettenökonomie.

Das macht DirectFlash aus

Andere All-Flash- oder Hybrid-Arrays, die auf handelsüblichen Standard-SSDs basieren, kommunizieren mit den Flash-Laufwerken im Prinzip auf dieselbe Weise wie mit einer herkömmlichen Festplatte: so, als würde es sich um eine Gruppe zusammenhängender identischer Blöcke handeln.

Festplatten hatten Spuren und Sektoren, und durch Aneinanderreihen all dieser Sektoren würde sich eine lange Reihe von Blöcken ergeben. Bei SSDs wird diese Geometrie durch die Integration komplexer Systeme zwischen System und Flash nachgebildet, die als FTL (Flash Translation Layer, Flash-Übersetzungsschicht) bezeichnet werden.

Bei DirectFlash wird ein anderer Ansatz verfolgt, bei dem mit dem Flash-Speicher direkt kommuniziert wird. Dadurch lässt sich die Leistungsfähigkeit von Flash maximieren, eine bessere Performance und Effizienz erzielen und Strom sparen.

DirectFlash bietet insbesondere folgende Vorteile:

• Medienmanagement auf Systemebene statt auf Laufwerksebene. Das bedeutet, die Laufwerke arbeiten direkt mit dem System zusammen und bieten somit für das System folgende Möglichkeiten:
  • Intelligentere Entscheidungen im Hinblick auf die Datenplatzierung basierend auf einem breiteren Kontext.
  • Überblick über die Aktivitäten des Systems von der Block-, Datei- oder Objektebene bis hin zur einzelnen Flash-Zelle.    
  • Maximale Effizienz durch eine für die Medien optimierte Anordnung der Daten. So entsteht praktisch kein Schreibfaktor und die Lebensdauer verlängert sich.
  • Vermeidung doppelter Arbeit durch die Zentralisierung von Funktionen wie Garbage Collection, Sparing und Wear Leveling.
• Senken der Gesamtkosten für Medien durch Wegfall von doppeltem Aufwand und doppelten Prozessen, die in einem herkömmlichen System bei jedem Laufwerk vorhanden sind. Bei Systemen im Petabyte-Bereich, bei denen SSDs zum Einsatz kommen, können sich für individuelle FTL-Mappings und Metadaten im Laufwerk selbst Terabyte an DRAM befinden – dabei ist der Systemspeicher noch nicht einmal mitgezählt. Zudem enthält jedes Laufwerk zur Überversorgung einen eigenen Spare-Bereich, der für das Medienmanagement durch die FTL erforderlich ist. Jede dieser Komponenten ist ein zusätzlicher Kostenfaktor, der mit zunehmender Laufwerksgröße einen immer größeren Anteil an den Gesamtkosten für Medien ausmacht. Da sich die Kosten pro Bit bei DRAM in den letzten Jahren nicht verringert haben, wird die effiziente Nutzung von DRAM immer wichtiger.
• Höhere Zuverlässigkeit der Module dank einer viel geringeren Ausfallrate (3–4x) im Vergleich zu SSDs in erster Linie aufgrund einer einfacheren Firmware.

Funktionsweise von SSDs (Solid State Drives)

Ein SSD besteht aus NAND-Flash-Chips, die auch als NAND-Flash-Dies bezeichnet werden, wobei jeder Chip in kleinere Elemente unterteilt ist, die als Blöcke bezeichnet werden und ihrerseits aus Pages bestehen.

Flash-Blöcke unterstützen kein zufälliges Überschreiben. Sobald eine Page mit Daten beschrieben ist, muss der gesamte Block gelöscht werden, bevor neue Daten geschrieben werden können. Gleichzeitig sind SSDs so konzipiert, dass sie eine abwärtskompatible Plattensektor-Schnittstelle unterstützen.

Dieser Widerspruch wird durch eine sogenannte Flash-Übersetzungsschicht (FTL, Flash Translation Layer) in der Firmware aufgelöst. In dieser Schicht ist eine virtuelle Plattensektor-Schnittstelle implementiert, die das Schreiben von Daten auf unterschiedliche Flash-Pages unabhängig davon ermöglicht, für welchen logischen Block die Daten bestimmt sind. Dabei ist die FTL für die Zuordnung der Metadaten im eigenen Speicher und Metadaten-Storage verantwortlich.

Da nun jedoch neue Datenversionen auf verschiedene Flash-Pages geschrieben werden, sammeln sich in diesen Blöcken mit der Zeit Daten an, die als „Müll“ (Garbage) bezeichnet werden können, da die Daten entweder überschrieben oder logisch gelöscht wurden.

Um diese physischen Kapazitäten zurückzugewinnen, werden die noch aktuellen Daten im Rahmen eines „Garbage-Collection“-Prozesses in der Firmware des Speichers verschoben, sodass anschließend der gesamte Block, der dann nur noch „Tombstone“-Daten enthält, gelöscht werden kann. Damit diese Garbage Collection funktioniert, benötigt jedes Laufwerk zusätzlichen Flash-Speicher, auch als „Speicherüberversorgung“ bezeichnet, und jedes Garbage-Collection-Ereignis im Flash-Speicher braucht eine bestimmte Anzahl von P/E-Zyklen (Program/Erase, Programmieren/Löschen). Die Anzahl der physischen Schreibvorgänge auf dem Laufwerk, die für die einzelnen logischen Schreibvorgänge gebraucht werden, wird als „Write Amplification“ oder Schreibfaktor bezeichnet.

Überversorgung und Schreibfaktor führen zu vorzeitigem Verschleiß und verkürzter Lebensdauer des SSD. Dieses Design wirkt sich auch auf die Performance aus, da bei jeder Garbage Collection auf diesen Flash-Dies keine Lese- oder Schreibvorgänge durchgeführt werden können. Daher sind Schwankungen in der Performance des SSD unvorhersehbar, je nachdem, ob eine Garbage Gollection durchgeführt wird.

Erschwerend kommt hinzu, dass SSDs keine Möglichkeit haben, das System, das auf sie zugreift, über diese Garbage-Collection-Aktivität zu informieren. Vielmehr muss das SSD die Illusion aufrecht erhalten, dass es wie eine Festplatte funktioniert. Je größer die Anzahl der Bit pro Zelle im NAND-Flash, umso gravierender werden diese Performance-Inkonsistenzen, da die P/E-Zyklen immer länger dauern, was dazu führt, dass auf die Daten immer länger nicht zugegriffen werden kann.

Funktionsweise von DirectFlash

DirectFlash geht beim Management von Flash-Medien einen anderen Weg. Statt dass jedes SSD selbst Wear Leveling und Garbage Collection durchführt und eine Überversorgung vornimmt, übernimmt das Betriebssystem Purity diese Funktionen in der Software auf Array-Ebene. Das bedeutet, dass jedes DirectFlash-Modul einfacher ist als eine herkömmliche Solid-State-Festplatte, da es nur den Zugriff auf das Medium selbst ermöglichen und Low-Level-Daten und Signalisierungsaufgaben verarbeiten muss.

Dies bringt zahlreiche Vorteile mit sich:

• Da Purity alle laufenden und geplanten Systemaufgaben (wie aktuelle I/O-Aktivitäten, Datenreduktionsvorgänge, ausstehende Garbage-Collection-Zyklen) und die Array-Workload sowie den Array-Zustand insgesamt kennt, entscheidet nicht jedes SSD über Datenplatzierung und Medienmanagement im luftleeren Raum. Dadurch kann Purity viel intelligentere Platzierungs- und Planungsentscheidungen treffen, als dies ein einzelnes Laufwerk für sich könnte.
• Durch intelligentere Entscheidungen bei der Datenplatzierung können Daten, bei denen eine ähnliche Lebensdauer erwartet wird, in denselben Blöcken untergebracht werden, um die Fälle zu minimieren, in denen einige Daten in Blöcken zu „Tombstone“-Daten werden, während andere Pages noch verfügbar sind. Purity weiß, ob bestimmte Pages Teil einer Datei bzw. eines Objekts sind oder vom selben Hostsystem stammen. Und da diese Pages beim Löschen der jeweiligen Datei bzw. des jeweiligen Objekts zu Gruppen zusammengefasst werden, kann der gesamte Block auf einmal freigegeben werden, ohne dass andere Live-Daten neu geschrieben werden und Schreibverstärkung verursacht wird.
• Da bei DirectFlash-Modulen keine Garbage Collection durchgeführt und kein Schreibfaktor verursacht wird, sind diese Module leistungsfähiger und langlebiger als ihre herkömmlichen Gegenstücke. Weniger Schreibvorgänge bedeuten weniger Verschleiß und damit eine längere Lebensdauer des Laufwerks. Weniger Schreibvorgänge bedeuten auch, dass mehr I/O-Zyklen für „echte“ Client-I/O zur Verfügung stehen. Und da Purity die aktuelle I/O-Aktivitäten kennt und den Überblick über das gesamte System hat, wird das Betriebssystem nie von einem dieser P/E-Zyklen überrascht, die den Zugriff auf Daten blockieren. Im schlimmsten Fall kann Purity diese Daten einfach aus der Parität rekonstruieren, anstatt auf das Ende eines P/E-Zyklus zu warten. Dadurch wird die Worst-Case-Latenz unserer Systeme selbst bei Verwendung von QLC-Flash erheblich reduziert.
• Da wir all diese Medienmanagementaufgaben in der Software durchführen, können wir diese Software mit der Zeit immer weiter verbessern. Alle mit dem Internet verbundenen Pure Storage®-Systeme melden Telemetriedaten zurück. Und da wir einen guten Überblick über den Zustand und die Aktivität des zugrunde liegenden Flash-Speichers haben, aggregieren und analysieren wir diese Daten, um die Funktionsfähigkeit unserer Software in der Praxis zu verbessern. Das bedeutet, dass sich die Zuverlässigkeit und Performance unserer Systeme mit regelmäßigen Softwareupdates verbessern lässt.
• Und schließlich benötigen unsere DirectFlash-Module weder komplexe Controller noch große Arbeitsspeicher, um all diese Aufgaben allein zu bewältigen, da diese Aktivitäten auf Array-Ebene in Software durchgeführt werden. Somit sind unsere Module einfacher und damit zuverlässiger und zudem auch effizienter. Angesichts der Fortschritte in der NAND-Flash-Fertigungstechnologie können wir die Größe unserer Speicher zudem skalieren, ohne dass sich dadurch die Komplexität oder Kosten für die Speicherlaufwerke erhöhen.

Das bedeutet für unsere Kunden, dass die Systeme mehr Performance, mehr Konsistenz und mehr Zuverlässigkeit bieten und zudem noch langlebiger sind als andere All-Flash- oder Hybrid-Systeme mit SSDs.

Pure wurde mit der Überzeugung gegründet, dass die Zukunft des Rechenzentrums ganz im Zeichen von Flash steht – und wir haben unsere DirectFlash-Technologie entwickelt, um diese Vision Wirklichkeit werden zu lassen. Wir sind der Überzeugung, dass sich All-Flash-Systeme am besten entwickeln lassen, wenn sie gleich von Anfang an für All-Flash entwickelt werden. Das bedeutet, dass die Teile des Systems, die auf veralteten Schnittstellen und Paradigmen beruhen, ersetzt werden, sodass sich die Technologie voll entfalten kann.