Was ist HPC?

High-Performance Computing (HPC) ist die Fähigkeit, Berechnungen auf synchronisierte Weise über eine große Anzahl vernetzter Computer auszuführen. Mit HPC können Berechnungen durchgeführt werden, die für normale Computer zu umfangreich sind. Dadurch können große Operationen innerhalb kürzerer Zeit durchgeführt werden. HPC wird auch als „Supercomputing“ bezeichnet, und Hochleistungsrechner werden oft „Supercomputer“ genannt.

HPC ist besonders wichtig angesichts der beispiellosen Geschwindigkeit, mit der heute Daten erzeugt werden. Es wird erwartet, dass allein IoT-Geräte bis zum Jahr 2025 fast 80 Zettabyte an Daten produzieren werden. Eine einzige Fabrik mit IoT-Geräten könnte täglich Hunderte von Terabytes an Daten erzeugen. Es ist nicht möglich, eine so große Datenmenge auf einem einzigen Computer zu verarbeiten. HPC hingegen kann riesige Datensätze verarbeiten, indem es Operationen mithilfe von Software und Netzwerkfunktionen auf mehrere Computer aufteilt.

Schauen wir uns einmal genauer an, warum HPC wichtig ist und wie es eingesetzt wird.

Warum ist HPC wichtig?

HPC ermöglicht die Simulation oder Analyse riesiger Datenmengen, die sonst mit Standardcomputern nicht möglich wäre. Dies wiederum führt zu großen Fortschritten in Bereichen wie der wissenschaftlichen Forschung, wo der Einsatz von HPC zu Durchbrüchen in allen Bereichen geführt hat, von Krebsbehandlungen bis hin zu COVID-19-Impfstoffen. 

Wie funktioniert HPC?

Ein einzelner Hochleistungsrechner besteht aus einer Gruppe von Computern, die als „Cluster“ bezeichnet wird. Jeder Computer in einem Cluster wird als „Knoten“ bezeichnet. Jeder Knoten verfügt über ein Betriebssystem, das aus einem Prozessor mit mehreren Kernen, Storage und Netzwerkfunktionen besteht, die es den Knoten ermöglichen, miteinander zu kommunizieren. Ein kleiner Cluster kann beispielsweise aus 16 Knoten mit 64 Kernen oder vier Kernen pro Prozessor bestehen, was in Verbindung mit Netzwerkfunktionen bewirkt, dass der Hochleistungscomputer viel schneller rechnet als ein normaler Computer. 

Wo wird HPC eingesetzt?

Derzeit wird HPC in einer Vielzahl von Branchen eingesetzt. In Zukunft werden fast alle Branchen zu HPC wechseln, um große Datenmengen zu bewältigen. Der Einsatz von HPC hat sich in Branchen, in denen große Datenmengen schnell analysiert werden müssen, besonders stark durchgesetzt:  

• Wissenschaftliche Forschung
• Astronomie
• Maschinelles Lernen
• Cybersicherheit
• Genomsequenzierung 
• Animation
• Molekulardynamik
• Visuelle Effekte
• Finanzdienstleistungen
• Modellierung finanzieller Risiken
• Marktdatenanalyse
• Produktentwicklung
• Greenfield-Design
• Computergestützte Chemie
• Seismische Bildgebung
• Wettervorhersage
• Autonomes Fahren

Welche Faktoren machen HPC möglich?

Der Einsatz von HPC wird insbesondere durch vier Faktoren vorangetrieben:

Verarbeitungsleistung

Einfach ausgedrückt: Die Bandbreite, die für die Verarbeitung riesiger Datenmengen erforderlich ist, kann nicht von einem einzigen Prozessor bewältigt werden. Stattdessen arbeiten in einem HPC-Modell mehrere Rechenzentren parallel, um Ergebnisse zu liefern. Beachten Sie, dass in diesem Modell gilt:

• Die Sammlung von einzelnen Computern, die miteinander vernetzt sind, wird als „Cluster“ bezeichnet.
• Jede einzelne Verarbeitungseinheit im Cluster wird als „Knoten“ bezeichnet.
• Jeder Prozessor in einem Knoten hat mehrere Kerne. 

So ist beispielsweise ein Cluster mit 16 Knoten mit jeweils vier Kernen ein sehr kleiner Cluster, der insgesamt 64 parallel arbeitende Kerne umfasst.

Bei den meisten HPC-Anwendungsfällen arbeiten heute Tausende von Kernen parallel, um bestimmte Prozesse in kürzerer Zeit abzuschließen. IaaS-Anbieter (Infrastructure-as-a-Service) bieten Benutzern die Möglichkeit, bei Bedarf eine große Anzahl von Knoten zu nutzen und die Workload zu verringern, wenn die Aufgabe abgeschlossen wurde. Benutzer zahlen nur für die benötigte Rechenleistung, ohne die mit dem Aufbau einer Infrastruktur verbundenen Investitionskosten (CAPEX). Bei IaaS haben Benutzer in der Regel auch die Möglichkeit, die Anordnung der Knoten für bestimmte Anwendungen vorzuschreiben, falls erforderlich.

Betriebssystem

Betriebssysteme bilden die Schnittstelle zwischen der Hardware und der Software, die bei HPC zum Einsatz kommen. Die beiden wichtigsten Betriebssysteme, die in HPC-Umgebungen eingesetzt werden, sind Linux und Windows. Linux wird in der Regel für HPC verwendet, während Windows nur dann zum Einsatz kommt, wenn Windows-spezifische Anwendungen erforderlich sind. 

Netzwerk

Bei HPC verbindet das Netzwerk die Computerhardware, den erforderlichen Storage und den Benutzer miteinander. Die Computerhardware wird über Netzwerke verbunden, die eine große Bandbreite an Daten verarbeiten können. Die Netzwerke sollten auch eine geringe Latenzzeit haben, um eine schnellere Datenübertragung zu ermöglichen. Datenübertragungen und die Verwaltung von Clustern werden von Clustermanagern, Verwaltungsservices oder Schedulern übernommen. 

Der Cluster Manager verteilt die Workload auf die verteilten Rechenressourcen wie CPUs, FPGAs, GPUs und Festplattenlaufwerke. Alle Ressourcen müssen mit demselben Netzwerk verbunden sein, damit der Cluster Manager die Ressourcen verwalten kann. Wenn Sie die Services eines IaaS-Anbieters in Anspruch nehmen, werden alle für die Verwaltung der Infrastruktur erforderlichen Einrichtungen automatisch vom Anbieter bereitgestellt.

Storage

Schließlich müssen die von HPC zu verarbeitenden Daten in einem großen Daten-Repository gespeichert werden. Da diese Daten in verschiedenen Formen vorliegen können – strukturiert, halbstrukturiert und unstrukturiert – können verschiedene Arten von Datenbanken nötig sein, um die Daten zu speichern.

Daten in ihrem Rohformat werden in einem Data Lake gespeichert. Es kann schwierig sein, diese Daten zu verarbeiten, da sie noch keinem Zweck zugeordnet sind. In Data Warehouses werden Daten nach der Verarbeitung gespeichert, nachdem sie entsprechend dem jeweiligen Zweck bereinigt wurden. 

Storage: Das fehlende Bindeglied bei HPC

In vielen HPC-Anwendungsfällen wird der Storage übersehen, obwohl er ein wichtiges Element der Architektur darstellt. HPC wird eingesetzt, wenn große Datenmengen parallel verarbeitet werden müssen, wobei die Performance davon abhängt, ob alle Komponenten der Architektur miteinander Schritt halten können. 

Herkömmliche Storage-Lösungen sind möglicherweise nicht in der Lage, den Anforderungen von HPC gerecht zu werden, was zu Engpässen im Prozess führen und die Performance beeinträchtigen kann. Daten-Storage muss mit der Verarbeitungsgeschwindigkeit des Systems mithalten können, weshalb viele HPC-Architekturen UFFO-Storage (Unified Fast File and Object) verwenden.

Evergreen//One™ bietet schnellen und zuverlässigen UFFO-Storage mit dem Komfort des Pay-as-You-Go-Modells (PaYG). Es kann in lokalen Modellen und in Hybrid-Cloud-Modellen eingesetzt werden und ist ideal für HPC-Umgebungen, die eine Skalierung des Betriebs ohne Performance-Einbußen erfordern.

Wechseln Sie noch heute zu Evergreen//One. Für Neukunden ist der Service die ersten drei Monate kostenlos.