Ein dedizierter GPU-Server ist ein Server mit mindestens einer GPU (Graphics Processing Unit), die die zum Ausführen von rechenintensiven Aufgaben wie Video-Rendering, Datenanalyse und maschinelles Lernen erforderliche Leistung und Geschwindigkeit bietet. Dedizierte GPU-Server können auch eine spezielle CPU enthalten und sind mit besonders großem RAM und Storage ausgestattet.
Dank der parallelen Architektur einer GPU, die ursprünglich für die Grafik- und Videoverarbeitung entwickelt wurde, kann ein dedizierter GPU-Server mehrere Aufgaben gleichzeitig mit einer Geschwindigkeit bewältigen, die die Möglichkeiten eines CPU-basierten Servers übersteigt.
Was ist ein GPU-Rack-Server?
Ein GPU-Rack-Server ist ein Server, der mit speziell für ein Server-Rack entwickelten GPUs ausgestattet ist. Ein Server-Rack ist ein rechteckiges Gestell mit mehreren Einbauschächten zur Aufnahme von Rack-Servern und anderen Netzwerkkomponenten. Server werden platzsparend aufeinander gestapelt und werden je nach Bedarf in das Rack hineingeschoben oder aus dem Rack herausgezogen.
Ein GPU-Rack-Server bietet verschiedene Vorteile wie eine bessere Raumnutzung, eine höhere Skalierbarkeit, eine optimierte Luftführung und eine einfachere Wartung.
Gründe für den Einsatz eines dedizierten GPU-Servers
GPUs sind die durchsatzoptimierten, spezialisierten Pendants zu CPUs. Anstelle einiger ressourcenintensiver Kerne mit hohen Taktfrequenzen zum Durchführen verschiedener rechenintensiver Aufgaben kommen bei GPUs Tausende von ressourcenschonenden Kernen zum Einsatz, die für die parallele Verarbeitung (d. h. für SIMD, Single Instruction, Multiple Data) dieser Prozesse optimiert sind.
Diese Kerne arbeiten mit Befehlssätzen, die für die dimensionale Matrixarithmetik und Gleitkommaberechnungen optimiert sind, und ermöglichen so eine schnellere lineare Algebra. So entsteht ein für parallele Berechnungen optimiertes System.
Gründe für den Einsatz eines dedizierten GPU-Servers:
- Big-Data-Analyse-Pipelines
- Streaming-Videos
- Bildverarbeitung
- 3D-Animationen und Simulationen (z. B. Modellierung der Faltung von Proteinketten)
- Deep-Learning-Anwendungen (z. B. Spracherkennung)
- Hash-Cracking (z. B. Passwortwiederherstellung)
- Crypto-Mining
Wenn auch nur eine Operation beschleunigt werden muss, die von der parallelen Ausführung auf Tausenden Kernen profitieren kann, kann sich ein dedizierter GPU-Server lohnen.
Arten von GPU-Rack-Servern
GPU-Rack-Server passen in Server-Racks oder Schränke. Server-Racks und die darin installierten Geräte werden in Höheneinheiten (HE) angegeben. Eine HE beschreibt die Höhe der Geräte (z. B. die Höhe eines Servers oder die Höhe und Anzahl der Fächer in einem Server-Rack).
Eine HE entspricht 1,75 Zoll. Das bedeutet, dass die Höhe eines 1-HE-Servers 1,75 Zoll und die eines 2-HE-Servers 3,5 Zoll entspricht. Eine 32-HE-Rack-Einheit kann beispielsweise 32 1-HE-Server, 4 8-HE-Server oder 1 32-HE-Server aufnehmen.
Weitere Informationen zum Rack-Sizing finden Sie unter „A Definitive Guide to 19-Inch Server Rack Sizes“.
Kleinere und größere Formfaktoren im Vergleich
Rack-Server mit kleineren bzw. größeren Formfaktoren unterscheiden sich hauptsächlich durch ihre Dichte und Erweiterungsfähigkeit.
1-HE- & 2-HE-GPU-Rack-Server
GPU-Server mit kleineren Formfaktoren (z. B. 1- und 2-HE-GPU-Rack-Server) wurden speziell für eine hohe Performance-Dichte entwickelt, sind dafür jedoch nicht so leistungsfähig wie GPU-Server mit größeren Formfaktoren. Sie werden häufig verwendet, weil sie kostengünstiger sind und wenig Platz im Server-Rack beanspruchen.
1-HE- und 2-HE-GPU-Rack-Server sind wartungsfreundlich, extrem portabel und einfach zu skalieren (die Performance kann durch Einsatz mehrerer Server skaliert werden). Ein 1-HE-Server kann in der Regel ein bis zwei CPUs, mehrere Terabyte Speicher und mehrere GPUs aufnehmen. Ein 2-HE-Server mit der doppelten Höhe eines 1-HE-Servers bietet etwas mehr Platz für Rechenleistung und Storage.
In Servern mit kleinerem Formfaktor werden die GPUs aus Platzgründen in der Regel horizontal montiert. Zudem ist wenig Platz für PCIe-Steckplätze und Storage vorhanden, wobei hier die Möglichkeit der Erweiterung mittels PCIe-Erweiterungs-Kit oder JBOD-Gehäuse besteht.
8-HE- & 16-HE-GPU-Rack-Server
Größere GPU-Rack-Server mit 8 HE und 16 HE sind auf Workloads ausgelegt, die eine umfangreichere Leistungsfähigkeit erfordern. Sie verfügen über mehr Platz für Storage und zusätzliche Erweiterungssteckplätze, sodass mit zusätzlichen PCIe-Karten die Performance bei der Datenverarbeitung verbessert werden kann. Der zusätzliche Platz ist darüber hinaus auch für eine bessere Luftzirkulation zur Vermeidung einer Überhitzung förderlich.
In Servern mit größerem Formfaktor werden GPUs vertikal installiert, wobei sich der zusätzliche Platz für die Stromanschlüsse an der Oberseite der Karte und nicht an deren Rückseite befindet.
So bemessen Sie die Größe eines dedizierten GPU-Servers
Beim Sizing eines dedizierten GPU-Servers müssen Sie die gewünschten Produktfunktionen sowie Ihre aktuellen und zukünftigen Geschäftsanforderungen berücksichtigen. Die optimale Serverkonfiguration hängt von den Ziel-Workloads, den jeweiligen Anwendungsfällen des Servers und der gewünschten Geschwindigkeit ab.
Dedizierte GPU-Server können für bestimmte Ziel-Workloads wie Video-Rendering, Deep-Learning-Training, Inferenz, Big-Data-Analyse und High-Performance-Computing (HPC) konfiguriert werden. Die optimale Serverkonfiguration hängt von den Ziel-Workloads, den jeweiligen Anwendungsfällen des Servers und der gewünschten Geschwindigkeit ab.
GPUs verbrauchen viel Strom und erzeugen jede Menge Wärme. Sie sind größer als CPUs und benötigen zusätzlichen Platz für Stromanschlüsse. Das Servergehäuse muss nicht nur groß genug sein, um die gewünschte Anzahl von GPUs aufzunehmen. Zur Vermeidung von Überhitzung und Thermal Throttling muss es auch eine gute Belüftung ermöglichen.
Wie viel kostet ein dedizierter GPU-Server?
Verständlicherweise variieren die Kosten, je nachdem, ob Sie einen eigenen dedizierten GPU-Server bauen, einen Server mieten oder Cloud-basierte Services nutzen.
Wenn Sie einen eigenen Server bauen, müssen Sie die Kosten für GPU, Netzteil, Gehäuse, die spezielle CPU, RAM und Storage berücksichtigen. Möglicherweise müssen Sie auch die mit dem Bau von lokalen Rechenzentren verbundenen Kosten, beispielsweise für Strom, Platz, Kühlung und Wartung, berücksichtigen sind.
GPUs werden nach Spezialisierungen eingeteilt, und die Preise variieren je nach Anwendungsfall. NVIDIA bietet beispielsweise Tesla V100-basierte Server an, die für Deep Learning und hochpräzise Berechnungen geeignet sind. Eine GPU mit Spitzenbewertung wie die Nvidia GTX Titan Z von NVIDIA kann rund 3.000 USD kosten.
Wenn Sie sich für eine Cloud-Plattform entscheiden, können Sie zwischen verschiedenen Cloud-Serviceprovidern wählen, die Tarife für dedizierte GPU-gestützte Server bieten, darunter die großen Cloud-Serviceprovider wie AWS V2 Cloud, Google Cloud Platform und Azure. AWS bietet beispielsweise On-Demand-Preise ab 0,900 USD pro Stunde für eine GPU und vier virtuelle Kerne.
GPU-Rack-Server: kaufen oder mieten
Die Entscheidung für Kauf oder Miete hängt von verschiedenen Faktoren ab. Dabei sind die wichtigsten Faktoren das Budget des Unternehmens und die potenziellen Anwendungsfälle.
Der Kauf eines GPU-Rack-Servers ist mit Anschaffungskosten verbunden. GPUs mit Spitzenbewertungen für Machine-Learning-Workloads können recht kostspielig sein. Zusammen mit den Kosten für Wartung, Energie und Bandbreite, die beim Aufstellen des GPU-Servers vor Ort anfallen, können Ihre anfänglichen Investitionskosten in astronomische Höhen steigen.
Angesichts der rasanten Innovationen bei modernen Technologien birgt der Kauf eines GPU-Servers das Risiko, dass er veraltet ist, bevor sich Ihre Investition bezahlt gemacht hat. Darüber hinaus entstehen auch durch die Aktualisierung des Systems zusätzliche Kosten.
Wenn Sie mit großen Datensätzen arbeiten und Ihre Modelle in einer Produktionsumgebung implementieren möchten, sollten Sie sich überlegen, ob es nicht sinnvoll ist, eine GPU-Infrastruktur bei einem Cloud-Serviceprovider anzumieten. Bei diesem Abonnementmodell bezahlen Sie je nach genutzten Ressourcen stundenweise oder monatlich und können die Leistung dem jeweiligen Bedarf anpassen.
Modernste KI-Infrastruktur dank Pure Storage
Ein dedizierter GPU-Server bietet gegenüber einem CPU-basierten Server verschiedene Vorteile wie etwa eine höhere Leistung, mehr Flexibilität und eine bessere Auslastung von CPU-Ressourcen. Dedizierte GPU-Server können gekauft oder von einem Serviceprovider angemietet werden.
AIRI//S™ ist eine einfache, extrem skalierbare Flash-basierte KI-Infrastruktur, die von Pure Storage® und NVIDIA entwickelt wurde. AIRI//S basiert auf den neuesten NVIDIA-DGX-Systemen und Pure Storage FlashBlade//S®-Storage, dem Betriebssystem Pure Storage Purity//FB und Pure1® für das Cloud-Management.
Beispielloser KI-Erfolg dank Pure und AIRI//S.
