Che cos'è lo storage HPC? Guida definitiva

Lo storage HPC (High Performance Computing) comprende la rete a bassa latenza con accesso ai dati ad alta velocità richiesto per i progetti HPC. L'HPC è l'uso di computer e supercomputer in cluster e connessi per eseguire attività complesse in parallelo. 

Ma non è solo la velocità computazionale a rendere l'HPC così importante. È la capacità dell'HPC di analizzare enormi dataset di scalabilità degli exabyte a renderlo responsabile di così tante innovazioni moderne. Per eseguire queste attività complesse, gli ambienti HPC richiedono soluzioni di storage moderne per i cluster HPC. 

Inoltre, man mano che l'intelligenza artificiale (AI) e l'HPC convergono, le aziende tradizionali possono trarre ancora più vantaggio dalla comprensione e dall'architettura per l'HPC, adottando al contempo l'AI. Alcuni leader aziendali stanno anche scegliendo di abbandonare i loro team HPC tradizionali a favore di un'infrastruttura AI convergente più stabile e agile che implementano autonomamente o tramite partner integratori di sistema.

Ecco un approfondimento sulle esigenze di storage dell'HPC e su come progettare le infrastrutture aziendali per supportarle.

L'HPC è l'uso di sistemi computazionali avanzati (ad esempio, supercomputer o cluster di computer a performance elevate) per elaborare attività complesse in parallelo, solitamente in settori come la ricerca scientifica, l'ingegneria, la produzione e la scienza informatica. L'HPC supporta simulazioni scientifiche, modellazione, verifiche e AI generativa, consentendo a ricercatori e professionisti di analizzare enormi set di dati e scoprire problemi complessi in modo efficiente. 

L'ambito è un aspetto, l'altro è la velocità. E più veloce è l'infrastruttura dati sottostante a questi sistemi, più veloci saranno i calcoli.

Scopri in che modo il team Mercedes-AMG Petronas F1 utilizza una griglia di calcolo a performance elevate per trasformare le simulazioni delle gallerie del vento in prototipi. >>

Esistono diversi tipi di calcolo a performance elevate per vari casi d'uso. Una cosa che tutti hanno in comune: Generano ed elaborano enormi quantità di dati. I tipi più comuni di calcolo a performance elevate sono definiti dal modo in cui i computer lavorano insieme e da ciò su cui stanno lavorando insieme, tra cui:

• Supercomputing: Progettato per calcoli numerici intensivi spesso utilizzati in simulazioni scientifiche, modellazione climatica, digital twin, ambienti di realtà aumentata o virtuale e ricerca avanzata.
• Cluster computing: I computer in rete lavorano in parallelo su attività distribuite su più macchine, spesso utilizzate negli istituti accademici e di ricerca. I cluster HPC (High Performance Computing) sono una raccolta di computer interconnessi a performance elevate progettati per l'elaborazione parallela, spesso in applicazioni scientifiche e ingegneristiche.
• Calcolo distribuito: Quando i sistemi sono inattivi, è possibile sfruttare più computer connessi tramite una rete, grazie al software che i volontari scaricano per rendere i propri computer disponibili quando non sono in uso. I progetti HPC come Folding@home sfruttano questi sistemi. 
• Cloud computing: I server remoti memorizzano, gestiscono ed elaborano i dati, offrendo risorse di calcolo scalabili per varie applicazioni. Le soluzioni HPC basate su cloud offrono accesso on demand a risorse di calcolo a performance elevate, in modo che gli utenti possano accedere alla potenza di calcolo senza grandi investimenti anticipati.
• Calcolo quantistico: Sebbene sia ancora una nuova area di ricerca e raramente utilizzata nell'azienda, il calcolo quantistico ha il potenziale di eseguire calcoli su vasta scala per risolvere problemi complessi più velocemente rispetto ai computer classici.
• Calcolo accelerato: L'utilizzo di acceleratori hardware specializzati come le unità di elaborazione grafica (GPU) e le unità di elaborazione neurale (NPU) per migliorare le performance computazionali, specialmente nelle attività correlate all'AI e anche nelle simulazioni del mondo reale come i Digital Twin e l'onniverso. 

Scopri come Folding@home gestisce un superpotere di calcolo su FlashBlade ®. >>

Sì e no. Sebbene i progetti di AI sfruttino quasi sempre le risorse HPC, la maggior parte dei progetti HPC non è strettamente correlata all'AI.

Mentre le aziende cercano di riprogettare le proprie infrastrutture IT per supportare nuovi progetti di AI, le infrastrutture HPC sono spesso considerate modelli per le infrastrutture AI, se non perché sono simili per ambito e scalabilità. L'HPC si avvicina quanto molte aziende hanno realizzato data center progettati per progetti di questo ambito, hardware specializzato come GPU, chip e potenza computazionale; tuttavia, i due non sono sinonimi.

I progetti di AI richiedono molta potenza computazionale, acceleratori hardware e architetture di elaborazione parallele, oltre al cluster computing durante la trasformazione dei dati e il model training, come nell'HPC. Inoltre, sfruttano una varietà di tecnologie e metodi, tra cui l'HPC. (Altri includono il deep learning, la visione artificiale, il machine learning e l'elaborazione del linguaggio naturale). 

L'HPC può supportare l'AI, ma è anche più ampia. Mentre l'AI si concentra su modelli e algoritmi per agevolare il processo decisionale, il riconoscimento dei pattern e l'elaborazione del linguaggio (come vediamo con l'AI generativa), i progetti HPC possono essere applicati a una gamma più ampia di attività che vanno oltre l'AI, tra cui scienza, simulazioni, ricerca, ingegneria, analisi dei dati e modellazione numerica.

Differiscono anche nel modo in cui gestiscono i dati. L'AI funziona con dataset di grandi dimensioni, necessari per addestrare i modelli. L'HPC è in grado di gestire e gestisce dataset di grandi dimensioni, ma si concentra maggiormente sui calcoli che esegue. 

"L'HPC è raramente nel dominio dell'IT aziendale, di solito rimanendo all'interno dei confini del mondo accademico e della ricerca. La maggior parte delle aziende non è nemmeno in conflitto con l'HPC, ma anche per quelle che lo hanno fatto, spesso non si mescola con altri workflow, è trattato come un silo e gestito come una bestia diversa". - Podcast IT di Gestalt

Il cloud computing è lo stesso dell'HPC?

No, il cloud computing non è sinonimo di HPC. Il cloud computing, come accennato in precedenza, è più di un "come", e fornisce risorse che possono essere sfruttate per i progetti HPC. In generale, il cloud computing è un concetto che definisce il modo in cui i servizi e le infrastrutture vengono ospitati e distribuiti, e questo può includere l'HPC.

Quali settori si affidano all'HPC?

Come abbiamo detto prima, le organizzazioni che sfruttano più probabilmente le reti HPC e gli ambienti di storage HPC sono quelle che operano nei settori della ricerca scientifica, delle scienze ambientali, delle previsioni meteorologiche, dell'ingegneria aerospaziale e automobilistica, dei servizi finanziari, del petrolio e del gas, della produzione e della sanità, tra cui la ricerca genomica e i test farmaceutici.

L'HPC non si limita a questi campi, tuttavia, e può andare a vantaggio di qualsiasi azienda che abbia bisogno di eseguire calcoli complessi, eseguire simulazioni con elevati volumi di dati, elaborare grafica, animazioni ed effetti visivi ad alta definizione o condurre l'analisi dei big data.

Gli ambienti HPC hanno in genere tre componenti principali: processori informatici, rete e storage. Una domanda fondamentale dei progetti HPC è costituita dall'accesso rapido ai dati, che rende lo storage un componente critico per il successo di questi ambienti. 

Per operare con velocità e scalabilità, gli ambienti HPC richiedono architetture di file system moderne con tier hot e cold e server di metadati ad alta disponibilità. L'integrazione di NVMe e object storage offre al sistema HPC la possibilità di soddisfare le esigenze dei workload moderni con bassa latenza e larghezza di banda elevata.

Il data storage HPC funziona scaricando i dati da CPU, memoria e controller di storage in modo rapido ed efficiente, in modo che le CPU possano continuare l'elaborazione senza interruzioni. Anche la data platform di un sistema HPC deve essere accessibile e in tiering, mantenendo i dati caldi vicini e accessibili dai nodi.

Architettura di storage HPC: Elaborazione parallela, clustering e interconnessioni ad alta velocità

Nel calcolo a performance elevate, ci sono tre concetti fondamentali chiave che spiegano come vengono svolte le attività:

• Elaborazione parallela: Descrive il modo in cui i computer (o i nodi) interagiscono per eseguire un'attività. Nell'HPC, i grandi problemi possono essere suddivisi in attività più piccole, quindi risolti da più processori o core di elaborazione contemporaneamente, il che è il modo in cui l'HPC è in grado di gestire sia enormi dataset che calcoli così rapidamente. Le attività possono essere gestite in modo indipendente da processori o processori che possono collaborare a una singola attività. Indipendentemente dal fatto che si dividano e conquistino, è fondamentale che avvengano in parallelo.
• Clustering: Il clustering è un'architettura sfruttata dall'HPC in cui più nodi interagiscono insieme, consentendo di nuovo il lavoro parallelo, su una scala più ampia. È anche un modo per integrare l'affidabilità in un ambiente HPC. Poiché i nodi sono connessi da una rete in un unico sistema unificato, le attività possono essere suddivise ed eseguite, anche in caso di guasto di un nodo sulla rete. Ciò include l'orchestrazione e la pianificazione, in cui il software gestisce le risorse del cluster disponibili e delega in modo intelligente il lavoro al cluster più adatto. 
• Interconnessioni ad alta velocità: Descrive la comunicazione tra i nodi su un cluster e questi collegamenti (ad esempio Ethernet ad alta velocità) sono la spina dorsale della potenza e della velocità di collaborazione dell'HPC. Le interconnessioni ad alta velocità consentono una comunicazione rapida e un'elaborazione parallela rapida ed efficiente tra i computer nel cluster e tra i nodi di storage e i nodi di elaborazione.

Funzionalità da ricercare nello storage HPC

Lo storage sta diventando sempre più importante nell'era delle applicazioni, dei Big Data e dell'HPC. Ciò che serve è una nuova architettura innovativa per supportare applicazioni avanzate, fornendo al contempo le migliori performance in tutte le dimensioni della simultaneità: IOPS, velocità di trasmissione, latenza e capacità. Idealmente, lo storage HPC offre:

• Una soluzione di storage flash con un sistema scale-out elastico in grado di fornire performance all-flash a dataset scalabili in petabyte, ideale per i Big Data Analytics
• Ampia scala orizzontale per consentire operazioni di lettura/scrittura simultanee, mentre più nodi accedono allo storage contemporaneamente
• Efficienza e semplicità per gli architetti dello storage
• Accesso ai dati ad alta velocità. Lo storage deve essere in grado di gestire le richieste rapide e frequenti.
• Ridondanza e tolleranza ai guasti
• NVMe per un accesso a bassa latenza
• Object storage per semplificare e soddisfare le esigenze delle applicazioni cloud-native

Strumenti avanzati di gestione dei dati come la data reduction che facilitano la compressione e la deduplica

Sebbene sia lo storage HPC che lo storage cloud gestiscano i dati, hanno delle differenze chiave.

• Il cloud è generico, l'HPC è specifico. Lo storage HPC è personalizzato per le applicazioni di calcolo a performance elevate, ottimizzato per un'elaborazione parallela efficiente e un accesso rapido ai dati. Lo storage cloud offre lo storage as-a-Service generale per un'ampia gamma di applicazioni (incluso l'HPC).
• Il cloud è un modello operativo. Lo storage cloud è un modello di servizio per l'archiviazione e la gestione dei dati da remoto. 
• HPC è ottimizzato per le performance. I servizi di storage cloud possono limitare la quantità di progetti di personalizzazione granulare necessari per ottenere performance ottimali. Lo storage HPC sarà ottimizzato per la velocità e l'accesso, mentre il cloud favorisce maggiormente la flessibilità e la scalabilità.
• I modelli di costo dello storage cloud ti costringono a "acquistare" più capacità per ottenere più performance, anche se non hai bisogno di spazio di storage aggiuntivo.

Si noti che i workload HPC di università e centri di ricerca si stanno spostando sempre più verso il cloud, mentre i workload HPC commerciali e aziendali tendono ancora a essere on-premise. Tuttavia, il costo totale di proprietà (TCO) è elevato per i workload HPC basati su cloud e anche il rimpatrio dei dataset HPC in locale o il loro trasferimento a un altro cloud provider è costoso.

Il calcolo a performance elevate è già complesso e impegnativo, quindi non sorprende che lo sia anche l'ambiente di storage necessario per supportarlo. I workload complessi, l'elevato volume di dati nell'intervallo degli exabyte, i requisiti di sicurezza dei dati, le integrazioni e il tiering dei dati rendono l'HPC un'attività complicata. Tuttavia, le soluzioni che offrono funzionalità solide e facilità d'uso, come Pure Storage ® FlashBlade, possono gestire e persino compensare tale complessità senza aggiungere colli di bottiglia o ritardi.

Lo storage HPC potrebbe non essere sempre la soluzione più conveniente per ogni sistema o rete, poiché non tutti i workload richiedono uno storage specificamente ottimizzato per le sfide HPC. Tuttavia, man mano che sempre più workload come l'AI diventano comuni nell'azienda, le stesse performance e scalabilità richieste dallo storage HPC potrebbero rivelarsi più vantaggiose a livello universale.

Lo storage HPC è pensato per soddisfare le esigenze specifiche di attività computazionali su larga scala, simulazioni e applicazioni data-intensive, ma non tutti i workload richiedono tale velocità e scalabilità e possono avere altri requisiti univoci. È importante valutare i pro e i contro, ma in generale lo storage HPC è vantaggioso per:

• Data set di grandi dimensioni e workload complessi
• Performance per supportare l'elaborazione parallela e l'accesso rapido ai dati
• Crescita dei dati prevista
• Stretta integrazione con i cluster di elaborazione

FlashBlade è utilizzato da oltre il 25% delle aziende Fortune 100 per la sua semplicità, agilità e capacità di:

• Massimizza l'utilizzo di GPU e CPU.
• Promuovi IOPS enormi, velocità di trasmissione con alta simultaneità e bassa latenza senza compromettere le performance multidimensionali.
• Supporta decine di miliardi di file e oggetti con massime performance e data services avanzati.
• Sfrutta le API automatizzate e il supporto dei protocolli NFS, SMB e S3 nativi a performance elevate per semplificare deployment, gestione e aggiornamenti.

Scopri in che modo FlashBlade supporta il calcolo a performance elevate per queste tre organizzazioni innovative. >>