什麼是 HPC 儲存？ 確定性指南

高效能運算（HPC）儲存包含低延遲網路，以及 HPC 專案所需的高速資料存取。HPC 是使用叢集和連接的電腦和超級電腦，同時執行複雜的任務。 

但運算速度不僅讓 HPC 變得如此重要。HPC 能夠分析龐大的 exabyte 規模資料集，進而為許多現代化突破負責。為了執行這些複雜的任務，HPC 環境需要 HPC 叢集的現代化儲存解決方案。 

此外，隨著人工智慧 （AI和 HPC 的融合，傳統企業在採用 AI 的同時，還能從 HPC 的理解和架構中獲益更多。部分企業領導者甚至選擇放棄傳統 HPC 團隊，以享有更穩定、更靈活的融合式 AI 基礎架構，這些基礎架構可自行部署或透過系統整合商合作夥伴部署。

以下是 HPC 對儲存設備的需求，以及企業基礎架構架構支援方式的深度資訊。

HPC 是利用先進的運算系統（例如超級電腦或高效能電腦叢集）並行處理複雜的任務，通常在科學研究、工程、製造和電腦科學等領域。HPC 支援科學模擬、建模、驗證和生成 AI，使研究人員和專業人員能夠有效地分析大量資料集並解決複雜的問題。 

範圍是其中一方面，另一方面則是速度。這些系統下的資料基礎架構越快，運算速度就越快。

了解 Mercedes-AMG Petronas F1 團隊如何使用高效能運算網格，將風洞模擬轉變為原型。>>

各種使用案例皆適用不同類型的高效能運算。它們都有一個共同點：它們會產生並處理大量的資料。最常見的高效能運算類型是由電腦如何共同運作，以及它們如何共同運作所定義，包括：

• 超級運算：專為科學模擬、氣候建模、數位分身、擴增或虛擬實境環境，以及進階研究中使用的密集數值計算而設計。
• 叢集運算：網路電腦並行處理分散在多台機器上的任務，通常用於學術和研究機構。高效能運算（HPC）叢集是一系列互連的高效能電腦，專為並行處理而設計，通常用於科學和工程應用。
• 分散式運算：系統閒置時，可透過網路連接多台電腦，這要歸功於自願下載的軟體，以便在不使用時使電腦可用。像 Folding@home 這樣的 HPC 專案利用了這些系統。 
• 雲端運算：遠端伺服器儲存、管理和處理資料，為各種應用程式提供可擴充的運算資源。雲端式 HPC 解決方案提供對高效能運算資源的隨取隨用存取，讓使用者無需大量前期投資就能存取運算能力。
• Quantum 計算：雖然仍是新的研究領域，在企業中很少使用，但是量子運算有潛力大規模執行運算，以比傳統電腦更快的速度解決複雜的問題。
• 加速運算：運用繪圖處理器（GPU）和神經處理器（NPU）等專門的硬體加速器來增強運算效能，尤其是在與 AI 相關的任務，以及數位分身和全能模擬中。 

了解 Folding@home 如何在 FlashBlade® 上運作超級運算能力。>>

是與否。雖然 AI 專案幾乎總是利用 HPC 資源，但大多數 HPC 專案並不完全與 AI 相關。

隨著企業希望重新架構 IT 基礎架構以支援新的 AI 專案，HPC 基礎架構通常被視為 AI 基礎架構的模型，即使它們的範圍和規模相似。HPC 與許多企業開始建立專為此範圍專案設計的資料中心一樣近，其專用硬體如 GPU、晶片和運算能力；然而，這兩者並不同義。

AI 專案在資料轉換和模型訓練期間需要大量運算能力、硬體加速器和平行處理架構，以及叢集運算，與 HPC 類似。他們也運用各種技術和方法，包括 HPC。（其他還包括深度學習、電腦視覺、機器學習和自然語言處理。） 

HPC 可以支援 AI，但也更廣泛。雖然 AI 專注於模型和演算法，以協助決策、模式識別和語言處理（就像我們透過生成 AI 看到的一樣），但 HPC 專案可以應用於 AI 之外的廣泛任務，包括科學、模擬、研究、工程、資料分析和數值建模。

它們處理資料的方式也有所不同。AI 與訓練模型所需的大型資料集搭配使用。HPC 可以也確實處理大型資料集，但其重點更在於其執行的運算。 

「HPC 很少在企業 IT 領域，通常在學術界和研究領域內。大多數企業甚至沒有在 HPC 中浮現，但對於那些已經開發過的企業而言，它並不常與其他工作流程混為一談；它被視作孤島，並被管理為不同的野獸。」 - Gestalt IT 播客

雲端運算是否與 HPC 相同？

不，雲端運算並非 HPC 的代名詞。如前所述，雲端運算更是一種「方法」，它提供了可用於 HPC 專案的資源。一般而言，雲端運算是一種定義服務和基礎架構託管和交付方式的概念，其中可能包含 HPC。

哪些產業仰賴 HPC？

如前所述，組織最有可能利用 HPC 電網和 HPC 儲存環境，是科學研究、環境科學、天氣預報、航太和汽車工程、金融服務、石油和天然氣、製造和醫療領域的組織，包括基因體研究和藥物測試。

然而，HPC 不限於這些領域，而且能造福任何需要執行複雜運算、執行資料密集模擬、處理高解析度繪圖、動畫和視覺效果，或執行大數據分析的企業。

HPC 環境通常有三個核心元件：電腦處理器、網路和儲存。HPC 專案的核心需求是快速存取資料，這使得儲存裝置成為這些環境成功的關鍵要素。 

要以高速和大規模運作，HPC 環境需要有現代化的檔案系統架構，包括冷熱層和高可用性中繼資料伺服器。整合 NVMe 和物件式資料儲存，讓 HPC 系統能夠以低延遲和高頻寬滿足現代工作負載需求。

HPC 資料儲存的運作方式是快速有效地從 CPU、記憶體和儲存控制器卸載資料，讓 CPU 繼續處理，不會中斷。HPC 系統的資料平台也需要存取和分層，使熱資料保持接近，並可由節點存取。

HPC 儲存架構：平行處理、叢集與高速互連

在高效能運算中，有三個關鍵的基本概念，說明任務的執行方式：

• 平行處理：這說明了電腦（或節點）如何共同執行任務。在 HPC 中，大問題可以分為較小的任務，然後由多個處理器或運算核心一次解決，這就是 HPC 能夠快速處理大量資料集和運算的方式。任務可以由處理器獨立處理，或由處理器共同執行單一任務。然而，他們分歧並征服，同時發生的情況是關鍵。
• 叢集：叢集化是 HPC 利用的架構，多個節點作為一個節點一起運作，再次允許平行工作發生，只是大規模工作。這也是在 HPC 環境中建立可靠性的一種方法。由於節點由網路連接到統一的單一系統，因此即使網路上有一個節點故障，任務也能被拆分並執行。其中包括調度和排程，其中軟體管理可用的叢集資源，並以智慧方式將工作委派給最適合的叢集。 
• 高速互連技術：這說明了叢集節點之間的通訊，而這些連結（例如高速乙太網路）是 HPC 協作能力和速度的骨幹。高速互連技術讓叢集中的電腦與儲存節點與運算節點之間能夠快速有效地進行通訊與平行處理。

HPC 儲存系統需尋找的功能

儲存設備在應用程式、大數據和 HPC 時代變得越來越重要。需要的是全新的創新架構，以支援進階應用程式，同時在並行性的所有方面提供同類最佳效能：IOPS、輸送量、延遲性和容量。理想情況下，HPC 儲存設備提供：

• 具備彈性橫向擴充系統的快閃儲存解決方案，可為 PB 級資料集提供全快閃效能，非常適合大數據分析
• 大規模的水平擴展，可同時實現讀寫作業，同時多個節點存取儲存設備
• 儲存架構師的效率與簡易性
• 高速資料存取。儲存必須能夠處理快速且頻繁的請求。
• 備援與容錯
• NVMe 提供低延遲存取
• 物件式資料儲存，可簡化並滿足雲端原生應用程式的需求

進階資料管理工具，如資料減量，有助於壓縮和重複資料刪除

雖然 HPC 儲存和雲端儲存管理資料，但兩者都有關鍵差異。

• 雲端是一般性的，HPC 是特定的。HPC 儲存專為高效能運算應用程式量身打造，並針對高效率並行處理和快速資料存取進行最佳化。雲端儲存為各種應用程式（包括 HPC）提供一般儲存即服務。
• 雲端是一種運作模式。雲端儲存是一種遠端儲存和管理資料的服務模式。 
• HPC 針對效能進行調整。雲端儲存服務可能會限制精細自訂專案所需的量，以獲得最佳效能。HPC 儲存將針對速度和存取進行最佳化，而雲端更偏向彈性和擴展性。
• 雲端儲存成本模型迫使您“購買”更多容量，以獲得更多效能，即使您不需要額外的儲存空間。

值得注意的是，大學和研究中心的 HPC 工作負載逐漸遷移至雲端，而商業和企業的 HPC 工作負載仍傾向於就地部署。然而，雲端式 HPC 工作負載的總體擁有成本（TCO）很高，而 HPC 資料集重新遷移到就地部署或移動到其他雲端供應商也很昂貴。

高效能運算已經相當複雜且充滿挑戰，因此要支援高效能運算所需的儲存環境也同樣如此，這點並不意外。複雜的工作負載、exabyte 範圍內的高資料量、資料安全需求、整合和資料分層，都讓 HPC 業務變得複雜。然而，Pure Storage® FlashBlade 等提供強大功能與簡易使用的解決方案，能夠處理甚至抵消複雜度，而不會增加瓶頸或延遲。

HPC 儲存不一定是每個系統或網路最具成本效益的解決方案，因為並非所有工作負載都需要專門針對 HPC 挑戰進行調整的儲存裝置。然而，隨著越來越多 AI 等工作負載在企業中變得常見，HPC 儲存所需的相同效能和可擴充性最終可能更加普遍。

HPC 儲存旨在滿足大規模運算任務、模擬和資料密集型應用程式的獨特需求，但並非所有工作負載都需要這樣的速度和規模，而且可能還有其他獨特的需求。權衡優缺點很重要，但一般來說，HPC 儲存裝置對以下方面是有利的：

• 龐大的資料集和複雜的工作負載
• 效能可支援平行處理與快速資料存取
• 預期的資料成長
• 與運算叢集緊密整合

超過 25% 的財富百大公司使用 FlashBlade 的簡易性、靈活性和能力：

• 最大化 GPU 和 CPU 的使用率。
• 在不犧牲多維效能的情況下，以高並行性與低延遲驅動龐大的 IOPS 與輸送量。
• 以最高效能和豐富的資料服務，支援數十億個檔案和物件。
• 利用自動化 API 和高效能原生 NFS、SMB 和 S3 協定支援，讓部署、管理和升級變得毫不繁瑣。

了解 FlashBlade 如何協助這三個創新組織驅動高效能運算。>>