什麼是 Lustre 適用的 Amazon FSx？

Lustre 的 Amazon FSx 是完全託管的高效能檔案系統，適用於運算密集的工作負載，可提供快速的處理能力、可擴充性和成本效益。

「FSx」是指「完全受管理的檔案系統」，而 Amazon 目前為數個廣泛使用的檔案系統提供 FSx 服務，包括開放原始碼 Lustre 檔案系統。

什麼是 Lustre 檔案系統？

Lustre 以 “Linux” 和 “cluster” 的組合命名，是一種並行和分佈的檔案系統。它最常用於大規模的叢集運算。事實上，截至 2022 年 11 月，Lustre 一直是全球前 10 大最快速超級電腦中至少五台的首選檔案系統，包括排名第一的超級電腦 Frontier。

Lustre 是超級電腦、大型資料中心、模擬器和其他高效能運算組織的熱門選擇，因為它具有極高的可擴充性，並能夠使用數以萬計的節點操作許多叢集，數百台伺服器上的數十 PB 儲存，以及每秒超過 1 TB 的平均傳輸量 （TB/s）。

Lustre 的 FSx 使用方式為何？

由於 Amazon FSx for Lustre 是完全託管的服務，因此簡化了您組織的 Lustre 系統操作和管理。此服務可協助您避免自行設定、配置和管理 Lustre 的需求，只需幾分鐘就能輕鬆取得所需的高效能檔案系統。有了多種部署選項，您就能選擇最具成本效益的模型來滿足您的需求。

EFS、EBS 和 FSx 之間有何不同？

除了 FSx 之外，AWS 還提供了一系列的資料儲存選項，包括Elastic File System (EFS) 和 Elastic Block Store (EBS)。有時候，組織要了解這些產品的差異，以及哪些選項最適合公司的獨特需求，可能會有些困惑。

簡而言之，AWS 為不同類型的儲存提供選項，包括檔案、區塊和物件式資料儲存。每種儲存類型都只是一種不同的資料儲存方式。在比較 EFS 和 EBS 與 FSx 之前，讓我們先來仔細看看 EFS 和 EBS。

Elastic File System (EFS)

EFS 是一種檔案儲存系統，這意味著資料會儲存在階層中（就像大多數 PC 的目錄、資料夾和檔案系統儲存一樣）。EFS 具備高度擴充性，且完全管理，可透過 Mac 或 Linux 作業系統附加至 EC2 執行個體，以及就地部署資料中心的運算資源。儲存容量可擴充至 PB，並在數千個執行個體中提供低延遲。由於低延遲和可擴充性，許多組織都使用 EFS 將就地部署的應用程式和工作負載直接移至雲端。

EFS 的優勢包括可負擔、可擴充且易於存取的集中式檔案儲存。其共用儲存系統與雲端相容，可輕鬆整合，無需深入重新編碼。

EFS 的缺點包括它無法與 Windows 搭配使用，而且檔案式資料儲存無法提供區塊式資料儲存的高效能，以處理每秒的輸入/輸出作業 （IOPS）。一旦資料量變大，檔案儲存也很難管理，使用者必須知道特定檔案的路徑才能找到。

Elastic Block Store (EBS)

這是 AWS 的區塊式資料儲存選項。區塊式資料儲存以快速、穩定著稱，主要是因為它不包含中繼資料，而且區塊式資料可以儲存在最有效率的位置，無論作業系統為何，甚至分散在多台伺服器之間。EBS 儲存設備與 Amazon Elastic Compute Cloud （EC2） 的執行個體相連，尤其是那些主要是交易且需要輕鬆擴展的儲存裝置。例如，某些組織使用 EBS 儲存非結構化的 NoSQL 資料庫或自我管理的關聯式資料庫。

EBS 的優勢包括其速度、靈活性和可靠性。這使其成為需要低延遲的交易密集型使用案例的理想選擇。而且，由於您可以透過覆寫個別區塊（而不是整個物件，如同物件式資料儲存一樣）來更新區塊式資料儲存，因此更新與變更既快速又有效率。

EBS 的缺點包括缺少中繼資料，因此儲存速度快，但搜尋速度慢。EBS 儲存裝置一次只能連接一台伺服器（儘管在某些情況下有 EBS 多連接功能）。

Lustre 的 FSx 與 EFS 和 EBS 的比較

Amazon FSx for Lustre 提供超高效能。它是一種與 EFS 類似的檔案儲存系統，但其中一個大差別在於 FSx 可以在 Windows 上運作。在 AI 和機器學習、大規模資料分析專案、影片處理和數位效應、財務分析等繁重工作負載方面，FSx 的效能超越了 EFS 和 EBS 的效能。

FSx 提供比 EFS 和 EBS 更低的 TCO，並為組織提供短期和長期儲存的彈性資料處理選項。FSx 也能判斷託管系統的檔案伺服器能夠多快地提供檔案資料，並提供比 EFS 和 EBS 更高的傳輸量，以及更高等級的 IOPS 和更多快取記憶體。

Lustre 適用的 Amazon FSx 如何運作

有了 Amazon FSx for Lustre，企業就能輕鬆存取 Lustre 檔案系統。這些系統可依需求擴展至多個伺服器和儲存磁碟。由於這種擴充性，FSx 可以消除使用者在其他檔案系統中發現的許多傳統瓶頸。

Lustre 檔案系統的 Amazon FSx 由集中式檔案伺服器和許多儲存磁碟組成，這些磁碟可儲存資料。用戶端會與檔案伺服器進行通訊，透過快速記憶體快取，將最常存取的資料效能最佳化。讓軟體變得如此快速的原因之一，就是當客戶想要存取記憶體內快取或 SSD 中儲存的資訊時，伺服器就不需要從磁碟中讀取。因此延遲性較低，傳輸量也較高。

FSx 還提供兩種儲存選項，根據使用固態硬碟 （SSD） 或硬碟 （HDD ） 的選擇而定。哪個選項最適合取決於組織的需求：

• SSD 儲存系統非常適合對延遲敏感的工作負載，或是需要最高傳輸量或 IOPS 的工作負載。
• HDD 儲存裝置非常適合需要高傳輸量，但不需高度依賴超低延遲的工作負載。

若要為 Lustre 設定 Amazon FSx：

1. 使用 AWS 管理主控台建立您的檔案系統。您也可以使用指令行介面 （CLI） 或軟體開發套件 （SDK）。您也可以在這裡指定偏好的部署選項：刮痕或持續性（見下文）。

2. 如果您使用的是 Amazon S3 儲存設備，您將把新建立的檔案系統連結到 S3 儲存桶，以便處理和存取儲存在 S3 中的任何資料集。

3. 使用任何 Linux 用戶端，包括 EC2、EKS 或就地部署用戶端，來存取您的檔案系統。

4. 現在，您可以運行應用程式，從機器學習到高效能運算，再到媒體渲染等，共享檔案儲存能提供您所需的高效能。

Lustre FSx 的刮傷模式與持久模式之間的差異

當企業將 Amazon FSx 用於 Lustre 時，企業可以從兩種部署選項中選擇：刮痕和持久性。要選擇哪一個，取決於您需要儲存資料多久。

Scratch 檔案系統旨在用於更短期的資料處理和臨時資料儲存。系統不會複寫暫存資料，這表示檔案伺服器故障時可能會遺失暫存資料。暫存檔案系統的優勢在於能提供優異的傳輸量，大爆發的傳輸量可高達每 TiB 標準基準 200 MBps（相當於 TB 以上）的六倍。

劃痕檔案系統的最佳使用案例包括符合成本效益的儲存裝置，適用於處理繁重的工作負載，且只需要短時間。

持久性檔案系統適用於需要長時間儲存的工作負載。這種儲存類型若是高度可用並儲存，會自動在檔案系統所在的 AWS 可用性區域中複寫。優點在於若伺服器故障，只要幾分鐘就能取代儲存的資料。

持久性檔案系統的常見使用案例包括容器的持久性儲存、S3 中儲存的資料湖泊、需要長期儲存的高效能運算、需要無限期執行的以傳輸量為中心的工作負載，以及對可用性中斷敏感的工作負載。

Amazon FSx 對 Lustre 的優勢

Lustre 使用 Amazon FSx 的優點包括：

• 彈性的高效能：您擁有快速的效能，同時具備可擴充性、一致性與可預測性。
• 高可用性和耐用性：部署選項可讓您確保適當的可用性和資料耐久性。
• 易於使用： 完全受管理的服務讓在幾分鐘內即可輕鬆啟動檔案系統，而不必擔心備份、更新或消耗。
• 成本效益：FSx 提供許多儲存選項，可讓您在成本和效能之間找到正確的平衡；此外，無需支付設定費用或最低費用，您僅需為所使用的資源付費。
• 安全性與合規性： 自動加密傳輸中和靜態資料，您也可以根據需要控制網路存取。
• 輕鬆整合 AWS 服務：您可以將 FSx 與所有其他 AWS 服務搭配使用，完全不費吹灰之力。

檔案系統的高效能持久性儲存

雖然 FSx 和 EFS 是基於 Amazon Elastic Kubernetes 服務的檔案系統可行的持久性儲存選項，但 Pure 的 Portworx 提供優於兩者的關鍵優勢。Portworx 能讓您使用任何 Kubernetes 平台，在任何雲端運行任何雲原生資料服務，並內建高可用性、資料保護、資料安全性和混和雲行動性。多虧了上述所有功能，Portwox 具備以下顯著優勢：

1. 效能
2. 成本
3. 災害復原

為您的 Kubernetes 工作負載使用雲原生持久性資料儲存裝置，體驗其簡易性和效能。在此深入了解 Portworx。