Skip to Content

什麼是 MLOps?

什麼是 MLOps?

機器學習作業(MLOps)是一套用來將機器學習 (ML) 開發生命週期的端對端管理自動化的實務與工具。MLOps 從 DevOps(開發和營運)借用概念,並應用於機器學習開發和部署的獨特挑戰。MLOps 的主要目標是加強資料科學家、機器學習工程師和營運團隊之間的協作和溝通,以確保機器學習模型能無縫整合到生產環境中。

MLOps 的優勢

MLOps 的優勢包括:

高效率

MLOps 簡化了機器學習生命週期,使其更有效率,並減少了從模型開發到部署所需的時間。

可擴充性

MLOps 實務透過自動化重複性任務,並提供結構化的協作架構,實現機器學習工作流程的擴展。

可靠性

自動化與版本控制有助於機器學習系統的可靠性,將部署過程中發生錯誤的風險降至最低,並確保再現性。

協作

MLOps 鼓勵參與機器學習專案的不同團隊合作,培養共同責任與知識的文化。

適應性

MLOps 能讓組織快速適應模型、資料和需求的改變,確保機器學習系統維持有效和最新狀態。

MLOps 的關鍵要素

除了已經提到的協作、版本控制和自動化之外,MLOps 的其他關鍵元件還包括:

持續整合/持續部署 (CI/CD)

MLOps 將 CI/CD 原則應用於機器學習,實現程式碼變更、模型訓練和部署的自動化和持續整合。

基礎架構即程式碼(IaC)

MLOps 遵循基礎架構作為程式碼(IaC)原則,以確保開發、測試和生產環境的一致性,從而降低部署問題的可能性。

自動化

為資料預先處理、模型訓練、測試和部署等任務建立自動化管道。實施 CI/CD 以自動化整合和部署流程。

模型監控與管理

MLOps 包括用於監控模型效能、漂移偵測和管理生產中模型生命週期的工具與實務。這樣可確保模型能持續保持良好表現,並長期滿足業務需求。

回饋循環

回饋循環是 MLOps 的重要部分,可確保持續改進。對生產中模型效能的回饋可用於重新訓練模型,並隨著時間提升其準確性。

 

線上體驗 FlashBlade

體驗 Pure1® 的自助實例來管理 Pure FlashBlade™,Pure FlashBlade™ 是業界最先進的解決方案,可提供原生橫向擴展的檔案式及物件式儲存功能。

申請試用

實作 MLOps 的最佳做法

實施 MLOps 時,應遵循一些最佳做法。包括:

1. 建立明確的溝通管道

促進資料科學家、機器學習工程師和營運團隊之間的開放溝通。使用協作工具與平台,有效地分享更新、深度資訊與意見回饋。定期舉行跨部門會議,以符合目標、進度和挑戰。

2. 建立全面的文件

記錄整個機器學習流程,包括資料預處理、模型開發和部署流程。清楚概述再現性的相依性、配置和版本資訊。維護基礎架構設定、部署步驟和監控程序的文件。

3. 擁抱 IaC

將基礎架構元件(例如伺服器、資料庫)定義為程式碼,以確保開發、測試和生產環境之間的一致性。使用 Terraform 或 Ansible 等工具,以程式化的方式管理基礎架構變更。

4. 優先進行模型監控

建立健全的監控機制,以追蹤模型效能、偵測漂移並找出異常狀況。實施記錄實務,在機器學習工作流程的每個步驟中擷取相關資訊,以進行疑難排解和稽核。

5. 實施自動化測試

在您的 MLOps 管線中包含單元測試、整合測試和效能測試。

測試不同環境中的行為模式,以及早發現問題,並確保跨部署的一致性。

6. 實現再現性

記錄並追蹤 ML 管道中使用的程式庫、相依性和配置版本。使用 Docker 之類的容器化工具封裝整個環境,使其能夠在不同的系統中重現。

7. 優先考慮安全性

實施資料處理、模型儲存和網路通訊的安全最佳實務。定期更新相依性、執行安全性稽核,並強制執行存取控制。

8. 負責任擴展

設計 MLOps 工作流程以水平擴展,以處理不斷增加的資料量並建立複雜的模型。利用雲端服務來提供可擴充的基礎架構和平行處理功能。使用 Pure Storage Portworx® 等服務,協助優化雲端工作負載。

MLOps 與 AIOps

AIOps(IT 作業的人工智慧)和 MLOps(機器學習作業)是相關但截然不同的技術與資料管理概念。兩者都處理人工智慧和機器學習的運作層面,但它們有不同的重點和目標:

AIOps(IT 作業的人工智慧)

  • 重點:AIOps 主要專注於使用人工智慧和機器學習技術,以優化和改善 IT 營運和基礎架構管理的效能、可靠性和效率。
  • 目標: AIOps 的主要目標包括將任務自動化、預測和預防 IT 事件、監控系統健全狀況、優化資源配置,以及增強整體 IT 基礎架構的效能和可用性。
  • 使用案例:AIOps 常用於 IT 環境,用於網路管理、系統監控、日誌分析,以及事件偵測與回應等任務。

MLOps(機器學習作業)

  • 重點: 另一方面,LOP 特別著重於機器學習模型的作業化,以及機器學習開發生命週期的端對端管理。
  • 目標:MLOps 的主要目標是簡化在生產環境中開發、部署、監控和維護機器學習模型的流程。它強調資料科學家、機器學習工程師和營運團隊之間的協作。
  • 使用案例: MLOps 用於確保機器學習模型在生產中部署和運行順暢。它涉及模型版本、ML CI/CD、模型監控和模型再訓練等實務。

雖然 AIOps 和 MLOps 都涉及在操作環境中使用人工智慧和機器學習,但它們有不同的重點領域。AIOps 的目標是使用 AI 來優化和自動化 IT 操作和基礎架構管理,而 MLOps 則專注於在生產環境中管理和部署機器學習模型。在某些情況下,它們是互補的,因為 AIOps 可以幫助確保基礎基礎架構支援 MLOps 實務,但它們解決了技術和操作的不同方面。

為何選擇適用於 MLOps 的 Pure Storage  

採用 MLOps 實務對於在現今的機器學習專案中取得成功至關重要。MLOps 可確保 ML 專案的效率、可擴充性和再現性,降低故障風險,並提升整體專案成果。

但要成功應用 MLOps,您首先需要一個靈活的 AI-Ready 基礎架構,支援 AI 調度。Pure Storage 提供您所需的產品及解決方案,以因應 AI 工作負載的龐大資料需求。利用 Pure Storage 來加速更快、更有效率、更可靠的模型訓練,進而強化 MLOps 的實作。Pure Storage 技術的整合也有助於優化整體機器學習管道,從而為參與資料驅動計劃的組織提高效能和生產力。

05/2023
Accelerate Work Area Creation for Perforce Users on FlashBlade//S with RapidFile Toolkit | Everpure
Accelerate time to onboard developers using Perforce and improve productivity by using the RapidFile Toolkit with Everpure FlashBlade//S.
白皮書
11 頁

查看重要資訊與活動

影片
觀看影片:企業級資料雲端的價值。

Charlie Giancarlo 討論管理為何管理資料才是未來趨勢,而非儲存設備。發掘整合式做法如何革新企業級 IT 作業。

立即觀看
資源
傳統儲存裝置無法驅動未來。

現代化工作負載需求必須達到 AI 級速度、安全性與規模。您的技術棧準備好了嗎?

進行評估
PURE360 示範
探索、認識、體驗 Pure Storage。

存取隨取隨用影片與示範,了解 Pure Storage 的強大功效。

觀賞示範影片
精神領袖
創新競賽

儲存創新最前線的產業領導者最新深度資訊與觀點。

了解更多資訊
您的瀏覽器已不受支援!

較舊版的瀏覽器通常存在安全風險。為讓您使用我們網站時得到最佳體驗,請更新為這些最新瀏覽器其中一個。

Personalize for Me
Steps Complete!
1
2
3
Thinking...