為了從多個來源擷取和處理資料，營運資料儲存（ODS）可作為暫時的儲存位置，在將其傳送至最終儲存目的地之前進行處理。資料可儲存為結構化或非結構化，但必須以擷取資料並轉換為最終資料倉儲位置格式的方式儲存。ODS 架構通常專為 ETL（擷取、轉換和負載）和 ELT（擷取、載入和轉換）資料管道而打造。
什麼是 ODS？
營運資料儲存是用於即時或近乎即時資料的集中式儲存庫，可用於營運報告和分析。在大型資料管道中，ODS 可作為資料格式化、重複資料刪除和最終處理的暫存區，再將資料傳送至資料倉儲。舉例來說，大型房地產組織可能從數個不同網站擷取資料，為他們的客戶進行分析。在擷取過程中，資料管道將擷取的資訊儲存在 ODS 中，以便自動化指令碼能夠格式化、組織和刪除重複資料。一旦 ETL 處理資料，資料會傳送至資料倉儲，供房地產應用程式查詢。
ODS 用於結構化和非結構化資料，但對於使用關聯式資料庫的資料管道尤其有用。ODS 可能會儲存檔案或刪減網頁的非結構化資料，而 ETL 則使用這些資料來處理轉換步驟前所收集的資料。如果沒有 ODS，如果格式化任何記錄失敗，資料將會遺失。任何轉換失敗的記錄都可能保留在 ODS 中，以進行額外處理或可能進一步的人為審查。
ODS 的目的
對於大型企業和機器學習應用程式，資料通常在 ETL 處理過程中從多個位置提取。資料管道可能會從網路來源提取檔案、從 API 端點提取資料，以及從網路應用程式提取資料。用來收集資料的指令碼會轉成 ODS 進行處理。ODS 的目的是讓資料擷取指令碼在處理前有儲存收集到的資訊的地方。
ODS 是即時儀表板和應用程式的重要部分，特別是在 ODS 中收集的資料用於多個位置時。舉例來說，ODS 包含收集的資料，其中 ETL 流程在傳送至資料倉儲前，會先進行格式化，分析人員可將資料用於財務預測。在資料可供終端使用者應用程式使用之前，請將 ODS 視為臨時資料收集服務。
ODS 的優勢
企業企業需要 ODS 來提供更好的資料處理，以及更有效率的 ETL 管道。因為 ETL 指令碼有儲存資料的地方，即時應用程式也有位置可以提取資料，以進行快速處理、人工智慧計算和機器學習擷取。如果沒有 ODS，您的 ETL 資料管道可能會丟棄不符合資料庫限制的資料，或無法在資料倉儲儲存前進行處理。
其他好處包括：
- 透過不同的格式和組織，方便地收集各種資料來源
- 從各種來源收集的所有記錄的完整快照，必要時可用於識別問題或重新處理資料
- 分析和機器學習的非結構化資料儲存功能
- 雲端 ODS 系統可設定為可供使用者、應用程式、管理員或第三方廠商使用，無論其位置為何
- 集中位置可針對所有內部應用程式收集資料，從而提高所有關鍵報告的資料準確性和完整性
實施 ODS
由於 ODS 是資料管道和 ETL 處理的一部分，因此應納入您的設計和資料架構中。收集的資料類型是 ODS 的重要決定因素。任何非結構化資料都需要一個 NoSQL 資料庫。關聯式資料庫會拒絕不符合表格限制的資料。
選擇資料庫平台後，您需要決定要將 ODS 託管在地端還是雲端。就地部署的資料庫可能更適合大眾無法取用的內部應用程式，但您的 ETL 指令碼必須能夠到達資料庫和任何內部資料倉儲。雲端資料庫對公有雲應用程式非常有益，可將其配置為連接到生產雲端應用程式資料庫。
即時應用程式需要速度和運算能力，因此請確保您的資料庫架構具有頻寬、運算能力、記憶體和儲存容量，以處理大量資料。在資料收集上進行試用或許有意義，以找出必要的儲存容量，但別忘了允許額外的儲存容量，以達成擴充性。快照最終可能會移至另一個備份資料庫，或在資料老化後移除，並不再相關。
ODS vs. 資料倉儲
資料倉儲是經過消毒和格式化資料的最終目的地。ETL 程序中的 ODS 是原始資料儲存直到其結構化、去重複資料，並經過驗證的地方。您組織資料的方式及其儲存地點取決於您的個人業務規則。資料倉儲中的關聯式資料庫需要嚴格規則的結構化資料，在儲存前必須格式化資料。
ODS 表格會不斷更新新資料，並可用於即時資料處理和使用者應用程式。結構化和非結構化資料可以儲存在 ODS 表格中，但許多系統使用非結構化資料，因此資料收集的限制更少。限制和過濾功能可在資料倉儲的匯入過程中應用。
查詢應該從資料倉儲表格執行，因為資料更加永久。刪除資料倉儲中的資料並不尋常。您可以將其歸檔，但完全移除資料是不尋常的。ODS 資料波動性更大。重複資料可能被刪除，任何過時或毀損的資料都可能被刪除。
結論
如果您計劃從各種來源收集資料，則 ODS 臨時架構對支援多個具有不同業務規則的應用程式的資料管道有益。您可以將資料轉換為結構化和非結構化格式，以支援機器學習、查詢、報告、分析儀表板，以及任何其他使用資料倉儲的前端應用程式。
為了讓資料庫不斷成長，Pure Storage 雲端解決方案為 AWS、Azure 和任何其他供應商提供支援，以連接您的 ODS。您的 ETL 程序可以快速存取可擴充的資料庫服務，以支援即時處理和快速查詢。
