本平臺默認為您的擴展資源組安裝以下組件。
Gang
"Gang 調度"(有時也稱為批處理調度或強協調調度),是云原生批處理調度器中的核心功能。Gang 調度的核心思想是確保作業中的所有任務(或一組關鍵任務)要么同時被調度,要么都不被調度,從而有效地管理和優化資源分配,避免資源浪費。
Gang 調度的作用和效果主要體現在以下幾個方面:
- 確保作業完整性:在人工智能(AI)或大數據處理場景中,很多作業需要多個任務共同協作完成。Gang 調度確保這些協作任務要么一起啟動,要么都不啟動。這種機制避免了部分任務因為資源不足而無法啟動,導致整個作業半途而廢的情況。
- 資源利用率優化:通過 Gang 調度,Volcano 能夠更有效地管理集群資源。如果集群資源不足以滿足某個作業的所有任務,那么這些任務就會保持等待狀態,直到有足夠資源可以一起啟動。這種策略減少了資源的碎片化,提高了資源的整體利用效率
- 簡化作業管理:用戶在提交作業時,不需要擔心單個任務的調度問題。Volcano 的 Gang 調度機制自動處理任務間的依賴和協調問題,簡化了作業的管理和監控。
Fluid
什么是Fluid
Fluid是一個開源的Kubernetes原生的分布式數據集編排和加速引擎,主要服務于云原生場景下的數據密集型應用,例如大數據應用、AI應用等。Fluid現在是Cloud Native Computing Foundation(CNCF) 開源基金會旗下的一個沙箱項目。Fluid實現了Dataset和Runtime在Kubernetes的抽象,對應數據源和加速引擎,極大的簡化了數據加速的集群搭建和刪除、掛載、擴縮容、調度等,主要架構如下:

核心功能
- 數據集抽象原生支持
將數據密集型應用所需基礎支撐能力功能化,實現數據高效訪問并降低多維管理成本。 - 可擴展的數據引擎插件
提供統一的訪問接口,方便接入第三方存儲,通過不同的Runtime實現數據操作。 - 自動化的數據操作
提供多種操作模式,與自動化運維體系相結合 - 數據彈性與調度
將數據緩存技術和彈性擴縮容、數據親和性調度能力相結合,提高數據訪問性能 - 運行時平臺無關
支持原生、邊緣、Serverless Kubernetes集群、Kubernetes多集群等多樣化環境,適用于混合云場景。
重要概念
Dataset: 數據集是邏輯上相關的一組數據的集合,會被運算引擎使用,比如大數據的Spark,AI場景的TensorFlow。而這些數據智能的應用會創造工業界的核心價值。Dataset的管理實際上也有多個維度,比如安全性,版本管理和數據加速。我們希望從數據加速出發,對于數據集的管理提供支持。
Runtime: 實現數據集安全性,版本管理和數據加速等能力的執行引擎,定義了一系列生命周期的接口。可以通過實現這些接口,支持數據集的管理和加速。
AlluxioRuntime: Alluxio是一個開源的分布式存儲系統,一般作為底層分布式文件系統和上層分布式計算框架之間的一個中間件,對應的AlluxioRuntime是支撐Dataset數據管理和緩存的執行引擎實現,支持PVC,Ceph,CPFS加速,有效支持混合云場景。
先決條件
- Kubernetes version > 1.16, 支持CSI
- Golang 1.18+
- Helm 3
容器存儲CSI介紹

CSI是容器存儲接口(Container Storage Interface)的簡寫, 旨在能為容器編排引擎CO(ContainerOrchestrator System)和存儲供應商SP(Storage Provider)之間建立一套標準的存儲調用接口,從而定義行業標準,使存儲供應商(SP)能夠開發一個符合CSI標準的插件并使其可以在多個容器編排(CO)系統中工作。也就是說,CSI是一個接口,它約定了一些標準,讓所有符合CSI接口的插件在多個容器編排中都可以工作。
CSI的主要功能
CSI接口提供的主要功能如下(一些功能是可選擇型實現):
- 卷的動態創建/刪除
- 從節點附加/分離卷
- 從節點掛載/卸載卷
- 快照的創建/刪除(快照的來源是卷)
- 從快照創建新卷(不包括恢復快照即原始卷中的數據被擦除并替換為快照中的數據)
Kubernetes CSI插件
Kubernetes 作為容器編排引擎之一,CSI是從Kubernetes v1.9版本引入的容器存儲接口,并于v1.13版本正式GA。Kubernetes 實現了核心代碼中的CSI插件邏輯, 以及各種Sidecar插件把CSI驅動程序和Kubernetes 的核心代碼實現了解耦合, 從而方便存儲廠商更加方便的開發CSI驅動程序。
天翼云CSI插件基于CSI接口標準,提供符合Kubernetes 語義的云硬盤、彈性文件、對象存儲、并行文件系統存儲能力,使用戶在Kubernetes 上可以方便的使用以上存儲。