并行文件概述
更新時間 2024-09-05 13:11:58
最近更新時間: 2024-09-05 13:11:58
分享文章
本節介紹了用戶指南: 并行文件概述。
云容器引擎支持使用天翼云并行文件存儲卷。當前cstor-csi插件支持使用并行文件動態存儲卷和靜態存儲卷,通過將并行文件存儲卷掛載到容器指定目錄下,以實現數據持久化需求。
并行文件服務提供高性能并行文件存儲,支持全 NVMe 閃存、RDMA 技術,最高提供百萬 IOPS 和百 GBps 吞吐,同時保證亞毫秒級時延。具有高性能,高可靠性,高可擴展性的特點,充分滿足影視渲染、AI 訓練、自動駕駛等數據密集型場景的需求。
使用限制
- 插件版本
使用并行文件存儲功能,需要cstor-csi插件版本 >=3.3.2 - 容器集群
當前并行文件服務功能僅智算集群可見 - 文件協議
當前cstor-csi插件僅支持HPFS_POSIX協議 - 容量
單個文件系統最小容量為512GB - 可用區
協議類型為hpfs時,不支持跨可用區掛載。 使用并行文件存儲PVC的Pod將會被強制調度到該PVC創建時指定的的可用區內 - 其他限制
參見并行文件使用限制
產品優勢
- 共享訪問
- 支持上千臺客戶端掛載同一文件系統,實現共享訪問。
- 支持 NFS、HPFS_POSIX 協議類型,用戶能夠在創建文件系統時指定協議類型,通過標準 POSIX 接口訪問數據,無縫適配主流應用程序進行數據讀寫。
- 支持 MPI-I/O 并行計算接口,滿足多客戶端并行計算場景。
- 彈性擴展
- 采用可擴展的元數據架構,單個文件系統可支持幾十億級別的文件數量,在海量文件場景下,仍然保持穩定持續的高效訪問性能。
- 分鐘級別快速擴容,用戶可根據實際需要對文件系統進行在線擴容,擴容過程 IO 不中斷,保障業務連續性。
- 安全可信
- 支持使用 VPC 用戶隔離、權限組等安全管理功能進行訪問權限控制,保障數據安全可靠。
- 使用多種 EC 方式、熱備盤備份保證數據的可靠性。
- 支持 HA,故障時自動切換,服務可用性在99.90%及以上。
- 性能優越
- 可支持高性能100GE 以太網、IB、RoCE 網絡。
- 帶寬、IOPS 性能可以隨文件系統容量線性提升,最高提供百萬 IOPS 和百 GBps 吞吐,同時保證亞毫秒級時延,使得數據訪問更加高效。
使用場景
根據業務需求,并行文件類型的存儲常見以下使用場景:
- 使用并行文件動態存儲卷:即用戶無需預先創建并行文件系統和PV,只需創建PVC時指定存儲類(StorageClass),存儲插件cstor-csi就會自動創建并行文件系統及對應PV資源,推薦使用。
- 使用并行文件靜態存儲卷:即用戶預先創建并行文件系統,并創建對應的PV資源。之后在創建PVC時選擇已有PV進行掛載。適用于已有可用的底層存儲或底層存儲需要包周期的場景。
- 有狀態負載掛載并行文件:支持有狀態負載通過PVC模版的方式,實現為每一個Pod關聯一個獨有的PVC及PV,當Pod被重新調度后,仍然能夠根據該PVC名稱掛載原有的數據。
計費說明
通過存儲插件動態創建的并行文件服務,默認計費模式為按需訂購,不支持包年包月。
關于并行文件的計費詳情,請參見并行文件產品計費說明