使用海量文件靜態存儲卷,即使用預先在海量文件服務控制臺已創建文件系統,通過手動創建PV指定已有文件系統,創建PVC時使用已有PV的方式,實現容器內掛載海量文件。
該模式下需要用戶自建文件系統及PV資源,一定程度上增加操作和管理復雜性,一般推薦使用動態創建存儲的方式。
前提條件
已創建容器集群
已在插件市場安裝存儲插件cstor-csi,插件版本>=3.6.0,且插件正常運行
已在海量文件服務控制臺創建文件系統
已建文件系統VPC需要包括容器集群所屬VPC,如沒有,在文件系統列表頁,針對指定實例點擊“添加VPC”
使用限制
參見“海量文件概述”——“使用限制”
通過控制臺使用并行文件靜態存儲卷
1、創建持久卷(PV)
登錄“云容器引擎”管理控制臺;
在集群列表頁點擊進入指定集群;
進入主菜單“存儲”——“持久卷”,單擊左上角“創建持久卷”;
在創建對話框,配置持久卷PV的相關參數。配置項說明如下:
| 配置項 | 說明 |
|---|---|
| 名稱 | PV的名稱,以pvc-開頭。 |
| 持久卷類型 | 當前支持云盤、彈性文件、對象存儲、并行文件、海量文件和本地存儲,這里選擇海量文件。 |
| 存儲驅動 | 采用默認CSI驅動 |
| 訪問模式 |
|
| 海量文件名稱 | 選擇已創建文件系統。 |
| 掛載選項 | 掛載參數,用戶可根據自己的情況實際定制相關參數。 |
| 標簽 | 用于對 PV 對象進行標記和分類的元數據屬性,可以賦予 PV 以自定義的屬性或標識。 |
說明
靜態導入場景下,回收策略均為默認Retain,cstor-csi不會刪除數據。
參數配置完成后,點擊“確定”。創建成功后,可以在持久卷列表查看,此時PV狀態為“可用”。
3、創建持久卷聲明(PVC)
進入主菜單“存儲”——“持久卷聲明”,單擊左上角“創建持久卷聲明”;
在創建對話框,配置持久卷聲明PVC的相關參數。配置項說明如下:
| 配置項 | 說明 |
|---|---|
| 名稱 | PVC的名稱。 |
| 存儲聲明類型 | 當前支持云盤、彈性文件、對象存儲、并行文件、海量文件和本地存儲,這里選擇海量文件。具體創建頁中展示的存儲類型由當前資源池支持情況決定。 |
| 分配模式 | 當前支持“使用存儲類”和“已有存儲卷”。 這里選擇“已有存儲卷”。 |
| 持久卷名稱 | 選擇上一步創建的PV名稱。 |
參數配置完成后,點擊“確定”。創建成功后,可以在持久卷聲明列表查看。
進入持久卷聲明列表頁,等待PVC狀態為“已綁定” 。
3、創建工作負載
登錄“云容器引擎”管理控制臺;
在集群列表頁點擊進入指定集群;
進入主菜單“工作負載”——“有狀態”,單擊左上角“創建SatefulSet”;
在創建對話框,數據卷欄中,選擇添加數據卷,卷類型選擇“使用已有PVC”,操作欄選擇“添加已有PVC”;
在實例內容器欄,為容器設置掛載點。選擇添加掛載點,選擇數據卷為上一步創建,根據需要配置容器路徑和權限;
所有的信息都配置完成后,單擊 “提交” 。
創建成功后,您就可以正常使用數據卷。
通過kubectl命令行使用并行文件靜態存儲卷
1、創建持久卷(PV)
使用kubectl連接集群,創建示例yaml文件pv-example.yaml:
apiVersion: v1
kind: PersistentVolume
metadata:
annotations:
pv.kubernetes.io/provisioned-by: oceanfs.csi.cstor.com
name: pvc-{名稱} #PV名稱
spec:
accessModes:
- ReadWriteOnce #訪問模式
capacity:
storage: 100Gi #容量
csi:
driver: oceanfs.csi.cstor.com
fsType: ext4
volumeAttributes:
driverType: oceanfs.csi.cstor.com
oceanfsUUID: {YOUR-OCEANFS-UUID} #替換為已建文件系統UUID
sharePath: {YOUR-OCEANFS-SHAREPATH} #替換為已建文件系統掛載地址
type: massive
volumeHandle: 0208-24-{PV-NAME-LENTH}-{PV-NAME} #PV-NAME-LENTH為PV-NAME長度的十六進制表示,比如PV-NAME是"ofs-test-01",則PV-NAME-LENTH為0B
volumeMode: Filesystem
mountOptions: #掛載選項執行以下命令,創建PV
kubectl apply -f pv-example.yaml查看創建的PV:登錄“云容器引擎”管理控制臺;在集群列表頁點擊進入指定集群;進入主菜單“存儲”——“持久卷”,在持久卷列表查看。
2、創建持久卷聲明(PVC)
使用kubectl連接集群,創建示例yaml文件pvc-example.yaml:
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
annotations:
volume.beta.kubernetes.io/storage-provisioner: oceanfs.csi.cstor.com
name: {YOUR-PVC-NAME}
namespace: default
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 100Gi
volumeMode: Filesystem
volumeName: {YOUR-PV-NAME} #替換PV名稱執行以下命令,創建PVC
kubectl apply -f pvc-example.yaml查看創建的PVC:登錄“云容器引擎”管理控制臺;在集群列表頁點擊進入指定集群;進入主菜單“存儲”——“持久卷聲明”,在列表查看。
3、創建工作負載
使用kubectl連接集群,創建示例yaml文件sts-example.yaml:
apiVersion: "apps/v1"
kind: "StatefulSet"
metadata:
name: "oceanfss-test"
namespace: "default"
spec:
podManagementPolicy: "OrderedReady"
replicas: 1
revisionHistoryLimit: 10
serviceName: ""
template:
spec:
containers:
- image: "nginx:1.25-alpine"
imagePullPolicy: "IfNotPresent"
name: "container1"
resources:
limits:
cpu: "100m"
memory: "256Mi"
requests:
cpu: "100m"
memory: "256Mi"
terminationMessagePath: "/dev/termination-log"
terminationMessagePolicy: "File"
volumeMounts:
- mountPath: "/tmp"
name: "volume1"
subPath: "ccsetest"
dnsPolicy: "ClusterFirst"
restartPolicy: "Always"
schedulerName: "default-scheduler"
securityContext: {}
terminationGracePeriodSeconds: 30
volumes:
- name: "volume1"
persistentVolumeClaim:
claimName: {YOUR-PVC-NAME} #替換為步驟2中的PVC名稱
updateStrategy:
rollingUpdate:
partition: 0
type: "RollingUpdate"執行以下命令,創建StatefulSet
kubectl apply -f sts-example.yaml查看創建的有狀態負載:登錄“云容器引擎”管理控制臺;在集群列表頁點擊進入指定集群;進入主菜單“工作負載”——“有狀態”,在列表查看。
驗證數據持久化
登錄“云容器引擎”管理控制臺;
在集群列表頁點擊進入指定集群;
進入主菜單“工作負載”——“有狀態”,進入負載詳情;
在Pod列表頁,選擇“遠程登錄”,進入到容器內執行以下命令:
1、向/tmp 目錄下寫一個文件,執行echo "Hello World" > /tmp/test.log
2、查看/tmp目錄下文件,執行ls /tmp,預期結果如下:
lost+found test.log退出“遠程登錄”,對上一步中的Pod執行“銷毀重建”,等待Pod重新運行正常;
對新建Pod,繼續執行“遠程登錄”,進入到容器內查看數據。執行cat /tmp/test.log,預期結果如下:
Hello World以上步驟說明,pod刪除重建后,重新掛載存儲卷,數據仍然存在, 說明數據可持久化保存。