云容器引擎支持使用天翼云對象存儲持久卷。當前cstor-csi插件支持使用對象存儲動態存儲卷和靜態存儲卷，通過將存儲卷掛載到容器指定目錄下，以實現數據持久化需求。
前提條件
已創建容器集群
已在插件市場安裝存儲插件cstor-csi，且插件正常運行
容器集群所在資源池已開通對象存儲服務
使用限制
參見“對象存儲概述”——“使用限制”
通過控制臺使用對象存儲動態存儲卷
1 、創建保密字典
進入天翼云對象存儲控制臺，進入Access Key管理；
查看對象存儲密鑰，并記錄；
登錄“云容器引擎”管理控制臺；
在集群列表頁點擊進入指定集群；
進入主菜單“配置管理”——“保密字典”，選擇命名空間，單擊左上角“創建”。
輸入名稱、內容，內容項變量名分別是AK、SK（變量名大寫），變量值分別對象上一步中獲取到的密鑰；點擊提交；
2 、創建存儲類（ StorageClass ）
登錄“云容器引擎”管理控制臺；
在集群列表頁點擊進入指定集群；
進入主菜單“存儲”——“存儲類”，單擊左上角“創建”；
在創建對話框，配置存儲類StorageClass的相關參數。配置項說明如下：
| 配置項 | 說明 |
|---|---|
| 名稱 | StorageClass的名稱。 |
| 存儲類型 | 前支持云盤、彈性文件、對象存儲、并行文件、海量文件和本地存儲，這里選擇對象存儲。 具體創建頁中展示的存儲類型由當前資源池支持情況決定。 |
| 存儲驅動 | 對應StorageClass yaml中provisioner，值為zos.csi.cstor.com |
| 回收策略 | 回收策略，默認為Deleted。 1、 Retained（保留）：用戶可以手動回收資源。當PVC對象被刪除時，PV卷仍然存在，對應的數據卷被視為"已釋放（released）"。 2、 Deleted（刪除）：對于支持Delete回收策略的卷插件，刪除動作會將PV對象從Kubernetes中移除，同時也會從外部基礎設施中移除所關聯的存儲資產。 如果對數據安全性要求高，推薦使用Retain方式，以免誤刪數據。 |
| 綁定策略 | 綁定策略，默認為Immediate。 1、Immediate模式：表示一旦創建了PVC，也就完成了卷綁定和動態供應。對于由于拓撲限制而非集群所有節點可達的存儲后端，PV會在不知道Pod調度要求的情況下綁定或者制備。 · 2、WaitForFirstConsumer模式：該模式將延遲PV的綁定和制備，直到使用該PVC的Pod被創建。PV會根據Pod調度約束指定的拓撲來選擇或供應。 |
| 參數 | 對象存儲類型：參數鍵為type，支持參數值如下： 1、STANDARD：標準存儲 2、STANDARD_IA：低頻存儲 AZ策略：當前支持單可用區（默認值）、多可用區。參數鍵為azpolicy，支持參數值為single-az（默認值）、multi-az 訪問證書：命名空間、名稱分別選擇步驟1中保密字典所屬命名空間及名稱。對應StorageClass中參數鍵分別為csi.storage.k8s.io/node-publish-secret-namespace、csi.storage.k8s.io/node-publish-secret-name |
| 掛載選項 | 掛載參數，用戶可根據自己的情況實際定制相關參數。 |
參數配置完成后，點擊“確定”。創建成功后，可以在存儲類列表查看。
3 、創建持久卷聲明（ PVC ）
進入主菜單“存儲”——“持久卷聲明”，單擊左上角“創建持久卷聲明”；
在創建對話框，配置持久卷聲明PVC的相關參數。配置項說明如下：
| 配置項 | 說明 |
|---|---|
| 名稱 | PVC的名稱 |
| 存儲聲明類型 | 前支持云盤、彈性文件、對象存儲、并行文件、海量文件和本地存儲，這里選擇對象存儲。 具體創建頁中展示的存儲類型由當前資源池支持情況決定。 |
| 分配模式 | 當前支持“使用存儲類”和“已有存儲卷” 這里選擇“使用存儲類” |
| StorageClass名稱 | 選擇上一步創建的StorageClass |
| 容量 | 可以根據需求自定義容量 |
| 訪問模式 | 1、ReadWriteOnce：卷可以被一個節點以讀寫方式掛載 2、ReadOnlyMany：卷可以被多個節點以只讀方式掛載 3、ReadWriteMany：卷可以被多個節點以讀寫方式掛載 |
參數配置完成后，點擊“確定”。創建成功后，可以在持久卷聲明列表查看。
進入持久卷聲明列表頁，等待PVC狀態為“已綁定” 。此時，進入主菜單“存儲”——“持久卷“，可以看到對應的PV創建。
PV創建后，可以在“天翼云對象存儲”管理控制臺看到對應名稱的bucket
如果PVC一直未綁定，可以查看進入對應PVC詳情頁查看事件，或者查看cstor-csi日志進行定位。
4 、創建工作負載
登錄“云容器引擎”管理控制臺；
在集群列表頁點擊進入指定集群；
進入主菜單“工作負載”——“有狀態”，單擊左上角“創建SatefulSet”；
在創建對話框，數據卷欄中，選擇添加數據卷，卷類型選擇“使用已有PVC”，操作欄選擇“添加已有PVC”；
在實例內容器欄，為容器設置掛載點。選擇添加掛載點，選擇數據卷為上一步創建，根據需要配置容器路徑和權限；
說明
數據卷子路徑：對象存儲支持配置卷內子路徑，實現一個共享卷掛載多個路徑。
所有的信息都配置完成后，單擊“提交”。
創建成功后，您就可以正常使用數據卷。
通過kubectl命令行使用對象存儲動態存儲卷
1 、創建存儲類（ StorageClass ）
使用kubectl連接集群，創建示例yaml文件sc-example.yaml：
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: cstor-csi-zos-standard-sc
provisioner: zos.csi.cstor.com
parameters:
# 標準存儲
type: STANDARD
# 使用bucket所使用的AK/SK的secret
csi.storage.k8s.io/node-publish-secret-name: obs-secret
csi.storage.k8s.io/node-publish-secret-namespace: default
# 對象存儲的AZ策略，不填默認為single-az
azpolicy: single-az
reclaimPolicy: Delete
allowVolumeExpansion: true執行以下命令，創建StorageClass
kubectl apply -f sc-example.yaml查看創建的StorageClass：
登錄“云容器引擎”管理控制臺；
在集群列表頁點擊進入指定集群；
進入主菜單“存儲”——“存儲類”，在存儲類列表查看。
2 、創建持久卷聲明（ PVC ）
使用kubectl連接集群，創建示例yaml文件pvc-example.yaml：
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: cstor-pvc-zos
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 10Gi
storageClassName: cstor-csi-zos-standard-sc執行以下命令，創建PVC
kubectl apply -f pvc-example.yaml查看創建的PVC：
登錄“云容器引擎”管理控制臺；
在集群列表頁點擊進入指定集群；
進入主菜單“存儲”——“持久卷聲明”，在列表查看。
3 、創建工作負載
使用kubectl連接集群，創建示例yaml文件sts-example.yaml：
apiVersion: "apps/v1"
kind: "StatefulSet"
metadata:
name: "zos-test"
namespace: "default"
spec:
podManagementPolicy: "OrderedReady"
replicas: 1
revisionHistoryLimit: 10
template:
spec:
containers:
- image: "nginx:1.25-alpine"
imagePullPolicy: "IfNotPresent"
name: "container1"
resources:
limits:
cpu: "100m"
memory: "256Mi"
requests:
cpu: "100m"
memory: "256Mi"
terminationMessagePath: "/dev/termination-log"
terminationMessagePolicy: "File"
volumeMounts:
- mountPath: "/tmp"
name: "volume1"
subPath: "ccsetest"
dnsPolicy: "ClusterFirst"
restartPolicy: "Always"
schedulerName: "default-scheduler"
securityContext: {}
terminationGracePeriodSeconds: 30
volumes:
- name: "volume1"
persistentVolumeClaim:
claimName: "cstor-pvc-zos"
updateStrategy:
rollingUpdate:
partition: 0
type: "RollingUpdate"執行以下命令，創建StatefulSet
kubectl apply -f sts-example.yaml查看創建的有狀態負載：
登錄“云容器引擎”管理控制臺；
在集群列表頁點擊進入指定集群；
進入主菜單“工作負載”——“有狀態”，在列表查看。
驗證數據持久化
登錄“云容器引擎”管理控制臺；
在集群列表頁點擊進入指定集群；
進入主菜單“工作負載”——“有狀態”，進入負載詳情；
在Pod列表頁，選擇“遠程登錄”，進入到容器內執行以下命令：
向/tmp 目錄下寫一個文件，執行echo "Hello World" > /tmp/test.log
查看/tmp目錄下文件，執行ls /tmp，預期結果如下:
lost+found test.log退出“遠程登錄”，對上一步中的Pod執行“銷毀重建”，等待Pod重新運行正常；
對新建Pod，繼續執行“遠程登錄”，進入到容器內查看數據。執行cat /tmp/test.log，預期結果如下：
Hello World登錄“天翼云對象存儲”管理控制臺，根據PV名稱查看bucket，進入bucket——文件管理，可以看到在容器內創建的文件：
下載文件并查看內容，預期結果與容器內寫入數據一致。
以上步驟說明，pod刪除重建后，重新掛載對象存儲卷，數據仍然存在；從對象存儲下載數據并與寫入數據一致，說明對象存儲中的數據可持久化保存。
