云容器引擎支持使用天翼云海量文件存儲持久卷。當前cstor-csi插件支持使用海量文件服務動態存儲卷和靜態存儲卷，通過將存儲卷掛載到容器指定目錄下，以實現數據持久化需求。

前提條件

• 已創建容器集群

• 已在插件市場安裝存儲插件cstor-csi，插件版本>=3.6.0，且插件正常運行

使用限制

參見“海量文件概述”——“使用限制”

通過控制臺使用并行文件動態存儲卷

1、創建存儲類（StorageClass）

• 登錄“云容器引擎”管理控制臺；

• 在集群列表頁點擊進入指定集群；

• 進入主菜單“存儲”——“存儲類”，單擊左上角“創建”；

• 在創建對話框，配置存儲類StorageClass的相關參數。配置項說明如下：

• 參數配置完成后，點擊“確定”。創建成功后，可以在存儲類列表查看。

3、創建持久卷聲明（PVC）

• 進入主菜單“存儲”——“持久卷聲明”，單擊左上角“創建持久卷聲明”；

• 在創建對話框，配置持久卷聲明PVC的相關參數。配置項說明如下：

• 參數配置完成后，點擊“確定”。創建成功后，可以在持久卷聲明列表查看。

• 進入持久卷聲明列表頁，等待PVC狀態為“已綁定” 。此時，進入主菜單“存儲”——“持久卷“，可以看到對應的PV創建 。

• 如果PVC一直未綁定，可以查看進入對應PVC詳情頁查看事件，或者查看cstor-csi日志進行定位。

4、創建工作負載

• 登錄“云容器引擎”管理控制臺；

• 在集群列表頁點擊進入指定集群；

• 進入主菜單“工作負載”——“有狀態”，單擊左上角“創建SatefulSet”；

• 在創建對話框，數據卷欄中，選擇添加數據卷，卷類型選擇“使用已有PVC”，操作欄選擇“添加已有PVC”；

• 在實例內容器欄，為容器設置掛載點。選擇添加掛載點，選擇數據卷為上一步創建，根據需要配置容器路徑和權限；

• 所有的信息都配置完成后，單擊 “提交” 。

創建成功后，您就可以正常使用數據卷。

通過kubectl命令行使用并行文件動態存儲卷

1、創建存儲類（StorageClass）

• 使用kubectl連接集群，創建示例yaml文件sc-example.yaml：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: cstor-csi-oceanfs-sc
provisioner: oceanfs.csi.cstor.com
parameters:
  # 產品類型
  type: massive  
  # 掛載協議，默認為nfs
  protocol: nfs  
reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:

• 執行以下命令，創建StorageClass

kubectl apply -f sc-example.yaml

• 查看創建的StorageClass：

  登錄“云容器引擎”管理控制臺；在集群列表頁點擊進入指定集群；進入主菜單“存儲”——“存儲類”，在存儲類列表查看。

2、創建持久卷聲明（PVC）

• 使用kubectl連接集群，創建示例yaml文件pvc-example.yaml：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cstor-pvc-oceanfs
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 100Gi
  storageClassName: cstor-csi-oceanfs-sc

• 執行以下命令，創建PVC

kubectl apply -f pvc-example.yaml

• 查看創建的PVC：

登錄“云容器引擎”管理控制臺；在集群列表頁點擊進入指定集群；進入主菜單“存儲”——“持久卷聲明”，在列表查看。

3、創建工作負載

• 使用kubectl連接集群，創建示例yaml文件sts-example.yaml：

apiVersion: "apps/v1"
kind: "StatefulSet"
metadata:
  name: "oceanfs-test"
  namespace: "default"
spec:
  podManagementPolicy: "OrderedReady"
  replicas: 1
  revisionHistoryLimit: 10
  template:
    spec:
      containers:
      - image: "nginx:1.25-alpine"
        imagePullPolicy: "IfNotPresent"
        name: "container1"
        resources:
          limits:
            cpu: "100m"
            memory: "256Mi"
          requests:
            cpu: "100m"
            memory: "256Mi"
        terminationMessagePath: "/dev/termination-log"
        terminationMessagePolicy: "File"
        volumeMounts:
        - mountPath: "/tmp"
          name: "volume1"
          subPath: "ccsetest"
      dnsPolicy: "ClusterFirst"
      restartPolicy: "Always"
      schedulerName: "default-scheduler"
      securityContext: {}
      terminationGracePeriodSeconds: 30
      volumes:
      - name: "volume1"
        persistentVolumeClaim:
          claimName: "cstor-pvc-oceanfs"
  updateStrategy:
    rollingUpdate:
      partition: 0
    type: "RollingUpdate"

• 執行以下命令，創建StatefulSet

kubectl apply -f sts-example.yaml

• 查看創建的有狀態負載：登錄“云容器引擎”管理控制臺；在集群列表頁點擊進入指定集群；進入主菜單“工作負載”——“有狀態”，在列表查看。

驗證數據持久化

• 登錄“云容器引擎”管理控制臺；

• 在集群列表頁點擊進入指定集群；

• 進入主菜單“工作負載”——“有狀態”，進入負載詳情；

• 在Pod列表頁，選擇“遠程登錄”，進入到容器內執行以下命令：

  1、向/tmp 目錄下寫一個文件，執行echo "Hello World" > /tmp/test.log 

  2、查看/tmp目錄下文件，執行ls /tmp，預期結果如下:

lost+found  test.log

• 退出“遠程登錄”，對上一步中的Pod執行“銷毀重建”，等待Pod重新運行正常；

• 對新建Pod，繼續執行“遠程登錄”，進入到容器內查看數據。執行cat /tmp/test.log，預期結果如下：

Hello World

• 以上步驟說明，pod刪除重建后，重新掛載存儲卷，數據仍然存在，說明海量文件中的數據可持久化保存。