創建HPFS實例

前提條件

1. 請確認您已 開通并行文件服務。
2. 該賬號為主賬號。

創建文件系統

1. 登錄天翼云控制中心，選擇地域，選擇“存儲”>“并行文件服務HPFS”，進入并行文件服務頁面。
2. 單擊“創建文件系統”，進入創建文件系統頁面，設置所給出的配置項，包括存儲類型、存儲協議等信息，具體說明請參見 創建文件系統。

上傳數據到HPFS實例

步驟一：存儲掛載

創建好的文件系統需要掛載至通過RDMA網絡與HPFS實例相連的物理機節點使用。建議使用本平臺資源組創建的GPU物理機節點，通過本平臺功能進行自動存儲掛載，用戶也可以選擇手動掛載。

1. 在本平臺進行存儲掛載

進入異構計算控制臺，選擇 “數據準備”>“存儲掛載” ，點擊“創建存儲掛載”，選擇需要掛載的HPFS實例，掛載至合適的節點上。

2. 手動掛載

請參考文檔：掛載文件系統。

步驟二：上傳數據

文件系統掛載完成后，您可以將本地或其他存儲設備上的數據遷移至已掛載HPFS實例的目錄下。您可以通過以下方式上傳數據：

1. 本地直接上傳：開通彈性IP，通過公網本地上傳；
2. 其他方式：包括數據快遞等其他上傳方式。

注意
建議用戶在上傳數據階段記錄HPFS的目錄結構，以方便后續的使用與管理。

本地直接上傳

1. 您需要申請彈性IP，詳情操作請見申請彈性IP，

   注意
   彈性IP需與綁定的云資源在同一個區域進行使用，不允許跨區域（Region）使用彈性IP。
   請注意訪問的安全性。
   

2. 申請彈性IP后，在控制臺綁定上一步中已掛載的節點。

3. 在本地設備執行以下命令，從本地復制文件到節點已掛載的HPFS存儲目錄；

   # 將本地的 `file` 文件復制到遠程主機 `remote_host` 的 `/mnt/cwai/hpfs12` 目錄下
   scp -r /local/file user@remote_host:/mnt/cwai/hpfs12
   

4. 運行完成后，可登錄節點查看是否傳輸成功。

其他方式

請參考文檔：數據遷移。

在本平臺使用HPFS

在標準資源組使用HPFS

在創建存儲掛載時，選擇標準資源組及擴展資源組下的節點，登錄節點后，您可以像訪問本地數據一樣讀寫文件系統中存儲的數據。

在擴展資源組使用HPFS

1. 創建k8s存儲掛載

1. 創建共享存儲

進入控制臺，選擇 “數據準備”>“k8s共享存儲” ，點擊“創建k8s共享存儲”，選擇需要掛載的HPFS實例，掛載至所要使用的資源組上。

2. 子目錄管理

HPFS共享存儲提供了子目錄管理功能方便后續使用，支持用戶：

1. 同步HPFS實例下的子目錄；
2. 創建新的子目錄。

說明
該頁面無法自動獲取HPFS實例上已創建的目錄列表，需要用戶通過手動創建的方式手動同步HPFS目錄，以便在本平臺上分配和使用。
在該頁面創建HPFS子目錄并不意味著在HPFS實例上同步創建，創建的目錄僅是在本平臺內部進行子目錄的可視化管理，直到該目錄被掛載到任務實例中，并實際執行讀寫操作的時候，才會對不存在目錄進行創建。

操作說明：

1. 同步HPFS實例子目錄：點擊上步創建的共享存儲掛載名稱，進入“共享存儲詳情”>“子目錄管理”>“添加”，用戶可以根據實際需要添加此實例的子目錄，建立相同的目錄結構，方便后續使用。管理員也可以在此處建立子目錄對子用戶的授權關系，以做到目錄隔離，只有被授權的用戶才能在工作空間看見此子目錄。
   
   
2. 新建子目錄：除了添加原有的目錄外，用戶也可以新建子目錄，用于后續的寫數據操作。

2. 創建數據集

本步驟為可選步驟。對于主賬號在“數據準備”>“K8s共享存儲中”已創建成功的k8s共享存儲，數據集功能可以對其進行進一步的劃分，起到標簽管理的作用。

進入工作空間，點擊“數據準備”>“創建數據集”，選擇已創建成功的k8s共享存儲及子目錄，輸入合適的名稱，點擊創建。

3. 創建訓練任務，使用共享存儲

1. 點擊“訓練”>“自定義訓練”>“新建訓練任務”，在存儲處點擊“+HPFS共享存儲”或“+數據集”，支持添加多個存儲。

   1. HPFS共享存儲：選擇需要使用的共享存儲及已創建的子目錄。
   2. 數據集：選擇已創建好的數據集名稱。
      

   注意
   任務所屬隊列與共享存儲屬于同一個資源組下，數據集功能才能正常使用，否則數據集處無法顯示已創建的數據集。
   

2. 填寫其他配置，保存任務。

3. 創建完成后，返回訓練任務列表，點擊“運行”，開啟任務。