命令拷貝
更新時間 2025-10-15 16:55:59
最近更新時間: 2025-10-15 16:55:59
分享文章
應用場景
適用于用戶的遷移服務器(物理機、彈性云主機)可以訪問待遷移數據,且和HPFS網絡互通,同時保證可掛載并行文件系統的場景下的遷移操作。
準備工作
創建遷移服務器,如果目標HPFS文件系統是NFS協議,遷移服務器可選擇彈性云主機。如果目標HPFS文件系統是HPFS_POSIX協議,遷移服務器需要選擇物理機(GPU裸金屬)。具體限制請參考操作系統限制。
將HPFS文件系統掛載至物理機或彈性云主機,具體操作請參考掛載文件系統。
操作步驟
遷移命令說明
HPFS數據拷貝是文件系統間數據的遷移,推薦使用數據同步工具rsync(remote synchronize)。
centos環境下rsync安裝命令:
yum install -y rsyncrsync支持本地(類似cp,我們一般選擇本地方式)或者遠端(類似scp)數據拷貝,可以鏡像保存整個目錄樹和文件系統,支持斷點續傳,快速安全。
rsync使用說明:
#本地拷貝
rsync [OPTION...] SRC... [DEST]
#常用選項:
--partial 保留那些因故沒有完全傳輸的文件,以是加快隨后的再次傳輸
--inplace 將更新的數據直接寫入目標文件,避免文件復制
--delete 刪除那些DST中SRC沒有的文件
-a, --archive 歸檔模式,表示以遞歸方式傳輸文件,并保持所有文件屬性,等于-rlptgoD
-v, --verbose 詳細模式輸出
-c, --checksum 打開校驗開關,強制對文件傳輸進行校驗數據拷貝時間可能很長(用戶數據量除以數據拷貝帶寬),為防止下線執行命令退出,可以采用后臺執行的方式執行rsync命令:
nohup rsync -a --partial --inplace -v $src_dir $dest_dir &