工具介紹:
文件遷移工具提供將本地文件、文件夾傳輸到云上天翼云對象存儲(ZOS),以及將云上天翼云對象存儲(ZOS)中的對象文件,下載到本地指定文件夾的能力。
主要功能:
- 本地文件遷移至云端對象:
- 本地文件過濾:支持指定文件或指定文件夾進行文件上云。
- 目的端ZOS指定目錄前綴:可以指定文件上云后在ZOS的指定前綴進行存儲。
- 目的端ZOS支持指定存儲類型:支持對上傳對象的存儲類型進行配置。
- 目的端ZOS支持指定訪問權限;支持對上傳對象的訪問權限進行配置。
- 目的端支持對象存儲目錄補充功能。
- 云端對象下載至本地文件:
- 云端ZOS過濾:支持指定ZOS中的文件或指定文件夾進行文件下載;
- 目的端本地文件目錄指定:文件下載后可以指定下載的文件在本地存儲的具體目錄;
- 支持斷點續傳:遷移過程中,如果出現中斷,重新啟動工具后,可以繼續執行遷移工作。已經遷移完成的部分數據,將會進行比對,如果一致則不進行遷移動作。
- 流量限制:支持單任務限速功能。
推薦配置
配置文件中的checkers與transfers參數用于控制遷移并發數,在實際使用中,為方便您快速進行遷移,可按配置文件中的checkers與transfers默認參數進行遷移。
若想根據您的服務器配置對工具并發數進行調優,以下為您列舉最低配置和常見配置情況下的并發數配置方案:
類型 服務器硬件配置 并發數配置(在配置文件中設置) 網絡帶寬 最低配置 2核心4GB內存
系統盤40GB以上
checkers配置為4,transfers配置為4 工具可公網部署,也可內網部署,無論公網還是內網,網絡帶寬將與工具的遷移速度正相關 常見配置 4核心8GB內存
系統盤40GB以上
checkers配置為8,transfers配置為8 常見配置 8核心16GB內存 系統盤40GB以上
checkers配置為16,transfers配置為16
說明若上表中沒有您的服務器配置,建議您按照實際的系統資源(如CPU核數情況)進行調整,以下為調優規則:
transfers參數配置:建議設置為?CPU?核數的?1-2?倍。例如,對于?4?核?CPU,可以設置為?4?或?8。
checkers參數配置:通常設置為與?transfers?相同或略高的值,例如?CPU?核數的?2?倍。
注意
工具執行多任務的影響:遷移工具支持多任務并發,上述配置僅針對單任務執行時的情況,若需要同時執行多個任務,建議根據任務需要進行分配。
提供較低的網絡帶寬的影響:如果網絡帶寬較低,遷移速度也將受到影響,且增加并發數可能不會顯著提升性能。
磁盤I/O與并發數:如果磁盤 I/O 是瓶頸,建議適當降低并發數。
測試的重要性:建議遷移前根據實際使用場景進行測試,調整參數以達到最佳性能。
對業務的影響:若遷移機器有其他業務在運行,建議降低并發(如CPU核數的一半),以免影響其他業務的運行。
用戶手冊:
文件遷移工具提供各版本下載:
Linux版本
適配X86處理器:
1、CentOS/CtyunOS2/CtyunOS3:
Ctyun-data-migration-v1.1.1-amd64.zip
2、Ubuntu:
Ctyun-data-migration-v1.1.1-amd64-ubuntu.zip
適配ARM處理器:
1、CentOS/CtyunOS2/CtyunOS3:
Ctyun-data-migration-v1.1.1-arm64.zip
2、Ubuntu:
Ctyun-data-migration-v1.1.1-arm64-ubuntu.zip
Windows版本
Ctyun-data-migration-v1.1.1-win.zip
更新記錄
以下為您提供工具更新的記錄,方便您參考:
日期 更新內容 2025年03月19日 一、修復與優化
1. 安裝腳本優化。
2. Windows版本修復不支持字符編碼轉義問題。
2024年12月25日 一、新增特性
1.支持指定文件進行上傳或下載:本地文件支持指定文件上傳至云端對象存儲;支持云端指定對象下載至本地文件系統。
2.支持指定云端對象存儲的存儲類型和訪問權限:支持指定本地文件上傳至云端對象存儲服務后的訪問權限和存儲類型。
3.同名文件處理策略支持全覆蓋模式:上傳或下載場景下的同名文件處理策略支持一律用源端數據覆蓋目的端同名數據。
4.支持目錄補充:本地文件遷移至云端對象,支持對象存儲側目錄補充。