操作場景
使用對象存儲遷移服務創建對象存儲任務,對業務環境的對象數據實施遷移。
如果待遷移的整桶數據超過3TB或者對象個數超過500萬,建議使用創建遷移任務組進行數據遷移。
前提條件
已獲取源端和目的端賬號的AK/SK。
源端賬號擁有list Bucket,get BucketLocation,list Object,head Object,get Object等權限,具體權限獲取方式請聯系源端云服務商。
list Bucket、get BucketLocation權限在遷移前選擇桶時使用,如果使用指定桶名時可不用配置。
目的端擁有OBS OperateAccess權限,獲取方式請參見創建IAM用戶并授權使用OBS。
- 已在天翼云OBS服務中創建桶。
操作步驟
步驟 1在瀏覽器中輸入//127.0.0.1:7099/,登錄RDA控制臺。
步驟 2單擊左側導航欄的“遷移實施”頁簽,展開右側出現的“對象存儲遷移”頁簽,單擊“遷移任務 > 創建遷移任務”,仔細閱讀彈出的隱私協議聲明,勾選“同意以上隱私協議”,單擊“確定”,進入“創建遷移任務”頁面。
創建遷移任務

閱讀,同意對象存儲服務隱私協議,單機確認。
步驟 3選擇源端/目的端。
選擇源端

源端選擇參數:
| 參數 | 說明 |
|---|---|
| 數據源 | 待遷移的源端云服務提供商。 |
| appID | 如果源端云服務提供商為騰訊云,則需要輸入該參數,appID 是您騰訊云帳戶的一個標識。 |
| 訪問密鑰 | 源端云服務提供商的訪問密鑰(AK)。最大長度是100個字符。 |
| 私有訪問密鑰 | 源端云服務提供商的私有訪問密鑰(SK),與AK相匹配。最大長度是100個字符。 |
| 區域 | 源端云服務提供商所在區域 |
| 桶名 | 待遷移數據所在的桶。 |
選擇目的端:

目的端選擇參數
| 參數 | 說明 |
|---|---|
| 數據源 | 云服務提供商,選擇天翼云 |
| 訪問密鑰 | 天翼云的訪問密鑰(AK)。最大長度是100個字符。 |
| 私有訪問密鑰 | 天翼云的私有訪問密鑰(SK),與AK相匹配。最大長度是100個字符。輸入訪問密鑰和私有訪問密鑰后,請單擊“連接目的端桶”。 |
| 桶名 | 存放遷移數據的天翼云OBS桶。 |
步驟 4單擊“下一步”,設置任務參數。


步驟 5選擇遷移方式。
- 選擇文件/文件夾
單擊“選擇”,選擇待遷移的文件或文件夾后,單擊“確定”。對于已選擇的文件或文件夾,您可以單擊從遷移對象列表中刪除。
如果選擇的云服務提供商為七牛,則不支持選擇文件/文件夾。
若不設置該參數,則默認遷移全桶數據。
針對每個遷移任務,在同一目錄層級下,您最多可以選擇500個文件或文件夾。
由于OBS服務的規格限制,請確認對象遷移到目的端后的名稱不超過1024個字符,否則將導致任務失敗。 - 指定對象列表
指定對象列表方式,一般用于增量遷移場景,用戶需要將待遷移的源端對象名稱寫入對象列表文件,并將生成的對象列表文件放在天翼云OBS桶中,對象存儲遷移服務將會遷移指定對象列表文件中的所有對象。
b.選擇“列表文件所在桶(天翼云)”。
此參數中列出的桶是通過輸入的目的端AK/SK得到的桶列表。
請確保列表文件所在桶與目的端桶處于同一區域,否則后續將無法選擇對象列表文件。
c.在“對象列表文件”區域內單擊“選擇”,選擇用戶指定的對象列表文件,單擊“確定”。
對象列表文件大小不能超過100MB。
對象列表文件必須是“.txt”類型的文件,并且該文件元數據中的“ContentType”只能為:“text/plain”。
對象列表文件必須是UTF-8無BOM格式編碼格式。
對象列表文件中每行只能包含一個對象名稱,并且對象名稱使用URL Encode編碼。
對象列表文件中每行不要添加無效空格,否則會將空格作為對象名,導致遷移失敗。
對象列表文件中每行長度不要超過65535,否則會導致遷移失敗。
對象列表文件的元數據中不能設置“ContentEncoding”,否則會導致遷移失敗。
對象列表文件如果是歸檔數據,遷移前需要先手動恢復,對象存儲遷移服務才能訪問和獲取。
- 輸入對象前綴
在“添加對象數據”區域內輸入對象數據名稱或者名稱前綴,系統會自動匹配出數據。您可以單擊,從這些匹配到的遷移數據列表中刪除不需要遷移的數據。
若不添加該參數,則默認遷移全桶的數據。
- 指定URL列表
指定URL列表方式,一般適用于HTTP或HTTPS源端的遷移場景,用戶需要將待遷移的文件URL和目的端對象名稱寫入URL列表文件,并將生成的URL列表文件放在天翼云OBS桶中,對象存儲遷移服務將會遷移指定URL列表文件中的所有對象。
d.選擇“列表文件所在桶(天翼云)”。
- 此參數中列出的桶是通過輸入的目的端AK/SK得到的桶列表。
- 請確保列表文件所在桶與目的端桶處于同一區域,否則后續將無法選擇對象列表文件。
- 出于安全考慮,若您的源端同時支持HTTP和HTTPS協議,建議遷移時使用HTTPS協議;若使用HTTP協議,會存在數據可能會被監聽竊取、數據被篡改、中間人重放攻擊等風險。
- URL列表遷移不支持URL重定向。
e.在“選擇URL列表文件”區域內單擊“選擇”,選擇用戶指定的URL列表文件,單擊“確定”。
- URL列表文件大小不能超過100MB。
- URL列表文件必須是“.txt”類型的文件,并且該文件元數據中的“ContentType”只能為:“text/plain”。
- URL列表文件必須是UTF-8無BOM格式編碼格式。
- URL列表文件中每行只能包含一個URL和目的端對象名稱。
- URL列表文件中每行長度不要超過65535,否則會導致遷移失敗。
- URL列表文件的元數據中不能設置“ContentEncoding”,否則會導致遷移失敗。
- URL列表文件中每行使用制表符\t分割URL和目的端對象名稱,格式為:[URL][制表符][目的端對象名稱],其中目的端對象名稱使用URL Encode編碼,例如:
//xxx.obs.cn-jssz1.daliqc.cn/doc/文件1.txt doc%2f%e6%96%87%e4%bb%b61.txt
//xxx.obs.cn-jssz1.daliqc.cn/doc/thefile2.txt doc%2fthefile2.txt
//xxx.obs.cn-jssz1.daliqc.cn/the%20file.txt the%20file.txt
//xxx.obs.cn-jssz1.daliqc.cn/the%20file2.txt the+file2.txt
//xxx.obs.cn-jssz1.daliqc.cn/doc/thefile.txt doc/thefile.txt
以上示例中,URL所表示的文件,被復制到目的端桶后,對象會被分別命名為:doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/thefile.txt。
- URL列表文件中每行不要添加無效空格,否則會將空格作為對象名,導致遷移失敗。
步驟 6(可選)設置“源端參數”。
當您的源端云服務提供商提供了下表中首列相應的功能時,才會出現此部分參數。
源端參數
| 參數 | 說明 |
|---|---|
| 源端使用自定義域名下載 | 當默認域名不能滿足您的遷移需求,比如您需要一個自定義域名以便使用CDN降低源端出口下載流量的費用,且您的源端云服務提供商支持自定義域名時,可以勾選此選項。說明當源端云服務提供商是七牛云時,因其對默認域名的使用做了限制,為確保您的遷移順利進行,系統已為您自動勾選此參數。勾選此選項后,進行如下設置:在“自定義域名傳輸協議”中選擇傳輸協議。說明HTTP協議安全級別低于HTTPS協議,推薦使用HTTPS協議。填寫“桶自定義域名”。如果您使用了源端云服務提供商提供的CDN鑒權,則選擇“啟用CDN鑒權校驗”,并配置校驗類型和秘鑰。說明l您需要參見源端云服務提供商的相關資料配置CDN后,才能使用CDN相關功能。l使用源端CDN產生的費用遵從源端云服務提供商的計費規則,費用由源端云服務提供商向您收取。l不支持URl重定向。單擊“檢查”,檢查配置是否正確。l如果檢查未通過,請單擊“詳情”查看未通過的原因。l如果檢查通過,則可繼續進行其他遷移配置。 |
| 解凍歸檔數據 | 歸檔類型的對象存儲要實現遷移,必須預先解凍。當您的源端云服務提供商支持自動解凍歸檔類型數據時,可以勾選此選項。l勾選:如果遇到歸檔類型對象,則自動解凍該對象并進行遷移。如果解凍失敗,則判定該對象遷移失敗并跳過,繼續遷移其余對象。l不勾選:如果遇到歸檔類型對象,則直接判定該對象遷移失敗并跳過,繼續遷移其余對象。說明l目前支持以下云服務提供商的歸檔數據的自動解凍:華為云、阿里云、金山云、騰訊云。l解凍預計耗時1分鐘及以上,對象越大解凍耗時越長,超過3分鐘默認解凍失敗。各云服務提供商的解凍耗時可能存在差異,具體請參考各云服務提供商的相關文檔。l解凍歸檔數據的過程中會產生兩種費用,一是API調用費用,二是歸檔數據取回費用,這些均由源端云服務提供商向您收取。l歸檔數據的解凍狀態會持續一段時間,在此時間內支持對象的下載/訪問,超過此時間后需要重新解凍。解凍狀態持續時間請參考各云服務提供商的相關文檔。l對象存儲數據從源端云服務提供商遷移到天翼云后,存儲類型和目的端桶的存儲類型保持一致,與源端對象存儲類型無關。 |
步驟 7單擊“高級選項”后面“展開”,展開高級選項參數。
步驟 8(可選)設置高級選項參數。
高級選項參數
| 參數 | 說明 |
|---|---|
| 服務端加密 | 如果勾選“KMS”,對遷移數據進行KMS服務端加密后再存儲至目的OBS桶中。說明使用KMS服務端加密可能會降低遷移速率10%左右。當前區域支持KMS加密時,此參數方可用。 |
| 記錄失敗對象 | 選擇是否記錄遷移失敗的對象。l選擇“否”,則不記錄遷移失敗的對象。如果遷移失敗,只能全量重傳。l選擇“是”,記錄遷移失敗的對象。如果遷移失敗,支持只對遷移失敗對象進行重傳。說明遷移失敗的對象將被記錄在一個以任務名稱命名的失敗對象列表文件中,普通任務:上傳到目的端桶的“oms/failed_object_lists/”路徑下;任務組任務:上傳到目的端桶的“oms/failed_object_lists”路徑下。該文件記錄了遷移任務失敗的摘要信息,包括:失敗原因、發生時間(參照當前區域所屬時區)、失敗對象(經過URL編碼)、失敗對象(未經過URL編碼)、源端SDK返回的錯誤碼。當遷移失敗對象重傳成功后,失敗對象列表文件仍會保留在目的端。您如果不再需要該文件,請手動刪除。 |
| 解凍歸檔數據 | 歸檔類型的對象存儲要實現遷移,必須預先解凍。當您的源端云服務提供商支持自動解凍歸檔類型數據時,可以勾選此選項。l勾選:如果遇到歸檔類型對象,則自動解凍該對象并進行遷移。如果解凍失敗,則判定該對象遷移失敗并跳過,繼續遷移其余對象。l不勾選:如果遇到歸檔類型對象,則直接判定該對象遷移失敗并跳過,繼續遷移其余對象。說明l目前支持以下云服務提供商的歸檔數據的自動解凍:華為云、阿里云、金山云、騰訊云。l解凍預計耗時1分鐘及以上,對象越大解凍耗時越長,超過3分鐘默認解凍失敗。各云服務提供商的解凍耗時可能存在差異,具體請參考各云服務提供商的相關文檔。l解凍歸檔數據的過程中會產生兩種費用,一是API調用費用,二是歸檔數據取回費用,這些均由源端云服務提供商向您收取。l歸檔數據的解凍狀態會持續一段時間,在此時間內支持對象的下載/訪問,超過此時間后需要重新解凍。解凍狀態持續時間請參考各云服務提供商的相關文檔。l對象存儲數據從源端云服務提供商遷移到天翼云后,存儲類型和目的端桶的存儲類型保持一致,與源端對象存儲類型無關。 |
| 遷移指定時間后的對象 | 選擇是否使用時間過濾源端待遷移對象。l選擇“否”,不過濾源端待遷移對象。l選擇“是”,僅遷移在指定時間之后修改的源端待遷移對象。需要單擊 ,設置遷移指定時間。 |
| 流量控制 | 設置遷移任務在指定時段的最大流量帶寬。l選擇“否”,不進行流量控制。l選擇“是”,進行流量控制。需要執行以下步驟:1.[]()單擊“新增流量控制”。下方新增一條規則記錄。2.[]()在“開始時間”、“結束時間”和“限制最大流量”文本框中輸入數值。限制最大流量的數值范圍:1~ 200MB/s。3. 重復步驟,增加新的流量控制規則。您也可以單擊“操作”欄的 ,刪除本行記錄。說明最多可以創建5條記錄。即使在創建任務后,您也可以在任務詳情中繼續設置流量控制規則。 |
| 描述 | 輸入本次遷移任務的簡單描述信息。最多可輸入255個字符。 |
步驟 9 單擊“下一步”,進入確認信息頁面。
步驟 10 確認遷移信息的設置,并啟動遷移。
1.瀏覽各項遷移參數的設置是否正確。
如果有誤,可以單擊“上一步”返回之前的頁面進行修改。
2.單擊“開始遷移”。
提示創建遷移任務成功。查看遷移任務列表已新增該任務。
關于遷移任務狀態,參見查看遷移任務。
任務創建后,會生成一個任務ID供您快速識別。它顯示在列表中任務的左上角,由源端桶名+目的端桶名+時間序列標識拼接而成。
,設置遷移指定時間。