操作場景
對象存儲遷移服務ZMS在執行任務時,會先進行源端數據掃描,若您的源端持續增加新數據,則每次執行遷移任務時,無法確保遷移源端實時新增的數據。本方案將介紹通過規劃任務的多次遷移,逐步實現將您的源端增量數據遷移至天翼云ZOS。
源端增量數據包含以下情況:
- 源端存量數據的修改:后續業務對源端已有的存量數據進行修改。
- 對源端新寫入的數據:源端數據不存在,后續業務在源端新寫入的數據。
遷移方案的原理
要實現對源端增量數據的遷移,需要每次執行遷移時,對不需要重復遷移的數據進行跳過,僅遷移增量數據。
對象存儲遷移服務ZMS提供“ 按最后修改時間 ”選項,支持對進行同名文件是否覆蓋的判斷。該配置實現以下效果:
- 對源端和目的端的同名文件:若源端該文件的最后修改時間(Lastmodified)比目的端新,則用源端更新的文件覆蓋目的端較舊的文件,實現將源端存儲數據的最新修改同步至目的端。
- 對源端新寫入的文件:源端新寫入的文件在目的端無同名文件,會直接將該新寫入文件遷移至目的端,實現對源端新寫入文件的遷移。
因此,配置“ 按最后修改時間 ”進行遷移,既可以將對源端新寫入的數據全部進行遷移,又可以對源端和目的端都存在的同名文件按最后修改時間判斷,將源端最新修改(不包含刪除)過的存量數據也進行遷移。
注意
遷移方案的關鍵操作
- 配置“ 同名文件是否覆蓋 ”選項:創建任務時,配置按 最后修改時間(Lastmodified) 的處理方式,來進行遷移。
- 根據源端業務的增量情況,多次使用“開始”操作啟動遷移任務進行增量的遷移。
操作流程
該方案通過多次遷移實現對源端增量數據的遷移,具體流程如下:
準備工作
注冊天翼云賬號
使用對象存儲遷移服務ZMS,您需要先注冊天翼云門戶的賬號。本部分將介紹如何進行賬號注冊,如果您擁有天翼云的賬號,可登錄后直接使用對象存儲遷移服務。
- 打開天翼云門戶網站,點擊“ 注冊 ”。
- 在注冊頁面,請填寫“ 郵箱地址 ”、“ 登錄密碼 ”、“ 手機號碼 ”,并點擊“ 同意協議并提交 ” 按鈕,如1分鐘內手機未收到驗證碼,請再次點擊“ 免費獲取短信驗證碼 ”按鈕。
- 注冊成功后,可到郵箱激活您的賬號,即可體驗天翼云。
- 進行實名認證,請參考會員服務-實名認證。
開通天翼云對象存儲
登錄您的天翼云賬號即可使用對象存儲遷移服務ZMS,但天翼云對象存儲ZOS需要您單獨開通,具體操作可參看開通對象存儲服務。
獲取源端和目的端的訪問密鑰(AK/SK)
- 源端:源端為天翼云OOS,請檢查您的天翼云OOS對應賬號是否已創建有訪問密鑰(AK/SK),并且為您的賬號授權天翼云OOS的訪問權限。
- 目的端:目的端僅為天翼云對象存儲ZOS,您可參看獲取訪問密鑰(AK/SK),獲取您的訪問密鑰(AK/SK)。
創建目的端存儲桶(bucket)
請您在遷移前創建用于存儲遷移數據的對象存儲桶,具體操作可參看創建桶。
解凍源端的待遷移數據
若您源端的數據采用歸檔存儲類型,遷移服務將無法直接進行遷移,請您提前對源端數據進行解凍,并待解凍全部完成后再創建遷移任務。
注意
步驟一:創建任務并首次遷移
前提條件
- 您具備源端對應賬戶的訪問密鑰(AK/SK)及訪問權限。
- 請確保您的業務處于空閑階段或非高峰期,避免遷移執行時影響您的業務。
操作步驟
1.填寫源端目的端的相關參數
a.登錄控制中心,點擊控制中心左上角的圖標,選擇地域(服務入口目前僅開放“華東1”地域,推薦選擇“華東1”即可),單擊“存儲>對象存儲>對象存儲遷移服務>遷移任務”進入遷移任務的控制界面,點擊“創建遷移任務”。
說明遷移服務的控制臺入口僅部分地域開放(目前僅有“華東1”開放),但服務支持遷移到全國不同資源池的ZOS桶。
例如:您在“華東1”的遷移服務控制臺使用服務,依舊能為您遷移源端為“其他云服務商”或“華北2”的數據到“成都4”的對象存儲桶。
b.按照您的遷移需要,在創建遷移任務頁面填寫源端和目的端的相關參數。
2.配置同名文件是否覆蓋
通過配置“同名文件是否覆蓋”參數,可以首次遷移源端的存量數據,后續多次開始該任務,完成對增量的遷移。該配置項的說明如下:
參數
說明
高級選項 同名文件是否覆蓋 選擇遷移的同名文件處理策略,支持:同名文件不覆蓋、同名文件全覆蓋、按最后修改時間判斷。
說明
不覆蓋
全覆蓋
按最后修改時間
注意全覆蓋
a.針對增量遷移的場景,配置“按最后修改時間”即可,然后創建該遷移任務。任務創建成功后會在“遷移任務列表”中展示。
b.任務創建成功后會變為“排隊中”等待自動開始首次遷移。若創建成功后,任務狀態為“已創建”,則您可以點擊“開始”按鈕,手動啟動首次遷移。
c.遷移完成后,請勿刪除該任務,以便后期再次遷移使用。
步驟二:多次增量遷移,直至全部遷移完成
前提條件
- 首次遷移結束,保留該任務未刪除。
- 您的源端業務經過一段時間存在增量數據需要再次進行遷移。
- 請確保您的業務處于空閑階段或非高峰期,避免遷移執行時影響您的業務。
操作步驟
1.操作“開始”再次啟動遷移任務
a.登錄控制中心,點擊控制中心左上角的圖標,選擇地域(目前僅支持華東1),單擊“存儲>對象存儲>對象存儲遷移服務>遷移任務”進入遷移任務的控制界面。
b.在“遷移任務列表”中找到步驟一創建的遷移任務,點擊“開始”按鈕,再次啟動任務進行遷移。
注意
2.源端數據增量結束,啟動最后一次遷移
a.請確定一個增量遷移的窗口期,停止源端業務,源端確保不會再有增量數據。
b.登錄控制中心,點擊控制中心左上角的圖標,選擇地域(目前僅支持華東1),單擊“存儲>對象存儲>對象存儲遷移服務>遷移任務”進入遷移任務的控制界面。
c.在“遷移任務列表”中找到步驟一創建的遷移任務,點擊“開始”按鈕,啟動最后一次增量遷移。
d.全部源端數據均遷移至目的端,增量遷移完成,遷移完成后啟動目的端的寫業務。
相關操作
增量遷移中失敗對象的處理
增量遷移方案會進行多次遷移,遷移中因網絡波動等原因,可能出現遷移失敗的對象。您可參考以下方式對遷移失敗的對象進行處理:
- 優先進行失敗重試:您可以在某次遷移存在失敗對象后,點擊“重試”操作,優先對上一次遷移的失敗對象進行重試遷移。該處理方式適用于在進行下一次增量遷移前,您需要目的端盡快與源端數據保持一致。
- 通過后續的增量遷移處理:若您上一次遷移存在失敗對象未遷移,則您下一次啟動增量遷移時,遷移服務會將這部分數據一并進行遷移。采用該處理方式,則在下一次增量遷移前,您的源端始終存在部分數據未及時遷移至目的端。
以上處理方式的流程可見下圖示意:
查看任務遷移記錄
當一個遷移任務被再次執行或重試后,前一次遷移的任務信息會保存在“任務遷移記錄”中,方便您查看該任務多次執行遷移的歷史信息。
增量遷移方案會進行多次遷移,通過任務遷移記錄,能幫助你回溯每次遷移的記錄。具體操作可參考查看任務遷移記錄。