支持的源和目標數據庫
表 支持的數據庫
| 源數據庫 | 目標數據庫 |
|---|---|
| RDS for MySQL | 本地自建MySQL數據庫 ECS自建MySQL數據庫 其他云上MySQL數據庫 RDS for MySQL |
前提條件
- 已登錄數據復制服務控制臺。
- 滿足實時遷移支持的數據庫類型和版本,詳情請參見實時遷移。
使用建議
注意
?DRS任務啟動和全量數據遷移階段,請不要在源數據庫執行DDL操作,否則可能導致任務異常。
如果您使用的是全量遷移模式,確保源和目標數據庫無業務寫入,保證遷移前后數據一致。如果您使用的是全量+增量遷移模式,支持在源數據庫有業務數據寫入的情況下進行遷移。
數據庫遷移與環境多樣性和人為操作均有密切關系,為了確保遷移的平順,建議您在進行正式的數據庫遷移之前進行一次演練,可以幫助您提前發現問題并解決問題
基于以下原因,建議您在啟動任務時選擇“稍后啟動”功能,將啟動時間設置在業務低峰期,相對靜止的數據可以有效提升一次性遷移成功率,避免遷移對業務造成性能影響。如果遷移不可避免業務高峰期,推薦使用遷移限速功能,即“流速模式”選擇“限速”。
在網絡無瓶頸的情況下,全量遷移會對源數據庫增加約50MB/s的查詢壓力,以及占用2~4個CPU。
遷移無主鍵表時,為了確保數據一致性,會存在3s以內的單表級鎖定。
正在遷移的數據被其他事務長時間鎖死,可能導致讀數據超時。
由于MySQL固有特點限制,CPU資源緊張時,存儲引擎為Tokudb的表,讀取速度可能下降至10%。
DRS并發讀取數據庫,會占用大約6-10個session連接數,需要考慮該連接數對業務的影響。
全量階段讀取表數據時,特別是大表的讀取,可能會阻塞業務上對大表的獨占鎖操作。
- 數據對比
建議您結合數據對比的“稍后啟動”功能,選擇業務低峰期進行數據對比,以便得到更為具有參考性的對比結果。由于同步具有輕微的時差,在數據持續操作過程中進行對比任務,可能會出現少量數據不一致對比結果,從而失去參考意義。
使用須知
在創建遷移任務前,請務必閱讀以下使用須知。
表 使用須知
類型名稱 使用和操作限制 操作須知
不支持高版本到低版本的遷移。
相互關聯的數據對象要確保同時遷移,避免遷移因關聯對象缺失,導致遷移失敗。常見的關聯關系:視圖引用表、存儲過程/函數/觸發器引用視圖/表、主外鍵關聯表等。
不支持外鍵級聯操作。
源數據庫實例沒有開啟GTID的情況下,不支持主備倒換。
源庫和目標庫為RDS for MySQL實例時,不支持帶有TDE特性并建立具有加密功能表。
如果目標庫MySQL不支持TLS1.2協議,或者為版本較低的自建庫(低于5.6.46或在5.7-5.7.28之間),需提交運維申請才能使用SSL測試連接。
支持斷點續傳功能,但是對于無主鍵的表可能會出現重復插入數據的情況。
遷移過程中,不允許修改、刪除連接源和目標數據庫的用戶的用戶名、密碼、權限,或修改源和目標數據庫的端口號。
遷移過程中,不建議對目標數據庫進行主備切換。
在遷移任務結束之前,不允許目標數據庫提前中斷公網連接。
遷移過程中,不允許源庫寫入binlog格式為statement的數據。
遷移過程中,不允許源庫執行清除binlog的操作
全量遷移不支持修改表結構等DDL操作。
目標數據庫實例狀態需為可讀寫狀態,否則可能遷移失敗。
操作步驟
本章節將以RDS for MySQL到ECS自建MySQL的遷移為示例,介紹在同一VPC網絡場景下,通過數據復制服務管理控制臺配置數據遷移任務的流程,其他存儲引擎的配置流程類似。
步驟 1 在“實時遷移管理”頁面,單擊“創建遷移任務”,進入創建遷移任務頁面。
步驟 2 在“遷移實例”頁面,填選任務名稱、描述、遷移實例信息,單擊“下一步”。
表 任務和描述
| 參數 | 描述 |
|---|---|
| 任務名稱 | 任務名稱在4-50位之間,必須以字母開頭,不區分大小寫,可以包含字母、數字、中劃線或下劃線,不能包含其他的特殊字符。 |
| 描述 | 描述不能超過256位,且不能包含! = < > & ' " \ 特殊字符。 |
表 遷移實例信息
參數 描述 數據流動方向 選擇出云。
出云指源端數據庫為本云數據庫的場景。源數據庫引擎 選擇MySQL。 目標數據庫引擎 選擇MySQL。 網絡類型 目前支持公網網絡、VPC網絡和VPN、專線網絡類型,您可以根據具體的業務場景進行設置,此處場景以VPC網絡為示例。
VPC網絡:適合云上數據庫之間的遷移。
VPN、專線網絡:適合通過VPN、專線網絡,實現其他云下自建數據庫與云上數據庫遷移、或云上跨Region的數據庫之間的遷移。
公網網絡:適合將其他云下或其他平臺的數據庫遷移到目標數據庫。
源數據庫實例 用戶需要遷移的數據庫實例。 遷移實例所在子網 選擇遷移實例所在的子網。也可以單擊“查看子網”,跳轉至“網絡控制臺”查看實例所在子網幫助選擇。
默認值為當前所選數據庫實例所在子網,請選擇有可用IP地址的子網。為確保遷移實例創建成功,僅顯示已經開啟DHCP的子網。IP類型 選擇遷移實例的IP類型,目前支持選擇“IPv4”或“IPv4&IPv6雙棧”。只有所選擇的VPC及子網都開啟了IPv6雙棧功能,才能選擇IP類型為“IPv4&IPv6雙棧”。 遷移模式
全量:該模式為數據庫一次性遷移,適用于可中斷業務的數據庫遷移場景,全量遷移將非系統數據庫的全部數據庫對象和數據一次性遷移至目標端數據庫,包括:表、視圖、存儲過程等。
說明如果用戶只進行全量遷移時,建議停止對源數據庫的操作,否則遷移過程中源數據庫產生的新數據不會同步到目標數據庫。
全量+增量:該模式為數據庫持續性遷移,適用于對業務中斷敏感的場景,通過全量遷移過程中完成的目標端數據庫的初始化后,增量遷移階段通過解析日志等技術,將源端和目標端數據庫保持數據持續一致。
說明選擇“全量+增量”遷移模式,增量遷移可以在全量遷移完成的基礎上實現數據的持續同步,無需中斷業務,實現遷移過程中源業務和數據庫繼續對外提供訪問。標簽
可選配置,對遷移任務的標識。使用標簽可方便管理您的遷移任務。每個任務最多支持10個標簽配額。
任務創建成功后,您可以單擊任務名稱,在“標簽”頁簽下查看對應標簽。關于標簽的詳細操作,請參見標簽管理。
步驟 3 在“源庫及目標庫”頁面,遷移實例創建成功后,填選源庫信息和目標庫信息,并單擊“源庫和目標庫”處的“測試連接”,分別測試并確定與源庫和目標庫連通后,勾選協議,單擊“下一步”。
表 源庫信息
| 參數 | 描述 |
|---|---|
| 數據庫實例名稱 | 默認為創建遷移任務時選擇的關系型數據庫實例,不可進行修改。 |
| 數據庫用戶名 | 源數據庫對應的數據庫用戶名。 |
| 數據庫密碼 | 源數據庫對應的數據庫密碼。 任務為啟動中、全量遷移、增量遷移、增量遷移失敗狀態時,可在“基本信息”頁面的“遷移信息”區域,單擊“源庫密碼”后的“替換密碼”,在彈出的對話框中修改密碼 |
說明源數據庫的用戶名和密碼將在遷移過程中被加密暫存到數據庫和遷移實例主機上,待該任務刪除后會永久清除 。
表 目標庫信息
參數 描述 VPC 目標數據庫所在的虛擬專用網絡,可以對不同業務進行網絡隔離。 子網 通過子網提供與其他網絡隔離的、可以獨享的網絡資源,以提高網絡安全。子網在可用分區內才會有效,創建源數據庫實例的子網需要開啟DHCP功能,在創建過程中也不能關閉已選子網的DHCP功能。 IP地址或域名 目標數據庫的IP地址或域名。 端口 目標數據庫服務端口,可輸入范圍為1~65535間的整數。 數據庫用戶名 目標數據庫的用戶名。 數據庫密碼 目標數據庫的用戶名所對應的密碼。支持在任務創建后修改密碼。
任務為啟動中、全量遷移、增量遷移、增量遷移失敗狀態時,可在“基本信息”頁面的“遷移信息”區域,單擊“目標庫密碼”后的“替換密碼”,在彈出的對話框中修改密碼。SSL安全連接 通過該功能,用戶可以選擇是否開啟對遷移鏈路的加密。如果開啟該功能,需要用戶上傳SSL CA根證書。 說明最大支持上傳500KB的證書文件。
如果不使用SSL證書,請自行承擔數據安全風險。所有Definer遷移到該用戶下 是
遷移后,所有源數據庫對象的Definer都會遷移至該用戶下,其他用戶需要授權后才具有數據庫對象權限,如何授權請參考MySQL遷移中Definer強制轉化后如何維持原業務用戶權限體系
否
遷移后,將保持源數據庫對象Definer定義不變,選擇此選項,需要配合下一步用戶權限遷移功能,將源數據庫的用戶全部遷移,這樣才能保持源數據庫的權限體系完全不變。
說明目標數據庫的IP地址、端口、用戶名和密碼將在遷移過程中被加密暫存到數據庫和遷移實例主機上,待該任務刪除后會永久清除 。
步驟 4 在“遷移設置”頁面,設置遷移用戶和遷移對象等信息,單擊“下一步”。
表 遷移模式和遷移對象
參數 描述 流速模式 流速模式支持限速和不限速,默認為不限速。 自定義的最大遷移速度,遷移過程中的遷移速度將不會超過該速度。
限速
當流速模式選擇了“限速”時,你需要通過流速設置來定時控制遷移速度。流速設置通常包括限速時間段和流速大小的設置。默認的限速時間段為全天限流,您也可以根據業務需求自定義時段限流。自定義的時段限流支持最多設置3個定時任務,每個定時任務之間不能存在交叉的時間段,未設定在限速時間段的時間默認為不限速。
流速的大小需要根據業務場景來設置,不能超過9999MB/s。對遷移速度不進行限制,通常會最大化使用源數據庫的出口帶寬。該流速模式同時會對源數據庫造成讀消耗,消耗取決于源數據庫的出口帶寬。比如源數據庫的出口帶寬為100MB/s,假設高速模式使用了80%帶寬,則遷移對源數據庫將造成80MB/s的讀操作IO消耗。
不限速
說明??? 限速模式只對全量遷移階段生效,增量遷移階段不生效。
??? 您也可以在創建任務后修改流速模式。具體方法請參見 修改流速模式。是否過濾DROP DATABASE 增量遷移過程中,源數據庫端執行的DDL操作在一定程度上會影響數據的遷移能力,為了降低遷移數據的風險,數據復制服務提供了過濾DDL操作的功能。
目前支持默認過濾刪除數據庫的操作。
是,表示數據遷移過程中不會同步用戶在源數據庫端執行的刪除數據庫的操作。
否,則表示數據遷移過程中將相關操作同步到目標庫。
說明目前僅支持RDS for MySQL實例->MySQL數據庫,以及DDS實例->MongoDB數據庫的全量+增量的遷移場景。遷移用戶 數據庫的遷移過程中,遷移用戶需要進行單獨處理。
常見的遷移用戶一般分為三類:可完整遷移的用戶、需要降權的用戶和不可遷移的用戶。您可以根據業務需求選擇“遷移”或者“不遷移”,選擇“遷移”后,可根據需要選擇遷移用戶。當您選擇遷移用戶時,請參見遷移用戶章節進行數據庫用戶、權限及密碼的處理。
遷移
遷移過程中,將不進行用戶、權限和密碼的遷移。
不遷移
遷移對象 您可以根據業務需求,選擇全部對象遷移、表級遷移或者庫級遷移。 如果有切換源數據庫的操作或源庫遷移對象變化的情況,請務必在選擇遷移對象前單擊右上角的
全部遷移:將源數據庫中的所有對象全部遷移至目標數據庫,對象遷移到目標數據庫實例后,對象名將會保持與源數據庫實例對象名一致且無法修改。
表級遷移:將選擇的表級對象遷移至目標數據庫。
庫級遷移:將選擇的庫級對象遷移至目標數據庫。
,以確保待選擇的對象為最新源數據庫對象。
說明??? 若選擇部分數據庫進行遷移時,由于存儲過程、視圖等對象可能與其他數據庫的表存在依賴關系,若所依賴的表未遷移,則會導致遷移失敗。建議您在遷移之前進行確認,或選擇全部數據庫進行遷移。
??? 選擇對象的時候,對象名稱的前后空格不顯示,中間如有多個空格只顯示一個空格。
??? 選擇對象的時候支持搜索,以便您快速選擇需要的數據庫對象。
步驟 4 在“預檢查”頁面,進行遷移任務預校驗,校驗是否可進行遷移。
- 查看檢查結果,如有不通過的檢查項,需要修復不通過項后,單擊“重新校驗”按鈕重新進行遷移任務預校驗。
預檢查不通過項處理建議請參見 預檢查不通過項修復方法。 - 預檢查完成后,且預檢查通過率為100%時,單擊“下一步”。
說明所有檢查項結果均通過時,若存在待確認項,需要閱讀并確認詳情后才可以繼續執行下一步操作。
步驟 6 在“任務確認”頁面,設置遷移任務的啟動時間,并確認遷移任務信息無誤后,單擊“啟動任務”,提交遷移任務。
表 任務啟動設置
參數 描述 啟動時間 遷移任務的啟動時間可以根據業務需求,設置為“立即啟動”或“稍后啟動”,優選“稍后啟動”。 說明預計遷移任務啟動后,會對源數據庫和目標數據庫的性能產生影響,建議您將任務啟動時間設定在業務低峰期,同時預留2-3天校對數據。
步驟 7 遷移任務提交后,您可在“實時遷移管理”頁面,查看并管理自己的任務。
- 您可查看任務提交后的狀態,狀態請參見任務狀態說明。
- 在任務列表的右上角,單擊
刷新列表,可查看到最新的任務狀態。