創建同步任務
更新時間 2024-10-23 15:40:59
最近更新時間: 2024-10-23 15:40:59
分享文章
使用流程
一次完整的實時同步,是通過創建實時同步任務,以同步任務作為導向,依次進行同步進度觀察、同步日志分析、同步數據一致性對比等多項操作。通過多項指標和數據的對比分析,可以幫助您實現不同業務系統間的數據實時同步。
一次完整的實時同步包含如下過程:
圖 實時同步流程

- 步驟1:創建同步任務根據需要,選擇源和目標數據庫,創建同步任務。
- 步驟2:查詢同步進度。同步過程中,可以通過查看同步進度了解實時同步的完成情況。
- 步驟3:查看同步日志。同步日志包含告警、錯誤和提示等類型的信息,可根據此類信息分析系統存在的問題。
- 步驟4:對比同步項。實時同步提供對比功能,可根據需要查看對象級對比、數據級對比等,來確保源和目標數據庫的數據一致性。
- 步驟5:本小節以MySQL->RDS for MySQL的實時同步為示例,介紹如何使用數據復制服務創建兩個數據庫實例之間的實時同步任務,其他存儲引擎的配置流程類似。
前提條件
- 步驟1:已登錄數據復制服務控制臺。
- 步驟2:滿足實時同步支持的數據庫類型和版本,詳情請參見實時同步。
操作步驟
- 步驟 1 在“實時同步管理”頁面,單擊“創建同步任務”。
- 步驟 2 在“同步實例”頁面,填選任務名稱、描述、同步實例信息,單擊“下一步”。
表 任務和描述
| 參數 | 描述 |
|---|---|
| 任務名稱 | 任務名稱在4-50位之間,必須以字母開頭,不區分大小寫,可以包含字母、數字、中劃線或下劃線,不能包含其他的特殊字符。 |
| 描述 | 描述不能超過256位,且不能包含! = < > & ' " \ 特殊字符。 |
表 同步實例信息
| 參數 | 描述 |
|---|---|
| 數據流動方向 | 選擇“入云”,即目標端數據庫為本云數據庫。 |
| 源數據庫引擎 | 選擇“MySQL”。 |
| 目標數據庫引擎 | 選擇“MySQL”。 |
| 網絡類型 | 此處以公網網絡為示例。 可根據業務場景選擇公網網絡、VPC網絡和VPN、專線網絡。 |
| 目標數據庫實例 | 用戶所創建的關系型數據庫實例。 說明 * 目標數據庫實例不支持選擇只讀實例。* 目標數據庫實例可以和源數據庫選擇同一個實例。 |
| 同步實例所在子網 | 請選擇同步實例所在的子網。也可以單擊“查看子網”,跳轉至“網絡控制臺”查看實例所在子網幫助選擇。 默認值為當前所選數據庫實例所在子網,請選擇有可用IP地址的子網。為確保同步實例創建成功,僅顯示已經開啟DHCP的子網。 |
| IP類型 | 選擇遷移實例的IP類型,目前支持選擇“IPv4”或“IPv4&IPv6雙棧”。只有所選擇的VPC及子網都開啟了IPv6雙棧功能,才能選擇IP類型為“IPv4&IPv6雙棧”。 |
| 同步類型 | 此處以“全量+增量”為示例。 * “全量+增量”:該模式為數據持續性實時同步,通過全量過程完成目標端數據庫的初始化后,增量同步階段通過解析日志等技術,將源端和目標端數據保持數據持續一致。 說明 選擇“全量+增量”同步模式,增量同步可以在全量同步完成的基礎上實現數據的持續同步,無需中斷業務,實現同步過程中源業務和數據庫繼續對外提供訪問。 * “增量”:增量同步通過解析日志等技術,將源端產生的增量數據同步至目標端。 |
| 標簽 | * 可選配置,對同步任務的標識。使用標簽可方便管理您的任務。每個任務最多支持10個標簽配額。* 任務創建成功后,您可以單擊任務名稱,在“標簽”頁簽下查看對應標簽。關于標簽的詳細操作,請參見 標簽管理。 |
步驟 3 同步實例創建成功后,在“源庫及目標庫”頁面,填選源庫信息和目標庫信息后,單擊“源庫和目標庫”處的“測試連接”,分別測試并確定與源庫和目標庫連通后,勾選協議,單擊“下一步”。
表 源庫信息
| 參數 | 描述 |
|---|---|
| IP地址或域名 | 源數據庫的IP地址或域名。 |
| 端口 | 源數據庫服務端口,可輸入范圍為1~65535間的整數。 |
| 數據庫用戶名 | 源數據庫的用戶名。 |
| 數據庫密碼 | 源數據庫用戶名所對應的密碼。支持在任務創建后修改密碼。 任務為啟動中、全量同步、增量同步、增量同步失敗狀態時,可在“基本信息”頁面的“同步信息”區域,單擊“源庫密碼”后的“替換密碼”,在彈出的對話框中修改密碼。 |
| SSL安全連接 | 通過該功能,用戶可以選擇是否開啟對同步鏈路的加密。如果開啟該功能,需要用戶上傳SSL CA根證書。 說明 * 最大支持上傳500KB的證書文件。* 如果不使用SSL證書,請自行承擔數據安全風險。 |
說明源數據庫IP地址、端口、用戶名和密碼將在同步過程中被加密暫存到數據庫和同步實例主機上,待該任務刪除后會永久清除。
表 目標庫信息
| 參數 | 描述 |
|---|---|
| 數據庫實例名稱 | 默認為創建同步任務時選擇的關系型數據庫實例,不可進行修改。 |
| 數據庫用戶名 | 目標數據庫對應的用戶名。 |
| 數據庫密碼 | 目標數據庫用戶名對應的密碼。支持在任務創建后修改密碼。 任務為啟動中、全量同步、增量同步、增量同步失敗狀態時,可在“基本信息”頁面的“同步信息”區域,單擊“目標庫密碼”后的“替換密碼”,在彈出的對話框中修改密碼。 |
說明目標數據庫用戶名和密碼將在同步過程中被加密暫存到數據庫和同步實例主機上,待該任務刪除后會永久清除。
步驟 4 在“設置同步”頁面,選擇數據沖突策略和同步對象,單擊“下一步”。
表 同步模式和對象
| 參數 | 描述 |
|---|---|
| 流速模式 | 流速模式支持限速和不限速,默認為不限速。 * 限速自定義的最大同步速度,全量同步過程中的同步速度將不會超過該速度。 當流速模式選擇了“限速”時,你需要通過流速設置來定時控制同步速度。流速設置通常包括限速時間段和流速大小的設置。默認的限速時間段為全天限流,您也可以根據業務需求自定義時段限流。自定義的時段限流支持最多設置3個定時任務,每個定時任務之間不能存在交叉的時間段,未設定在限速時間段的時間默認為不限速。 流速的大小需要根據業務場景來設置,不能超過9999MB/s。 * 不限速對同步速度不進行限制,通常會最大化使用源數據庫的出口帶寬。該流速模式同時會對源數據庫造成讀消耗,消耗取決于源數據庫的出口帶寬。比如源數據庫的出口帶寬為100MB/s,假設高速模式使用了80%帶寬,則同步對源數據庫將造成80MB/s的讀操作IO消耗。 說明 * 限速模式只對全量階段生效,增量階段不生效。* 您也可以在創建任務后修改流速模式。具體方法請參見修改流速模式。 |
| 增量階段沖突策略 | 該沖突策略特指增量同步中的沖突處理策略,全量階段的沖突默認忽略。沖突策略目前支持如下三種形式: * 忽略當同步數據與目標數據庫已有數據沖突時(主鍵/唯一鍵存在重復等),將跳過沖突數據,繼續進行后續同步。 * 報錯當同步數據與目標數據庫已有數據沖突時(主鍵/唯一鍵存在重復等),同步任務將失敗并立即中止。 * 覆蓋當同步數據與目標數據庫已有數據沖突時(主鍵/唯一鍵存在重復等),將覆蓋原來的沖突數據。 當數據發生沖突時,針對如下情況,建議選擇“忽略”或者“覆蓋”,否則建議選擇“報錯”: * 目標數據庫存在數據* 多對一同步場景* 目標數據庫手動更新數據 |
| 是否過濾DROP DATABASE | 實時同步過程中,源數據庫端執行的DDL操作在一定程度上會影響數據的同步能力,為了降低同步數據的風險,數據復制服務提供了過濾DDL操作的功能,目前支持默認過濾刪除數據庫的操作。 * 是,表示過程中不會同步用戶在源數據庫端執行的刪除數據庫的操作。* 否,則表示過程中將相關操作同步到目標庫。 |
| 對象同步范圍 | 對象同步范圍支持普通索引和增量DDL同步。您可以根據業務需求選擇是否進行同步。 |
| 啟動位點 | 步驟2的同步類型選擇“增量”時可見,增量同步的啟動位點,任務的源庫日志從位點后開始獲取(不含當前啟動位點)。 通過show master status命令獲取源庫位點,根據提示分別填寫File、Position、Executed_Gtid_Set(如果未開gtid_mode,無需填寫Executed_Gtid_Set)。 |
| 數據同步拓撲 | 數據同步功能支持多種同步拓撲,您可以根據業務需求規劃您的同步實例。數據同步拓撲說明可參考 數據同步拓撲介紹。 |
| 增量支持DDL | 用戶根據需求選擇增量同步的DDL類型,不同鏈路支持的DDL類型以顯示為準。 * 一對一、一對多場景:如果業務上認為源和目標應該使用保持嚴格一致,那么高危類DDL也應該勾選并同步。如果業務上確定某個高危DDL不應該發生,則可以不勾選同步高危類DDL,這樣DRS將攔截過濾這個DDL,從而起到保護目標數據的作用。但需要知曉,過濾DDL的附帶問題是可能導致同步失敗,例如過濾刪列動作。* 多對一數據聚合場景:最佳方式是推薦只選擇同步加列DDL,其他大部分DDL同步都可能因目標表修改而導致數據不一致或多對一中其他任務失敗的情況發生。 |
| 同步對象 | 可選表級同步、庫級同步,您可以根據業務場景選擇對應的數據進行同步。 * 選擇數據的時候支持搜索,以便您快速選擇需要的數據庫對象。* 如果有切換源數據庫的操作,請在選擇同步對象前單擊右上角 ,以確保待選擇的對象為最新源數據庫對象。* 在同步對象右側已選對象框中,可以使用對象名映射功能進行源數據庫和目標數據庫中的同步對象映射,具體操作可參考對象名映射。 |
步驟 5 在“數據加工”頁面,根據需要選擇數據加工的方式。
- 如果不需要數據加工,單擊“下一步”。
- 如果需要數據加工,可選擇“數據過濾”、“附加列”或“列加工”,參考 數據加工章節,設置相關規則。
步驟 6 在“預檢查”頁面,進行同步任務預校驗,校驗是否可進行。
- 查看檢查結果,如有不通過的檢查項,需要修復不通過項后,單擊“重新校驗”按鈕重新進行任務預校驗。
- 預檢查完成后,且所有檢查項結果均通過時,單擊“下一步”。
說明所有檢查項結果均通過時,若存在請確認項,需要閱讀并確認詳情后才可以繼續執行下一步操作。
步驟 7 在“任務確認”頁面,設置同步任務的啟動時間,并確認同步任務信息無誤后,單擊“啟動任務”,提交同步任務。
表 任務啟動設置
| 參數 | 描述 |
|---|---|
| 啟動時間 | 同步任務的啟動時間可以根據業務需求,設置為“立即啟動”或“稍后啟動”。 說明 預計同步任務啟動后,會對源數據庫和目標數據庫的性能產生影響,建議選擇業務低峰期,合理設置同步任務的啟動時間。 |
步驟 8 同步任務提交后,您可在“管理”頁面,查看并管理自己的任務。
- 您可查看任務提交后的狀態,狀態請參見 任務狀態說明。
- 在任務列表的右上角,單擊
刷新列表,可查看到最新的任務狀態。