支持的源和目標數據庫

支持的數據庫

源數據庫
目標數據庫
l?本地自建數據庫（PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本）
l?ECS自建數據庫（PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本）
l?其他云上數據庫（PostgreSQL 9.4、9.5、9.6、10、11、12、13、14版本）
l?RDS for PostgreSQL（9.5、9.6、10、11、12、13、14版本）
RDS for PostgreSQL（9.5、9.6、10、11、12、13、14版本）
說明
僅支持目標庫大版本等于或高于源庫大版本。

?

支持的同步對象范圍

在使用DRS進行同步時，不同類型的同步任務，支持的同步對象范圍不同，詳細情況可參考下表。 DRS會根據用戶選擇，在“預檢查”階段對同步對象進行自動檢查 。

表 支持的同步對象

類型名稱
使用須知
同步對象范圍
l?不支持實例級同步：每次至多同步一個庫（database），同步多個庫需要使用多個DRS任務。
l?支持的字段類型：
數字類型、貨幣類型、字符類型、二進制數據類型、日期/時間類型、布爾類型、枚舉類型、幾何類型、網絡地址類型、位串類型、文本搜索類型、UUID類型、XML類型、JSON類型、數組、復合類型、范圍類型。
l?全量同步的范圍：
支持：模式、表、索引、約束、視圖、物化視圖、序列、存儲過程、規則、觸發器、外鍵、排序規則、插件、編碼轉換信息、聚合函數、操作符、統計擴展、轉換信息、文本搜索配置、函數、數據類型、類型轉換、用戶、事件觸發器、文本搜索解析器、文本搜索模板的同步。
表級同步時，僅支持表、視圖、物化視圖、序列、用戶的同步。
?不支持系統模式（“pg_”開頭的任何模式、“information_schema”、“sys”、“utl_raw”、“dbms_lob”、“dbms_output”和“dbms_random”）、系統表、系統用戶、表空間、外部數據包裝器、外部服務器、用戶映射、發布、訂閱等其他對象。
說明
支持同步的對象有如下限制：
對象名稱：庫名不可以包含+"%'\<>，模式名和表名不可以包含".'<>，列名不可以包含"和'。
表：不同步臨時表。表級同步時，表的約束、索引及規則會一起同步，表的觸發器不會同步。
模式：不同步public模式的權限。表級同步時，會同步目標庫已存在模式的權限。
函數：不同步C語言函數，不同步帶有leakproof屬性或帶有support屬性的函數。
插件：不同步插件的元數據。
數據類型：不同步基本數據類型。
類型轉換：不同步二進制強制型的類型轉換。
事件觸發器：受限于目標庫版本，僅目標庫為RDS for PostgreSQL 11.11及以上版本時支持。
文本搜索解析器：受限于目標庫版本，僅目標庫為RDS for PostgreSQL 11.11及以上版本時支持。
文本搜索模板：受限于目標庫版本，僅目標庫為RDS for PostgreSQL 11.11及以上版本時支持。
用戶：不同步目標庫已存在的用戶，不同步用戶的superuser屬性、replication屬性、bypassrls屬性，不同步superuser用戶的成員關系。對象owner/grantor為superuser用戶時，不同步它的owner/grantor。目標庫為RDS for PostgreSQL時，要同步用戶的密碼不能包含用戶名。表級同步時，不同步源庫用戶的默認訪問權限。

l?增量同步的范圍：
?支持部分DML（Data Manipulation Language）：包括INSERT、UPDATE、DELETE。
?支持部分DDL（Data Define Language）：包括TRUNCATE（僅PostgreSQL 11及以上版本支持）、CREATE SCHEMA、CREATE TABLE、DROP TABLE、ALTER TABLE（包含ADD COLUMN、DROP COLUMN、ALTER COLUMN、RENAME COLUMN、ADD CONSTRAINT、DROP CONSTRAINT、RENAME）、CREATE SEQUENCE、DROP SEQUENCE、ALTER SEQUENCE、CREATE INDEX、ALTER INDEX、DROP INDEX、CREATE VIEW、ALTER VIEW。
表級同步時，DDL僅支持TRUNCATE（僅PostgreSQL 11及以上版本支持）、DROP TABLE 、ALTER TABLE，其中ALTER TABLE支持：ADD COLUMN、DROP COLUMN、ALTER COLUMN、RENAME COLUMN、ADD CONSTRAINT、DROP CONSTRAINT、RENAME。
?不支持：無日志表（UNLOGGED TABLE）的DML，臨時表的DML。
說明
同步DDL的實現原理：在源庫通過事件觸發器捕獲DDL語句，并且記錄在特定的表中，因此需要提前在源庫創建事件觸發器、函數等。詳細操作可參考通過創建觸發器和函數實現PostgreSQL增量DDL同步。

數據庫帳號權限要求

在使用DRS進行同步時，連接源庫和目標庫的數據庫帳號需要滿足以下權限要求，才能啟動實時同步任務。不同類型的同步任務，需要的帳號權限也不同，詳細可參考下表進行賦權。DRS會在“預檢查”階段對數據庫帳號權限進行自動檢查，并給出處理建議。

                    
說明
                    
?建議創建單獨用于DRS任務連接的數據庫帳號，避免因為數據庫帳號密碼修改，導致的任務連接失敗。
連接源或目標數據庫的帳號密碼修改后，請盡快修改連接信息，避免任務連接失敗后自動重試，導致數據庫帳號被鎖定影響使用。
                    
                  
                  

表數據庫帳號權限

類型名稱
全量同步
全量+增量同步
源數據庫連接帳號
數據庫的CONNECT權限，模式的USAGE權限，表的SELECT權限，序列的SELECT權限，系統表pg_catalog.pg_authid的select權限（用于同步用戶的密碼）。
數據庫的CONNECT權限，模式的USAGE權限，表的SELECT權限，序列的SELECT權限，系統表pg_catalog.pg_authid的SELECT權限（用于同步用戶的密碼），無主鍵表的UPDATE、DELETE和TRUNCATE權限，REPLICATION連接權限。
說明
?無主鍵表的UPDATE、DELETE和TRUNCATE權限，僅用于對無主鍵表短暫加鎖，以確保遷移后，目標庫中無主鍵表數據與源庫保持一致。

?REPLICATION連接權限的添加方法：

在源數據庫的“pg_hba.conf”配置文件的所有配置前增加一行配置“host replication/32 md5”；

在源庫使用SUPERUSER用戶執行語句“select pg_reload_conf();”生效，或重啟數據庫實例生效。


目標數據庫連接帳號
l?庫級同步：需要具有CREATEDB權限。
l?表級同步：
?如果需要同步庫，需要具有CREATEDB權限。
如果需要同步模式，需要具有模式所在庫的CONNECT權限、模式所在庫上的CREATE權限。
?如果需要同步模式下的對象，需要具有模式所在庫的CONNECT權限、對象所在模式的USAGE權限、對象所在模式上的CREATE權限。
l?同步用戶：需要具有CREATEROLE權限。
l?同步用戶權限：同步用戶的default privilege需要為系統默認值，否則可能導致目標庫與源庫的對象權限不一致。
說明
同步事件觸發器、文本搜索解析器、文本搜索模版時，不僅要求目標庫版本為RDS for PostgreSQL 11.11及以上，還要求目標庫連接用戶為root用戶或root用戶的成員。

使用建議

注意

• DRS任務啟動和全量數據同步階段，請不要在源數據庫執行DDL操作，否則可能導致任務異常。
• 為保證同步前后數據一致性，確保同步期間目標數據庫無業務寫入。
• 數據庫同步與環境多樣性和人為操作均有密切關系，為了確保同步的平順，建議您在進行正式的數據庫同步之前進行一次演練，可以幫助您提前發現問題并解決問題。
• 基于以下原因，建議您在啟動任務時選擇“稍后啟動”功能，將啟動時間設置在業務低峰期，相對靜止的數據可以有效提升一次性同步成功率，避免同步對業務造成性能影響。
  • 在網絡無瓶頸的情況下，全量同步會對源數據庫增加約50MB/s的查詢壓力，以及占用2~4個CPU。
  • 同步無主鍵表時，為了確保數據一致性，會存在3s以內的單表級鎖定。
  • 正在同步的數據被其他事務長時間鎖死，可能導致讀數據超時。
  • DRS并發讀取數據庫，會占用大約6-10個session連接數，需要考慮該連接數對業務的影響
  • 全量階段讀取表數據時，特別是大表的讀取，可能會阻塞業務上對大表的獨占鎖操作。
• 數據對比

建議您結合數據對比的“稍后啟動”功能，選擇業務低峰期進行數據對比，以便得到更為具有參考性的對比結果。由于同步具有輕微的時差，在數據持續操作過程中進行對比任務，可能會出現少量數據不一致對比結果，從而失去參考意義。

使用須知

DRS全量+增量同步過程一般包含四個階段：任務啟動階段、全量階段、增量階段、結束任務階段（單增量和單全量任務則包含三個階段）。為了確保同步各個階段的平順，在創建同步任務前，請務必閱讀以下使用須知。

表 使用須知

類型名稱
使用和操作約定
任務啟動前使用須知
l?源數據庫參數要求：
?源數據庫的分區表觸發器不可以設置為disable。
全量同步支持源庫備機狀態，但需要設置hot_standby_feedback為on；增量同步不支持源庫備機狀態。
?若要做增量同步：
源數據庫的“pg_hba.conf” 文件中包含如下的配置：
host replication all 0.0.0.0/0 md5
源數據庫參數wal_level必須配置為logical；
源數據庫需提前安裝test_decoding插件；
源數據庫中無主鍵表的replica identity屬性必須為full；
源數據庫的max_replication_slots參數值必須大于當前已使用的復制槽數量；
源數據庫的max_wal_senders參數值必須等于或大于max_replication_slots參數值。
源數據庫中表的主鍵列toast屬性為main、external、extended時，其replica identity屬性必須為full。
l?源數據庫對象要求：
?源庫中不可以存在同名的觸發器。
?同步對象依賴和關聯的對象也須一起同步，否則可能導致同步失敗。
l?目標數據庫參數要求：
?目標數據庫的block_size參數值必須大于或等于源庫中的對應參數值。
目標數據庫和源數據庫的lc_monetary參數值一致。
?若要做增量同步，且同步對象包含外鍵、觸發器或事件觸發器，則目標數據庫的session_replication_role參數必須設置為replica，同步結束后，此參數需改為origin。
l?目標數據庫對象要求：
?目標庫不可以包含，與待同步對象類型相同且名稱相同的對象，包括庫、模式、表等。系統庫、系統模式、系統表等除外。
?支持目標數據庫中的表比源數據庫多列場景，但是需要避免以下場景可能導致的任務失敗。
目標端多的列要求非空且沒有默認值，源端insert數據，同步到目標端后多的列為null，不符合目標端要求。
目標端多的列設置固定默認值，且有唯一約束。源端insert多條數據后，同步到目標端后多的列為固定默認值，不符合目標端要求。
l?其他使用須知：
?模式名或表名映射時，為防止索引和約束名沖突，同步后表上的原索引名稱將變為此格式：i_+哈希值+原索引名（可能被截斷）+_key。其中哈希值由“原模式名_原表名_原索引名”計算得到。同理，表上的原約束名將變為：c_+哈希值+原約束名（可能被截斷）+_key。
對于全量+增量和增量任務，啟動前請確保源庫中未啟動長事務，啟動長事務會阻塞邏輯復制槽的創建，進而引發任務失敗。
?對于全量+增量和增量任務，如果預校驗存在“內部錯誤”且在任務未啟動時結束，請參考PostgreSQL為源強制結束任務章節檢查并刪除流復制槽，防止源庫中流復制槽殘留。
?若選擇同步DDL，須注意源庫執行DDL時，確保在目標庫上是兼容的。
說明
同步DDL的實現原理是：在源庫通過事件觸發器捕獲DDL語句，并且記錄在特定的表中，然后將DDL語句同步至目標庫。因此啟動任務前，需要提前在源庫創建事件觸發器、函數等。詳細操作可參考通過創建觸發器和函數實現PostgreSQL增量DDL同步。

全量同步過程使用須知
l?請勿修改源庫和目標庫的端口號，請勿修改、刪除源庫和目標庫連接用戶的密碼、權限，否則可能導致任務失敗。
l?請勿在源庫執行任何DDL，否則可能導致數據不一致或任務失敗。
l?請勿在目標庫做寫入操作，否則可能導致數據不一致。
增量同步過程使用須知
l?請勿修改源庫和目標庫的端口號，請勿修改、刪除源庫和目標庫連接用戶的密碼、權限，否則可能導致任務失敗。
l?請勿修改源數據庫表的主鍵或者唯一鍵（主鍵不存在時），否則可能導致增量數據不一致或任務失敗。
l?請勿修改源數據庫中表的replica identity屬性，否則可能導致增量數據不一致或任務失敗。
l?請勿在目標庫做寫入操作，否則可能導致數據不一致。
l?庫級同步時，源庫新增無主鍵表時，請務必同時將該無主鍵表的replica identity屬性設置為full，然后再寫入數據，否則可能導致數據不一致或任務失敗。
l?庫級同步時，源庫新增主鍵表時，如果主鍵列toast屬性為main、external、extended時，請務必同時將該表的replica identity屬性設置為full，然后再寫入數據，否則可能導致數據不一致或任務失敗。
同步對比使用須知
l?建議在源庫的業務低峰期進行數據比對，防止誤報不一致數據，以及減少對源庫和DRS任務的沖擊。
l?在增量同步過程中做對比時，源庫若存在寫入，則對比結果可能不一致。
l?不支持在全量同步過程中做對比。
l?不支持數據對比過程中做限速。
結束任務使用須知
l?正常結束任務：
?將自動重置目標庫序列值（自增序列值為源庫序列值+安全余度，自減序列值為源庫序列值-安全余度，安全余度默認為10000），若選擇了同步用戶，任務結束時將自動同步用戶的成員關系。
?全量+增量實時同步任務正常結束時，將自動刪除任務在源庫創建的流復制槽。
?全量+增量實時同步任務正常結束時，如果目標庫session_replication_role值為replica，需手動將目標庫session_replication_role參數值修改為origin。
l?強制結束任務：
?需要手動刷新目標庫中的序列值，可參考PostgreSQL為源強制結束任務章節的指導進行操作。
?強制結束全量+增量實時同步任務，需要手動刪除源庫可能殘留的復制槽，可參考PostgreSQL為源強制結束任務章節的指導進行操作。
強制結束全量+增量實時同步任務，如果目標庫session_replication_role值為replica，需手動將目標庫session_replication_role參數值修改為origin。

前提條件

• 已登錄數據復制服務控制臺。
• 滿足實時同步支持的數據庫類型和版本，詳情請參見實時同步。
• 已閱讀以上使用建議和使用須知。

操作步驟

本小節以PostgreSQL->PostgreSQL的入云同步為示例，介紹如何使用數據復制服務配置VPC網絡場景下的實時同步任務。

步驟 1 在“實時同步管理”頁面，單擊“創建同步任務”。

步驟 2 在“同步實例”頁面，填選任務名稱、描述、同步實例信息，單擊“開始創建”。

• 任務信息

表 任務和描述

• 同步實例信息

表同步實例信息

• 標簽

表標簽

                    
說明
                    
對于創建失敗的任務，DRS默認保留3天，超過3天將會自動結束任務。
                    
                  
                  

步驟 3 在“源庫及目標庫”頁面，同步實例創建成功后，填寫源庫信息和目標庫信息，單擊“源庫和目標庫”處的“測試連接”，分別測試并確定與源庫和目標庫連通后，勾選協議，單擊“下一步”。

測試連接時需要確保DRS任務與源庫、目標庫的連通性。

• 網絡連通性： 確保源庫和目標庫允許DRS訪問，通常至少需要放通DRS的IP。公網網絡的DRS任務放通DRS的公網IP，VPC網絡、VPN、專線網絡的DRS任務放通DRS的內網IP。
• 帳號連通性 ：確保源庫和目標庫允許DRS通過連接帳號和密碼訪問。

                    
說明
                    
此處源庫類型分為ECS自建庫和RDS實例，需要根據源數據庫的實際來源選擇相應的分類。兩種場景下的參數配置不一樣，需要根據具體場景進行配置。
                    
                  
                  

• 場景一：ECS自建庫源庫信息配置

表 ECS自建庫場景源庫信息

                    
說明
                    
源數據庫的IP地址或域名、數據庫用戶名和密碼，會被系統加密暫存，直至刪除該遷移任務后自動清除。
                    
                  
                  

• 場景二：RDS實例源庫信息配置

表RDS實例場景源庫信息

表 目標庫信息

                    
說明
                    
源和目標數據庫用戶名和密碼將在同步過程中被加密暫存到數據庫和同步實例主機上，待該任務刪除后會永久清除。
                    
                  
                  

在“設置同步”頁面，選擇同步對象和同步用戶，單擊“下一步”。

表 同步對象

參數
描述
流速模式
流速模式支持限速和不限速，默認為不限速。
l?限速
自定義的最大同步速度，全量同步過程中的同步速度將不會超過該速度。
當流速模式選擇了“限速”時，你需要通過流速設置來定時控制同步速度。流速設置通常包括限速時間段和流速大小的設置。默認的限速時間段為“全天限流”，您也可以根據業務需求選擇“時段限流”。自定義的時段限流支持最多設置3個定時任務，每個定時任務之間不能存在交叉的時間段，未設定在限速時間段的時間默認為不限速。
流速的大小需要根據業務場景來設置，不能超過9999MB/s。
l?不限速
對同步速度不進行限制，通常會最大化使用源數據庫的出口帶寬。該流速模式同時會對源數據庫造成讀消耗，消耗取決于源數據庫的出口帶寬。比如源數據庫的出口帶寬為100MB/s，假設高速模式使用了80%帶寬，則同步對源數據庫將造成80MB/s的讀操作IO消耗。
說明
l?限速模式只對全量階段生效，增量階段不生效。
l?您也可以在創建任務后修改流速模式。具體方法請參見修改流速模式。
增量階段沖突策略
該沖突策略特指增量同步中的沖突處理策略，全量階段的沖突默認忽略。沖突策略目前支持如下形式：
l?忽略
當同步數據與目標數據庫已有數據沖突時（主鍵/唯一鍵存在重復等），將跳過沖突數據，繼續進行后續同步。
l?報錯
當同步數據與目標數據庫已有數據沖突時（主鍵/唯一鍵存在重復等），同步任務將失敗并立即中止。
l?覆蓋
當同步數據與目標數據庫已有數據沖突時（主鍵/唯一鍵存在重復等），將覆蓋原來的沖突數據。
對象同步范圍
對象同步范圍支持選擇普通索引、增量DDL同步和全量階段填充物化視圖，您可以根據業務需求選擇是否進行同步。
全量階段填充物化視圖：僅對源庫已經填充的物化視圖生效，該填充操作會影響全量同步性能，建議在全量同步完成后，手動在目標庫填充。
同步對象
左側框是源數據庫對象，右側框是已經選擇的對象，同步對象支持表級同步、庫級同步，您可以根據業務場景選擇對應的數據進行同步。
l?選擇庫級同步：全量同步時，同步對象為所選的庫、庫中對象的存量數據；增量同步時，同步除了無日志表、臨時表外的所有表的DML及部分DDL。
l?選擇表級同步：全量同步時，同步對象為所選的表、序列、視圖或物化視圖的存量數據；增量同步時，同步所選表的DML及部分DDL。
l?在同步對象右側已選對象框中，可以使用對象名映射功能進行源數據庫和目標數據庫中的同步對象映射，具體操作可參考對象名映射。
模式名或表名映射時，為防止索引和約束名沖突，同步后表上的原索引名稱將變為此格式：i_+哈希值+原索引名（可能被截斷）+_key。其中哈希值由“原模式名_原表名_原索引名”計算得到。同理，同步后表上的原約束名將變為：c_+哈希值+原約束名（可能被截斷）+_key。
說明
l?選擇對象的時候支持對展開的庫進行搜索，以便您快速選擇需要的數據庫對象。
l?如果有切換源數據庫的操作或源庫同步對象變化的情況，請在選擇同步對象前單擊右上角的，以確保待選擇的對象為最新源數據庫對象。
l?當對象名稱包含空格時，名稱前后的空格不顯示，中間如有多個空格只顯示一個空格。
l?選擇的同步對象名稱中不能包含空格。
同步用戶
數據庫的同步過程中，同步用戶需要進行單獨處理。
同步用戶一般分為兩類：可同步的用戶和不支持同步的用戶。對于不支持同步的用戶，在備注列的查看詳情中會提示具體的原因，您可以根據業務需求選擇是否同步用戶和權限。

步驟 5 在“預檢查”頁面，進行同步任務預校驗，校驗是否可進行。

• 查看檢查結果，如有不通過的檢查項，需要修復不通過項后，單擊“重新校驗”按鈕重新進行任務預校驗。
• 預檢查完成后，且所有檢查項結果均通過時，單擊“下一步”。

                    
說明
                    
所有檢查項結果均通過時，若存在請確認項，需要閱讀并確認詳情后才可以繼續執行下一步操作。

                    
                  
                  

步驟 6 在“任務確認”頁面，設置同步任務的啟動時間，并確認同步任務信息無誤后，單擊“啟動任務”，提交同步任務。

表 任務啟動設置

步驟 7 同步任務提交后，您可在“管理”頁面，查看并管理自己的任務。

• 您可查看任務提交后的狀態，狀態請參見任務狀態說明。
• 在任務列表的右上角，單擊刷新列表，可查看到最新的任務狀態。
• 對于未啟動、狀態為配置中的任務，DRS默認保留3天，超過3天DRS會自動刪除后臺資源，當前任務狀態不變。當用戶再次配置時，DRS會重新申請資源。