關系數據庫增量遷移
更新時間 2023-07-03 23:40:32
最近更新時間: 2023-07-03 23:40:32
分享文章
本章節主要介紹關系數據庫增量遷移。
CDM支持對關系型數據庫進行增量遷移,全量遷移完成之后,可以增量遷移指定時間段內的數據(例如每天晚上0點導出前一天新增的數據)。
- 增量遷移指定時間段內的數據
?適用場景:源端為關系型數據庫,目的端沒有要求。
?關鍵配置:Where子句+定時執行作業。
?前提條件:數據表中有時間日期字段或時間戳字段。
關系數據庫增量遷移方式,只對數據表追加寫入,不會更新或刪除已存在的記錄。
Where子句
- 參數位置:在創建表/文件遷移作業時,如果源端為關系型數據庫,那么在源端作業參數的高級屬性下面可以看到“Where子句”參數。
- 參數原理:通過“Where子句”參數可以配置一個SQL語句(例如:age > 18 and age <= 60),CDM只導出該SQL語句指定的數據;不配置時導出整表。
Where子句支持配置為時間宏變量使用解析,當數據表中有時間日期字段或時間戳字段時,配合定時執行作業,能夠實現抽取指定日期的數據。
- 配置樣例:
假設數據庫表中存在表示時間的列DS,類型為“varchar(30)”,插入的時間格式類似于“2017-xx-xx”,如下圖所示,參數配置如下:
圖 表數據

a.Where子句:配置為 DS='${dateformat(yyyy-MM-dd,-1,DAY)}' 。
b.配置定時任務:重復周期為1天,每天的凌晨0點自動執行作業。
這樣就可以每天0點導出前一天產生的所有數據。Where子句支持配置多種 時間宏變量使用解析,結合CDM定時任務的重復周期:分鐘、小時、天、周、月,可以實現自動導出任意指定日期內的數據。