HBase/CloudTable增量遷移
更新時間 2023-07-03 23:41:40
最近更新時間: 2023-07-03 23:41:40
分享文章
本章節主要介紹HBase/CloudTable增量遷移。
使用CDM導出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存儲服務(CloudTable)的數據時,支持導出指定時間段內的數據,配合CDM的定時任務,可以實現HBase/CloudTable的增量遷移。
在創建CDM表/文件遷移的作業,源連接選擇為HBase連接或CloudTable連接時,高級屬性的可選參數中可以配置時間區間。
詳見下圖:HBase時間區間

- 起始時間(包含該值),格式為“yyyy-MM-dd HH:mm:ss”,表示只抽取該時間及以后的數據。
- 終止時間(不包含該值),格式為“yyyy-MM-dd HH:mm:ss”,表示只抽取該時間以前的數據。
這2個參數支持配置為 時間宏變量使用解析,例如:
- 起始時間配置為 ${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)} 時,表示只導出昨天以后的數據。
- 終止時間配置為 ${dateformat(yyyy-MM-dd HH:mm:ss)} 時,表示只導出當前時間以前的數據。
這2個參數同時配置后,CDM就只導出前一天內的數據,再將該作業配置為每天0點執行一次,就可以增量同步每天新生成的數據。