記錄數據遷移入庫時間
更新時間 2023-08-17 16:18:07
最近更新時間: 2023-08-17 16:18:07
分享文章
本章節主要介紹記錄數據遷移入庫時間。
CDM在創建表/文件遷移的作業,支持連接器源端為關系型數據庫時,在表字段映射中使用時間宏變量增加入庫時間字段,用以記錄關系型數據庫的入庫時間等用途。
前提條件
已創建連接器源端為關系型數據庫,以及目的端數據連接。
創建表/文件遷移作業
1.在創建表/文件遷移作業時,選擇已創建的源端連接器、目的端連接器。
圖 配置作業

2.單擊“下一步”,進入“字段映射”配置頁面后,單擊源字段圖標。
圖 配置字段映射

3.選擇“自定義字段”頁簽,填寫字段名稱及字段值后單擊“確認”按鈕,例如:
名稱:InputTime。
值:${timestamp()},更多時間宏變量請參見下表。
圖 添加字段

表 時間變量宏定義具體展示
| 宏變量 | 含義 | 實際顯示效果 |
|---|---|---|
| ${dateformat(yyyy-MM-dd)} | 以yyyy-MM-dd格式返回當前時間。 | 2017-10-16 |
| ${dateformat(yyyy/MM/dd)} | 以yyyy/MM/dd格式返回當前時間。 | 2017/10/16 |
| ${dateformat(yyyy_MM_dd HH:mm:ss)} | 以yyyy_MM_dd HH:mm:ss格式返回當前時間。 | 2017_10_16 09:00:00 |
| ${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)} | 以yyyy-MM-dd HH:mm:ss格式返回時間,時間為當前時間的前一天。 | 2017-10-15 09:00:00 |
| ${timestamp()} | 返回當前時間的時間戳,即1970年1月1日(00:00:00 GMT)到當前時間的毫秒數。 | 1508115600000 |
| ${timestamp(-10, MINUTE)} | 返回當前時間點10分鐘前的時間戳。 | 1508115000000 |
| ${timestamp(dateformat(yyyyMMdd))} | 返回今天0點的時間戳。 | 1508083200000 |
| ${timestamp(dateformat(yyyyMMdd,-1,DAY))} | 返回昨天0點的時間戳。 | 1507996800000 |
| ${timestamp(dateformat(yyyyMMddHH))} | 返回當前整小時的時間戳。 | 1508115600000 |
說明
添加完字段后,新增的字段在界面不顯示樣值,不會影響字段值的傳輸,CDM會將字段值直接寫入目的端。
這里“添加字段”中“自定義字段”的功能,要求源端連接器為JDBC連接器、HBase連接器、MongoDB連接器、ElasticSearch連接器、Kafka連接器,或者目的端為HBase連接器。
4.單擊“下一步”配置任務參數,一般情況下全部保持默認即可。
該步驟用戶可以配置如下可選功能:
- 作業失敗重試:如果作業執行失敗,可選擇是否自動重試,這里保持默認值“不重試”。
- 作業分組:選擇作業所屬的分組,默認分組為“DEFAULT”。在CDM“作業管理”界面,支持作業分組顯示、按組批量啟動作業、按分組導出作業等操作。
- 是否定時執行:如果需要配置作業定時自動執行,這里保持默認值“否”。
- 抽取并發數:設置同時執行的抽取任務數。這里保持默認值“1”。
- 是否寫入臟數據:如果需要將作業執行過程中處理失敗的數據、或者被清洗過濾掉的數據寫入OBS中,以便后面查看,可通過該參數配置,寫入數據前需要先配置好OBS連接。這里保持默認值“否”即可,不記錄臟數據。
- 作業運行完是否刪除:這里保持默認值“不刪除”。
5.單擊“保存并運行”,回到作業管理的表/文件遷移界面,在作業管理界面可查看作業執行進度和結果。
6.作業執行成功后,單擊作業操作列的“歷史記錄”,可查看該作業的歷史執行記錄、讀取和寫入的統計數據。
在歷史記錄界面單擊“日志”,可查看作業的日志信息。