配置HBase/CloudTable目的端參數
更新時間 2023-06-02 15:46:29
最近更新時間: 2023-06-02 15:46:29
分享文章
本章節主要介紹配置HBase/CloudTable目的端參數。
作業中目的連接為配置HBase連接或配置CloudTable連接時，即導入數據到以下數據源時，目的端作業參數如下表所示。
表 HBase/CloudTable作為目的端時的作業參數
| 參數名 | 說明 | 取值樣例 |
|---|---|---|
| 表名 | 寫入數據的HBase表名。如果是創建新HBase表，支持從源端拷貝字段名。單擊輸入框后面的按鈕可進入表的選擇界面。 該參數支持配置為時間宏變量，且一個路徑名中可以有多個宏定義變量。使用時間宏變量和定時任務配合，可以實現定期同步新增數據。 |
TBL_2 |
| 導入前清空數據 | 選擇目的端表中數據的處理方式： 是：任務啟動前會清除目標表中數據。 否：導入前不清空目標表中的數據，如果選“否”且表中有數據，則數據會追加到已有的表中。 |
是 |
| Row key拼接分隔符 | 可選參數，用于多列合并作為rowkey，默認為空格。 | , |
| Rowkey冗余 | 可選參數，是否將選做Rowkey的數據同時寫入HBase的列，默認值“否”。 | 否 |
| 壓縮算法 | 可選參數，創建新HBase表時采用的壓縮算法，默認為值“NONE”。 NONE：不壓縮。 SNAPPY：壓縮為Snappy格式。 GZ：壓縮為GZ格式。 |
NONE |
| WAL開關 | 選擇是否開啟HBase的預寫日志機制（WAL，Write Ahead Log）。 是：開啟后如果出現HBase服務器宕機，則可以從WAL中回放執行之前沒有完成的操作。 否：關閉時能提升寫入性能，但如果HBase服務器宕機可能會造成數據丟失。 |
否 |
| 匹配數據類型 | 是：源端數據庫中的Short、Int、Long、Float、Double、Decimal類型列的數據，會轉換為Byte[]數組（二進制）寫入HBase，其他類型的按字符串寫入。 如果這幾種類型中，有合并做rowkey的，則依然當字符串寫入。 該功能作用是：降低存儲占用空間，存儲更高效；特定場景下rowkey分布更均勻。 否：源端數據庫中所有類型的數據，都會按照字符串寫入HBase。 |
否 |
