配置Hive目的端參數
更新時間 2023-08-17 15:50:16
最近更新時間: 2023-08-17 15:50:16
分享文章
本章節主要介紹配置Hive目的端參數。
作業中目的連接為配置Hive連接時,目的端作業參數如下表所示。
表 Hive作為目的端時的作業參數
| 參數名 | 說明 | 取值樣例 |
|---|---|---|
| 數據庫名稱 | 輸入或選擇寫入數據的數據庫名稱。 單擊輸入框后面的按鈕可進入數據庫選擇界面。 |
default |
| 自動創表 | 只有當源端為關系數據庫時,才有該參數。表示寫入表數據時,用戶選擇的操作: 不自動創建:不自動建表。 不存在時創建:當目的端的數據庫沒有“表名”參數中指定的表時,CDM會自動創建該表。如果“表名”參數配置的表已存在,則不創建,數據寫入到已存在的表中。 先刪除后創建:CDM先刪除“表名”參數中指定的表,然后再重新創建該表。 |
不自動創建 |
| 表名 | 輸入或選擇寫入數據的目標表名。 單擊輸入框后面的按鈕可進入表的選擇界面。 該參數支持配置為時間宏變量,且一個路徑名中可以有多個宏定義變量。使用時間宏變量和定時任務配合,可以實現定期同步新增數據。 |
TBL_X |
| 導入前清空數據 | 選擇目的端表中數據的處理方式: 是:任務啟動前會清除目標表中數據。 否:導入前不清空目標表中的數據,如果選“否”且表中有數據,則數據會追加到已有的表中。 |
是 |
| 待清空分區 | “導入前清空數據”設置為“是”時,呈現此參數。 填寫待清空分區信息后,表示清空該分區的數據。 |
單分區:year=2020,location=sun; 多分區:['year=2020,location=sun', 'year=2021,location=earth']. |
說明Hive作為目的端時,會自動創建存儲格式為ORC的表。
Hive作為遷移的目的時,如果存儲格式為Textfile,在Hive創建表的語句中需要顯式指定分隔符。例如:
CREATE TABLE csv_tbl(
smallint_value smallint,
tinyint_value tinyint,
int_value int,
bigint_value bigint,
float_value float,
double_value double,
decimal_value decimal(9, 7),
timestmamp_value timestamp,
date_value date,
varchar_value varchar(100),
string_value string,
char_value char(20),
boolean_value boolean,
binary_value binary,
varchar_null varchar(100),
string_null string,
char_null char(20),
int_null int
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
"separatorChar" = "\t",
"quoteChar" = "'",
"escapeChar" = "\\"
)
STORED AS TEXTFILE;