DLI SQL
更新時間 2023-07-18 19:20:28
最近更新時間: 2023-07-18 19:20:28
分享文章
本章節主要介紹節點參考的DLI SQL。
功能
通過DLI SQL節點傳遞SQL語句到DLI中執行，實現多數據源分析探索。
原理
該節點方便用戶在數據開發模塊的周期與實時調度中執行DLI相關語句，可以使用參數變量為用戶的數倉進行增量導入，分區處理等動作。
參數
用戶可參考下表配置DLI SQL節點的參數。
屬性參數
| 參數 | 是否必選 | 說明 |
|---|---|---|
| SQL或腳本 | 是 | 可以選擇SQL語句或SQL腳本。 SQL語句 單擊“SQL語句”參數下的文本框，在“SQL語句”頁面輸入需要執行的SQL語句。 SQL腳本 在“SQL腳本”參數后選擇需要執行的腳本。如果腳本未創建，請參考新建腳本和開發SQL腳本先創建和開發腳本。 說明 若選擇SQL語句方式，數據開發模塊將無法解析您輸入SQL語句中攜帶的參數。 |
| 數據庫名稱 | 是 | 默認選擇SQL腳本中設置的數據庫，支持修改。 |
| DLI環境變量 | 否 | 環境變量配置項需要以"dli.sql."或"spark.sql."開頭。 環境變量的key為dli.sql.shuffle.partitions或dli.sql.autoBroadcastJoinThreshold時，不能包含><符號。 如果作業和腳本中同時配置了同名的參數，作業中配置的值會覆蓋腳本中的值。 |
| 隊列名稱 | 是 | 默認選擇SQL腳本中設置的DLI隊列，支持修改。如需新建資源隊列，請參考以下方法： 單擊   ，進入DLI的“隊列管理”頁面新建資源隊列。前往DLI管理控制臺進行新建。 |
| 腳本參數 | 否 | 關聯的SQL腳本如果使用了參數，此處顯示參數名稱，請在參數名稱后的輸入框配置參數值。參數值支持使用表達式概述。 若關聯的SQL腳本，腳本參數發生變化，可單擊  刷新按鈕 同步。 |
| 節點名稱 | 是 | 默認顯示為SQL腳本的名稱，支持修改。規則如下：節點名稱，可以包含中文、英文字母、數字、“_”、“-”、“/”、“<”、“>”等各類特殊字符，長度為1～128個字符。 |
| 是否記錄臟數據 | 是 | 單擊  選擇節點是否記錄臟數據。是：記錄臟數據 否：不記錄臟數據 |
高級參數
| 參數 | 是否必選 | 說明 |
|---|---|---|
| 節點狀態輪詢時間（秒） | 是 | 設置輪詢時間（1~60秒），每隔x秒查詢一次節點是否執行完成。 |
| 節點執行的最長時間 | 是 | 設置節點執行的超時時間，如果節點配置了重試，在超時時間內未執行完成，該節點將不會再重試，直接置為失敗狀態。 |
| 失敗重試 | 是 | 節點執行失敗后，是否重新執行節點。 是：重新執行節點，請配置以下參數。 ? 最大重試次數 ? 重試間隔時間（秒） 否：默認值，不重新執行節點。 說明 如果作業節點配置了重試，并且配置了超時時間，該節點執行超時后將不會再重試，直接置為失敗狀態。 |
| 失敗策略 | 是 | 節點執行失敗后的操作： 終止當前作業執行計劃：停止當前作業運行，當前作業實例狀態顯示為“失敗”。 繼續執行下一節點：忽略當前節點失敗，當前作業實例狀態顯示為“忽略失敗成功”。 掛起當前作業執行計劃：暫停當前作業運行，當前作業實例狀態顯示為“等待運行”。 終止后續節點執行計劃：停止后續節點的運行，當前作業實例狀態顯示為“失敗”。 |
| 空跑 | 否 | 如果勾選了空跑，該節點不會實際執行，將直接返回成功。 |
血緣關系
| 參數 | 說明 |
|---|---|
| 輸入 | |
| 新建 | 單擊“新建”，在“類型”的下拉選項中選擇要新建的類型。可以選擇DWS，OBS，CSS，HIVE，CUSTOM和DLI類型。 DWS ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇DWS的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇DWS的數據庫。? schema（必選）：單擊   ，在彈出的“schema”窗口選擇DWS的數據庫模式。? 表名（必選）：單擊   ，在彈出的“表名”窗口選擇DWS的數據表。OBS ? 路徑（必選）：單擊   ，在彈出的“OBS文件瀏覽”窗口選擇OBS路徑。CSS ? 集群名稱（必選）：單擊   ，在彈出的“CloudSearch集群”窗口選擇CloudSearch集群。? 索引名稱（必選）：輸入CSS類型的索引名稱。 HIVE ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇HIVE的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇HIVE的數據庫。? 表名（必選）：單擊   ，在彈出的“表名”窗口選擇HIVE的數據表。CUSTOM ? 名稱（必選）：輸入CUSTOM類型的名稱。 ? 屬性（必選）：輸入CUSTOM類型的屬性，可新增不止一條。 DLI ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇DLI的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇DLI的數據庫。? 表名（必選）：單擊  ，在彈出的“表名”窗口選擇DLI的數據表。 |
| 確定 | 單擊“確認”，保存節點輸入功能的參數配置。 |
| 取消 | 單擊“取消”，取消節點輸入功能的參數配置。 |
| 編輯 | 單擊  ，修改節點輸入功能的參數配置，修改完成后，請保存。 |
| 刪除 | 單擊  ，刪除節點輸入功能的參數配置。 |
| 查看表詳情 | 單擊  ，查看節點輸入血緣關系創建數據表的詳細信息。 |
| 輸出 | |
| 新建 | 單擊“新建”，在“類型”的下拉選項中選擇要新建的類型。可以選擇DWS，OBS，CSS，HIVE，CUSTOM和DLI類型。 DWS ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇DWS的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇DWS的數據庫。? schema（必選）：單擊   ，在彈出的“schema”窗口選擇DWS的數據庫模式。? 表名（必選）：單擊   ，在彈出的“表名”窗口選擇DWS的數據表。OBS ? 路徑（必選）：單擊   ，在彈出的“OBS文件瀏覽”窗口選擇OBS路徑。CSS ? 集群名稱（必選）：單擊   ，在彈出的“CloudSearch集群”窗口選擇CloudSearch集群。? 索引名稱（必選）：輸入CSS類型的索引名稱。 HIVE ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇HIVE的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇HIVE的數據庫。? 表名（必選）：單擊   ，在彈出的“表名”窗口選擇HIVE的數據表。CUSTOM ? 名稱（必選）：輸入CUSTOM類型的名稱。 ? 屬性（必選）：輸入CUSTOM類型的屬性，可新增不止一條。 DLI ? 連接名稱（必選）：單擊   ，在彈出的“連接名稱”窗口選擇DLI的數據連接。? 數據庫（必選）：單擊   ，在彈出的“數據庫”窗口選擇DLI的數據庫。? 表名（必選）：單擊  ，在彈出的“表名”窗口選擇DLI的數據表。 |
| 確定 | 單擊“確認”，保存節點輸出功能的參數配置。 |
| 取消 | 單擊“取消”，取消節點輸出功能的參數配置。 |
| 編輯 | 單擊  ，修改節點輸出功能的參數配置，修改完成后，請保存。 |
| 刪除 | 單擊  ，刪除節點輸出功能的參數配置。 |
| 查看表詳情 | 單擊  ，查看節點輸出血緣關系創建數據表的詳細信息。 |
