SQL作業包括在SQL編輯器窗口執行SQL語句,導入數據和導出數據等操作。
SQL作業管理主要包括如下功能:
- 查找作業:篩選符合對應條件的作業。
- 查看作業詳情:顯示作業的詳細信息。
- 終止作業:終止“提交中”或“運行中”的作業。
- 導出查詢結果:當前控制臺界面查詢結果最多顯示1000條數據,如果需要查看更多或者全量數據,則可以通過該功能將數據導出到OBS獲取。
作業管理頁面
在總覽頁面單擊“SQL作業”簡介,或在左側導航欄單擊“作業管理”>“SQL作業”,可進入SQL作業管理頁面。SQL作業管理頁面顯示所有SQL作業,作業數量較多時,系統分頁顯示,可根據需要跳轉至指定頁面。您可以查看任何狀態下的作業。作業列表默認按創建時間降序排列,創建時間最近的作業顯示在最前端。
作業管理參數
參數 參數說明 隊列
作業所屬隊列的名稱。
用戶名
執行該作業的用戶名。
類型
作業的類型,包括如下。
l? ? IMPORT:導入數據到DLI的作業。
l? ? EXPORT:從DLI導出數據的作業。
l? ? DCL:包括傳統DCL,以及隊列權限相關的操作。
l? ? DDL:與傳統DDL操作一致,即創建和刪除數據庫,創建和刪除表的作業。
l? ? QUERY:執行SQL查詢數據的作業。
l? ? INSERT:執行SQL插入數據的作業。
l? ? UPDATE:更新數據。
l? ? DELETE:刪除SQL作業。
l? ? DATA_MIGRATION:數據遷移。
l? ? RESTART_QUEUE:重啟隊列。
l? ? SCALE_QUEUE: 隊列規格變更(擴容/縮容)。
狀態
作業的狀態信息,包括如下。
l? ? 提交中
l? ? 運行中
l? ? 已成功
l? ? 已取消
l? ? 已失敗
l? ? 規格變更中
執行語句
作業的具體SQL語句以及導出、建表的操作,此處展示操作的描述。
單擊
可復制對應的語句。
運行時長
作業的運行時長。
創建時間
每個作業的創建時間,可按創建時間順序或倒序顯示作業列表。
操作
l? ? 編輯:重新編輯修改該作業。
l? ? 終止:
????? 當作業狀態在“提交中”和“運行中”時,“終止”按鈕才生效。
????? 當作業狀態為“已成功”、“已失敗”、“已取消”的作業不能終止。
????? 當“終止”按鈕為灰色時,表示無法執行終止操作。
l? ? 重新執行:重新執行該作業。
l? ? SparkUI:單擊后,將跳轉至Spark任務運行情況界面。
說明
l? ? 新建隊列,運行作業時會重新拉集群,大概需要10分鐘左右才能拉好集群,在集群創建好之前單擊SparkUI會導致緩存空的projectID,從而導致無法查看SparkUI。建議使用專屬隊列,集群不會被釋放,就不會有該問題,或者提交作業后等一段時間再查看SparkUI,確保集群已經拉好了,不要立即單擊SparkUI。
l? ? 目前DLI配置SparkUI只展示最新的100條作業信息。
l? ? QUERY作業和異步DDL作業除上述操作外,還包括:
????? 查看結果:查看作業運行結果。
????? 導出結果:將作業運行結果導出至用戶創建的OBS桶中。具體操作請見導出查詢結果。
l? ? EXPORT作業除上述操作外,還包括:
????? 立即下載
l? ? 歸檔日志:將作業日志保存到系統創建的DLI臨時OBS數據桶中。
說明
default隊列下運行的作業或者該作業為同步作業時不支持歸檔日志操作。
查找作業
在“SQL作業”頁面,可以通過以下方式對作業進行過濾篩選,在頁面中顯示符合對應條件的作業。
- 選擇隊列名稱
- 設置日期范圍
- 輸入用戶名/執行語句/作業ID
- 選擇創建時間順序/倒序排列
- 選擇作業類型
- 選擇作業狀態
- 選擇運行時長順序/倒序排列
查看作業詳情
在“SQL作業”頁面,選中一條作業,單擊該作業對應的,可查看該條作業的詳細信息。
不同類型的作業,顯示的作業詳情不同。作業詳情根據作業類型、狀態和配置選項不同顯示可能存在差異,具體以實際界面顯示為準。以導入數據作業,建表作業和查詢作業為例說明。其他作業類型支持查看的詳細信息請以控制臺信息為準。
- 導入數據(load data)作業(作業類型:IMPORT),包括以下信息:隊列,作業ID,用戶名,類型,狀態,執行語句,運行時長,創建時間,結束時間,參數設置,結果條數,已掃描數據,掃描數據條數,錯誤記錄條數,存儲路徑,數據格式,數據庫,表,表頭,分隔符,引用字符,轉義字符,日期格式,時間戳格式,CPU累計使用量,輸出字節。
- 建表(create table)作業(作業類型:DDL),包括以下信息:隊列,作業ID,用戶名,類型,狀態,執行語句,運行時長,創建時間,結束時間,參數設置,結果條數,已掃描數據,數據庫。
- 查詢(select)作業(作業類型:QUERY),包括以下信息:隊列,作業ID,用戶名,類型,狀態,執行語句,運行時長,創建時間,結束時間,參數設置,結果條數(運行成功,可導出結果),已掃描數據,執行用戶,結果狀態(運行成功,可查看結果;運行失敗,顯示失敗原因),數據庫,CPU累計使用量,輸出字節。
說明
CPU累計使用量:作業執行過程的CPU消耗總和,單位:Core*ms
輸出字節:作業執行完成后輸出的字節數。
終止作業
在“SQL作業”頁面,可單擊“操作”列的“終止”,終止“提交中”或“運行中”的作業。
導出查詢結果
當前控制臺界面查詢結果最多顯示1000條數據,如果需要查看更多或者全量數據,則可以通過該功能將數據導出到OBS獲取。具體操作步驟如下:
導出查詢結果的操作入口有兩個,分別在“SQL作業”和“SQL編輯器”頁面。
- 在“作業管理”>“SQL作業”頁面,可單擊對應作業“操作”列“更多”中的“導出結果”,可導出執行查詢后的結果。
- 在“SQL編輯器”頁面,查詢語句執行成功后,在“查看結果”頁簽右側,單擊
“導出結果”,可導出執行查詢后的結果。
說明若查詢結果中無數值列,則無法導出查詢結果。
參數說明
參數名稱 描述 數據格式 導出查詢結果數據的文件格式。支持json和csv格式。
隊列
選擇運行的隊列。SQL作業只能在隊列類型為“SQL隊列”下執行。具體隊列創建可以參考6.3 創建隊列。
壓縮格式
導出查詢結果數據的壓縮方式,選擇如下壓縮方式。
l? ? none
l? ? bzip2
l? ? deflate
l? ? gzip
存儲路徑
輸入或選擇OBS的路徑。
說明
l? ? 選擇OBS桶后,請在文本框中定義文件夾名稱,若該文件夾不存在,則會在OBS中創建。
l? ? 文件夾名稱不能包含下列特殊字符:\ / : * ? " ? < > |,并且不能以“.”開頭和結尾。
導出方式
導出查詢結果數據的保存方式。
l? ? 隨導出創建指定路徑:指定的導出目錄必須不存在,如果指定目錄已經存在,系統將返回錯誤信息,無法執行導出操作。
l? ? 覆蓋指定路徑:在指定目錄下新建文件,會刪除已有文件。
結果條數
導出查詢結果數據的數量。不填寫數值或數值為“0”時,導出全部結果。
表頭
設置導出查詢結果數據是否含表頭。