調試Flink作業
更新時間 2024-02-21 17:50:54
最近更新時間: 2024-02-21 17:50:54
分享文章
本章節主要介紹調試Flink作業。
調試作業功能可以幫助用戶在正式運行作業前,檢測用戶編寫的SQL語句邏輯的正確性。
說明目前只有Flink SQL作業支持本功能。
作業調試功能只用于驗證SQL邏輯,不會有數據寫入操作。
調試作業步驟
1.在DLI管理控制臺的左側導航欄中,單擊“作業管理”>“Flink作業”,進入“Flink作業”頁面。
2.在已創建的Flink SQL作業“操作”列中,單擊“編輯”,進入Flink SQL作業編輯頁面。
如果是正在創建的新作業,可直接在“編輯”頁面中,對作業進行調試。
3.單擊“編輯”頁面的“調試”,對已經編輯好的SQL語句進行解析。“編輯”頁面右側自動跳轉到“調試參數”頁簽。
- “調試結果轉儲地址”:選擇OBS桶用于保存調試日志,如果選擇未授權的桶,單擊“OBS授權”進行授權。
- “數據輸入方式”:可選擇保存在OBS桶中的CSV數據,也可手動錄入。
?選擇“OBS(CSV)”方式
用戶將OBS服務作為數據源,需要與OBS服務對接,在使用DLI服務前,需要先準備OBS數據,具體請參見準備Flink作業數據。OBS方式的數據輸入格式為CSV,以換行分隔多條記錄,以逗號分隔單條記錄中不同字段。同時,用戶需要選擇OBS中具體的對象作為輸入源數據。
?選擇“手動錄入”方式
用戶編寫SQL語句作為數據源。手動錄入方式需要填寫單條記錄的每一個字段值。
4.單擊“開始調試”,調試完畢會彈出“調試結果”頁面。
- 如果調試結果符合預期,說明作業可以正常運行。
- 如果調試結果不符合預期,說明作業業務邏輯可能存在問題,請修改SQL語句后再重新調試。