開啟Flink作業動態擴縮容
更新時間 2024-02-22 17:57:11
最近更新時間: 2024-02-22 17:57:11
分享文章
本章節主要介紹開啟Flink作業動態擴縮容。
使用須知
- 在Flink作業進行動態擴縮時若隊列資源被強占,剩余資源不滿足作業啟動所需資源則可能存在作業無法正常恢復的情況。
- 在Flink作業進行動態擴縮時后臺作業需要停止繼而從savepoint恢復,因此未恢復成功前,作業無法處理數據。
- 因擴縮容過程中需要觸發savepoint,因此必須配置obs桶,并保存日志,同時請注意開啟checkpoint。
- 擴縮容檢測周期不要設置過小,避免頻繁啟停作業。
- 擴縮容作業恢復過程中的時間長短受savepoint的大小影響,若保存點較大,可能恢復時間較慢。
- 若需要調整動態擴縮容的配置項,則需要停止作業進行編輯,并提交運行才能生效。
操作步驟
Flink作業動態擴縮容適用于Flink Opensource SQL作業和Flink Jar作業。
1.登錄DLI管理控制臺。
2.單擊“作業管理 > Flink作業”。
3.選擇要開啟動態擴縮容的作業,單擊操作列下的編輯。
?Flink Opensource SQL作業單擊“自定義配置”,配置動態擴縮容參數。
?Flink Jar作業單擊“優化參數”框,配置動態擴縮容參數。
動態擴縮容參數說明
| 名稱 | 默認值 | 描述 |
|---|---|---|
| flink.dli.job.scale.enable | false | 該配置表示是否開啟動態擴縮的功能,即是否允許根據作業的負載調整作業的使用資源量和是否允許DLI根據作業優先級調整作業的使用資源量。 當前配置為false時,表示不允許。 當前配置為true時,表示允許。 默認值為false。 |
| flink.dli.job.scale.interval | 30 | 該配置表示檢測當前作業是否需要動態擴縮的時間周期,其單位為分鐘,默認值為30。例如30表示每隔30分鐘進行一次檢測,判斷是否需要對作業使用資源量進行擴縮。 注意:只有當用戶開啟動態擴縮時,該配置才有意義。 |
| flink.dli.job.cu.max | 用戶CU初始值 | 該配置表示當前作業在進行動態擴縮時允許使用的最大CU數,若用戶未配置則默認值為該作業的初始總CU數。 注意:該配置值不能小于用戶配置的總CU數,且只有當用戶開啟動態擴縮時,該配置才有意義。 |
| flink.dli.job.cu.min | 2 | 該配置表示當前作業在進行動態擴縮時允許使用的最小CU數,其默認值為2。 注意:該配置值不能大于用戶配置的總CU數,且只有當用戶開啟動態擴縮時,該配置才有意義。 |