操作場景

在實際作業運行中，由于作業的重要程度以及緊急程度不同，需要重點保障重要和緊急的作業正常運行，因此需要滿足它們正常運行所需的計算資源。

DLI提供的設置作業優先級功能，可以對每個Spark作業、Spark SQL作業以及Flink作業設置作業優先級，當資源不充足時，可以優先滿足優先級較高的作業的計算資源。

說明
只有運行在彈性資源池上的作業支持設置作業優先級。
彈性資源池上的SQL作業支持作業優先級。
Spark 2.4.5及以上版本的作業支持設置作業優先級。
Flink 1.12及以上版本的作業支持設置作業優先級。

使用須知

• 對于每個作業都允許設置優先級，其取值為1-10，數值越大表示優先級越高。優先滿足高優先級作業的計算資源，即若高優先級作業計算資源不足，則會減少低優先級作業的計算資源
• 通用隊列上運行的Flink作業優先級默認為5。
• 通用隊列上運行的Spark作業的優先級默認為3。
• SQL隊列上運行的作業優先級默認為3。
• 作業優先級的調整需要停止作業進行編輯，并提交運行才能生效。
• 對于Flink作業，請參考開啟Flink作業動態擴縮容設置flink.dli.job.scale.enable=true開啟動態擴縮容功能，再設置作業優先級。
• Flink作業優先級的調整需要停止編輯作業并重新提交才能生效。

Flink Opensource SQL作業操作步驟

1. 登錄DLI管理控制臺。
2. 單擊“作業管理 > Flink作業”。
3. 選擇要待配置的作業，單擊操作列下的編輯。
4. 單擊“自定義配置”。
5. 在“自定義配置”中輸入如下語句，先開啟動態擴縮容功能，再設置作業優先級。

說明
對于Flink作業，必須先設置flink.dli.job.scale.enable=true開啟動態擴縮容功能，再設置作業優先級。
開啟動態擴縮容的更多參數設置請參考開啟Flink作業動態擴縮容。
flink.dli.job.scale.enable=true 
 flink.dli.job.priority=x

Flink Jar作業操作步驟

在“優化參數”中配置如下參數，其中x為優先級取值。

flink.dli.job.priority=x

1. 登錄DLI管理控制臺。
2. 單擊“作業管理 > Flink作業”。
3. 選擇待配置的作業，單擊操作列下的編輯。
4. 在“優化參數”中輸入如下語句。先開啟動態擴縮容功能，再設置作業優先級。

說明
對于Flink作業，必須先設置flink.dli.job.scale.enable=true開啟動態擴縮容功能，再設置作業優先級。
開啟動態擴縮容的更多參數設置請參考開啟Flink作業動態擴縮容。
flink.dli.job.scale.enable=true 
 flink.dli.job.priority=x

Spark作業操作步驟

在“Spark參數”中配置如下參數，其中x為優先級取值。

spark.dli.job.priority=x

1. 登錄DLI管理控制臺。
2. 單擊“作業管理 > Spark作業”。
3. 選擇待配置的作業，單擊操作列下的編輯。
4. 在“Spark參數”中配置spark.dli.job.priority參數。

Spark SQL作業操作步驟

在“ 設置 > 參數配置”中配置如下參數，其中x為優先級取值。

spark.sql.dli.job.priority=x

1. 登錄DLI管理控制臺。
2. 單擊“作業管理 > SQL作業”。
3. 選擇待配置的作業，單擊操作列下的編輯。
4. 在“ 設置 > 參數配置”中配置spark.sql.dli.job.priority參數。