運維指導
更新時間 2023-11-30 00:33:28
最近更新時間: 2023-11-30 00:33:28
分享文章
本章節主要介紹Spark作業相關問題中有關運維指導的問題。
添加Python包后，找不到指定的Python環境
添加Python3包后，找不到指定的Python環境。
可以通過在conf文件中，設置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定計算集群環境為Python3環境。
目前，新建集群環境均已默認為Python3環境。
為什么Spark jar 作業 一直處于“提交中”？
Spark jar 作業 一直處于“提交中”可能是隊列剩余的CU量不足導致作業無法提交。
查看隊列的的剩余步驟如下：
- 查看隊列CU使用量。
點擊“云監控服務 > 云服務監控 > 數據探索湖 > 隊列監控 > 隊列CU使用量” 。 - 計算剩余CU量。
隊列剩余CU量=隊列CU量 - 隊列CU使用量。
當隊列剩余CU量小于用戶提交的CU量，則需要等待資源，才能提交成功。
