使用Yarn客戶端
更新時間 2023-06-28 23:15:34
最近更新時間: 2023-06-28 23:15:34
分享文章
本章節主要介紹使用Yarn客戶端 。
操作場景
該任務指導用戶在運維場景或業務場景中使用Yarn客戶端。
前提條件
- 已安裝客戶端。
例如安裝目錄為“/opt/hadoopclient”,以下操作的客戶端目錄只是舉例,請根據實際安裝目錄修改。
- 各組件業務用戶由系統管理員根據業務需要創建。安全模式下,“機機”用戶需要下載keytab文件。“人機”用戶第一次登錄時需修改密碼。普通模式不需要下載keytab文件及修改密碼操作。
使用Yarn客戶端
- 以客戶端安裝用戶,登錄安裝客戶端的節點。
- 執行以下命令,切換到客戶端安裝目錄。
cd /opt/hadoopclient
- 執行以下命令配置環境變量。
source bigdata_env
- 如果集群為安全模式,執行以下命令進行用戶認證。普通模式集群無需執行用戶認證。
kinit 組件業務用戶
- 直接執行Yarn命令。例如:
yarn application -list
客戶端常見使用問題
- 當執行Yarn客戶端命令時,客戶端程序異常退出,報“java.lang.OutOfMemoryError”的錯誤。
這個問題是由于Yarn客戶端運行時的所需的內存超過了Yarn客戶端設置的內存上限(默認為128MB)。對于MRS 3.x后續版本集群,可以通過修改“<客戶端安裝路徑>/HDFS/component_env”中的“CLIENT_GC_OPTS”來修改Yarn客戶端的內存上限。例如,需要設置該內存上限為1GB,則設置:
export CLIENT_GC_OPTS="-Xmx1G"
對于MRS 3.x之前版本集群,可以通過修改“<客戶端安裝路徑>/HDFS/component_env”中的“GC_OPTS_YARN”來修改Yarn客戶端的內存上限。例如,需要設置該內存上限為1GB,則設置:
export GC_OPTS_YARN="-Xmx1G"
在修改完后,使用如下命令刷新客戶端配置,使之生效:
source< 客戶端安裝路徑 >/bigdata_env
- 如何設置Yarn客戶端運行時的日志級別?
Yarn客戶端運行時的日志是默認輸出到Console控制臺的,其級別默認是INFO級別。有的時候為了定位問題,需要開啟DEBUG級別日志,可以通過導出一個環境變量來設置,命令如下:
export YARN_ROOT_LOGGER=DEBUG,console
在執行完上面命令后,再執行Yarn Shell命令時,即可打印出DEBUG級別日志。
如果想恢復INFO級別日志,可執行如下命令:
export YARN_ROOT_LOGGER=INFO,co