操作場景
該任務指導用戶在運維場景或業務場景中使用Oozie客戶端。
前提條件
- 已安裝客戶端。例如安裝目錄為“/opt/client”,以下操作的客戶端目錄只是舉例,請根據實際安裝目錄修改。
- 各組件業務用戶由系統管理員根據業務需要創建。安全模式下,“機機”用戶需要下載keytab文件。“人機”用戶第一次登錄時需修改密碼。
使用Oozie客戶端
1.以客戶端安裝用戶,登錄安裝客戶端的節點。
2.執行以下命令,切換到客戶端安裝目錄,該操作的客戶端目錄只是舉例,請根據實際安裝目錄修改。
cd /opt/client
3.執行以下命令配置環境變量。
source bigdata_env
4.判斷集群認證模式。
- 安全模式,執行以下命令進行用戶認證。exampleUser為提交任務的用戶名。
kinit exampleUser
- 普通模式,執行步驟5。
5.配置Hue。
a.spark2x環境配置(如果不涉及spark2x任務,可以跳過此步驟):
hdfs dfs -put /opt/client/Spark2x/spark/jars/*.jar /user/oozie/share/lib/spark2x/
當HDFS目錄“/user/oozie/share”中的Jar包發生變化時,需要重啟Oozie服務。
b.上傳Oozie配置文件以及Jar包至HDFS:
hdfs dfs -mkdir /user/ exampleUser
hdfs dfs -put -f /opt/client/Oozie/oozie-client-*/examples /user/ exampleUser /
說明
exampleUser為提交任務的用戶名。
在提交任務的用戶和非job.properties文件均無變更的前提下,客戶端安裝目錄/Oozie/oozie-client-*/examples目錄一經上傳HDFS,后續可重復使用,無需多次提交。
解決Spark和Yarn關于jetty的jar沖突。
hdfs dfs -rm -f /user/oozie/share/lib/spark/jetty-all-9.2.22.v20170606.jar
- 普通模式下,上傳過程如果遇到“Permission denied”的問題,可執行以下命令進行處理。
su - omm
source /opt/client/bigdata_env
hdfs dfs -chmod -R 777 /user/oozie
exit