運行MapReduce作業
更新時間 2024-08-27 18:51:05
最近更新時間: 2024-08-27 18:51:05
分享文章
本章節主要介紹在翼MapReduce集群的后臺提交新的MapReduce作業。
用戶可將自己開發的程序提交到翼MR中,執行程序并獲取結果。
前提條件
用戶已經將運行作業所需的程序包和數據文件上傳至HDFS系統中。
通過后臺提交作業
例如安裝路徑為“/usr/local/hadoop3”。具體以實際為準。
-
登錄翼MR管理控制臺。
-
選擇“我的集群”,選中一個運行中的集群并單擊集群名稱,進入集群信息頁面。
-
在“節點管理”頁選中單擊Master節點,選擇要進入的Master節點。
-
單擊該節點右側的“遠程連接”。
-
根據界面提示,輸入Master節點的用戶名和密碼,用戶名、密碼分別為root和創建集群時設置的密碼。
-
集群默認開啟Kerberos認證,執行以下命令認證當前用戶。
示例: klist -kt /etc/security/keytabs/hdfs.keytab 獲取keytab的principalname kinit?-kt?/etc/security/keytabs/hdfs.keytab_x0005_?keytab的principalname -
執行如下命令運行Example的wordcount作業。
hadoop jar /usr/local/hadoop3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.3.3-tests.jar TestDFSIO -Ddfs.replication=1 -write -nrFiles 100 -fileSize 100MB