上傳示例數據和程序
更新時間 2025-04-07 09:48:21
最近更新時間: 2025-04-07 09:48:21
分享文章
本章節主(zhu)要(yao)以(yi)HDFS為例介紹如(ru)何(he)上傳數據以(yi)及運行WordCount程(cheng)序。
操作步驟
- 登錄翼MapReduce管理控制臺。
- 選擇“我的集群”，選中一個運行中的集群并單擊集群名稱，進入集群信息頁面。
- 在“節點管理”頁簽中展開節點組，選擇要進入的節點。
- 單擊該節點右側的“遠程連接”。
- 根據界面提示，點擊輸入框，輸入master節點的用戶名和密碼，用戶名、密碼分別為root和創建集群時設置的密碼。
- 在hdfs根目錄下，創建input文件夾。
hadoop fs -mkdir /input - 上傳數據。
hdfs dfs -put /usr/local/text.txt /input - 查看上傳的數據。
hdfs dfs -ll /input - 編寫一個WordCount的Java程序，并進行編譯打包成jar包。
- 將該jar包上傳到服務器的/client目錄下：
scp 本地jar包路徑 用戶名@Master的公網ip地址:/client - 執行命令。
hadoop jar jar包名 WordCount /input/text.txt
