如何使用翼MapReduce
更新時間 2024-11-13 10:28:39
最近更新時間: 2024-11-13 10:28:39
分享文章
本章節主要介紹如何使用翼MapReduce。
翼MR是一個在云上部署和管理Hadoop系統的服務，一鍵即可部署Hadoop集群。翼MR提供租戶完全可控的企業級大數據集群云服務，輕松運行Hadoop、Spark、HBase、Kafka、Storm等大數據組件。
翼MR使用簡單，通過使用在集群中連接在一起的多臺計算機，您可以運行各種任務，處理或者存儲（PB級）巨量數據。翼MR的基本使用流程如下：
- 上傳程序和數據文件到對象存儲服務（OBS）中，用戶需要先將本地的程序和數據文件上傳至OBS中。
- 自定義創建集群，用戶可以指定集群類型用于離線數據分析和流處理任務，指定集群中預置的彈性云服務器實例規格、實例數量、數據盤類型（普通IO、高 IO、超高 IO）、要安裝的組件（Hadoop、Spark、HBase、Hive、Kafka、Storm等）。用戶可以使用引導操作在集群啟動前（或后）在指定的節點上執行腳本，安裝其他第三方軟件或修改集群運行環境等自定義操作。
- 管理作業，翼MR為用戶提供程序執行平臺，程序由用戶自身開發，翼MR負責程序的提交、執行和監控。
- 管理集群，翼MR為用戶提供企業級的大數據集群的統一管理平臺，幫助用戶快速掌握服務及主機的健康狀態，通過圖形化的指標監控及定制及時的獲取系統的關鍵信息，根據實際業務的性能需求修改服務屬性的配置，對集群、服務、角色實例等實現一鍵啟停等操作。
- 刪除集群，如果作業執行結束后不需要集群，可以刪除翼MR集群。
