節點
MRS集群中每個節點即為一臺云服務器,節點類型及節點功能如下所示。
| 節點類型 | 功能 |
|---|---|
| Master節點 | MRS集群管理節點,負責管理和監控集群。在MRS管理控制臺選擇“集群列表>現有集群”,選中一個運行中的集群并單擊集群名,進入集群信息頁面。在“節點管理”中查看節點名稱,名稱中包含“master1”的節點為Master1節點,名稱中包含“master2”的節點為Master2節點。 Master節點可以通過彈性云服務器界面的VNC方式登錄,也可以通過SSH方式登錄,并且Master節點可以免密碼登錄到Core節點。 系統自動將Master節點標記為主備管理節點,并支持MRS集群管理的高可用特性。如果主管理節點無法提供服務,則備管理節點會自動切換為主管理節點并繼續提供服務。 |
| Core節點 | MRS集群工作節點,負責處理和分析數據,并存儲過程數據。 |
| Task節點 | 計算節點,用于彈性伸縮,集群計算資源不足時擴容至集群中。 |
Flink
Flink是一個批處理和流處理結合的統一計算框架,其核心是一個提供了數據分發以及并行化計算的流數據處理引擎。
Flume
Flume是一個高可用、高可靠,分布式的海量日志采集、聚合和傳輸的系統。Flume支持在日志系統中定制各類數據發送方,用于收集數據;同時,Flume提供對數據進行簡單處理,并寫到各種數據接受方(可定制)的能力。其中Flume-NG是Flume 的一個分支,其目的是要明顯簡單,體積更小,更容易部署。
Hudi
Hudi是數據湖的文件組織層,對Parquet格式文件進行管理提供數據湖能力,支持多種計算引擎,提供IUD接口,在 HDFS的數據集上提供了插入更新和增量拉取的流原語。
資源池
ModelArts提供的大規模計算集群,可應用于模型開發、訓練和部署。支持公共資源池和專屬資源池兩種,分別為共享資源池和獨享資源池。ModelArts默認提供公共資源池。專屬資源池需單獨購買,專屬使用,不與其他用戶共享。
Hue
Hue是一組WEB應用,用于和MRS大數據組件進行交互,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapReduce任務等,它承載了與所有MRS大數據組件交互的應用。
Kafka
Kafka是一個分布式的、分區的、多副本的消息發布-訂閱系統,它提供了類似于JMS的特性,但在設計上完全不同,它具有消息持久化、高吞吐、分布式、多客戶端支持、實時等特性,適用于離線和在線的消息消費,如常規的消息收集、網站活性跟蹤、聚合統計系統運營數據(監控數據)、日志收集等大量數據的互聯網服務的數據收集場景。
Spark
Spark是一個開源的,并行數據處理框架,能夠幫助用戶簡單的開發快速,統一的大數據應用,對數據進行離線處理,流式處理,交互式分析等等。