使用MRS的首要操作就是創建集群,本章節為您介紹如何在MRS管理控制臺自定義創建一個新的MRS集群。
注冊帳號后,如果需要對云上的資源進行精細管理,請使用IAM服務創建IAM用戶及用戶組,并授權,以使得IAM用戶獲得具體的操作權限,具體請參考創建MRS操作用戶。
1.登錄MRS管理控制臺。
2.單擊“創建集群”,進入“創建集群”頁面。
說明創建集群時需要注意配額提醒。當資源配額不足時,建議按照提示申請足夠的資源,再創建集群。
3.在創建集群頁面,選擇“自定義創建”頁簽。
4.參考軟件配置配置集群信息后,單擊“下一步”。
5.參考硬件配置配置集群信息后,單擊“下一步”。
6.參考下方 高級配置(可選) 配置集群信息后,單擊“立即申請”。
當集群開啟Kerberos認證時,需要確認是否需要開啟Kerberos認證,若確認開啟請單擊“繼續”,若無需開啟Kerberos認證請單擊“返回”關閉Kerberos認證后再創建集群。
7.單擊“返回集群列表”,可以查看到集群創建的狀態。
集群創建的狀態過程請參見 集群概覽章節查看集群狀態 部分 集群列表參數中的“狀態”參數說明。
集群創建需要時間,所創集群的初始狀態為“啟動中”,創建成功后狀態更新為“運行中”,請您耐心等待。
MRS系統界面支持同一時間并發創建10個集群,且最多支持管理100個集群。
軟件配置
MRS集群軟件配置
| 參數 | 參數說明 |
|---|---|
| 區域 | 選擇區域。 不同區域的云服務產品之間內網互不相通。請就近選擇靠近您業務的區域,可減少網絡時延,提高訪問速度。 |
| 集群名稱 | 集群名稱不允許重復。 只能由字母、數字、中劃線和下劃線組成,并且長度為1~64個字符。 默認名稱為mrs_xxxx,xxxx為字母和數字的四位隨機組合數,系統自動組合。 |
| 集群版本 | 當前版本為MRS 3.1.0。 |
| 集群類型 | 提供幾種集群類型: 分析集群:用來做離線數據分析,提供的是Hadoop體系的組件。 流式集群:用來做流處理任務,提供的是流式處理組件。 混合集群:既可以用來做離線數據分析,也可以用來做流處理任務,提供的是Hadoop體系的組件和流式處理組件。建議同時需要做離線數據分析和流處理任務時使用混合集群。 自定義:用戶可按照業務需求調整集群服務的部署方式,具體請參見創建自定義拓撲集群。(目前僅MRS 3.x版本支持) 說明 MRS流式集群不支持“作業管理”和“文件管理”功能。如需在集群中安裝全部組件,請選擇“自定義”類型集群。 |
| 組件選擇 | MRS配套的組件如下: 分析集群組件 Presto:開源、分布式SQL查詢引擎。 Hadoop:分布式系統基礎架構。 Spark:內存分布式系統框架。(MRS 3.x版本不支持) Spark2x:Spark2x是一個對大規模數據處理的快速和通用引擎,基于開源Spark2.x版本開發。(僅MRS 3.x版本支持) Hive:建立在Hadoop上的數據倉庫框架。 HBase:分布式列數據庫。 Tez:提供有向無環圖的分布式計算框架。 Hue:提供Hadoop UI能力,讓用戶通過瀏覽器分析處理Hadoop集群數據。 Loader:基于開源sqoop 1.99.7開發,專為Apache Hadoop和結構化數據庫(如關系型數據庫)設計的高效傳輸大量數據的工具。(MRS 3.x版本不支持) Hadoop為必選組件,且Spark與Hive組件需要配套使用。請根據業務選擇搭配組件。 Flink:分布式大數據處理引擎,可對有限數據流和無限數據流進行有狀態計算。 Oozie:Hadoop作業調度系統。(僅MRS 3.x版本支持) HetuEngine:HetuEngine是一個同異構大數據集的分布式SQL查詢引擎。(僅MRS 3.1.x LTS版本支持) Ranger:一個基于Hadoop平臺監控和管理數據安全的框架。 Impala:一種處理大量數據的SQL查詢引擎。 ClickHouse:ClickHouse是一個用于聯機分析(OLAP)的列式數據庫管理系統(DBMS)。CPU架構為鯤鵬計算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 Kudu:一種列存儲管理器。 流式集群組件 Kafka:提供分布式消息訂閱的系統。 Flume:提供分布式、高可用、高可靠的海量日志采集、聚合和傳輸系統。 ZooKeeper:一個集中的服務,它用于維護配置信息、命名、提供分布式的同步和提供分組服務。(僅MRS 3.x版本支持) Ranger:一個基于Hadoop平臺監控和管理數據安全的框架。(僅MRS 3.x版本支持) |
| 元數據 | 是否使用外部數據源存儲元數據。 本地元數據: 元數據存儲在集群本地。 數據連接:使用外部數據源元數據,若集群異常或刪除時將不影響元數據,適用于存儲計算分離的場景。 支持Hive或Ranger組件的集群支持該功能。 |
| 組件名 | 當“元數據”選擇“數據連接”時該參數有效。用于表示可以設置外部數據源的組件類型。 Hive Ranger |
| 數據連接類型 | 當“元數據”選擇“數據連接”時該參數有效。用于表示外部數據源的類型。 Hive組件支持的數據連接類型: ? RDS服務MySQL數據庫? 本地數據庫 Ranger組件支持的數據連接類型: ? RDS服務MySQL數據庫? 本地數據庫 |
| 數據連接實例 | 當“數據連接類型”選擇“RDS服務MySQL數據庫”時,該參數有效。用于表示MRS集群與RDS服務數據庫連接的名稱,該實例必選先創建才能在此處引用。可單擊“創建數據連接”進行創建,具體請參考配置數據連接。 |
硬件配置
MRS集群硬件配置
| 參數 | 參數說明 |
|---|---|
| 可用區 | 選擇集群工作區域下關聯的可用區。 可用區是使用獨立電源和網絡資源的物理區域。通過內部網絡互聯,再以物理方式進行隔離,提高了應用程序的可用性。建議您在不同的可用區下創建集群。 |
| 虛擬私有云 | VPC即虛擬私有云,是通過邏輯方式進行網絡隔離,提供安全、隔離的網絡環境。 選擇需要創建集群的VPC,單擊“查看虛擬私有云”進入VPC服務查看已創建的VPC名稱和ID。如果沒有VPC,需要創建一個新的VPC。 |
| 子網 | 通過子網提供與其他網絡隔離的、可以獨享的網絡資源,以提高網絡安全。 選擇需要創建集群的子網,單擊“查看子網”可查看所選子網的詳細信息,若VPC下未創建子網,請在VPC服務控制臺單擊“創建子網”進行創建。網絡ACL出規則配置請參考切換集群子網章節中的 如何配置網絡ACL出規則?。 說明 創建MRS集群需要的IP數量和集群節點和組件個數相關,集群類型不影響IP數量。 MRS集群部署默認需要的IP數量為:集群節點數量+2(Manager+DB),如果部署集群時選擇Hadoop、Hue、Sqoop或Loader、Presto組件,則每一個組件需要再加一個IP。若單獨創建ClickHouse集群則需要的IP數量為:集群節點數量+1(Manager)。 |
| 安全組 | 安全組是一組對彈性云主機的訪問規則的集合,為同一個VPC內具有相同安全保護需求并相互信任的彈性云主機提供訪問策略。 用戶創建集群時,可自動創建安全組,也可選擇下拉框中已有的安全組。 說明 選擇用戶自己創建的安全組時,請確保入方向規則中有一條全部協議,全部端口,源地址為可信任的IP訪問范圍的規則,源地址請勿使用0.0.0.0/0,否則會有安全風險。若用戶不清楚可信任的IP訪問范圍,請選擇自動創建。 |
| 彈性公網IP | 通過將彈性公網IP與MRS集群綁定,實現使用彈性公網IP訪問Manager的目的。 用戶創建集群時,可選擇下拉框中已有的彈性公網IP進行綁定。若下拉框中沒有可選的彈性公網IP,可以單擊“管理彈性公網IP”進入彈性公網IP服務進行創建。 說明 彈性公網IP必須和集群在同一區域。 |
集群節點信息
| 參數 | 參數說明 |
|---|---|
| CPU架構 | MRS提供的CPU架構類型。 x86計算:x86 CPU架構采用復雜指令集(CISC),CISC指令集的每個小指令可以執行一些較低階的硬件操作,指令數目多而且復雜,每條指令的長度并不相同。由于指令執行較為復雜所以每條指令花費的時間較長。 鯤鵬計算:鯤鵬CPU架構采用精簡指令集(RISC),RISC是一種執行較少類型計算機指令的微處理器,它能夠以更快的速度執行操作,使計算機的結構更加簡單合理地提高運行速度,相對于x86 CPU架構具有更加均衡的性能功耗比。鯤鵬的優勢是高密度低功耗,可以提供更高的性價比。 |
| 常用模板 | 當“集群類型”選擇“自定義”時該參數有效,請參考創建自定義拓撲集群中的自定義集群模板說明選擇。 |
| 節點類型 | MRS提供節點類型: Master:指集群Master節點,負責管理集群,協調將集群可執行文件分配到Core節點。此外,還會跟蹤每個作業的執行狀態,監控DataNode的運行狀況。 Core:指集群Core節點,處理數據并在HDFS中存儲過程數據。分析集群將創建分析Core節點,流式集群將創建流式Core節點,混合集群分別創建分析Core和流式Core節點。 Task:指集群Task節點,主要用于計算,不存放持久數據。主要安裝Yarn、Storm組件。Task節點為可選節點,數目可以是零。分析集群將創建分析Task節點,流式集群將創建流式Task節點,混合集群分別創建分析Task和流式Task節點。 當集群數據量變化不大而集群業務處理能力需求變化比較大,大的業務處理能力只是臨時需要,此時選擇添加Task節點。 ? 臨時業務量增大,如年底報表處理。 ? 需要在短時間內處理完原來需要處理很久的任務,如一些緊急分析任務。 |
| 實例規格 | 選擇主節點和核心節點的實例規格。MRS當前支持主機規格的配型由CPU+內存+Disk共同決定。單擊 ,配置集群節點的實例規格、系統盤和數據盤參數。說明 節點的實例規格配置越高,數據處理分析能力越強。 當Core節點規格選擇非HDD磁盤時,Master節點和Core節點的磁盤類型取決于數據磁盤。 當節點的實例規格選項后標示“已售罄”時,將無法創建此規格的節點,請選擇其他規格節點進行。 MRS 3.x及之后版本集群Master節點規格不能小于64GB。 |
| 系統盤 | 節點系統盤的存儲類型和存儲空間。 存儲類型: SATA:普通IO SAS:高IO SSD:超高IO GPSSD:通用型SSD ESSD:極速型SSD |
| 數據盤 | 節點數據磁盤存儲空間。為增大數據存儲容量,創建集群時可同時添加磁盤,有如下應用場景: 數據存儲和計算分離,數據存儲在OBS中,集群存儲成本低,存儲量不受限制,并且集群可以隨時刪除,但計算性能取決于OBS訪問性能,相對HDFS有所下降,建議在數據計算不頻繁場景下使用。 數據存儲和計算不分離,數據存儲在HDFS中,集群成本較高,計算性能高,但存儲量受磁盤空間限制,刪除集群前需將數據導出保存,建議在數據計算頻繁場景下使用。 目前的存儲類型: SATA:普通IO SAS:高IO SSD:超高IO GPSSD:通用型SSD ESSD:極速型SSD 創建的節點個數越多,對管理節點(即master節點)的硬盤容量要求越高。為了保證集群能夠健康地運行,當創建的節點個數達到300時,建議將master的硬盤容量配置成600GB以上;當創建的節點個數達到500時,建議將master的硬盤容量配置成1TB以上。 |
| 實例數量 | 配置主節點和核心節點的個數。 Master: 開啟“集群高可用”時,Master實例數量固定為2個。 關閉“集群高可用”時,Master實例數量固定為1個。 Core節點至少存在一個,Core節點和Task節點的數量之和不能超過500個。 Task:單擊 ![]() 添加Task節點。單擊 修改Task節點額實例規格和磁盤配置。單擊 刪除已添加的節點。說明 Core節點默認的最大值為500,如果用戶需要的Core節點數大于500,請聯系技術支持人員。 過小的節點容量會導致您的集群運行緩慢,而過大的節點容量會產生不必要的成本,請根據您要處理的數據對集群節點數量進行調整。 |
| LVM | 僅當創建流式Core節點時,該參數在流式Core節點有效。單擊該參數以開啟或關閉磁盤LVM管理。MRS 3.x及之后版本不支持該參數。 啟用邏輯卷管理(LVM)時,會將節點中所有磁盤以邏輯卷的方式掛載,能夠更加合理的規劃磁盤,避免磁盤不均勻的問題,提升系統的穩定性。 |
| 拓撲調整 | 當常用模板中的部署方式不滿足需求,請設置“拓撲調整”為“開啟”,然后根據業務需要調整實例部署方式,具體說明請參見“創建自定義拓撲集群”章節中的“自定義集群拓撲調整說明”。當集群類型為“自定義”時該參數有效。 |
高級配置(可選)
MRS集群高級配置拓撲
| 參數 | 參數說明 |
|---|---|
| 標簽 | 具體請參考添加集群標簽。 |
| 主機名前綴 | 用作集群中ECS機器主機名的前綴。 |
| 彈性伸縮 | 請在“硬件配置”頁簽指定Task節點的規格,然后參考配置彈性伸縮規則配置。 |
| 引導操作 | 具體請參考添加引導操作。MRS 3.x版本暫時不支持該參數。 |
| 委托 | 通過綁定委托,ECS或BMS云服務將有權限來管理您的部分資源,請根據實際業務場景需求確認是否需要配置委托。 例如通過配置ECS委托可自動獲取AK/SK訪問OBS,具體請參見配置存算分離集群(委托方式)。 MRS_ECS_DEFAULT_AGENCY委托擁有對象存儲服務的OBSOperateAccess權限和在集群所在區域擁有CESFullAccess(對開啟細粒度策略的用戶)、CES Administrator和KMS Administrator權限。 |
| 指標共享 | 用于采集大數據組件的監控指標,當用戶使用集群過程中出現問題時,供支持人員定位問題。MRS 3.x版本暫時沒有該參數。 |
| OBS權限控制 | 開啟細粒度權限控制的用戶可以通過該功能實現不同的MRS用戶對OBS文件系統下的不同目錄有不同的權限。具體請參見配置MRS多用戶訪問OBS細粒度權限。MRS 3.x版本暫時沒有該參數。 |
| 數據盤加密 | 是否對集群掛載的數據盤中的數據進行加密,默認關閉。如需使用該功能,當前用戶必須擁有“Security Administrator”和“KMS Administrator”權限。MRS 3.x版本暫時沒有該參數。 加密數據盤使用的密鑰由數據加密服務(DEW,Data Encryption Workshop)中的密鑰管理(KMS,Key Management Service)功能提供,無需您自行構建和維護密鑰管理基礎設施,安全便捷。通過單擊“數據盤加密”開啟或關閉數據盤加密功能。 |
| 密鑰ID | 當“數據盤加密”功能開啟時,顯示該參數。用于顯示已選擇的密鑰名稱對應的密鑰ID。MRS 3.x版本暫時沒有該參數。 |
| 密鑰名稱 | 當“數據盤加密”功能開啟時,需要配置該參數。選擇用來加密數據盤的密鑰名稱,默認選擇密鑰名稱為“evs/default”的默認主密鑰,在下拉框中可以選擇其他用戶主密鑰。MRS 3.x版本暫時沒有該參數。 使用用戶主密鑰加密云硬盤,若對用戶主密鑰執行禁用、計劃刪除等操作,將會導致云硬盤不可讀寫,甚至數據永遠無法恢復,請謹慎操作。單擊“查看密鑰列表”,進入密鑰管理頁面可以創建及管理密鑰。 |
| 告警 | 開啟告警功能可在集群運行異常或系統故障時,及時通知集群維護人員定位問題。 |
| 規則名稱 | 用戶自定義發送告警消息的規則名稱,只能包含數字、英文字符、中劃線和下劃線。 |
| 主題名稱 | 選擇已創建的主題,也可以單擊“創建主題”重新創建。新創建的主題請參考配置消息通知章節中的 向主題添加訂閱部分,向該主題添加訂閱者才能接收發布至主題的消息。 主題是發送消息和訂閱通知的信道,為發布者和訂閱者提供一個可以相互交流的通道。 |
| 日志記錄 | 集群創建失敗時,是否收集失敗日志。 開啟日志記錄開關之后將自動收集集群創建失敗、擴/縮容失敗等場景下的系統日志及相關組件運行日志到OBS文件系統中,該日志用于運維人員快速定位問題。該日志信息將最多保留7天。 |
| Kerberos認證 | 登錄Manager管理頁面時是否啟用Kerberos認證。![]() :“Kerberos認證”關閉時,普通用戶可使用MRS集群的所有功能。建議單用戶場景下使用。不啟用Kerberos認證時的安全配置建議請參見集群(未啟用Kerberos認證)安全配置建議。![]() :“Kerberos認證”開啟時,普通用戶無權限使用MRS集群的“文件管理”和“作業管理”功能,并且無法查看Hadoop、Spark的作業記錄以及集群資源使用情況。如果需要使用集群更多功能,需要找Manager的管理員分配權限。建議在多用戶場景下使用。 |
| 用戶名 | Manager管理員用戶,目前默認為admin用戶。 |
| 密碼 | 配置Manager管理員用戶的密碼。 需要滿足: 密碼長度應在8~26個字符之間,必須包含如下4種字符的組合 ? 至少一個小寫字母 ? 至少一個大寫字母 ? 至少一個數字 ? 至少一個特殊字符:! ?,.: -_{} [ ]@ $% ^ + = / 不能和用戶名或倒序的用戶名相同 安全程度:顏色條紅、橙、綠分別表示密碼安全強度弱、中、強。 |
| 確認密碼 | 再次輸入Manager管理員用戶的密碼。 |
| 登錄方式 | 密碼 使用密碼方式登錄ECS節點。 密碼設置約束如下: 1. 字符串類型,可輸入的字符串長度為8~26。 2. 至少包含四種字符組合,如大寫字母,小寫字母,數字,特殊字符(! ?,.: -_{} [ ]@ $% ^ + = /)。 3. 不能與用戶名或倒序用戶名相同。 密鑰對 使用密鑰方式登錄集群ECS節點。從下拉框中選擇密鑰對,如果已獲取私鑰文件,請勾選“我確認已獲取該密鑰對中的私鑰文件SSHkey-xxx ,否則無法登錄彈性云主機”。如果沒有創建密鑰對,請單擊“查看密鑰對”創建或導入密鑰,然后再獲取私鑰文件。 密鑰對即SSH密鑰,包含SSH公鑰和私鑰。您可以新建一個SSH密鑰,并下載私鑰用于遠程登錄身份認證。為保證安全,私鑰只能下載一次,請妥善保管。 您可以通過以下兩種方式中的任意一種使用SSH密鑰。 1. 創建SSH密鑰:創建SSH密鑰,同時會創建公鑰和私鑰,公鑰保存在ECS系統中,私鑰保存在用戶本機。當登錄彈性云主機時,使用公鑰和私鑰進行鑒權。 2. 導入SSH密鑰:當用戶已有公鑰和私鑰,可以選擇將公鑰導入系統。當登錄彈性云主機時,使用公鑰和私鑰進行鑒權。 |
| 通信安全授權 | MRS集群通過管理控制臺為用戶發放、管理和使用大數據組件,大數據組件部署在用戶的VPC內部,MRS管理控制臺需要直接訪問部署在用戶VPC內的大數據組件時需要開通相應的安全組規則,而開通相應的安全組規則需要獲取用戶授權,此授權過程稱為通信安全授權。具體請參考授權安全通信。 若不開啟通信安全授權,MRS將無法創建集群。 |
集群創建失敗
如果集群創建失敗后,失敗任務會自動轉入“失敗任務管理”頁面。選擇“集群列表 > 現有集群”,單擊
進入“失敗任務管理”頁面,在“任務狀態”列中,將鼠標移動到
上可以查看到失敗原因。可以參見查看失敗的集群操作任務章節刪除失敗任務。
MRS集群創建失敗錯誤碼列表如下表所示。
錯誤碼
| 錯誤碼 | 說明 |
|---|---|
| MRS.101 | 用戶請求配額不足,請聯系客服提升配額。 |
| MRS.102 | 用戶Token為空或不合法,請稍后重試或聯系管理員。 |
| MRS.103 | 用戶請求不合法,請稍后重試或聯系管理員。 |
| MRS.104 | 用戶資源不足,請稍后重試或聯系管理員。 |
| MRS.105 | 現子網IP不足,請稍后重試或聯系管理員。 |
| MRS.201 | 因ECS服務導致失敗,請稍后重試或聯系管理員。 |
| MRS.202 | 因IAM服務導致失敗,請稍后重試或聯系管理員。 |
| MRS.203 | 因VPC服務導致失敗,請稍后重試或聯系管理員。 |
| MRS.400 | MRS內部出錯,請稍后重試或聯系管理員。 |
,配置集群節點的實例規格、系統盤和數據盤參數。
添加Task節點。單擊
修改Task節點額實例規格和磁盤配置。單擊
刪除已添加的節點。
:“Kerberos認證”關閉時,普通用戶可使用MRS集群的所有功能。建議單用戶場景下使用。不啟用Kerberos認證時的安全配置建議請參見
:“Kerberos認證”開啟時,普通用戶無權限使用MRS集群的“文件管理”和“作業管理”功能,并且無法查看Hadoop、Spark的作業記錄以及集群資源使用情況。如果需要使用集群更多功能,需要找Manager的管理員分配權限。建議在多用戶場景下使用。