MRS當前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板進行部署集群的進程，無法滿足用戶自定義部署管理角色和控制角色在集群節點中的需求。如需自定義集群部署方式，可在創建集群時的“集群類型”選擇“自定義”，實現用戶自主定義集群的進程實例在集群節點中的部署方式。僅MRS 3.x及之后版本支持創建自定義拓撲集群。

自定義集群可實現以下功能：

• 管控分離部署，管理角色和控制角色分別部署在不同的Master節點中。
• 管控合設部署，管理角色和控制角色共同部署在Master節點中。
• ZooKeeper單獨節點部署，增加可靠性。
• 組件分開部署，避免資源爭搶。

MRS集群中角色類型：

• 管理角色：Management Node(MN)，安裝Manager，即MRS集群的管理系統，提供統一的訪問入口。Manager對部署在集群中的節點及服務進行集中管理。
• 控制角色：Control Node(CN)，控制監控數據角色執行存儲數據、接收數據、發送進程狀態及完成控制節點的公共功能。 MRS的控制節點包括HMaster、HiveServer、ResourceManager、NameNode、JournalNode、SlapdServer等。
• 數據角色：Data Node(DN)，執行管理角色發出的指示，上報任務狀態、存儲數據，以及執行數據節點的公共功能。MRS的數據節點包括DataNode、RegionServer、NodeManager等。

創建自定義集群

1.登錄MRS管理控制臺。

2.單擊“創建集群”，進入“創建集群”頁面。

3.在創建集群頁面，選擇“自定義創建”頁簽。

4.參考下列參數說明配置集群軟件信息，參數詳細信息請參考創建自定義集群章節中的MRS集群軟件配置表。

• 區域：默認即可。
• 集群名稱：可以設置為系統默認名稱，但為了區分和記憶，建議帶上項目拼音縮寫或者日期等。例如：“mrs_20180321”。
• 集群版本：目前僅MRS 3.x版本支持。
• 集群類型：選擇“自定義”并根據需要勾選對應組件。

5.單擊“下一步”，并配置硬件信息。

• 可用區：默認即可。
• 虛擬私有云：默認即可。如果沒有虛擬私有云，請單擊“查看虛擬私有云”進入虛擬私有云，創建一個新的虛擬私有云。
• 子網：默認即可。
• 安全組：選擇“自動創建”。
• 彈性公網IP：選擇“暫不綁定”。
• CPU架構：默認即可。MRS 3.x版本無該參數。
• 常用模板：具體說明請參見下方“自定義集群模板說明”。
• 實例規格：單擊配置實例規格、系統盤和數據盤存儲類型和存儲空間。
• 實例數量：請根據業務量調整集群實例數量。具體可參考下方“MRS自定義集群節點部署方案”。
• 拓撲調整：若常用模板中的部署方式不滿足需求或者需要手動安裝部分默認安裝不部署的實例或者需要手動安裝部分實例時，請設置“拓撲調整”為“開啟”，然后根據業務需要調整實例部署方式，具體說明請參見下方“自定義集群拓撲調整說明”。

6.單擊“下一步”進入高級配置頁簽。

參數說明請參見創建自定義集群章節中的“高級配置（可選）”。

7.單擊“立即創建”。

當集群開啟Kerberos認證時，需要確認是否需要開啟Kerberos認證，若確認開啟請單擊“繼續”，若無需開啟Kerberos認證請單擊“返回”關閉Kerberos認證后再創建集群。

8.單擊“返回集群列表”，可以查看到集群創建的狀態。

集群創建需要時間，所創集群的初始狀態為“啟動中”，創建成功后狀態更新為“運行中”，請您耐心等待。

自定義集群模板說明

自定義集群常用模板說明

MRS自定義集群節點部署方案

節點部署原則
適用場景
組網規則
管理節點、控制節點和數據節點分開部署
（此方案至少需要8個節點）
MN × 2 + CN × 9 + DN × n
（推薦）數據節點數500-2000時采用此方案
l? ? 集群節點數超過200時，各節點劃分到不同子網，各子網通過核心交換機三層互聯，每個子網的節點數控制在200個以內，不同子網中節點數量請保持均衡。
l? ? 集群節點數低于200時，各節點部署在同一子網，集群內通過匯聚交換機二層互聯。
MN × 2 + CN × 5 + DN × n
（推薦）數據節點數100-500時采用此方案
MN × 2 + CN × 3 + DN × n
（推薦）數據節點數30-100時采用此方案
管理節點和控制節點合并部署，數據節點單獨部署
(MN+CN) × 3 + DN × n
（推薦）數據節點數3-30時采用此方案
集群內節點部署在同一子網，集群內通過匯聚交換機二層互聯。
管理節點、控制節點和數據節點合并部署
l? ? 節點數小于6的集群使用此方案
l? ? 此方案至少需要3個節點
說明
生產環境或商用環境不推薦使用此場景：
l? ? 管理節點、控制節點和數據節點合并部署時，集群性能和可靠性都會產生較大影響。
l? ? 如節點數量滿足需求，建議將數據節點單獨部署。
l? ? 如節點數量不滿足將數據節點單獨部署的要求，必須使用此場景時，需要使用雙平面組網方式。將管理網絡與業務網絡流量隔離，防止業務平面的數據量過大，導致管理操作不能正常下發。
集群內節點部署在同一子網，集群內通過匯聚交換機二層互聯。

自定義集群拓撲調整說明

拓撲調整說明

服務名稱
依賴關系
角色名稱
角色業務部署建議
說明
OMSServer
-
OMSServer
部署在Master節點上，不支持修改。
-
ClickHouse
依賴ZooKeeper
CHS（ClickHouseServer）
所有節點均可部署。
角色實例部署數量范圍：偶數個，2~256。
部署了該角色的非Master節點組會被認為是Core節點類型。
CLB（ClickHouseBalancer）
所有節點均可部署。
角色實例部署數量范圍：2~256。
-
ZooKeeper
-
QP(quorumpeer)
只能部署在Master節點上。
角色實例部署數量范圍：3~9，步長為2。
-
Hadoop
依賴ZooKeeper
NN(NameNode)
只能部署在Master節點上。
角色實例部署數量范圍：2。
NameNode與Zkfc進程共機部署用于集群高可用
HFS（HttpFS）
只能部署在Master節點上。
角色實例部署數量范圍：0~10。
-
JN(JournalNode)
只能部署在Master節點上。
角色實例部署數量范圍：3~60，步長為2。
-
DN(DataNode)
所有節點均可部署。
角色實例部署數量范圍：3~10000。
部署了該角色的非Master節點組會被認為是Core節點類型。
RM(ResourceManager)
只能部署在Master節點上。
角色實例部署數量范圍：2。
-
NM(NodeManager)
所有節點均可部署。
角色實例部署數量范圍：3~10000。
-
JHS(JobHistoryServer)
只能部署在Master節點上。
角色實例部署數量范圍：1~2。
-
TLS(TimelineServer)
只能部署在Master節點上。
角色實例部署數量范圍：0~1。
-
Presto
依賴Hive
PCD(Coordinator)
只能部署在Master節點上。
角色實例部署數量范圍：2。
-
PWK(Worker)
所有節點均可部署。
角色實例部署數量范圍：1~10000。
-
Spark2x
l? ? 依賴Hadoop
l? ? 依賴Hive
l? ? 依賴ZooKeeper
JS2X(JDBCServer2x)
只能部署在Master節點上。
角色實例部署數量范圍：2~10。
-
JH2X(JobHistory2x)
只能部署在Master節點上。
角色實例部署數量范圍：2。
-
SR2X(SparkResource2x)
只能部署在Master節點上。
角色實例部署數量范圍：2~50。
-
IS2X(IndexServer2x)
（可選）只能部署在Master節點上。
角色實例部署數量范圍：0~2，步長為2。
-
HBase
依賴Hadoop
HM(HMaster)
只能部署在Master節點上。
角色實例部署數量范圍：2。
-
TS(ThriftServer)
所有節點均可部署。
角色實例部署數量范圍：0~10000。
-
RT(RESTServer)
所有節點均可部署。
角色實例部署數量范圍：0~10000。
-
RS(RegionServer)
所有節點均可部署。
角色實例部署數量范圍：3~10000。
-
TS1(Thrift1Server)
所有節點均可部署。
角色實例部署數量范圍：0~10000。
若集群安裝了Hue服務并且需要在Hue WebUI使用HBase，HBase服務需安裝此實例。
Hive
l? ? 依賴Hadoop
l? ? 依賴DBService
MS(MetaStore)
只能部署在Master節點上。
角色實例部署數量范圍：2~10。
-
WH（WebHCat）
只能部署在Master節點上。
角色實例部署數量范圍：1~10。
-
HS(HiveServer)
只能部署在Master節點上。
角色實例部署數量范圍：2~80。
-
Hue
依賴DBService
H(Hue)
只能部署在Master節點上。
角色實例部署數量范圍：2。
-
Sqoop
依賴Hadoop
SC(SqoopClient)
所有節點均可部署。
角色實例部署數量范圍：1~10000。
-
Kafka
依賴ZooKeeper
B(Broker)
所有節點均可部署。
角色實例部署數量范圍：3~10000。
-
Flume
-
MS(MonitorServer)
只能部署在Master節點上。
角色實例部署數量范圍：1~2。
-
F(Flume)
所有節點均可部署。
角色實例部署數量范圍：1~10000。
部署了該角色的非Master節點組會被認為是Core節點類型。
Tez
l? ? 依賴Hadoop
l? ? 依賴DBService
l? ? 依賴ZooKeeper
TUI(TezUI)
只能部署在Master節點上。
角色實例部署數量范圍：1~2。
-
Flink
l? ? 依賴ZooKeeper
l? ? 依賴Hadoop
FR(FlinkResource)
所有節點均可部署。
角色實例部署數量范圍：1~10000。
-
FS(FlinkServer)
所有節點均可部署。
角色實例部署數量范圍：0~2。
-
Oozie
l? ? 依賴Hadoop
l? ? 依賴DBService
l? ? 依賴ZooKeeper
O(oozie)
只能部署在Master節點上。
角色實例部署數量范圍：2。
-
Impala
l? ? 依賴Hadoop
l? ? 依賴Hive
l? ? 依賴DBService
l? ? 依賴ZooKeeper
StateStore
只能部署在Master節點上。
角色實例部署數量范圍：1。
-
Catalog
只能部署在Master節點上。
角色實例部署數量范圍：1。
-
Impalad
所有節點均可部署。
角色實例部署數量范圍：1~10000。
-
Kudu
-
KuduMaster
只能部署在Master節點上。
角色實例部署數量范圍：3或者5。
-
KuduTserver
所有節點均可部署。
角色實例部署數量范圍：3~10000。
-
Ranger
依賴DBservice
RA(RangerAdmin)
只能部署在Master節點上。
角色實例部署數量范圍：1~2。
-
USC(UserSync)
只能部署在Master節點上。
角色實例部署數量范圍：1。
-
TSC（TagSync）
所有節點均可部署。
角色實例部署數量范圍：0~1。
-