背景

隨著納管的組件越來越多，各節點混部時，尤其在測試驗證階段，不同節點完全混部，會出現一些常見端口沖突，導致一些服務無法啟動。

方法

通過netstat對應pid命令、官方配置文件，當前組件配置文件來確認組件常見固定端口。

結果

產出各組件常用端口，通過Linux機器初始化時，對這些常用端口進行net.ipv4.ip_local_reserved_ports設置，預留這些端口。

常見組件LIST

組件有HDFS、YARN、HBase、Hive、Kafka、Spark、ZooKeeper、Kerberos、Trino、OpenLDAP、Doris、Elasticsearch、Kyuubi、Flume、Ranger、Knox等。

HDFS常用端口

版本：3.3.3

配置參數	默認端口	當前配置端口	端口說明
dfs.namenode.http-address.x.x	9870	50070	namenode Web UI綁定端口
dfs.namenode.https-address.x.x	9871	9871	namenode https綁定端口
dfs.namenode.rpc-address.x.x	8020	54310	namenode響應client請求RPC綁定端口
dfs.namenode.servicerpc-address.x.x	-	53310	namenode響應內部服務請求RPC綁定端口，例如datanode等server請求
com.sun.management.jmxremote.port	-	8006	namenode jmx端口
dfs.datanode.address	9866	1004	datanode 數據傳輸端口
dfs.datanode.http.address	9864	1006	datanode http webUI端口
dfs.datanode.ipc.address	9867	9867	datanode rpc響應端口
com.sun.management.jmxremote.port	-	8016	datanode jmx端口
dfs.datanode.https.address	9865	-	datanode https端口
dfs.journalnode.rpc-address	8485	8485	journalnode rpc端口
dfs.journalnode.http-address	8480	8480	journalnode http端口
dfs.journalnode.https-address	8481	8481	journalnode https端口
com.sun.management.jmxremote.port	-	8046	journalnode jmx端口
dfs.ha.zkfc.port	8019	8019	zkfc rpc端口
com.sun.management.jmxremote.port	-	8056	zkfc jmx端口
dfs.federation.router.rpc-address	8888	55310	hdfs router 響應client請求 rpc處理端口
dfs.federation.router.admin-address	8111	-	hdfs router 響應 admin請求 rpc處理端口
dfs.federation.router.http-address	50071	-	hdfs router http端口
dfs.federation.router.https-address	50072	-	hdfs router https端口
com.sun.management.jmxremote.port	-	8106	hdfs router jxm端口

YARN常用端口

版本：3.3.3

配置參數	默認端口	當前配置端口	端口說明
yarn.resourcemanager.address	8032	8032	RM應用管理端口
yarn.resourcemanager.scheduler.address	8030	8030	RM調度端口
yarn.resourcemanager.webapp.address	8088	8088	RM http webUI端口
yarn.resourcemanager.webapp.https.address	8090	8090	RM https webUI端口
yarn.resourcemanager.resource-tracker.address	8031	8031	RM jmx 端口
yarn.resourcemanager.admin.address	8033	8033	RM admin 端口
yarn.nodemanager.address	-	45454	NM container 管理端口
com.sun.management.jmxremote.port	-	8026	RM jmx 端口
yarn.nodemanager.localizer.address	8040	8040	NM 本地化 IPC 端口
yarn.nodemanager.collector-service.address	8048	8048	NM 控制服務端口
yarn.nodemanager.webapp.address	8042	8042	NM http webUI端口
yarn.nodemanager.webapp.https.address	8044	8044	NM https webUI端口
yarn.timeline-service.address	10200	10200	timeline server RPC 端口
yarn.timeline-service.webapp.address	8188	8188	timeline server http webUI端口
yarn.timeline-service.webapp.https.address	8190	8190	timeline server https webUI端口
yarn.sharedcache.admin.address	8047	8047	SCM服務 admin RPC端口
yarn.sharedcache.webapp.address	8788	8788	SCM服務 webUI端口
yarn.sharedcache.uploader.server.address	8046	8046	SCM服務 節點管理 RPC端口
yarn.sharedcache.client-server.address	8045	8045	SCM服務響應client RPC端口
yarn.nodemanager.amrmproxy.address	8049	8049	在yarn federation下開啟amrmproxy綁定的服務端口
yarn.router.webapp.address	8089	8089	yarn route http webUI端口
yarn.router.webapp.https.address	8091	8091	yarn route https webUI端口
com.sun.management.jmxremote.port	8036	8036	NM jmx 端口
com.sun.management.jmxremote.port	-	8086	mrhistory jmx 端口
mapreduce.jobhistory.address	10020	10020	mrhistory IPC 端口
mapreduce.jobhistory.webapp.address	19888	19888	mrhistory http webUI端口
mapreduce.jobhistory.webapp.https.address	19890	19890	mrhistory https webUI端口
mapreduce.jobhistory.admin.address	10033	10033	mrhistory admin RPC端口
mapreduce.shuffle.port	13562	13562	MR shuffle 端口
spark.shuffle.service.port	7337	7337	spark shuffle 端口

HBase常用端口

版本：2.4.12

配置參數	默認端口	當前配置端口	端口說明
hbase.master.port	16000	16000	HMaster 服務綁定端口
hbase.master.info.port	16010	16010	HMaster webUI綁定端口
com.sun.management.jmxremote.port	-	10101	HMaster jmx端口
hbase.regionserver.port	16020	16020	regionserver 服務綁定端口
hbase.regionserver.info.port	16030	16030	regionserver webUI綁定端口
com.sun.management.jmxremote.port	-	10102	regionserver jmx端口
hbase.zookeeper.peerport	2888	2888	zk 服務端口
hbase.zookeeper.leaderport	3888	3888	zk 選舉leader端口
hbase.zookeeper.property.clientPort	2181	2181	連接zk client端口
hbase.rest.port	8080	8080	hbase rest server 端口
hbase.status.multicast.address.port	16100	16100	hbase 多播端口

Hive常用端口

版本：3.1.2

配置參數	默認參數	當前配置端口	端口說明
hive.server2.thrift.port	10000	10000	hive.server2.transport.mode模式為binary hs2 thrift 端口
hive.server2.webui.port	10002	10002	hs2 webUI端口
hive.server2.thrift.http.port	10001	10003	hive.server2.transport.mode模式為http hs2 thrift 端口
com.sun.management.jmxremote.port	-	9097	hs2 jmx 端口
hive.llap.management.rpc.port	15004	15004	LLAP 管理 rpc 端口
hive.llap.daemon.yarn.shuffle.port	15551	15551	LLAP yarn shuffle 端口
hive.llap.daemon.web.port	15002	15002	LLAP webUI 端口
hive.llap.daemon.output.service.port	15003	15003	LLAP output服務端口
hive.zookeeper.client.port	2181	2181	連接zk client端口
hive.metastore.port	9083	9083	metastore RPC綁定端口
com.sun.management.jmxremote.port	-	9093	metastore jmx 端口

Kafka常用端口

版本：2.8.1

配置參數	默認參數	當前配置端口	端口說明
com.sun.management.jmxremote.port	-	8096	kafka broker jmx 端口
zookeeper.connect	2181	2181	連接zk client端口
listeners(SASL_PLAINTEXT)	9092	9092	kafka SASL_PLAINTEXT 端口
listeners(PLAINTEXT)	9091	9091	kafka PLAINTEXT 端口

Spark常用端口

版本：3.2.2

配置參數	默認參數	當前配置端口	端口說明
spark.yarn.historyServer.address	-	18081	spark history webUI端口
spark.shuffle.service.port	7337	7337	spark shuffle 端口
spark.ui.port	4040	4040	應用 dashboard UI端口

ZooKeeper常用端口

版本：3.7.1

配置參數	默認參數	當前配置端口	端口說明
admin.serverPort	8080	8080	zk admin 服務端口
clientPort	2181	2181	連接zk client端口
com.sun.management.jmxremote.port	2182	2182	zk jmx 端口
server.x	2888:3888;2181	2888:3888;2181	zk 服務端口、選舉leader端口，client端口。

Kerberos常用端口

配置參數	默認端口	當前配置端口	端口說明
kdc_ports	88	88	kdc 端口
iprop_port	744	744	iprop 端口
kpasswd	464	464	kpasswd 端口
admin_server	749	749	kerberos admin server 端口

Trino常用端口

配置參數	默認端口	當前配置端口	端口說明
erver.http.port	-	9808	trino http 端口

OpenLDAP常用端口

版本：2.4.44

配置參數	默認端口	當前配置端口	端口說明
provide	389	389	ldap TLS connections 端口
provide	636	636	ldap legacy SSL connections 端口

Doris常用端口

版本：2.1.2

配置參數	默認端口	當前配置端口	端口修改	端口說明
be_port	9060	9060	-	BE 上 thrift server 的端口號，用于接收來自 FE 的請求。
brpc_port	8060	8060	-	BE 上的 brpc 的端口，用于 BE 之間通訊。
edit_log_port	9010	9010	-	bdbje端口
heartbeat_service_port	9050	9050	-	BE 上心跳服務端口（thrift），用于接收來自 FE 的心跳。
http_port	8030	8030	8035	FE http 端口，當前所有 FE http 端口都必須相同，生產環境被改成了8035。
https_port	8050	-	-	FE https 端口，當前所有 FE https 端口都必須相同。
query_port	9030	9030	-	Doris FE 通過 mysql 協議查詢連接端口
rpc_port	9020	9020	-	FE Thrift Server的端口
single_replica_load_brpc_port	9070	-	-	單副本數據導入功能中，Master副本和Slave副本之間通信的RPC端口。Master副本flush完成之后通過RPC通知Slave副本同步數據， 以及Slave副本同步數據完成后通過RPC通知Master副本。系統為單副本數據導入過程中Master副本和Slave副本之間通信開辟了獨 立的BRPC線程池，以避免導入并發較大時副本之間的數據同步搶占導入數據分發和查詢任務的線程資源。
single_replica_load_download_port	8050	-	-	單副本數據導入功能中，Slave副本通過HTTP從Master副本下載數據文件的端口。系統為單副本數據導入過程中Slave副本從Master 副本下載數據文件開辟了獨立的HTTP線程池，以避免導入并發較大時Slave副本下載數據文件搶占其他http任務的線程資源。
webserver_port	8040	8045	8045	BE 上的 http server 的服務端口

Elasticsearch常用端口

版本：7.10.2

配置參數	默認端口	當前配置端口	端口說明
com.sun.management.jmxremote.port	-	9400	es jmx 端口
http.port	-	9200	es http 端口
transport.port	-	9300	es transport 端口

Kyuubi常用端口

版本：1.6.0

配置參數	默認參數	當前配置端口	端口說明
kyuubi.frontend.bind.port	10009	-	kyuubi fe端口
kyuubi.frontend.mysql.bind.port	3309	-	kyuubi fe mysql 綁定端口
kyuubi.frontend.rest.bind.port	10099	-	kyuubi fe rest 綁定端口
kyuubi.frontend.thrift.binary.bind.port	10009	-	kyuubi thrift fe綁定端口
kyuubi.metrics.prometheus.port	10019	-	kyuubi 暴露給Prometheus metrics http 端口

Ranger常用端口

版本：2.2.0

配置參數	默認參數	當前配置端口	端口說明
ranger.usersync.port	5151	-	ranger usersync 服務端口
com.sun.management.jmxremote.port	-	60081	ranger usersync jmx 端口
ranger.unixauth.service.port	5151	-	ranger unixauth 服務端口
ranger.service.shutdown.port	6085	-	ranger 服務shutdown端口
ranger.audit.elasticsearch.port	9200	-	ranger audit 配置的es服務端口
ranger.service.http.port	6080	6080	ranger-admin http webUI端口
ranger.service.https.port	6182	-	ranger-admin https webUI端口

Knox常用端口

版本：1.6.0

配置參數	默認參數	當前配置端口	端口說明
gateway.port	8443	7743	https webUI端口