集群訪問類
更新時間 2023-11-30 14:00:44
最近更新時間: 2023-11-30 14:00:44
分享文章
本章節主要介紹操作類問題中有關集群訪問的問題。
MRS集群內節點的登錄方式(密碼或密鑰對)如何切換?
不可以切換。
創建集群時選擇了節點登錄方式后不能更改登錄方式。
如何獲取ZooKeeper的IP地址和端口?
ZooKeeper的IP地址和端口可以通過MRS控制臺或登錄Manager界面獲取。
方法一:通過MRS控制臺獲取
- 在MRS集群詳情頁的“概覽”頁簽,單擊“IAM用戶同步”右側的“同步”進行IAM用戶同步。
- 選擇“組件管理 > ZooKeeper > 實例”,獲取ZooKeeper實例的“業務IP”地址。
- 選擇“服務配置”頁簽,搜索“clientPort”參數,該參數的值即為ZooKeeper的端口。
方法二:通過Manager界面獲取
- 登錄Manager界面。
- 在Manager界面獲取ZooKeeper的IP地址和端口。
?針對MRS 3.x之前版本集群
i.選擇“服務管理 > ZooKeeper > 實例”,獲取ZooKeeper實例的“業務IP”地址。
ii.選擇“服務配置”頁簽,搜索“clientPort”參數,該參數的值即為ZooKeeper的端口。
?針對MRS 3.x及之后版本集群
i.選擇“集群 > 服務 ZooKeeper > 實例”,獲取ZooKeeper實例的“業務IP”地址。
ii.選擇“配置”頁簽,搜索參數“clientPort”值,該參數的值即為ZooKeeper的端口。
如何通過集群外的節點訪問MRS集群?
創建集群外Linux操作系統ECS節點訪問MRS集群
1.創建一個集群外ECS節點。
ECS節點的“可用區”、“虛擬私有云”、“安全組”,需要和待訪問集群的配置相同。
2.在VPC管理控制臺,申請一個彈性IP地址,并與ECS綁定。
3.配置集群安全組規則。
a.在集群“概覽”界面,選擇“添加安全組規則 > 管理安全組規則”。
b.在“入方向規則”頁簽,選擇“添加規則”,在“添加入方向規則”配置ECS節點的IP和放開所有端口。
c.安全組規則添加完成后,可以直接下載并安裝客戶端到集群外ECS節點。
d.使用客戶端。
使用客戶端安裝用戶,登錄客戶端節點,執行以下命令切換到客戶端目錄。
cd /opt/hadoopclient
執行以下命令加載環境變量。
source bigdata_env
如果當前集群已啟用Kerberos認證,執行以下命令認證當前用戶。如果當前集群未啟用Kerberos認證,則通常情況下無需認證。
kinit MRS集群用戶
例如:
kinit admin
直接執行組件的客戶端命令。
例如:
使用HDFS客戶端命令查看HDFS根目錄文件。
hdfs dfs -ls /
Found 15 items
drwxrwx--x - hive hive 0 2021-10-26 16:30 /apps
drwxr-xr-x - hdfs hadoop 0 2021-10-18 20:54 /datasets
drwxr-xr-x - hdfs hadoop 0 2021-10-18 20:54 /datastore
drwxrwx---+ - flink hadoop 0 2021-10-18 21:10 /flink
drwxr-x--- - flume hadoop 0 2021-10-18 20:54 /flume
drwxrwx--x - hbase hadoop 0 2021-10-30 07:31 /hbase
...