用戶可將自己開發的程序提交到MRS中,執行程序并獲取結果。本章節教您在Kafka主題中產生和消費消息。
暫不支持通過界面提交Kafka作業,請通過后臺功能來提交作業。
通過后臺提交作業
先查詢ZooKeeper和Kafka的實例地址,再運行Kafka作業。
- 查詢實例地址(3.x版本)
1.登錄MRS管理控制臺。
2.選擇“集群列表 > 現有集群”,選中一個運行中的集群并單擊集群名稱,進入集群信息頁面。
3.請參考訪問FusionInsight Manager(MRS 3.x及之后版本),跳轉至FusionInsight Manager頁面。然后選擇“服務 > ZooKeeper > 實例”,查看ZooKeeper角色實例的IP地址。記錄ZooKeeper角色實例中任意一個的IP地址即可。
4.選擇“服務 > Kafka > 實例”,查看Kafka角色實例的IP地址。記錄Kafka角色實例中任意一個的IP地址即可。
- 查詢實例地址(3.x之前版本)
a. 登錄MRS管理控制臺。
b. 選擇“集群列表 > 現有集群”,選中一個運行中的集群并單擊集群名稱,進入集群信息頁面。
c. 在MRS集群詳情頁面,選擇“組件管理 > ZooKeeper > 實例”,查看ZooKeeper角色實例的IP地址。記錄ZooKeeper角色實例中任意一個的IP地址即可。
d. 選擇“組件管理 > Kafka > 實例”,查看Kafka角色實例的IP地址。記錄Kafka角色實例中任意一個的IP地址即可。
- 運行Kafka作業
MRS 3.x及之后版本客戶端默認安裝路徑為“/opt/Bigdata/client”,MRS 3.x之前版本為“/opt/client”。具體以實際為準。
1.在集群信息頁面的“節點管理”頁簽中單擊Master2節點名稱,進入彈性云主機管理控制臺。
2.單擊頁面右上角的“遠程登錄”。
3.根據界面提示,輸入Master節點的用戶名和密碼,用戶名、密碼分別為root和創建集群時設置的密碼。
4.執行如下命令初始化環境變量。
source /opt/Bigdata/client/bigdata_env
5.如果當前集群已開啟Kerberos認證,執行以下命令認證當前用戶。如果當前集群未開啟Kerberos認證,則無需執行該步驟。
kinit MRS集群用戶
例如, kinit admin
6.執行如下命令,創建kafka topic。
kafka-topics.sh --create --zookeeper ZooKeeper角色實例IP:2181/kafka--partitions 2 --replication-factor 2 --topic <Topic名稱>
7.在topic test中產生消息。
首先執行命令kafka-console-producer.sh --broker-list Kafka角色實例IP:9092 --topic <Topic 名稱>--producer.config /opt/Bigdata/client/Kafka/kafka/config/producer.properties 。
然后輸入指定的內容作為生產者產生的消息,輸入完成后按回車發送消息。如果需要結束產生消息,使用“Ctrl + C”退出任務。
8.消費topic test中的消息。
kafka-console-consumer.sh --topic <Topic名稱> --bootstrap-server Kafka角色實例IP:9092 --consumer.config/opt/Bigdata/client/Kafka/kafka/config/consumer.properties
說明如果集群開啟Kerberos認證,則執行如上兩個命令時請修改端口號9092為21007,詳見開源組件端口列表。