運行Kafka作業
更新時間 2025-07-16 14:49:23
最近更新時間: 2025-07-16 14:49:23
分享文章
本章節主要介紹翼MapReduce運行kafka作業。
用戶可將自己開發的程序提交到翼MR中,執行程序并獲取結果。本章節教您在翼MR集群后臺如何提交一個新的kafka作業。
通過后臺提交作業
登錄翼MR管理控制臺。
選擇“我的集群”,選中一個運行中的集群并單擊集群名稱,進入集群信息頁面。
在“節點管理”頁選中單擊Master節點,選擇要進入的Master節點。
單擊該節點右側的“遠程連接”。
根據界面提示,輸入Master節點的用戶名和密碼,用戶名、密碼分別為root和創建集群時設置的密碼。
創建kafka的topic。
/usr/local/kafka/bin/kafka-topics.sh --zookeeper <Zookeeper_IP>:2181/kafka --topic <TopicName> --create當前集群默認開啟Kerberos認證,執行以下命令添加認證信息。
export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/usr/local/kafka/config/kafka-jaas.conf"向topic中寫入消息。
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list <KafkaBroker_IP>:9092 --topic <TopicName> --producer.config /usr/local/kafka/config/producer.properties消費topic中的消息。
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server <KafkaBroker_IP>:9092 --topic <TopicName> --consumer.config /usr/local/kafka/config/consumer.properties --from-beginning --max-messages 5
注意
--from-beginning:只能消費未被消費的歷史數據,已消費數據不會出現。
--max-messages:最多消費多少條數據。