最佳實踐概述
場景描述
如(ru)果您想要(yao)在流數(shu)據(ju)實(shi)時(shi)處(chu)理場景下,使用(yong)Kafka作為流數(shu)據(ju)的源或者(zhe)使用(yong)Kafka作為流數(shu)據(ju)的目的,需要(yao)將(jiang)Kafka與Flink對接,可以參考(kao)本實(shi)踐方(fang)案(an)。
技術架構圖
暫無。
方案優勢
用戶可按業務(wu)需要,參考(kao)設(she)置Kafka與Flink框架對接(jie),實現(xian)流數據的消(xiao)(xiao)息消(xiao)(xiao)費。
前提條件
需已購買Kafka實例、創建Topic,并且已成功(gong)消(xiao)費消(xiao)息。
資源規劃
本實(shi)踐方(fang)案內容僅涉及Kafka專(zhuan)享版實(shi)例(li)和Flink的安裝(zhuang)配(pei)置。
分布式消息服務
Figure 分(fen)布(bu)式消息服(fu)務(wu)
| 資源類型 | 配置項 | 配置明細 | 說明 |
|---|---|---|---|
| 企業中間件 | DMS | Kafka專享實例 | 需已購買kafka專享實例,創建好Topic,并成功消費消息。 |
Flink流數據處理框架
Figure Flink框架
| 資源類型 | 配置項 | 配置明細 | 說明 |
|---|---|---|---|
| 應用軟件 | Flink框架 | Flink 1.14 | 使用開源Apache Flink |
方案正文
獲取Kafka訪問地址
1、登錄分布(bu)式消(xiao)息服務Kafka版控制臺,按需(xu)要單擊“實例(li)名(ming)稱”,進入實例(li)基(ji)本信息頁面(mian)。
圖(tu) Kafka控制臺(tai)實例列表(biao)

2、在“連(lian)接地址”模塊(kuai),獲取(qu)Kafka連(lian)接IP地址。
圖 連接IP地址(zhi)與端(duan)口(kou)

創建Topic
在 Topic 管(guan)理頁面,單(dan)擊創建Topic,創建一個名為 topic-133163085-1220的 Topic。
圖 創建Topic

添加Maven依賴
在(zai)應用代碼工程中找到pom.xml,添加如(ru)下依賴配置(zhi)信(xin)息:

消費Kafka消息
在Flink工程代(dai)碼中(zhong),連接Kafka信息:
