準備Flink作業數據
更新時間 2024-04-27 23:43:29
最近更新時間: 2024-04-27 23:43:29
分享文章
本章節主要介紹準備Flink作業數據。
創建Flink作業需要輸入數據源和數據輸出通道,即常說的Source和Sink。用戶使用其他服務作為數據源或輸出通道時,需要先開通相應服務。
Flink作業支持以下數據源和輸出通道:
- OBS數據源
如果用戶作業需要對象存儲服務(OBS)作為數據源,則要先開通OBS服務,具體操作請參見對象存儲用戶指南中的有關開通OBS服務的章節。
開通OBS服務后,用戶需要將本地文件通過Internet上傳至OBS指定的位置,具體操作請參見對象存儲用戶指南中的“上傳文件”章節。
- RDS輸出通道
如果用戶作業需要RDS作為輸出通道,需要創建RDS實例,具體操作請參見對應版本關系數據庫產品《用戶指南》中“創建實例”章節。
- SMN輸出通道
如果用戶作業需要SMN作為輸出通道,需要先在SMN中創建主題,獲取URN資源標識,再添加訂閱。
- Kafka數據源和輸出通道
如果用戶作業需要Kafka作為數據源和輸出通道,則必須要通過創建增強型跨源連接與Kafka進行對接,具體操作請參見增強型跨源連接。
如果Kafka服務端的端口監聽在hostname上,則需要將Kafka Broker節點的hostname和ip的對應關系添加到跨源連接中。
- CloudTable數據源和輸出通道
如果用戶作業需要CloudTable作為數據源和輸出通道,需要先在CloudTable中創建集群,獲取集群ID。
- 云搜索服務輸出通道
如果用戶作業需要云搜索服務作為輸出通道,需要先在云搜索服務中創建集群,獲取集群內網訪問地址。具體操作請參見云搜索服務用戶指南中的“快速入門”章節。
- DCS輸出通道
如果用戶作業需要DCS作為輸出通道,需要先在DCS中創建Redis類型的緩存實例,獲取Redis實例連接地址。