Flink對接OBS文件系統
更新時間 2023-08-21 16:59:01
最近更新時間: 2023-08-21 16:59:01
分享文章
本章節主要介紹Flink對接OBS文件系統 。
使用本章節前已參考配置存算分離集群(委托方式)或配置存算分離集群(AKSK方式)完成存算分離集群配置。
- 使用安裝客戶端的用戶登錄Flink客戶端安裝節點。
- 執行如下命令初始化環境變量。
source ${client_home}/bigdata_env
- 需要配置好Flink客戶端。具體配置參考安裝客戶端(3.x及之后版本)。
- 如果是安全集群,使用以下命令進行用戶認證,如果當前集群未啟用Kerberos認證,則無需執行此命令。
kinit 用戶名
- 在Flink命令行顯式添加要訪問的OBS文件系統。
./bin/flink run --class com.xxx.bigdata.flink.examples.FlinkProcessingTimeAPIMain ./config/FlinkCheckpointJavaExample.jar --chkPath obs:// OBS并行文件系統名稱
說明由于Flink作業是On Yarn運行,在配置Flink對接OBS文件系統之前需要確保Yarn對接OBS文件系統功能是正常的。