本章節適用于MRS 3.x及之后的版本。
使用本章節前已參考配置存算分離集群(委托方式)或配置存算分離集群(AKSK方式)完成存算分離集群配置。
1.配置委托。
a.登錄MRS控制臺,在左側導航欄選擇“集群列表 > 現有集群”。
b.單擊集群名稱,進入集群詳情頁面。
c.在集群詳情頁的“概覽”頁簽,單擊“IAM用戶同步”右側的“同步”進行IAM用戶同步。
d.單擊委托右側的“管理委托”,選擇需要綁定的委托并單擊“確定”進行綁定。
2.創建OBS文件系統用于存放數據。
a.登錄OBS控制臺。
b.單擊“并行文件系統”進入并行文件系統頁面,單擊“創建并行文件系統”。
c.填寫文件系統名稱,例如“esdk-c-test-pfs1”,其他參數請根據需要填寫。單擊“立即創建”等待創建完成。
d.在OBS控制臺并行文件系統列表中,單擊已新建的文件系統名稱進入詳情頁面。
e.在左側導航欄選擇“文件 > 新建文件夾”新建“testFlumeOutput”文件夾。
3.準備properties.properties文件并將上傳至“/opt/flumeInput”目錄。
a.在本地準備“properties.properties”文件,文件內容如下:
# source
server.sources = r1
# channels
server.channels = c1
# sink
server.sinks = obs_sink
# ----- define net source -----
server.sources.r1.type = seq
server.sources.r1.spooldir = /opt/flumeInput
# ---- define OBS sink ----
server.sinks.obs_sink.type = hdfs
server.sinks.obs_sink.hdfs.path = obs://esdk-c-test-pfs1/testFlumeOutput
server.sinks.obs_sink.hdfs.filePrefix = %[localhost]
server.sinks.obs_sink.hdfs.useLocalTimeStamp = true
# set file size to trigger roll
server.sinks.obs_sink.hdfs.rollSize = 0
server.sinks.obs_sink.hdfs.rollCount = 0
server.sinks.obs_sink.hdfs.rollInterval = 5
#server.sinks.obs_sink.hdfs.threadsPoolSize = 30
server.sinks.obs_sink.hdfs.fileType = DataStream
server.sinks.obs_sink.hdfs.writeFormat = Text
server.sinks.obs_sink.hdfs.fileCloseByEndEvent = false
# define channel
server.channels.c1.type = memory
server.channels.c1.capacity = 1000
# transaction size
server.channels.c1.transactionCapacity = 1000
server.channels.c1.byteCapacity = 800000
server.channels.c1.byteCapacityBufferPercentage = 20
server.channels.c1.keep-alive = 60
server.sources.r1.channels = c1
server.sinks.obs_sink.channel = c1
說明參數“server.sinks.obs_sink.hdfs.path”中的值為步驟2中新建的OBS文件系統。
b.使用root用戶登錄安裝Flume客戶端的節點。
c.新建“/opt/flumeInput”目錄,并在該目錄下新建一個內容自定義的txt文件。
d.登錄FusionInsight Manager。
e.選擇“集群 > 待操作集群的名稱 > 服務 > Flume>配置”,在參數“flume.config.file”的“值”中單擊“上傳文件”,上傳步驟3中“a.在本地準備“properties.properties”內容文件”準備的“properties.properties”文件,單擊“保存”。
4.在OBS系統中查看結果。
a.登錄OBS控制臺。
b.單擊“并行文件系統”,進入步驟2中創建的并行文件系統中的文件夾查看結果。