HDFS客戶端對接OBS文件系統
更新時間 2023-08-21 17:00:15
最近更新時間: 2023-08-21 17:00:15
分享文章
本章節主要介紹HDFS客戶端對接OBS文件系統。
使用本章節前已參考配置存算分離集群（委托方式）或配置存算分離集群（AKSK方式）完成存算分離集群配置。
- 以客戶端安裝用戶登錄安裝了HDFS客戶端的節點。
- 執行以下命令，切換到客戶端安裝目錄。
cd ${client_home}
- 執行以下命令配置環境變量。
source bigdata_env
- 如果集群為安全模式，執行以下命令進行用戶認證。普通模式集群無需執行用戶認證。
kinit 組件業務用戶
- 在hdfs命令行顯式添加要訪問的OBS文件系統。
例如：
- 使用以下命令訪問OBS文件系統。
hdfs dfs -ls obs:// OBS 并行文件系統名稱 /路徑
- 使用以下命令上傳客戶端節點“/opt/test.txt”文件到OBS文件系統路徑下。
hdfs dfs -put /opt/test.txt obs:// OBS 并行文件系統名稱/ 路徑
說明OBS文件系統打印大量日志可能導致讀寫性能受影響，可通過調整OBS客戶端日志級別優化，日志調整方式如下：
cd ${client_home}/HDFS/hadoop/etc/hadoop
vi? log4j.properties
在文件中添加OBS日志級別配置
log4j.logger.org.apache.hadoop.fs.obs=WARN
log4j.logger.com.obs=WARN
