準備引導操作腳本
更新時間 2023-08-21 15:43:58
最近更新時間: 2023-08-21 15:43:58
分享文章
本章節主要介紹如何準備引導操作腳本。
引導操作目前僅支持linux shell腳本,腳本文件需以.sh結尾。
上傳所需安裝包等文件至OBS文件系統
正式編寫腳本前,您需要將所需安裝包、配置包的所有相關文件都上傳到同region的OBS文件系統中。因為不同region間有網絡隔離,MRS虛擬機無法下載其他region上的OBS文件。
腳本中如何從OBS文件系統下載文件
您可以在腳本中指定從OBS下載需要的文件。如果將文件上傳到私有文件系統,需要用hadoop fs下載,下面的例子會將 obs://yourbucket/myfile.tar.gz 這個文件下載到本地,并解壓到 /your-dir 目錄下:
#!/bin/bash
source /opt/Bigdata/client/bigdata_env;hadoop fs -D fs.obs.endpoint=<obs-endpoint> -D fs.obs.access.key=<your-ak> -D fs.obs.secret.key=<your-sk> -copyToLocal obs://yourbucket/myfile.tar.gz ./
mkdir -p /<your-dir>
tar -zxvf myfile.tar.gz -C /<your-dir>
說明
MRS 3.x及之后版本客戶端默認安裝路徑為“/opt/Bigdata/client”,MRS 3.x之前版本為“/opt/client”。具體以實際為準。
Hadoop客戶端已預安裝在MRS節點上,hadoop fs命令可對OBS做下載、上傳等操作。
各region下obs-endpoint請向管理員獲取。
上傳腳本至OBS文件系統
腳本完成后上傳到同region的OBS文件系統中。在您選定的時機,集群各節點會從OBS將腳本下載下來并以root用戶執行。