自定義引導操作
更新時間 2023-06-19 14:46:15
最近更新時間: 2023-06-19 14:46:15
分享文章
本章節主要介紹翼MapReduce服務的自定義引導特性。
特性簡介
翼MR提供標準的云上彈性大數據集群,目前可安裝部署包括hadoop、spark等9種大數據組件。當前標準的云上大數據集群不能滿足所有用戶需求,例如如下幾種場景:
- 通用的操作系統配置不能滿足實際數據處理需求,例如需調大系統最大連接數。
- 需要安裝自身業務所需的軟件工具或運行環境,例如須安裝gradle、業務需要依賴R語言包。
- 根據自身業務對大數據組件包做修改,例如對hadoop或spark安裝包做修改。
- 需要安裝其他翼MR還未支持的大數據組件。
對于上述定制化的場景,可以選擇登錄到每個節點上手動操作,之后每擴容一個新節點,再執行一次同樣的操作,操作相對繁瑣,也容易出錯。同時手動執行記錄不便追溯,不能實現“按需創建、創建成功后即處理數據”的目標。
因此,翼MR提供了自定義引導操作,在啟動集群組件前(或后)可以在指定的節點上執行腳本。用戶可以通過引導操作來完成安裝MRS還沒支持的第三方軟件,修改集群運行環境等自定義操作。如果集群擴容,選擇執行引導操作,則引導操作也會以相同方式在新增節點上執行。翼MR會使用root用戶執行您指定的腳本,腳本內部您可以通過su - xxx命令切換用戶。
客戶價值
翼MR提供了自定義引導操作,用戶可以以此為入口,靈活、便捷地配置自己的專屬集群,自定義安裝軟件。