本章節主要介紹從創建彈性資源池、創建增強型跨源、添加隊列到彈性資源池并運行作業的一個完整流程,幫助您更好、更方便的使用彈性資源池。
創建彈性資源池運行作業流程圖
| 階段 | 說明 | 參考文檔 |
|---|---|---|
| 步驟一:創建彈性資源池 | 創建彈性資源池,配置彈性資源池的基本信息,如:計費模式、CU范圍、網段等配置。 | 創建彈性資源池 |
| 步驟二:添加隊列到彈性資源池 | 添加作業運行的隊列到彈性資源池。具體內容包括: 1. 設置彈性資源池隊列的名稱、隊列類型等基本信息。 2. 配置當前隊列的擴縮容策略,包括隊列策略的優先級、時間段、最大最小CU范圍等配置。 |
彈性資源池添加隊列?,?彈性資源池隊列管理 |
| (可選)步驟三:創建增強型跨源連接 | 如果運行的作業需要跨源訪問其他外部數據源數據,如作業需要訪問DWS、RDS等數據時,需要創建跨源連接。 創建的跨源連接需要和彈性資源池進行綁定。 | 創建增強型跨源連接 |
| 步驟四:運行作業 | 根據業務需求創建和提交作業。 | SQL作業管理,Flink作業管理概述,創建Spark作業 |
創建彈性資源池
1.登錄DLI管理控制臺,在左側導航欄單擊“資源管理 > 彈性資源池”,可進入彈性資源池管理頁面。
2.在彈性資源池管理界面,單擊界面右上角的“購買彈性資源池”。
- 在“購買彈性資源池”界面,填寫具體的彈性資源池參數,具體參數填寫參考如下。
?名稱:填寫具體的彈性資源池名稱。例如設置為:pool_test。
?CU范圍:彈性資源池擴縮容的CU范圍。
?網段:配置彈性資源池網段。例如當前配置為172.16.0.0/18。
?其他參數根據需要選擇和配置。
詳細的彈性資源池創建流程可以參考創建彈性資源池。
4.參數填寫完成后,單擊“立即購買”,確認配置信息無誤后,單擊“提交”完成彈性資源池創建。
5.彈性資源池創建任務提交后,會在彈性資源池管理界面的“狀態”列顯示當前資源池的創建狀態,當狀態顯示為“可使用”時表示資源池可以正常使用。
添加隊列到彈性資源池
1.在已創建的彈性資源池的“操作”列,單擊“添加隊列”進入彈性資源池添加的隊列的操作界面。
2.首先配置彈性資源池隊列的基本信息,具體參數參考如下。
?名稱:添加的隊列的名稱。
?類型:根據作業需要選擇隊列類型。本示例選擇為:通用隊列。
SQL隊列類型:用于運行Spark SQL和Trino作業。
通用隊列類型:用于運行Flink和Spark Jar作業。
?其他參數請根據需要配置。
3.配置完基本參數后,單擊“下一步”,在隊列的擴縮容策略配置界面,修改擴縮容策略配置:最小CU:64、最大CU:64。
4.單擊“確定”完成添加隊列操作。
(可選)創建增強型跨源連接
本示例演示的操作需要跨源連接RDS外部數據源,所以需要創建跨源連接。如果作業不需要連接外部數據源,則該步驟可以跳過。
1.登錄RDS控制臺,創建RDS數據庫實例。登錄RDS實例后,單擊“新建數據庫”,創建名稱為“test2”的數據庫。
2.在“test2”的數據庫所在行,操作列,單擊“SQL查詢”,輸入以下創建表語句,單擊“執行SQL”創建表“tabletest2”。建表語句參考如下:
CREATE TABLE `tabletest2` (
`id` int(11) unsigned,
`name` VARCHAR(32)
) ENGINE = InnoDB DEFAULT CHARACTER SET = utf8mb4;
3.在RDS管理控制臺,單擊“實例管理”,單擊已創建的RDS具體實例名稱,查看該RDS實例的“基本信息”。
4.在“基本信息”的“連接信息”中獲取該實例的“內網地址”、“數據庫端口”、“虛擬私有云”和“子網”信息,方便后續操作步驟使用。
5.單擊“連接信息”中的安全組名稱,在“入方向規則”中添加放通彈性資源池網段的規則。例如本示例為3彈性資源池網段為“172.16.0.0/18”,數據庫端口為3306,則規則添加為:優先級選為:1,策略選為:允許,協議級別和端口選擇:TCP和3306,類型:IPV4,源地址為:172.16.0.0/18
單擊“確定”完成安全組規則添加。
6.登錄DLI管理控制臺,在左側導航欄單擊“跨源管理”,在跨源管理界面,單擊“增強型跨源”,單擊“創建”。
7.在增強型跨源創建界面,配置具體的跨源連接參數。具體參考如下。
?連接名稱:設置具體的增強型跨源名稱。
?彈性資源池:選擇步驟一:創建彈性資源池中已經創建的好的彈性資源池。
說明如果該步驟不選擇彈性資源池,可以創建跨源完后,在增強型跨源界面,在對應跨源連接所在行的“操作”列,單擊“更多 > 綁定彈性資源池”進行綁定。
?虛擬私有云:選擇4中獲取的RDS的虛擬私有云。
?子網:選擇4中獲取的RDS的子網。
?其他參數可以根據需要選擇配置。
參數配置完成后,單擊“確定”完成增強型跨源配置。單擊創建的跨源連接名稱,查看跨源連接的連接狀態,等待連接狀態為:“已激活”后可以進行后續步驟。
8.單擊“資源管理 > 隊列管理”,選擇操作的隊列,如本示例的“general_test”,在操作列,單擊“更多 > 測試地址連通性”。
9.在“測試連通性”界面,根據4中獲取的RDS連接信息,地址欄輸入“RDS內網地址:RDS數據庫端口”,單擊“測試”測試到RDS網絡是否可達。
運行作業
本示例通過在彈性資源池隊列上運行一個Flink SQL舉例演示。
- 在DLI管理控制臺,單擊“作業管理 > Flink作業”,在Flink作業管理界面,單擊“創建作業”。
- 在創建作業界面,類型選擇“Flink SQL”,名稱填寫為:testFlinkSqlJob。單擊“確定”,跳轉到Flink作業編輯界面。
- 在Flink SQL作業編輯界面,配置如下參數。
?所屬隊列:選擇步驟二:添加隊列到彈性資源池中彈性資源池添加的隊列“general_test”。
?保存作業日志:勾選。
?OBS桶:選擇保存作業日志的OBS桶,根據提示進行OBS桶權限授權。
?開啟Checkpoint:勾選。
?Flink作業編輯框中輸入具體的作業SQL,本示例作業參考如下。具體加粗的參數需要根據實際情況修改。
CREATE SINK STREAM car_info (id INT, name STRING) WITH (
type = "rds",
region = "", /* 根據情況修改為當前的region ID*/
'pwd_auth_name'="xxxxx", // DLI側創建的Password類型的跨源認證名稱。使用跨源認證則無需在作業中配置賬號和密碼。
db_url = "mysql://192.168.x.x:3306/test2", /* 格式為mysql://RDS數據庫實例的內網地址:RDS數據庫端口/RDS創建的數據庫名 */
table_name = "tabletest2" /* RDS數據下的表名 */
);
INSERT INTO
car_info
SELECT
13,
'abc';
4.單擊“語義校驗”確保SQL語義校驗成功。單擊“保存”,保存作業。單擊“啟動”,啟動作業,確認作業參數信息,單擊“立即啟動”開始執行作業。
5.等待作業運行完成,作業狀態顯示為“已完成”。
6.登錄RDS控制臺,單擊RDS數據庫實例,單擊創建的數據庫名,如“test2”,在創建的表“tabletest2”所在行的“操作”列,單擊“SQL查詢”。
7.在“SQL查詢”界面,單擊“執行SQL”,查看RDS表數據已寫入成功。