介紹如何在數據開發模塊上通過DWS SQL算子進行作業開發。

場景說明

本教程通過開發一個DWS作業來統計某門店的前一天銷售額。

環境準備

• 已開通DWS服務，并創建DWS集群，為DWS SQL提供運行環境。
• 已開通CDM增量包，并創建CDM集群。

CDM集群創建時，需要注意：虛擬私有云、子網、安全組與DWS集群保持一致，確保網絡互通。

創建DWS的數據連接

開發DWS SQL前，我們需要在“管理中心 > 數據連接”模塊中建立一個到DWS的連接，數據連接名稱為“dws_link”。

關鍵參數說明：

• 集群名：環境準備中創建的DWS集群名稱。
• 綁定Agent：環境準備中創建的CDM集群。

創建數據庫

在DWS中創建數據庫，以“gaussdb”數據庫為例。詳情請參新建數據庫進行操作。

創建數據表

在“gaussdb”數據庫中創建數據表trade_log和trade_report。詳情請參考如下建表腳本。

create schema store_sales; 
set current_schema= store_sales; 
drop table if exists trade_log; 
CREATE TABLE trade_log 
( 
        sn           VARCHAR(16),  
        trade_time   DATE, 
        trade_count   INTEGER(8)       
); 
set current_schema= store_sales; 
drop table if exists trade_report; 
CREATE TABLE trade_report 
(  
        rq   DATE, 
        trade_total   INTEGER(8)       
); 

開發DWS SQL腳本

在“數據開發 > 腳本開發”模塊中創建一個DWS SQL腳本，腳本名稱為“dws_sql”。在編輯器中輸入SQL語句，通過SQL語句來實現統計前一天的銷售額。

開發腳本

                
說明
                
上圖中的腳本開發區為臨時調試區，關閉腳本頁簽后，開發區的內容將丟失。您可以通過“提交”來保存并提交腳本版本。
數據連接：創建DWS的數據連接中已創建的連接。
              

開發DWS SQL作業

DWS SQL腳本開發完成后，我們為DWS SQL腳本構建一個周期執行的作業，使得該腳本能定期執行。

1. 創建一個數據開發模塊空作業，作業名稱為“job_dws_sql”。

詳見下圖：創建job_dws_sql作業

2. 然后進入到作業開發頁面，拖動DWS SQL節點到畫布中并單擊，配置節點的屬性。

詳見下圖：配置DWS SQL節點屬性

關鍵屬性說明：

• SQL腳本：關聯開發DWS SQL腳本中開發完成的DWS SQL腳本“dws_sql”。
• 數據連接：默認選擇SQL腳本“dws_sql”中設置的數據連接，支持修改。
• 數據庫：默認選擇SQL腳本“dws_sql”中設置的數據庫，支持修改。
• 腳本參數：通過EL表達式獲取"yesterday"的值，EL表達式如下：

#{Job.getYesterday("yyyy-MM-dd")}

• 節點名稱：默認顯示為SQL腳本“dws_sql”的名稱，支持修改。

3. 作業編排完成后，單擊，測試運行作業。
4. 如果運行成功，單擊畫布空白處，在右側的“調度配置”頁面，配置作業的調度策略。

詳見下圖：配置調度方式

                
說明
                
2021/08/06至2021/08/31，每天2點執行一次作業。
              

5. 單擊“提交”，執行調度作業，實現作業每天自動運行。