DataArts Studio數據架構以關系建模、維度建模理論支撐,實現規范化、可視化、標準化數據模型開發,定位于數據治理流程設計落地階段,輸出成果用于指導開發人員實踐落地數據治理方法論。
本章節操作場景如下:
- 對MRS Hive數據湖中的出租車出行數據進行數據模型設計。
- 數據庫demo_sdi_db中已具備出租車出行原始數據表sdi_taxi_trip_data。
- 原始數據表sdi_taxi_trip_data的數據字段介紹如下:
數據說明如下:
下表為出租車行程數據
| 序號 | 字段名稱 | 字段描述 |
|---|---|---|
| 1 | VendorID | 供應商編號 取值如下: 1=A Company 2=B Company |
| 2 | tpep_pickup_datetime | 上車時間 |
| 3 | tpep_dropoff_datetime | 下車時間 |
| 4 | passenger_count | 乘客人數 |
| 5 | trip_distance | 行駛距離 |
| 6 | ratecodeid | 費率代碼 取值如下: 1=Standard rate 2=JFK 3=Newark 4=Nassau or Westchester 5=Negotiated fare 6=Group ride |
| 7 | store_fwd_flag | 存儲轉發標識 |
| 8 | PULocationID | 上車地點 |
| 9 | DOLocationID | 下車地點 |
| 10 | payment_type | 付款方式代碼 取值如下: 1=Credit card 2=Cash 3=No charge 4=Dispute 5=Unknown 6=Voided trip |
| 11 | fare_amount | 車費 |
| 12 | extra | 加收 |
| 13 | mta_tax | MTA稅 |
| 14 | tip_amount | 手續費 |
| 15 | tolls_amount | 通行費 |
| 16 | improvement_surcharge | 改善附加費 |
| 17 | total_amount | 總車費 |
數據架構的流程如下:
- 準備工作 :
- 添加審核人 :在數據架構中,業務流程中的步驟都需要經過審批,因此,需要先添加審核人。只有工作空間管理員角色的用戶才具有添加審核人的權限。
- 管理配置中心 :數據架構中提供了豐富的自定義選項,統一通過配置中心提供,您需要根據自己的業務需要進行自定義配置。
- 數據調研 :基于現有業務數據、行業現狀進行數據調查、需求梳理、業務調研,輸出企業業務流程以及數據主題劃分。
- 主題設計 :通過分層架構表達對數據的分類和定義,幫助厘清數據資產,明確業務領域和業務對象的關聯關系。
- 流程設計 :本例暫不涉及。流程設計是針對流程的一個結構化的整體框架,描述了企業流程的分類、層級以及邊界、范圍、輸入/輸出關系等,反映了企業的商業模式及業務特點。
- 標準設計 :新建碼表&數據標準。
- 新建碼表并發布 :通常只包括一系列允許的值和附加文本描述,與數據標準關聯用于生成值域校驗質量監控。
- 新建數據標準并發布 :用于描述公司層面需共同遵守的屬性層數據含義和業務規則。其描述了公司層面對某個數據的共同理解,這些理解一旦確定下來,就應作為企業層面的標準在企業內被共同遵守。
- 模型設計: 應用關系建模和維度建模的方法,進行分層建模。
- 關系建模:新建SDI 層和DWI層兩個模型 。
-SDI :Source Data Integration,又稱貼源數據層。SDI是源系統數據的簡單落地。
-DWI :Data Warehouse Integration,又稱數據整合層。DWI整合多個源系統數據,對源系統進來的數據進行整合、清洗,并基于三范式進行關系建模。
- 維度建模:在DWR層新建并發布維度 & 維度建模:在DWR層新建并發布事實表。
-DWR :Data Warehouse Report,又稱數據報告層。DWR基于多維模型,和DWI層數據粒度保持一致。
-維度 :維度是用于觀察和分析業務數據的視角,支撐對數據進行匯聚、鉆取、切片分析,用于SQL中的GROUP BY條件。
-事實表 :歸屬于某個業務過程的事實邏輯表,可以豐富具體業務過程所對應事務的詳細信息。
- 指標設計:新建并發布技術指標 :新建業務指標(本例不涉及)和技術指標,技術指標又分為原子指標、衍生指標和復合指標。
- 指標 :指標一般由指標名稱和指標數值兩部分組成,指標名稱及其涵義體現了指標質的規定性和量的規定性兩個方面的特點,指標數值反映了指標在具體時間、地點、條件下的數量表現。
業務指標用于指導技術指標,而技術指標是對業務指標的具體實現。
- 原子指標 :原子指標中的度量和屬性來源于多維模型中的維度表和事實表,與多維模型所屬的業務對象保持一致,與多維模型中的最細數據粒度保持一致。
原子指標中僅含有唯一度量,所含其它所有與該度量、該業務對象相關的屬性,旨在用于支撐指標的敏捷自助消費。
- 衍生指標 :是原子指標通過添加限定、維度卷積而成,限定、維度均來源于原子指標關聯表的屬性。
- 復合指標 :由一個或多個衍生指標疊加計算而成,其中的維度、限定均繼承于衍生指標。
注意,不能脫離衍生指標、維度和限定的范圍,去產生新的維度和限定。
- 維度建模:在DM 層新建并發布匯總表 。
- DM (Data Mart) :又稱數據集市。DM面向展現層,數據有多級匯總。
- 匯總表 :匯總表是由一個特定的分析對象(如會員)及其相關的統計指標組成的。組成一個匯總邏輯表的統計指標都具有相同的統計粒度(如會員),匯總邏輯表面向用戶提供了以統計粒度(如會員)為主題的所有統計數據(如會員主題集市)。
添加審核人
在數據架構中,數據建模流程中的步驟都需要經過審批,因此,需要先添加審核人。DAYU Administrator角色或該工作空間管理員,具備對應的添加審核人的權限。
- 在DataArts Studio控制臺首頁,選擇實例,點擊“進入控制臺”,選擇對應工作空間的“數據架構”模塊,進入數據架構頁面。

- 單擊左側導航樹中的“配置中心”,進入相應頁面后,在“審核人管理”頁簽,單擊“添加”按鈕。
- 選擇審核人(工作空間管理員或開發者),輸入正確的電子郵箱和手機號,單擊“確定”完成審核人添加。
您也可以添加自己當前帳號為審核人,在后續提交審批的相關操作中,支持進行“自助審批”。根據需要,可以添加多個審核人。

管理配置中心
數據架構中提供了豐富的自定義選項,統一通過配置中心提供,您可有根據自己的業務需要進行自定義配置。
- 在數據架構控制臺,單擊左側菜單欄的“配置中心”,進入配置中心頁面。
- 進入“功能配置”頁簽,按照您的需求,進行自定義設置。
- 單擊“確定”完成配置。
主題設計
在本示例中,主題設計如表所示,說明如下:
- 新建1個主題域分組:城市交通。
- 在主題域分組“城市交通”下,新建4個主題域:行程記錄、集團、時空、公共維度。
- 在主題域“行程記錄”下,新建4個業務對象:原始記錄、標準記錄、行程事實、記錄統計。
- 在主題域“集團”下,新建1個業務對象:供應商。
- 在主題域“時空”下,新建1個業務對象:時間。
- 在主題域“公共維度”下,新建1個業務對象:公共維度。
下表為主題設計信息
| 主題域分組名稱(L1) | 主題域分組編碼(L1) | 主題域名稱(L2) | 主題域編碼(L2) | 業務對象名稱(L3) | 業務對象編碼(L3) |
|---|---|---|---|---|---|
| 城市交通 | city_traffic | 行程記錄 | stroke_reminder | 原始記錄 | origin_stroke |
| 城市交通 | city_traffic | 行程記錄 | stroke_reminder | 標準記錄 | stand_stroke |
| 城市交通 | city_traffic | 行程記錄 | stroke_reminder | 行程事實 | stroke_fact |
| 城市交通 | city_traffic | 行程記錄 | stroke_reminder | 記錄統計 | stroke_statistic |
| 城市交通 | city_traffic | 集團 | people | 供應商 | vendor |
| 城市交通 | city_traffic | 時空 | time_location | 時間 | date |
| 城市交通 | city_traffic | 公共維度 | public_dimension | 公共維度 | public_dimension |

操作步驟如下:
- 登錄DataArts Studio控制臺。找到已創建的DataArts Studio實例,單擊實例卡片上的“進入控制臺”。
- 在工作空間概覽列表中,找到所需要的工作空間,單擊“數據架構”,進入數據架構控制臺。
- 在數據架構控制臺,單擊左側菜單欄的“配置中心”。選擇“ 主題層級”,使用默認的3層層級。
L1-L7表示主題層級,默認3層,最大7層,最少2層,最后一層是業務對象,其他層級名稱可編輯修改。配置中心配置的層級數,將在“主題設計”模塊生效。

- 在數據架構控制臺,單擊左側菜單欄的“主題設計”,進入相應頁面后,單擊“新建”創建L1層主題,即主題域分組。

在彈出窗口中,按圖所示填寫參數,然后單擊“確定”完成主題域分組的創建。
- 在L1層主題“城市交通”下,依次新建4個L2層主題,即主題域:行程記錄、集團、時空、公共維度。
以主題域“行程記錄”為例,新建主題域的步驟如下,其他主題域也請參照以下步驟進行添加:
a.選中已創建的L1層主題“城市交通”。單擊右鍵,選擇“新建”。或者單擊右側的“新建”按鈕。

b.在彈出窗口中,“名稱”和“編碼”請參照上方 主題設計信息 表中的“主題域名稱”和“主題域編碼”進行填寫,其他參數可根據實際情況進行填寫,配置完成后單擊“確定”完成主題域的新建。
- 新建業務對象。
- 在主題域“行程記錄”下,新建4個業務對象:原始記錄、標準記錄、行程事實、記錄統計。
- 在主題域“集團”下,新建1個業務對象:供應商。
- 在主題域“時空”下,新建1個業務對象:時間。
- 在主題域“公共維度”下,新建1個業務對象:公共維度。
以在主題域“行程記錄”下新建業務對象“原始記錄”為例,新建業務對象的步驟如下,其他業務對象也請參照以下步驟進行添加:
a.選中已創建的L2層主題“行程記錄”。單擊右鍵,選擇“新建”。或者單擊右側的“新建”按鈕。
b.在彈出窗口中,“名稱”和“編碼”請參照上方 主題設計信息 表中的“業務對象名稱”和“業務對象編碼”進行填寫,其他參數可根據實際情況進行填寫,配置完成后單擊“確定”完成業務對象新建。
新建碼表并發布
在本示例中,您需要新建如表所示的3個碼表:
| 目錄 | *表名稱 | *表編碼 | 表描述 | *字段名稱 | *字段編碼 | *字段數據類型 | 字段描述 |
|---|---|---|---|---|---|---|---|
| 付款方式 | 付款方式 | payment_type | 無 | 付款方式編碼 | payment_type_id | BIGINT | 無 |
| 付款方式 | 付款方式 | payment_type | 無 | 付款方式值 | payment_type_value | STRING | 無 |
| 供應商 | 供應商 | vendor | 無 | 供應商id | vendor_id | BIGINT | 無 |
| 供應商 | 供應商 | vendor | 無 | 供應商 | vendor_value | STRING | 無 |
| 費率 | 費率代碼 | rate_code | 無 | 費率id | rate_code_id | BIGINT | 無 |
| 費率 | 費率代碼 | rate_code | 無 | 費率說明 | rate_code_value | STRING | 無 |
操作步驟如下:
- 在數據架構控制臺,單擊左側導航樹中的“碼表管理”,進入碼表管理頁面。
- 新建3個碼表目錄:付款方式、供應商、費率。
以新建“付款方式”目錄為例,新建目錄步驟如下,其他目錄也請參照以下步驟進行新建。
a.在碼表管理頁面,單擊碼表目錄樹中上方的
新建目錄。

b.在彈出框中,輸入目錄名稱,選擇目錄,然后單擊“確定”。

- 新建3個碼表:付款方式、供應商、費率代碼。
以新建“付款方式”碼表為例,新建碼表步驟如下,其他碼表也請參照以下步驟完成新建:
a.在碼表管理頁面,在碼表目錄樹中選擇一個目錄,然后在右側單擊“新建”按鈕。

b.在新建碼表頁面中,請參考表配置參數,然后單擊“保存”。

c.參考步驟步驟3.1~步驟3.2,在供應商目錄下創建供應商碼表,在費率目錄下創建費率碼表。


- 分別為付款方式、供應商、費率3個碼表填寫數值。
在“碼表管理”頁面,找到碼表“付款方式”,然后在該碼表所在行選擇“更多 > 填寫數值”。在填寫數值頁面,依次單擊“新建”添加如下表所示的數值。
下表為付款方式碼表的數值
| 付款方式編碼payment_type_id | 付款方式值payment_type_value |
|---|---|
| 1 | Credit card |
| 2 | Cash |
| 3 | No charge |
| 4 | Dispute |
| 5 | Unknown |
| 6 | Voided trip |
返回“碼表管理”頁面,找到碼表“供應商”,然后在該碼表所在行選擇“更多 > 填寫數值”。在填寫數值頁面,依次單擊“新建”添加如下表所示的數值。
下表為供應商碼表的數值
| 供應商idvendor_id | 供應商vendor_value |
|---|---|
| 1 | A Company |
| 2 | B Company |
返回“碼表管理”頁面,找到碼表“費率代碼”,然后在該碼表所在行選擇“更多 > 填寫數值”。在填寫數值頁面,依次單擊“新建”添加如下表所示的數值。
下表為費率碼表的數值
| 費率idrate_code_id | 費率說明rate_code_value |
|---|---|
| 1 | Standard rate |
| 2 | JFK |
| 3 | Newark |
| 4 | Nassau or Westchester |
| 5 | Negotiated fare |
| 6 | Group ride |
- 返回碼表管理頁面后,在碼表列表中,選中剛才新建的3個碼表,然后單擊“發布”發布碼表。
- 在“批量發布”對話框中選擇審核人,再單擊“確認提交”,等待審核人員審核通過后,碼表發布成功。如果當前帳號具備審核人權限,也可以勾選“自助審批”,直接提交即可以審核通過。
新建數據標準并發布
在本示例中,您需要新建如表所示的3個數據標準:
下表為數據標準
| 目錄 | *標準名稱 | *標準編碼(自定義) | *數據類型 | 數據長度 | 引用碼表 | *碼表字段 | 描述 |
|---|---|---|---|---|---|---|---|
| 付款方式 | 付款方式 | payment_type | 長整型(BIGINT) | 無 | 付款方式 | 付款方式編碼 | 無 |
| 供應商 | 供應商 | vendor | 長整型(BIGINT) | 無 | 供應商 | 供應商id | 無 |
| 費率 | 費率代碼 | rate_code | 長整型(BIGINT) | 無 | 費率代碼 | 費率id | 無 |
- 在數據架構控制臺,單擊左側導航樹中的“數據標準”,進入數據標準頁面。
- 首次進入“數據標準”頁面,需要定制模板,定制的模板后續可以在配置中心進行更改。本示例需要額外勾選“引用碼表”,如圖所示。

- 請參考以下步驟,分別新建3個數據標準的目錄:付款方式、供應商、費率。
在數據標準頁面的目錄樹上方,單擊
新建目錄,然后在彈出框中輸入目錄名稱“付款方式”并選擇目錄,單擊“確定”完成目錄的新建。

- 請參考以下步驟,分別新建3個數據標準:付款方式、供應商、費率。
a.在數據標準頁面的目錄樹中,選中所需要的目錄,然后在右側頁面中單擊“新建”。
b.在新建數據標準頁面中,3個數據標準可分別參考如下配置,配置完成后單擊“保存”。在本示例中,數據標準模板只選取了幾個參數,您可以參考用戶指南中的“數據架構> 管理配置中心”的“標準模板管理”定制數據標準模板。




- 返回數據標準頁面后,在列表中勾選剛才新建的3個數據標準,然后單擊“發布”發布數據標準。
- 在“批量發布”對話框中選擇審核人,再單擊“確認提交”,等待審核人員審核通過后,數據標準發布成功。如果當前帳號具備審核人權限,也可以勾選“自助審批”,直接提交即可以審核通過。
關系建模:新建SDI層和DWI層兩個模型
在關系建模中,分別新建SDI層和DWI層兩個關系模型,并通過逆向數據庫導入原始數據表到SDI層的關系模型中,在DWI層模型中新建一個“標準出行數據”的標準化的業務表。
- 在數據架構控制臺,單擊左側導航樹中的“關系建模”。
- 如果當前未創建過關系模型,系統會彈出“新建分層治理模型”提示框。您可以新建一個SDI層關系模型,命名為“sdi”,再新建一個DWI層關系模型,命名為“dwi”。單擊“確定”即可。

- 如果不是首次創建,單擊

新建物理模型,如下圖所示。

a. 先新建一個SDI層關系模型,命名為“sdi”。在物理模型頁簽中,單擊
,新建模型,配置如下參數,單擊“確定”。

b. 再新建一個DWI層關系模型,命名為“dwi”。在物理模型頁簽中,單擊
,新建模型,配置如下參數,單擊“確定”。

- 在“數倉分層”頁簽中,單擊新建的SDI關系模型,展開,選中業務對象“城市交通 > 行程記錄 > 原始記錄”,單擊“逆向數據庫”,通過逆向數據庫,導入原始表。

在“逆向數據庫”窗口中,配置如下所示參數,然后單擊“確定”。在本示例中選擇貼源層數據庫demo_sdi_db中的原始數據表。

逆向數據庫成功后,單擊“關閉”。您可以在列表中查看導入的表:

- 請參照以下步驟,新建一個“標準出行數據”的標準化的業務表。
a.在“數倉分層”頁簽中,單擊新建的DWI關系模型,展開,選中DWI模型中的業務對象“城市交通 > 行程記錄 > 原始記錄”,然后在右側列表上方單擊“新建”按鈕,進入新建表頁面。
b.在新建表的“基本配置”標簽頁中,配置如下:

c.進入“表字段”標簽頁,單擊“新建”,在標準出行數據表中,依次添加如下表所示的字段,并單擊字段供應商編號、費率代碼、付款方式的“數據標準”列中的
按鈕
,分別關聯數據標準“供應商”、“費率代碼”和“付款方式”。
下表為標準出行數據表字段
| 序號 | 名稱 | 編碼 | 數據類型 | 數據標準 | 主鍵 | 分區 | 不為空 | 標簽 |
|---|---|---|---|---|---|---|---|---|
| 1 | 供應商編號 | vendor_id | 長整型(BIGINT) | 供應商 | 不勾選 | 不勾選 | 勾選 | - |
| 2 | 上車時間 | tpep_pickup_datetime | 時間戳類型(TIMESTAMP) | - | 不勾選 | 不勾選 | 勾選 | - |
| 3 | 下車時間 | tpep_dropoff_datetime | 時間戳類型(TIMESTAMP) | - | 不勾選 | 不勾選 | 勾選 | - |
| 4 | 乘客人數 | passenger_count | 字符類型(STRING) | - | 不勾選 | 不勾選 | 勾選 | - |
| 5 | 行駛距離 | trip_distance | 高精度(DECIMAL)(10,2) | - | 不勾選 | 不勾選 | 勾選 | - |
| 6 | 費率代碼 | rate_code_id | 長整型(BIGINT) | 費率代碼 | 不勾選 | 不勾選 | 勾選 | - |
| 7 | 存儲轉發標識 | store_fwd_flag | 字符類型(STRING) | - | 不勾選 | 不勾選 | 勾選 | - |
| 8 | 上車地點 | pu_location_id | 字符類型(STRING) | - | 不勾選 | 不勾選 | 勾選 | - |
| 9 | 下車地點 | do_location_id | 字符類型(STRING) | - | 不勾選 | 不勾選 | 勾選 | - |
| 10 | 付款方式代碼 | payment_type | 長整型(BIGINT) | 付款方式 | 不勾選 | 不勾選 | 勾選 | - |
| 11 | 車費 | fare_amount | 高精度(DECIMAL)(10,2) | - | 不勾選 | 不勾選 | 勾選 | - |
| 12 | 加收 | extra | 高精度(DECIMAL)(10,2) | - | 不勾選 | 不勾選 | 勾選 | - |
| 13 | MTA稅 | mta_tax | 高精度(DECIMAL)(10,2) | - | 不勾選 | 不勾選 | 勾選 | - |
| 14 | 手續費 | tip_amount | 高精度(DECIMAL)(10,2) | - | 不勾選 | 不勾選 | 勾選 | - |
| 15 | 通行費 | tolls_amount | 高精度(DECIMAL)(10,2) | - | 不勾選 | 不勾選 | 勾選 | - |
| 16 | 改善附加費 | improvement_surcharge | 高精度(DECIMAL)(10,2) | - | 不勾選 | 不勾選 | 勾選 | - |
| 17 | 總車費 | total_amount | 高精度(DECIMAL)(10,2) | - | 不勾選 | 不勾選 | 勾選 | - |

對于標準出行數據表中的字段,您可以執行以下操作。
- 關聯數據標準
在新建表或編輯表時,進入“表字段”標簽頁,在字段所在行的“數據標準”列,單擊
按鈕可以選擇一個數據標準與字段相關聯。將字段關聯數據標準后,表發布上線后,就會自動生成一個質量作業,每個關聯了數據標準的字段會生成一個質量規則,基于數據標準對字段進行質量監控,您可以前往DataArts Studio數據質量模塊的“質量作業”頁面進行查看。有關關聯數據標準的更多信息,請參見用戶指南中的“數據架構> 關系建模 > 物理模型設計”中的“新建表并發布”。
- 添加標簽
標簽是用戶自定義的標識。添加標簽后,您就可以在DataArts Studio數據目錄模塊中通過標簽搜索相關的數據資產。
在新建表或編輯表時,進入“表字段”標簽頁,在字段所在行的“標簽”列,單擊
按鈕可以添加標簽,在彈出框中,您可以輸入新的標簽名稱后按回車,也可以在下拉列表中選擇已有標簽。
- 關聯質量規則
完成表的新建后,您可以在表中為字段關聯質量規則,完成關聯后,當表發布成功后,就會在DataArts Studio數據質量中自動創建質量作業,如果當前表已經發布,則系統會自動更新質量作業。有關關聯質量規則的更多信息,請參見用戶指南中的“數據架構> 關系建模 > 關聯質量規則”。
d.接下來,進入“映射”標簽頁,通過新建映射設計表的數據來源。
- 如果表中的字段數據來源于不同的關系模型,您需要創建多個映射。在每個映射中,您只需要為來源于當前映射的字段設置源字段,其他字段可以不設置。
- 如果表中的字段數據來源于同一個關系模型中的多個表,您可以新建一個映射。在該映射的“源表”中,您可以將多個表設置Join,然后再為表中的字段設置源字段。
本示例只需要新建一個映射。單擊“新建”,新建一個映射,如下圖。
- 映射名稱 :新建映射時會自動生成,您也可以修改。
- 來源模型 :本示例選擇“sdi”。
- 源表 :本示例選擇原始數據表“sdi_taxi_trip_data”,標準出行數據表的數據均來源于該原始數據表。

- 字段映射 :
在“字段映射”區域,依次為表中的字段設置源字段,所選擇的源字段應與表中的字段代表相同含義,一一對應。如下圖所示,在字段映射的底部,會顯示生成的SQL語句,可供參考。

說明
如果在“數據架構 > 配置中心 > 功能配置”頁面中開啟了“模型設計業務流程步驟 > 創建數據開發作業”(默認為關閉),發布表時,系統支持根據表的映射信息,在數據開發中自動創建一個ETL作業,每一個映射會生成一個ETL節點,作業名稱以“ *數據庫名稱_表編碼* ”開頭。當前該功能處于內測階段,僅支持DLI->DLI和DLI->DWS兩種映射的作業創建。
已創建的ETL作業可以進入“數據開發 > 作業開發”頁面查看。ETL作業默認每天0點啟動調度。
- 在本示例中,不支持自動創建ETL作業,映射信息僅為數據開發提供數據的ETL流向。在做數據開發的過程中,可以參考此處的映射關系編寫SQL腳本。

e.完成映射的配置后,出租車行程數據表配置完成,單擊“保存”。
- 模型創建好之后,勾選已創建的模型,選擇“更多 > 導出”,然后在彈出框中選中“表”并單擊“確定”,可以將整個模型導出。參考同樣的方法導出模型“sdi”。導出后的模型,可以作為備份,今后可用于模型導入。

- 發布表模型。
a.發布步驟2中通過逆向數據庫導入SDI模型的原始表,發布后,就可以通過DataArts Studio對原始表進行管理和監控。
返回關系建模頁面,在模型目錄選擇“sdi”模型,然后在右側的列表中,勾選表sdi_taxi_trip_data,再單擊“發布”,然后在彈出框中選擇審核人,單擊“確認提交”,等待審核人員審核通過后,“sdi”模型發布成功。如果當前帳號具備審核人權限,也可以勾選“自助審批”,直接提交即可以審核通過。
b.發布DWI模型中的表。
返回關系建模頁面,在模型目錄中選擇“dwi”模型,然后在右側的列表中,勾選表“標準出行數據”,再單擊“發布”,然后在彈出框中選擇審核人,單擊“確認提交”,等待審核人員審核通過后,“dwi”模型發布成功。如果當前帳號具備審核人權限,也可以勾選“自助審批”,直接提交即可以審核通過。
- 當表模型發布成功后,進入數據架構的“關系建模”頁面可以查看表的“狀態”和“同步狀態”。
發布是一個異步操作,您可以單擊
按鈕刷新狀態。表發布并通過審核后,系統會依據“配置中心 > 功能配置”頁面中的“模型設計業務流程步驟”進行創建表、同步技術資產、同步業務資產等操作,在表的“同步狀態”一列中將顯示同步狀態。
- “同步狀態”若均顯示成功,則說明表發布成功。鼠標移至“同步狀態”中的
圖標之上,若顯示“創建表: 創建成功”說明該表在對應的數據源下已經創建成功。 - “同步狀態”若顯示某一項或某幾項失敗,可以先刷新狀態。如果仍失敗,可以選擇操作列的“更多 > 發布歷史”,然后進入“發布日志”標簽頁查看日志。
請根據錯誤日志定位失敗原因,問題解決后,再返回“關系建模”頁面,在列表中勾選需同步的表,然后選擇“更多 > 同步”嘗試重新同步。如果仍同步失敗,請聯系技術支持人員協助解決。

在列表中單擊表名,可以查看表的詳情,其中“數據源”顯示了表的位置。

維度建模:在DWR層新建并發布維度
在維度建模中,在DWR數據報告層中新建3個碼表維度(供應商、費率代碼和付款方式)和1個層級維度(日期維度)。
- 在數據架構控制臺,單擊左側導航樹中的“維度建模”,進入維度建模頁面。
- 新建如表所示的3個碼表維度。
| *所屬主題 | *維度名稱 | *維度英文名稱 | *維度類型 | *資產責任人 | 描述 | *數據連接類型 | *數據連接 | *數據庫 | 選擇碼表 |
|---|---|---|---|---|---|---|---|---|---|
| 供應商 | 供應商 | dim_vendor | 碼表維度 | - | 無 | MRS_HIVE | mrs_hive_link | demo_dwr_db | 供應商 |
| 公共維度 | 費率代碼 | dim_rate_code | 碼表維度 | - | 無 | MRS_HIVE | mrs_hive_link | demo_dwr_db | 費率 |
| 公共維度 | 付款方式 | dim_payment_type | 碼表維度 | - | 無 | MRS_HIVE | mrs_hive_link | demo_dwr_db | 付款方式 |
a.在“維度建模”頁面進入“維度”標簽頁,在主題樹中選中“城市交通 > 集團 > 供應商”,然后單擊“新建”新建供應商維度。

b.在新建維度頁面,如下圖所示配置參數,然后單擊“保存”完成維度的新建。

c.在“維度建模”頁面進入“維度”標簽頁,在主題樹中選中“城市交通 > 公共維度 > 公共維度”,然后單擊“新建”新建費率代碼維度。在新建維度頁面,配置如下,配置完成后單擊“保存”。

d.在“維度建模”頁面進入“維度”標簽頁,在主題樹中選中“城市交通 > 公共維度 > 公共維度”,然后單擊“新建”新建付款方式維度。在新建維度頁面,維度配置如下,配置完成后單擊“保存”。

- 新建一個層級維度“日期維度”。
a.在“維度建模”頁面進入“維度”標簽頁,在主題樹中選中“城市交通 > 時空 > 時間”,然后單擊“新建”新建日期維度。
b.基本配置和物化配置如下:
下表為日期維度
| *所屬主題 | *維度名稱 | *維度英文名稱 | *維度類型 | *資產責任人 | 描述 | *數據連接類型 | *數據連接 | *數據庫 |
|---|---|---|---|---|---|---|---|---|
| 時間 | 日期維度 | dim_date | 層級維度 | - | 無 | MRS_HIVE | mrs_hive_link | demo_dwr_db |

c.屬性配置如下:
| 序號 | 屬性名稱 | 屬性英文名稱 | 數據標準 | 數據類型 | 代理鍵 | 主鍵 | 分區 | 不為空 |
|---|---|---|---|---|---|---|---|---|
| 1 | 日期維度 | dim_date_key | - | TIMESTAMP | 選中 | 選中 | 不勾選 | 勾選 |
| 2 | 時間 | real_time | - | TIMESTAMP | 不選 | 不選 | 不勾選 | 不勾選 |
| 3 | 分id | minute_id | - | BIGINT | 不選 | 不選 | 不勾選 | 不勾選 |
| 4 | 分 | minute | - | BIGINT | 不選 | 不選 | 不勾選 | 不勾選 |
| 5 | 時id | hour_id | - | BIGINT | 不選 | 不選 | 不勾選 | 不勾選 |
| 6 | 時 | hour | - | BIGINT | 不選 | 不選 | 不勾選 | 不勾選 |
| 7 | 日id | day_id | - | BIGINT | 不選 | 不選 | 不勾選 | 不勾選 |
| 8 | 日 | day | - | STRING | 不選 | 不選 | 不勾選 | 不勾選 |
| 9 | 月id | month_id | - | BIGINT | 不選 | 不選 | 不勾選 | 不勾選 |
| 10 | 月 | month | - | STRING | 不選 | 不選 | 不勾選 | 不勾選 |
| 11 | 年id | year_id | - | BIGINT | 不選 | 不選 | 不勾選 | 不勾選 |
| 12 | 年 | year | - | BIGINT | 不選 | 不選 | 不勾選 | 不勾選 |

d.在層級配置區域,單擊“新建”,新建如下2個層級:



e.新建維度頁面配置完成后,單擊“保存”。
- 返回維度頁面后,在維度列表中,勾選剛才新建的4個維度,再單擊“發布”。
- 在“批量發布”對話框中,選擇審核人,單擊“確認提交”,等待審核人員審核通過后,維度發布成功。如果當前帳號具備審核人權限,也可以勾選“自助審批”,直接提交即可以審核通過。
- 完成所有維度的新建和發布,待審核通過后,系統會自動創建與維度相對應的維度表,維度表的名稱和編碼均與維度相同。在“維度建模”頁面,選擇“維度表”頁簽,可以查看建好的維度表。
在維度表列表中,在“同步狀態”一列中可以查看維度表的同步狀態。
- 如果同步狀態均顯示成功,則說明維度發布成功,維度表在數據庫中創建成功。
- 如果同步狀態中存在失敗,可單擊該維度表所在行的“發布歷史”,然后在展開的頁面中進入“發布日志”頁簽查看日志。請根據錯誤日志定位失敗原因,問題解決后,您可以勾選該維度表,再單擊列表上方的“同步”按鈕嘗試重新同步。如果問題仍未能解決,請聯系技術支持人員協助處理。

維度建模:在DWR層新建并發布事實表
在維度建模中,在DWR數據報告層中新建一個事實表“行程訂單”。
- 在數據架構控制臺,單擊左側導航樹中的“維度建模”,進入維度建模頁面。
- 單擊“事實表”頁簽,進入事實表頁面。在左側的主題樹中選擇業務對象“城市交通 > 行程記錄 > 行程事實”,然后單擊“新建”按鈕開始新建行程訂單表。
在新建事實表頁面的“基本配置”區域,配置如下:
- 所屬主題:主題域分組:城市交通>主題域:行程記錄>業務對象:行程事實
- 表名稱:行程訂單
- 表英文名稱:fact_stroke_order
- 數據連接類型:MRS_HIVE
- 數據連接:mrs_hive_link
- 數據庫:demo_dwr_db
- 表類型:HIVE_TABLE
- 資產責任人:在下拉列表中選擇一個責任人。
- 描述:無
在“字段配置”區域,選擇 " 新建 > 維度",在彈出框中選擇維度“費率代碼”、“供應商”、“付款方式”、“日期維度”,單擊“確定”。再次選擇 " 新建 > 維度",在彈出框中選擇“日期維度”并單擊“確定”。然后,在維度字段列表中,調整維度字段的順序,并修改2個日期維度的信息,如表所示。
| 序號 | 字段名稱 | 字段英文名稱 | 數據類型 | 主鍵 | 分區 | 不為空 | 關聯數據標準 | 關聯維度 | 角色 | 描述 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 費率id | rate_code_id | BIGINT | 不勾選 | 不勾選 | 不勾選 | - | 費率代碼 | dim_ | - |
| 2 | 供應商id | vendor_id | BIGINT | 不勾選 | 不勾選 | 不勾選 | - | 供應商 | dim_ | - |
| 3 | 付款方式編碼 | payment_type_id | BIGINT | 不勾選 | 不勾選 | 不勾選 | - | 付款方式 | dim_ | - |
| 4 | 上車時間 | dim_pickup_date_key | TIMESTAMP | 不勾選 | 不勾選 | 不勾選 | - | 日期維度 | dim_pickup | 日期層維表 |
| 5 | 下車時間 | dim_dropoff_date_key | TIMESTAMP | 不勾選 | 不勾選 | 不勾選 | - | 日期維度 | dim_dropoff | 日期層維表 |
在“字段配置”區域,選擇“新建 > 度量”,依次新建如表所示的字段。
| 序號 | 字段名稱 | 字段英文名稱 | 數據類型 | 主鍵 | 分區 | 不為空 | 關聯數據標準 |
|---|---|---|---|---|---|---|---|
| 6 | 上車地點 | pu_location_id | 字符類型(STRING) | 不勾選 | 不勾選 | 不勾選 | - |
| 7 | 下車地點 | do_location_id | 字符類型(STRING) | 不勾選 | 不勾選 | 不勾選 | - |
| 8 | 車費 | fare_amount | 高精度(DECIMAL) (10,2) | 不勾選 | 不勾選 | 不勾選 | - |
| 9 | 加收 | extra | 高精度(DECIMAL) (10,2) | 不勾選 | 不勾選 | 不勾選 | - |
| 10 | MTA稅 | mta_tax | 高精度(DECIMAL) (10,2) | 不勾選 | 不勾選 | 不勾選 | - |
| 11 | 手續費 | tip_amount | 高精度(DECIMAL) (10,2) | 不勾選 | 不勾選 | 不勾選 | - |
| 12 | 通行費 | tolls_amount | 高精度(DECIMAL) (10,2) | 不勾選 | 不勾選 | 不勾選 | - |
| 13 | 改善附加費 | improvement_surcharge | 高精度(DECIMAL) (10,2) | 不勾選 | 不勾選 | 不勾選 | - |
| 14 | 總車費 | total_amount | 高精度(DECIMAL) (10,2) | 不勾選 | 不勾選 | 不勾選 | - |

- 新建事實表頁面配置完成后,單擊“發布”提交審核。
- 在彈出框中選擇審核人,單擊“確認提交”,等待審核人員審核通過后,事實表發布成功。如果當前帳號具備審核人權限,也可以勾選“自助審批”,直接提交即可以審核通過。
- 返回“維度建模 > 事實表”頁面,在列表中找到剛發布的事實表,在“同步狀態”一列中可以查看事實表的同步狀態。
- 如果同步狀態均顯示成功,則說明事實表發布成功,事實表在數據庫中已創建成功。
- 如果同步狀態中存在失敗,可單擊該事實表所在行的“更多 > 發布歷史”,然后在展開的頁面中進入“發布日志”頁簽查看日志。請根據錯誤日志定位失敗原因,問題解決后,您可以在事實表頁面勾選該事實表,再單擊列表上方的“更多 > 同步”嘗試重新同步。如果問題仍未能解決,請聯系技術支持人員協助處理。
指標設計:新建并發布技術指標
在本示例中,您需要新建如表所示的技術指標:
| *指標名稱 | *指標英文名稱 | 數據表 | *所屬主題 | *設定表達式 | 描述 |
|---|---|---|---|---|---|
| 總車費 | sum_total_amount | 行程訂單 | 行程事實 | sum (總車費) | 無 |
| 指標 | *數據表 | *所屬主題 | *原子指標 | 統計維度 | 時間限定 | 通用限定 |
|---|---|---|---|---|---|---|
| 基于付款方式維度統計總車費 | 行程訂單 | 記錄統計 | 總車費 | 付款方式 | 無 | 無 |
| 基于費率代碼維度統計總車費 | 行程訂單 | 記錄統計 | 總車費 | 費率代碼 | 無 | 無 |
| 基于供應商和下車時間維度統計總車費 | 行程訂單 | 記錄統計 | 總車費 | 供應商,行程訂單.下車時間 | 無 | 無 |
- 在數據架構控制臺,單擊左側導航樹中的“技術指標”,進入技術指標頁面。
- 新建一個原子指標“總車費”,用于統計總車費。
a.在技術指標頁面,進入“原子指標”標簽頁,然后單擊“新建”按鈕。
b.在新建原子指標頁面配置如下,配置完成后單擊“發布”。

c.等待審核人審核通過。審核通過后,原子指標就創建好了。
- 當原子指標通過審核后,新建以下3個衍生指標。
- 總車費(付款方式):基于付款方式維度統計總車費
在技術指標頁面,進入“衍生指標”標簽頁,然后單擊“新建”按鈕,在新建衍生指標頁面,配置如下。配置完成后,單擊“試運行”,并在彈出窗口中單擊“執行”,如果運行通過單擊“保存”。

- 總車費(費率代碼):基于費率代碼維度統計總車費
在技術指標頁面,進入“衍生指標”標簽頁,然后單擊“新建”按鈕,在新建衍生指標頁面,配置如下。配置完成后,單擊“試運行”,并在彈出窗口中單擊“執行”,如果運行通過單擊“保存”。

- 截止當日_總車費(供應商,行程訂單.下車時間):基于供應商維度統計總車費
在技術指標頁面,進入“衍生指標”標簽頁,然后單擊“新建”按鈕,在新建衍生指標頁面,配置如下。配置完成后,單擊“試運行”,并在彈出窗口中單擊“執行”,如果運行通過單擊“保存”。

- 返回技術指標頁面的“衍生指標”標簽頁后,勾選建好的3個衍生指標,單擊“發布”,在彈出框中選擇審核人,單擊“確認提交”,等待審核人員審核通過后,事實表發布成功。如果當前帳號具備審核人權限,也可以勾選“自助審批”,直接提交即可以審核通過。
維度建模:在DM層新建并發布匯總表
在DM數據集市層,您需要新建如表所示的匯總表。
| *所屬主題 | *表名稱 | *表英文名稱 | 統計維度 | 數據連接類型 | *數據連接 | *數據庫 | 資產責任人 | 描述 |
|---|---|---|---|---|---|---|---|---|
| 記錄統計 | 付款方式統計匯總 | dws_payment_type | 付款方式 | MRS_HIVE | mrs_hive_link | demo_dm_db | - | 無 |
| 記錄統計 | 費率統計匯總 | dws_rate_code | 費率代碼 | MRS_HIVE | mrs_hive_link | demo_dm_db | - | 無 |
| 記錄統計 | 供應商統計匯總 | dws_vendor | 供應商,行程訂單.下車時間 | MRS_HIVE | mrs_hive_link | demo_dm_db | - | 無 |
- 在數據架構控制臺,單擊左側導航樹中的“維度建模”,進入維度建模頁面。
- 單擊“匯總表”頁簽,進入匯總表頁面。
- 新建3個匯總表:付款方式統計匯總表、費率統計匯總表、供應商統計匯總表。
a.在“匯總表”頁面,在主題樹中選中“城市交通 > 行程記錄 > 記錄統計”,然后單擊“新建”新建付款方式統計匯總表。在新建匯總表頁面,配置如下,配置完成后單擊“保存”。
在新建匯總表頁面,基本配置如下:

在“時間分區”區域,輸入字段編碼以及選擇數據類型。當表發布成功后,在往表里寫數據時,將根據該時間分區字段進行分區。

在“指標配置”區域,單擊“添加”,添加衍生指標“總車費(付款方式)”。此處只能添加與所指定的“統計維度”相關聯的并且已發布的衍生指標或復合指標。


完成上述配置后,單擊“保存”。
b.在“匯總表”頁面,在主題樹中選中“城市交通 > 行程記錄 > 記錄統計”,然后單擊“新建”新建費率統計匯總表。在新建匯總表頁面,配置如下,配置完成后單擊“保存”。



c.在“匯總表”頁面,在主題樹中選中“城市交通 > 行程記錄 > 記錄統計”,然后單擊“新建”新建供應商統計匯總表。在新建匯總表頁面,配置如下,配置完成后單擊“保存”。



- 返回維度建模頁面的“匯總表”標簽頁后,勾選建好的3個匯總表,單擊“發布”。
- 在彈出框中選擇審核人,單擊“確認提交”,等待審核人員審核通過后,匯總表會自動創建。如果當前帳號具備審核人權限,也可以勾選“自助審批”,直接提交即可以審核通過。
- 返回“維度建模 > 匯總表”頁面,在列表中找到剛發布的匯總表,在“同步狀態”一列中可以查看匯總表的同步狀態。
- 如果同步狀態均顯示成功,則說明匯總表發布成功,匯總表在數據庫中已創建成功。
- 如果同步狀態中存在失敗,可單擊該匯總表所在行的“更多 > 發布歷史”,然后在展開的頁面中進入“發布日志”頁簽查看日志。請根據錯誤日志定位失敗原因,問題解決后,您可以在匯總表頁面勾選該匯總表,再單擊列表上方的“更多 > 同步”嘗試重新同步。如果問題仍未能解決,請聯系技術支持人員協助處理。