在DataArts Studio平臺,自動分析血緣是通過在數據開發模塊中配置數據處理遷移類型的節點產生的,當前支持采集節點靜態配置產生的血緣和部分節點實例上的血緣。詳情請參見下方 自動分析血緣。
另外,DataArts Studio平臺還支持手動配置血緣方式,當用戶手動配置血緣時,自動分析血緣將不生效。詳情請參見下方 手動配置血緣。
自動分析血緣
自動分析血緣是通過在數據開發模塊中配置數據處理遷移類型的節點產生的,當作業中包含如下節點時,系統支持自動解析血緣。
SQL類型節點
DataArts Studio目前支持對DLI SQL、DWS SQL和MRS Hive SQL節點的血緣解析,可以支持多SQL解析及列級血緣解析,當語句中有臨時表時,會自動在數據目錄中創建相關的臨時表實體。
- DLI SQL
支持解析DLI中表與表之間數據插入產生的血緣。
支持通過建表語句產生的OBS文件到DLI表之間的血緣。
- DWS SQL
支持Create table like/as等DDL操作產生的DWS表之間的血緣。
支持Insert into等DML操作產生的DWS表之間的血緣。
- MRS Hive SQL
支持Create table like/as等DDL操作產生的MRS表之間的血緣。
支持Insert into/overwrite等DML操作產生的MRS表之間的血緣。
數據集成類型節點
目前支持對CDM Job節點、ETL Job節點和OBS Manager節點的血緣解析。
- CDM Job
支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之間表文件遷移所產生的血緣。
- ETL Job
支持DLI、OBS、MySQL以及DWS之間的ETL任務產生的血緣。
- OBS Manager
支持OBS之間目錄和文件復制遷移產生的血緣。
說明當前血緣解析能力,單條sql語句不支持sql中含有分號的場景。
手動配置血緣
在DataArtsStudio數據開發中,用戶也可以自己定義節點的輸入、輸出血緣關系。當用戶手動配置血緣時,自動分析血緣將不生效。手動配置血緣不會影響作業的運行。
目前手動配置血緣時輸入、輸出數據源支持DLI、DWS、Hive、CSS、OBS和CUSTOM。CUSTOM即自定義類型,在手動配置血緣時,對于不支持的數據源,您可以添加為自定義類型。
支持手動配置血緣的節點類型如下所示,關于手動配置血緣的更多內容,請參見相關節點的詳細介紹。