元數據簡介
更新時間 2023-05-30 04:56:13
最近更新時間: 2023-05-30 04:56:13
分享文章
本章節主要介紹元數據采集的元數據介紹。
按照傳統的定義,元數據(Metadata)是關于數據的數據。元數據打通了源數據、數據倉庫、數據應用,記錄了數據從產生到消費的全過程。元數據主要記錄數據倉庫中模型的定義、各層級間的映射關系、監控數據倉庫的數據狀態及ETL的任務運行狀態。在數據倉庫系統中,元數據可以幫助數據倉庫管理員和開發人員非常方便地找到他們所關心的數據,用于指導其進行數據管理和開發工作,提高工作效率。
將元數據按用途的不同分為兩類:技術元數據(Technical Metadata)和業務元數據(Business Metadata)。
- 技術元數據是存儲關于數據倉庫系統技術細節的數據,是用于開發和管理數據倉庫使用的數據。
- 業務元數據從業務角度描述了數據倉庫中的數據,它提供了介于使用者和實際系統之間的語義層,使得不懂計算機技術的業務人員也能夠“讀懂”數據倉庫中的數據。
元數據管理模塊是數據湖治理的基石,支持創建自定義策略的采集任務,采集數據源中的技術元數據。支持自定義業務元模型、批量導入業務元數據、關聯業務和技術元數據、全鏈路的血緣管理和應用。