數據質量監控概述
更新時間 2023-07-18 21:40:55
最近更新時間: 2023-07-18 21:40:55
分享文章
本章節主要介紹數據質量的監控概述。
數據質量監控DQC(Data Quality Control)模塊是對數據庫里的數據質量進行質量管理的工具。您可從完整性、有效性、及時性、一致性、準確性、唯一性六個維度進行單列、跨列、跨行和跨表的分析。數據質量支持對離線數據的監控,當離線數據發生變化時,數據質量會對數據進行校驗,并阻塞生產鏈路,以避免問題數據污染擴散。同時,數據質量提供了歷史校驗結果的管理,以便您對數據質量分析和定級。
另外,數據質量監控DQC支持根據數據架構中的數據標準,自動生成標準化的質量規則,并進行周期性的監控。
數據質量監控主界面包括以下功能模塊。
| 功能 | 說明 |
|---|---|
| 總覽 | 默認首頁是總覽頁面,顯示了數據表的報警和阻塞情況。 主要包括以下幾部分內容: 所選周期內的作業數、實例數、異常表數,以及各種實例運行狀態的分布和變化趨勢情況。 當天告警分類統計、當天數據表告警統計、最近7天規則告警分類趨勢的統計和最近7天規則數量的趨勢。 |
| 規則模板 | 質量規則模板是數據質量的核心功能,是配置規則的主要入口。它主要管理規則配置(內置模板和自定義模板)的相關功能。 |
| 質量作業 | 質量作業可將規則模板或自定義規則應用到表中,進行數據質量監控。 |
| 對賬作業 | 對賬作業可將創建的規則應用到兩張表中進行質量監控,并輸出對賬結果。 |
| 運維管理 | 運維管理用于查看規則運行狀態,處理運維問題。 |
| 質量報告 | 系統根據作業的結果,會自動生成質量報告。 |