為什么要使用數據倉庫?
現狀和需求
大量的企業經營性數據(訂單,庫存,原料,付款等)在企業的業務運營系統以及其后臺的(事務型)數據庫中產生的。
企業的決策者需要及時地對這些數據進行歸類分析,從中獲得企業運營的各種業務特征,為下一步的經營決策提供數據支撐。
困難
對數據的歸類分析往往涉及到對多張數據庫表數據的同時訪問, 即需要同時鎖住多張可能正在被不同事務更新的表單。這對業務繁忙的數據庫系統來說可能是一件非常困難的事情 。
- 一方面很難把多張表同時鎖住,造成復雜查詢的時延增加。
- 另一方面如果鎖住了多張表,又會阻擋數據庫表單更新的事務,造成業務的延時甚至中斷。
解決方案
數據倉庫主要適用于企業數據的關聯和聚合等分析場景, 并從中發掘出數據背后的商業信息供決策者參考。這里的數據發掘主要指涉及多張表的大范圍的數據聚合和關聯的復雜查詢。
使用數據倉庫,通過某個數據轉換(ETL)的過程,業務運營數據庫的數據可以被拷貝到數據倉庫中供分析計算使用。同時支持把多個業務運營系統的數據匯集到一個數據倉庫中。這樣數據可以被更好地關聯和分析,從而產生更大的價值。
數據倉庫一般來說采用了一些和標準的面向事務的數據庫(Oracle,MS SQL Server,MySQL等)不一樣的設計,特別是針對數據的聚合性和關聯性做了特別的優化,有些時候為了這些優化甚至可能會犧牲掉一些標準數據庫的事務或者數據增刪改的功能或者性能。因此,數據倉庫和數據庫的使用場景還是有所不同的。事務型數據庫專注于事務處理(企業的業務運營),而數據倉庫更擅長于復雜的數據分析。各司其職,互不干擾。簡單一句話可以把它理解為,數據庫主要負責數據更新,數據倉庫主要負責數據分析。
數據倉庫和Hadoop大數據平臺有什么差別?
廣義上來說,Hadoop大數據平臺也可以看做是新一代的數據倉庫系統, 它也具有很多現代數據倉庫的特征,也被企業所廣泛使用。因為MPP架構的可擴展性,基于MPP的數據倉庫系統有時候也被劃分到大數據平臺類產品。
但是數據倉庫和Hadoop平臺還是有很多顯著的不同。針對不同的使用場景其發揮的作用和給用戶帶來的體驗也不盡相同。用戶可以根據下表簡單判斷什么場景更適合用什么樣的產品。
數據倉庫和Hadoop大數據平臺特性比較
| 特性 | Hadoop | Data Warehouse |
|---|---|---|
| 計算節點數 | 可到數千個 | 一般在256個以內 |
| 數據量 | 支持大于10PB | 一般不大于10PB |
| 數據類型 | 關系型,半關系型,無結構化,語音,圖像,視頻 | 關系型 |
| 時延 | 中/高 | 低 |
| 應用生態 | 創新型/人工智能 | 傳統數據庫型/BI類 |
| 應用開發接口 | SQL,MR,豐富的編程語言接口 | 標準數據庫SQL |
| 可擴展性 | 無窮的可能,完整的編程接口 | 有限擴展能力,主要通過UDF支持 |
| 事務支持 | 有限 | 完整 |
數據倉庫和Hadoop平臺互為補充,立足于滿足客戶在不同使用場景下的業務需求。數據倉庫服務DWS 能夠無縫地接入到Hadoop平臺MRS服務上,支持SQL-over-Hadoop的這個特性,提供跨平臺, 跨服務的數據共享。讓用戶在充分享受Hadoop帶來的開放,便捷,創新的同時,繼續使用熟悉的數據倉庫方式管理和使用自己的海量數據。繼續使用傳統的數據倉庫的上層應用,特別是商業智能BI類的應用。
為什么要使用數據倉庫服務DWS ?
傳統的數據倉庫售價昂貴,設備系統選型,采購周期長,擴容復雜,整體運行成本十分高昂,因此很難為中小企業所采納。
數據倉庫服務DWS與傳統的數據倉庫相比,主要有以下特點與顯著優勢:
- 一款分布式MPP數據倉庫云化服務,具備開放,高效,兼容,可擴展,易運維等特點。
- 基于FusionInsight LibrA數據倉庫產品內核,以云上數據倉庫服務的形式將FusionInsight LibrA的能力提供給云平臺上的企業用戶,打造云上云下一致的數據倉庫用戶體驗。
FusionInsight LibrA是具有自主知識產權的新一代分布式數據倉庫系統。目前已經被廣泛地應用在政府,金融,運營商等行業當中。該產品不僅兼容主流開源Postgres系列數據庫,而且特別針對Oracle和Teradata的SQL語法進行了兼容性增強,在很多場合都可以替代同類型產品。
我們的數據倉庫服務工程師重點設計實現了基于行列混存的數據倉庫內核,在支持海量數據快速分析的同時也很好地兼顧了業務運作系統對數據增刪改的需求。引入了基于代價的查詢優化器,以及當前數據倉庫系統所流行的一些黑科技,包括機器碼級別的向量計算,算子間和算子內的并行,節點內和節點間并行,使用LLVM優化編譯查詢計劃的本機代碼等。這些黑科技極大地提高了數據查詢和分析的性能,為用戶帶來了更好的體驗,解決了特定場景當中的業務痛點。
- DWS 服務即開即用
相比以前動輒長達數月的數據倉庫選型采購過程,在云平臺上開通使用數據倉庫服務只需要數分鐘時間簡化了企業用戶的搭建過程,使用數據倉庫的方式,降低使用數據倉庫的代價和門檻,讓數據倉庫實實在在地走進千萬家大中小企業,讓數據為企業的發展和決策提供其應有的價值。
如何選擇DWS或者RDS?
DWS和RDS都讓您能夠在云中運行傳統的關系數據庫,同時轉移數據庫管理負載。您可將RDS數據庫用于聯機事務處理(OLTP) ,報告和分析,對于大量數據的讀(一般是復雜的只讀類型查詢)支持不足。DWS 利用多節點的規模和資源并使用各種優化法( 列存,向量引擎,分布式框架等 ),專注于聯機分析處理(OLAP),為傳統數據庫對大型數據集的分析及報告工作負荷提供了數量級改善。
當您的數據及查詢的復雜性增加時,或者在您要防止報告和分析處理對OLTP工作負荷造成干擾時,DWS 可提供橫向擴展能力。
您可以根據下表簡單判斷什么場景更適合用DWS 或RDS。
OLTP和OLAP特性比較
| 特性 | OLTP | OLAP |
|---|---|---|
| 用戶 | 操作人員,低層管理人員 | 決策人員,高級管理人員 |
| 功能 | 日常操作處理 | 分析決策 |
| 設計 | 面向應用 | 面向主題 |
| 數據 | 最新的,細節的,二維的,分立的 | 歷史的,集成的,多維的,統一的 |
| 存取 | 讀/寫數十條記錄 | 讀上百萬條記錄 |
| 工作范圍 | 簡單的讀寫 | 復雜的查詢 |
| 數據庫大小 | 百GB | TB-PB級別 |
DWS和MRS分別應在何時使用?
如果需要使用自定義代碼通過大數據處理框架 (如Apache Spark、Hadoop或HBase) 來處理和分析超大數據集,則應該使用MRS。MRS讓您能夠控制集群的配置和集群上安裝的軟件。
DWS這類數據倉庫是專為不同類型的分析而設計的。數據倉庫旨在將來自多個不同來源 (如庫存、財務和零售銷售系統)的數據匯集在一起。為了確保整個公司的報告具有一致的準確性,數據倉庫采用一種高度結構化的方式來存儲數據。這種結構可將數據一致性規則直接構建到數據庫的表中。同時對標準SQL,事務支持傳統數據庫語法有很好的兼容性。
當您需要對大量結構化數據執行復雜查詢并獲得超快性能時,DWS 就是理想的服務選擇。
DWS與Hive在功能上有哪些差別?
DWS與Hive在功能上存在一定的差異,主要體現在以下幾個方面:
1.Hive是基于Hadoop MapReduce的數據倉庫,DWS是基于Postgres的MPP的數據倉庫。
2.Hive的數據在HDFS中存儲,DWS的數據可以在本地存儲,也可以通過外表的形式通過OBS進行存儲。
3.Hive不支持索引,DWS支持索引,所以查詢速度DWS 更快。
4.Hive不支持存儲過程,DWS支持存儲過程,使用場景更廣泛。
5.DWS 比Hive對SQL的支持更豐富,包括函數、自定義函數、存儲過程。
6.Hive不支持事務,DWS支持完整事務。
7.在數據可靠性方面,Hive和DWS 均支持副本,可靠性基本一致。
- 在性能上,DWS極大地優于Hive。
DWS和Hive基于各自的功能特點,在應用場景上,Hive僅用于離線分析場景,DWS適用于在線分析場景及AD-Hoc(即席查詢)場景。
什么是用戶配額?
云服務對用戶的資源數量和容量做了限制。如果資源配額限制滿足不了用戶的使用需求,可以通過工單系統來提交您的申請,并告知您申請提高配額的理由。在通過我們的審理之后,我們會更新您的配額并進行通知。
如何獲取Access Key ID(AK)和 Secret Access Key(SK)?
用戶可以登錄管理控制臺創建訪問密鑰,如果您已經創建過了,也可以使用已有的訪問密鑰。
1.登錄管理控制臺。
2.將鼠標移到右上角的用戶名,單擊“我的憑證”。
3.再單擊“管理訪問密鑰”頁簽,可以查看已有的訪問密鑰,也可以單擊“新增訪問密鑰”進行創建。
訪問密鑰是 IAM 身份認證的重要憑證,只有在新增訪問密鑰時,用戶才可以下載到含有 Access Key ID(AK)和 Secret Access Key(SK)的密鑰文件,在管理控制臺只能查看到 Access Key ID,如果您未曾下載過該密鑰文件,請聯系您的管理員進行獲取,或者重新創建。
說明每個用戶最多可創建 2 個訪問密鑰,有效期為永久。為了帳號安全性,建議您定期更換并妥善保 存訪問密鑰。
用戶和角色是什么關系?
用戶和角色在整個集群范圍內是共享的,但是其數據并不共享。即用戶可以連接任何數據庫,但當連接成功后,任何用戶都只能訪問連接請求里聲明的那個數據庫。
- 角色(ROLE)本質上是一組權限的集合,通常情況下使用ROLE來組織權限,使用用戶進行權限的管理和業務操作。
- 角色之間的權限可以繼承,用戶組的所有用戶可自動繼承對應角色的權限。
- 數據庫中USER與ROLE的關系為:USER的權限來自于ROLE。
- 用戶組包含了具有相同權限的用戶集合。
- 用戶可以看作是具有登錄權限的角色。
- 角色可以看作是沒有登錄權限的用戶。
DWS提供的權限包括“管控面”各組件的操作維護權限,在實際應用時需根據業務場景為各用戶分別配置不同權限。為了提升權限管理的易用性,“管控面”引入角色的功能,通過選取指定的權限并統一授予角色,以權限集合的形式實現了權限集中查看和管理。
集中權限管理中權限、角色和用戶的關系如下圖所示。

DWS提供多種權限,根據業務場景實際需要選擇指定的權限授予不同角色,可能是一個或者多個權限對應一個角色。
通過GRANT把角色授予用戶后,用戶即具有了角色的所有權限。推薦使用角色進行高效權限分配。只對自己的表有所有權限,對其他用戶放在屬于各自模式下的表無權限。
- 角色A:授予操作權限A和B,用戶A和用戶B通過分配角色A取得對應的權限。
- 角色B:授予操作權限C,用戶C通過分配角色B取得對應的權限。
- 角色C:授予操作權限D和E,用戶C通過分配角色C取得對應的權限。
如何查看數據庫用戶的創建時間?
方式一:
在創建DWS數據庫用戶時,如果指定了用戶的生效時間(VALID BEGIN)與用戶創建時間一致,且之后未修改過該用戶生效時間的情況下,就可以使用視圖PG_USER查看用戶列表,并通過valbegin字段查看該用戶的生效時間,即該用戶的創建時間。
示例:
創建用戶jerry指定生效時間為當前創建時間。
CREATE USER jerry PASSWORD 'password' VALID BEGIN '2022-05-19 10:31:56';
通過查詢視圖PG_USER查看用戶列表。valbegin字段顯示了jerry的生效時間,即jerry的創建時間。
SELECT * FROM PG_USER;
usename | usesysid | usecreatedb | usesuper | usecatupd | userepl | passwd | valbegin | valuntil | respool | parent | spacelimit | useconfig | nodegroup | tempspacelimit |
spillspacelimit
---------+----------+-------------+----------+-----------+---------+----------+------------------------+----------+--------------+--------+------------+-----------+-----------+----------------+
-----------------
Ruby | 10 | t | t | t | t | ******** | | | default_pool | 0 | | | | |
dbadmin | 16393 | f | f | f | f | ******** | | | default_pool | 0 | | | | |
jack | 451897 | f | f | f | f | ******** | | | default_pool | 0 | | | | |
emma | 451910 | f | f | f | f | ******** | | | default_pool | 0 | | | | |
jerry | 457386 | f | f | f | f | ******** | 2022-05-19 10:31:56+08 | | default_pool | 0 | | | | |
(5 rows)
方式二:
通過系統表PG_AUTH_HISTORY的passwordtime字段查看用戶最初的密碼創建時間,即該用戶的創建時間。需要有系統管理員權限才可以訪問此系統表。
select roloid, min(passwordtime) as create_time from pg_auth_history group by roloid order by roloid;
示例:
通過查詢視圖PG_USER獲取用戶jerry的OID為457386, 查詢passwordtime字段獲取到用戶jerry的創建時間為2022-05-19
10:31:56。
select roloid, min(passwordtime) as create_time from pg_auth_history group by roloid order by roloid;
roloid | create_time
--------+-------------------------------
10 | 2022-02-25 09:53:38.711785+08
16393 | 2022-02-25 09:55:17.992932+08
451897 | 2022-05-18 09:42:26.897855+08
451910 | 2022-05-18 09:46:33.152354+08
457386 | 2022-05-19 10:31:56.037706+08
(5 rows)
數據在數據倉庫服務中是否安全?
安全。在大數據時代,數據是用戶的核心資產。將繼續秉承多年來向社會做出的“上不碰應用,下不碰數據”的承諾,保證用戶核心資產的安全。這是我們對用戶和社會的承諾,也是云平臺及其伙伴商業成功的保障和基石。
我們的數據倉庫服務工程師對整個數據倉庫系統進行了電信系統級別的安全增強,大量地采用了多年來在電信行業里積累的各種經驗和知識,特別是針對數據安全,用戶隱私方面的技術和專利。因此,數據倉庫服務是一款符合電信級質量要求的產品,滿足各級政府,金融機構,電信運營商對數據安全和用戶隱私的要求,并在以上各行業被廣泛使用。數據倉庫服務還獲得了如下安全認證:
- 網絡安全實驗室ICSL的認證:該認證是遵從英國當局頒布的網絡安全標準設立的。
- 隱私和安全管理當局PSA的官方認證:該認證滿足歐盟對數據安全和隱私的要求。
業務數據安全
數據倉庫服務構建在云平臺的基礎軟件設施之上,包括云主機彈性云主機和對象存儲服務OBS。
DWS用戶的業務數據是直接存放在集群的云主機當中,集群的云主機對DWS用戶本身不可見,只向用戶提供數據倉庫訪問服務,用戶以及云平臺的運維管理員均無法登錄DWS集群云主機進行操作。
DWS集群云主機操作系統進行了嚴格的安全加固,包括內核安全加固,系統最新補丁,權限控制,端口管理,協議與端口防攻擊等。
DWS提供完整的密碼策略、身份認證、會話管理、用戶權限管理和數據庫審計等安全措施。
快照數據安全
DWS的備份數據是以快照的形式存儲在OBS上 。OBS已通過中國數據中心聯盟的可信云安全認證。OBS上的數據支持訪問權限控制,密匙訪問,數據加密。DWS的快照數據僅用于數據的備份和恢復,無法被外界任何用戶訪問操作,包括DWS用戶本身。DWS系統管理員可以通過DWS Console的快照管理和賬單看到快照數據在OBS的空間使用情況。
網絡訪問安全
DWS的如下網絡安全部署設計使租戶之間實現100%的二三層網絡隔離,滿足政務,金融用戶的高等級安全隔離需要。
- DWS部署在租戶專屬的云主機環境中,不和任何其他租戶共享,從物理上隔絕了數據因為計算資源共享而被泄露的可能性。
- DWS集群的虛擬機通過虛擬私有云隔離,避免被其他租戶發現和入侵。
- 網絡劃分為業務平面和管理平面,兩個平面采用物理隔離的方式進行部署,保證業務、管理各自網絡的安全性。
- 安全組規則保護,租戶可以通過自定義安全組的功能,配置安全域的訪問規則,提供靈活的網絡安全性配置。
- 外部應用軟件訪問數據倉庫服務支持SSL網絡安全協議。
- 支持數據從OBS導入的加密傳輸。
數據倉庫使用哪些安全防護?
數據倉庫服務使用IAM和虛擬私有云來控制用戶、集群的網絡安全隔離。用戶對集群的訪問則采用了SSL安全連接和安全算法套件,支持雙向數字證書認證。
同時在每個集群中對節點的操作系統進行安全加固,僅允許合法地訪問操作系統文件,提高數據安全性。
可以修改DWS集群的安全組嗎?
DWS集群創建成功后可以在當前的安全組中添加、刪除或修改安全組規則。
您可以通過如下步驟編輯集群的安全組:
1.登錄DWS 管理控制臺。
2.在左側導航樹,單擊“集群管理”。
3.在集群列表中找到所需要的集群,然后單擊集群名稱。
4.在“集群詳情”頁面中,找到“安全組”參數,單擊安全組名稱進入安全組詳情頁面,您可以對安全組進行設置。
數據庫、數據倉庫、數據湖、湖倉一體分別是什么?
如今隨著互聯網以及物聯網等技術的不斷發展,越來越多的數據被生產出來,數據管理工具也得到了飛速的發展,大數據相關概念如雨后春筍一般應運而生,如從數據庫、數據倉庫、數據湖、湖倉一體等。這些概念分別指的是什么,又有著怎樣的聯系,同時,對應的產品與方案又是什么呢?本文將一一進行對比介紹。
什么是數據庫?
數據庫是“按照數據結構來組織、存儲和管理數據的倉庫”。
廣義上的數據庫,在20世紀60年代已經在計算機中應用了。但這個階段的數據庫結構主要是層次或網狀的,且數據和程序之間具備非常強的依賴性,應用較為有限。
現在通常所說的數據庫指的是關系型數據庫。關系數據庫是指采用了關系模型來組織數據的數據庫,其以行和列的形式存儲數據,具有結構化程度高,獨立性強,冗余度低等優點。1970年關系型數據庫的誕生,真正徹底把軟件中的數據和程序分開來,成為主流計算機系統不可或缺的組成部分。關系型數據庫已經成為目前數據庫產品中最重要的一員,幾乎所有的數據庫廠商新出的數據庫產品都支持關系型數據庫,即使一些非關系數據庫產品也幾乎都有支持關系數據庫的接口。
關系型數據庫的主要用于聯機事務處理OLTP(On-Line Transaction Processing)主要進行基本的、日常的事務處理,例如銀行交易等場景。
什么是數據倉庫?
隨著數據庫的大規模應用,使信息行業的數據爆炸式的增長。為了研究數據之間的關系,挖掘數據隱藏的價值,人們越來越多的需要使用聯機分析處理OLAP(On-Line Analytical Processing)進行數據分析,探究一些深層次的關系和信息。但是不同的數據庫之間很難做到數據共享,數據之間的集成與分析也存在非常大的挑戰。
為解決企業的數據集成與分析問題,數據倉庫之父比爾·恩門于1990年提出數據倉庫(Data Warehouse)。數據倉庫主要功能是將OLTP經年累月所累積的大量數據,通過數據倉庫特有的數據儲存架構進行OLAP,最終幫助決策者能快速有效地從大量數據中,分析出有價值的信息,提供決策支持。自從數據倉庫出現之后,信息產業就開始從以關系型數據庫為基礎的運營式系統慢慢向決策支持系統發展。
數據倉庫相比數據庫,主要有以下兩個特點:
- 數據倉庫是面向主題集成的。數據倉庫是為了支撐各種業務而建立的,數據來自于分散的操作型數據。因此需要將所需數據從多個異構的數據源中抽取出來,進行加工與集成,按照主題進行重組,最終進入數據倉庫。
- 數據倉庫主要用于支撐企業決策分析,所涉及的數據操作主要是數據查詢。因此數據倉庫通過表結構優化、存儲方式優化等方式提高查詢速度、降低開銷。
數據倉庫與數據庫的對比
| 維度 | 數據倉庫 | 數據庫 |
|---|---|---|
| 應用場景 | OLAP | OLTP |
| 數據來源 | 多數據源 | 單數據源 |
| 數據標準化 | 非標準化Schema | 高度標準化的靜態Schema |
| 數據讀取優勢 | 針對讀操作進行優化 | 針對寫操作進行優化 |
什么是數據湖?
在企業內部,數據是一類重要資產已經成為了共識。隨著企業的持續發展,數據不斷堆積,企業希望把生產經營中的所有相關數據都完整保存下來,進行有效管理與集中治理,挖掘和探索數據價值。
數據湖就是在這種背景下產生的。數據湖是一個集中存儲各類結構化和非結構化數據的大型數據倉庫,它可以存儲來自多個數據源、多種數據類型的原始數據,數據無需經過結構化處理,就可以進行存取、處理、分析和傳輸。數據湖能幫助企業快速完成異構數據源的聯邦分析、挖掘和探索數據價值。
數據湖的本質,是由“數據存儲架構+數據處理工具”組成的解決方案。
- 數據存儲架構:要有足夠的擴展性和可靠性,可以存儲海量的任意類型的數據,包括結構化、半結構化和非結構化數據。
- 數據處理工具,則分為兩大類:
- 第一類工具,聚焦如何把數據“搬到”湖里。包括定義數據源、制定數據同步策略、移動數據、編制數據目錄等。
- 第二類工具,關注如何對湖中的數據進行分析、挖掘、利用。數據湖需要具備完善的數據管理能力、多樣化的數據分析能力、全面的數據生命周期管理能力、安全的數據獲取和數據發布能力。如果沒有這些數據治理工具,元數據缺失,湖里的數據質量就沒法保障,最終會由數據湖變質為數據沼澤。
隨著大數據和AI的發展,數據湖中數據的價值逐漸水漲船高,價值被重新定義。數據湖能給企業帶來多種能力,例如實現數據的集中式管理,幫助企業構建更多優化后的運營模型,也能為企業提供其他能力,如預測分析、推薦模型等,這些模型能刺激企業能力的后續增長。
對于數據倉庫與數據湖的不同之處,可以類比為倉庫和湖泊的區別:倉庫存儲著來自特定來源的貨物;而湖泊的水來自河流、溪流和其他來源,并且是原始數據。
數據湖與數據倉庫的對比
| 維度 | 數據湖 | 數據倉庫 |
|---|---|---|
| 應用場景 | 可以探索性分析所有類型的數據,包括機器學習、數據發現、特征分析、預測等 | 通過歷史的結構化數據進行數據分析 |
| 使用成本 | 起步成本低,后期成本較高 | 起步成本高,后期成本較低 |
| 數據質量 | 包含大量原始數據,使用前需要清洗和標準化處理 | 質量高,可作為事實依據 |
| 適用對象 | 數據科學家、數據開發人員為主 | 業務分析師為主 |
什么是湖倉一體?
雖然數據倉庫和數據湖的應用場景和架構不同,但它們并不是對立關系。數據倉庫存儲結構化的數據,適用于快速的BI和決策支撐,而數據湖可以存儲任何格式的數據,往往通過挖掘能夠發揮出數據的更大作為,因此在一些場景上二者的并存可以給企業帶來更多收益。
湖倉一體,又被稱為Lake House,其出發點是通過數據倉庫和數據湖的打通和融合,讓數據流動起來,減少重復建設。Lake House架構最重要的一點,是實現數據倉庫和數據湖的數據/元數據無縫打通和自由流動。湖里的“顯性價值”數據可以流到倉里,甚至可以直接被數倉使用;而倉里的“隱性價值”數據,也可以流到湖里,低成本長久保存,供未來的數據挖掘使用。
數據智能方案
數據治理中心DataArts Studio為大型政企客戶量身定制跨越孤立系統、感知業務的數據資源智能管理解決方案,實現全域數據入湖,幫助政企客戶從多角度、多層次、多粒度挖掘數據價值,實現數據驅動的數字化轉型。
數據治理中心DataArts Studio的核心主要是智能數據湖FusionInsight,包含數據庫、數據倉庫、數據湖等各計算引擎平臺,提供了數據使能的全套能力,支持數據的采集、匯聚、計算、資產管理、數據開放服務的全生命周期管理。
擁有強大的湖、倉、庫引擎技術,比如數據湖敏捷構建、GaussDB數據庫快速遷移,數倉的實時分析等,對應服務如下:
- 數據庫:
?關系型數據庫包括:云數據庫RDS、云數據庫GaussDB(for MySQL)、云數據庫GaussDB(for openGauss)、云數據庫PostgreSQL、云數據庫SQL Server等。
- ?非關系型數據庫包括:文檔數據庫服務DDS,云數據庫 GaussDB NoSQL(包含Influx、Redis、Mongo、Cassandra)等。
- 數據倉庫:數據倉庫服務DWS。
- 數據湖\湖倉一體:云原生大數據MRS,數據湖探索DLI等。
- 數據治理中心:數據治理中心DataArts Studio。