無法成功創建數據倉庫集群時怎么處理?
請檢查用戶賬戶余額是否少于100元,是否已經沒有配額創建新的數據倉庫集群,以及是否存在網絡問題。
如賬戶余額、配額、網絡均未發現問題,請聯系客戶經理,請客戶經理聯系后臺服務人員為您排查原因并解決問題。
如何清理與回收存儲空間?
DWS 數據倉庫中保存的數據在刪除后,可能沒有釋放占用的磁盤空間形成臟數據,導致磁盤浪費、創建及恢復快照性能下降等問題,如何清理?
清理與回收存儲空間對系統的影響如下:
- 刪除無用的臟數據,釋放存儲空間。
- 數據庫將進行大量讀寫操作,可能影響正常使用,建議選擇空閑時間執行。
- 數據庫的存儲空間越大,即數據可能越多,清理的時間越長。
清理與回收存儲空間操作步驟如下:
1.連接數據庫。具體操作步驟請參見《數據倉庫服務用戶指南》中“連接集群”章節。
2.執行以下命令,清理與回收存儲空間。
VACUUM FULL;
默認清理當前用戶在數據庫中,擁有權限的每一個表。沒有權限的表則直接跳過回收操作。
當系統顯示以下內容時,表示清理完成:
VACUUM
- VACUUM FULL回收所有過期的行空間,但是它需要對每個正在處理的表進行獨占鎖定,并且可能需要很長時間才能完成大型分布式數據庫表。一般建議對指定表執行VACUUM FULL,若需要對整個數據庫執行VACUUM FULL,建議在數據庫維護期間操作。
- 使用FULL參數會導致統計信息丟失,如果需要收集統計信息,請在語句命令中加上analyze關鍵字。例如,執行 VACUUM FULL ANALYZE; 命令。VACUUM的語法請參見《數據倉庫服務數據庫開發指南》中的相關章節。
為什么擴容后已使用存儲容量比擴容前減少了很多?
原因分析
擴容前,如果您沒有執行vacuum清理和回收存儲空間,DWS 數據倉庫中之前被刪除的數據,可能沒有釋放占用的磁盤空間形成臟數據,導致磁盤浪費。
而在擴容時,系統會做一次重分布,集群擴容時新節點添加完成后,原節點存儲的業務數據明顯多于新節點,此時系統自動在所有節點重新分布保存數據。在開始做重分布時,系統會自動執行一次vacuum,從而釋放了存儲空間,因此,擴容后已使用存儲容量減少了很多。
處理方法
建議您定期做vacuum full清理與回收存儲空間,防止數據膨脹。
如果執行vacuum后,已使用存儲容量仍然占用過高,請分析現有集群規格是否滿足業務需求,若不滿足,建議您對集群進行擴容。
如何查看DWS各節點的指標?例如CPU使用率、內存使用率、磁盤利用率、磁盤使用量等?
集群已使用容量指標,可通過云監控管理控制臺查看。查看方法:
1.登錄DWS管理控制臺,單擊集群列表中某個集群右側的“查看監控指標”進入云監控管理控制臺。
2.單擊
返回云服務監控界面,默認顯示“數據倉庫節點”,再單擊對應節點右側的“查看監控指標”,可查看某個節點的“磁盤使用量”。
DWS的磁盤空間/容量是如何統計的?
1.DWS的磁盤總容量統計:以3個數據節點為例,假設每個節點320G,總容量為960G。當存入一個1G的數據,DWS因為副本機制會將這1G的數據在兩個節點中都各存一份,共占2G的空間,如果再加上元數據、索引等,實際1G的數據,存入DWS后占用的空間不止2G。所以總容量為960G的3節點集群,總量能存480G的數據。因為存儲硬盤本身不貴,客戶數據才珍貴。
客戶在云的DWS控制臺上搭建的時候,頁面已經是按照一個節點的真正容量空間來統計的。比如dws.m3.xlarge,在搭建頁面是160G,但實際這個節點的磁盤是有320G的,已經將這個320G顯示為160G了,便于客戶按實際落盤數據進行搭建。
2.單個節點磁盤的使用情況的確認:
同樣的,以總容量為960G,3個數據節點為例,那么每個節點的磁盤容量就是320G。
登錄DWS控制臺,選擇“監控>節點監控>概覽”顯示每個節點的磁盤以及其他資源占用情況。
說明l? 節點管理看到的磁盤空間是DWS集群內所有的磁盤即系統盤、數據盤加到一起的容量,而在概覽里看到的磁盤空間只是集群內能做表數據存儲的可用空間,另外DWS集群中表是有備份的副本數的,表的備份數據也是需要占用磁盤存儲的。
l? 如果已確定由于磁盤空間不足導致集群狀態只讀,告警磁盤不可用的異常場景時,可參考“擴容集群”章節進行節點擴容處理。
增加CN和擴容集群分別在什么場景下使用?
CN并發介紹
CN全稱協調節點(Coordinator Node)。是和用戶關系最密切也是DWS內部非常重要的一個組件,它負責提供外部應用接口、優化全局執行計劃、向Datanode分發執行計劃,以及匯總、處理執行結果。CN是外部應用的接口,CN的并發能力直接決定了業務的并發度。
單CN的并發能力受如下幾個參數控制:
- max_connections : 允許和數據庫連接的最大并發連接數。此參數會影響集群的并發能力。默認值與集群規格有關,具體參見 “管理數據庫連接”章節。
- max_active_statements :設置全局的最大并發數量。此參數只應用到CN,且針對一個CN上的執行作業。默認值60,最多允許60個作業同時運行,其余作業將會排隊。
選擇增加CN還是擴容集群
- 連接數不足:初次創建集群時,集群默認的CN節點數是3,能基本滿足客戶的連接需求。當集群屬于高并發請求,各CN節點的連接數很大,或CN節點的CPU明顯高于DN節點的CPU時,建議增加CN節點數量,具體參見“管理CN節點”章節。
- 存儲容量和性能不足:隨著您的業務規模擴張,對數據存儲容量和性能有更高的要求時,或者集群整體CPU不足時,建議通過擴容集群進行集群節點的擴容。詳情請參見 “擴容集群”章節。
隨著業務規模擴大,集群擴容到一定節點規模后,也必然需要增加相應的CN節點,滿足DWS的分布式要求。簡言之,增加CN,不一定需要擴容集群,但是擴容集群后,會伴隨著增加CN節點的需求。