導入過程存儲傾斜即時檢測
更新時間 2023-11-24 10:05:45
最近更新時間: 2023-11-24 10:05:45
分享文章
本章節主要介紹導入過程存儲傾斜即時檢測的最佳實踐。
導入過程中對DN導入行數進行統計,導入完成后計算傾斜率,超過一定閾值時,立即進行告警。傾斜率通過(DN導入行數最大值-DN導入行數最小值)/導入總行數計算。目前,只支持INSERT和COPY導入。

說明必須設置enable_stream_operator=on,確保計劃下發到DN,DN一次性返回導入行數,從而可以在CN計算傾斜率。
使用方法
1.設置參數(表傾斜告警閾值table_skewness_warning_threshold和表傾斜告警最小行數table_skewness_warning_rows);
?表傾斜告警閾值取值范圍0~1,默認值為1,即關閉狀態,取其他值時為開啟狀態。
?表傾斜告警最小行數取值范圍0~2147483647,默認值為100,000。當導入總行數超過該值與導入DN數之積時,才可能觸發告警,從而不會在小數據量導入的場景進行無意義的告警。
show table_skewness_warning_threshold;
set table_skewness_warning_threshold = xxx;
show table_skewness_warning_rows;
set table_skewness_warning_rows = xxx;
2.執行導入,使用INSERT或者COPY;
3.發現并處理告警,告警信息包括表名、最小行數、最大行數、總行數、平均行數、傾斜率,以及提示信息(檢查數據分布或者修改參數)。
WARNING: Skewness occurs, table name: xxx, min value: xxx, max value: xxx, sum value: xxx, avg value: xxx, skew ratio: xxx
HINT: Please check data distribution or modify warning threshold