1. 問題背景

Ceph是基于crush算法的分布式存儲系統，存儲進程(OSD)的權重是crush算法IO流量控制的基礎；OSD權重決定了硬盤的寫入流量大小、使用率；在存儲池部署規劃時，為了確保底層硬盤負載均衡，行業類做法都是要求硬盤大小規格一致，從而保證OSD權重一致；但是一個存儲集群的生命周期大概是5-8年，期間隨著硬盤陸續損壞，運維人員更換新的硬盤，這么長的運行時間內可能會出現原規格的硬盤停產，只能用新規格的硬盤，比如原來使用8T的硬盤，幾年后只有16T、20T的硬盤，因此合理的分配硬盤的權重對于硬盤的負載均衡、空間的使用率都十分重要。

2. 問題影響

目前在創建osd時，分配權重有兩種方案：

• 根據硬盤大小來分配權重，lsblk可以查看硬盤實際大小，例如3T硬盤設置osd權重7.3；14.6T的硬盤設置osd權重14.6T。
• 所有硬盤權重都設置統一標準，比如說1；那么3T硬盤權重1；14.6T的硬盤權重也為1；這種設置方案，對于同一規格大小的硬盤來說沒有問題，但是如果更換了容量更小的硬盤，可能會導致該硬盤空間快滿，影響存儲池使用；如果更換了容量更大的硬盤，可能會導致該硬盤空間浪費，實際使用不到。

如果一、二兩種方案混合使用：

• 部署時使用方案一，就是按照硬盤大小來設置osd權重，后續維護更換硬盤時，使用方案二，把osd權重設置為1，就會導致部分硬盤空間浪費，pool空間變小
• 部署時使用方案二，把osd權重設置為1，后續維護更換硬盤時，使用方案一，按照硬盤大小設置權重，會加劇部分硬盤的負載及空間使用，pool空間遭遇木桶效應，極有可能很快寫滿，影響業務。

3. 問題排查

查看osd權重命令：

ceph osd df tree | grep -v osd，可以查看每臺主機的權重，先以主機為單位快速排查，定位出權重有問題的主機

ceph osd tree-from $hostname，查看該主機下每個osd權重，定位出權重不一致的osd

4. 問題處理

重新設置osd權重：

ceph osd crush reweight osd.$id $weight