高危操作及解決方案
更新時間 2024-01-05 16:04:27
最近更新時間: 2024-01-05 16:04:27
分享文章
本節主要介紹高危操作及解決方案。
業務部署或運行過程中,用戶可能會觸發不同層面的高危操作,導致不同程度上的業務故障。為了能夠更好地幫助用戶預估及避免操作風險,本章節將從集群/節點、網絡與負載均衡、日志、云硬盤多個維度出發,為用戶展示哪些高危操作會導致怎樣的后果,以及為用戶提供相應的誤操作解決方案。
集群/節點
分類 高危操作 導致后果 誤操作后解決方案 master節點 修改集群內節點安全組 可能導致master節點無法使用
說明
命名規則:集群名稱-cce-control-隨機數參考購買混合集群,對安全組進行修復,放通安全組。 節點到期或被銷毀 該master節點不可用 不可恢復。 重裝操作系統 master組件被刪除 不可恢復。 自行升級master或者etcd組件版本 可能導致集群無法使用 回退到原始版本。 刪除或格式化節點/etc/kubernetes等核心目錄數據 該master節點不可用 不可恢復。 更改節點IP 該master節點不可用 改回原IP。 自行修改核心組件(etcd、kube-apiserver、docker等)參數 可能導致master節點不可用 按照推薦配置參數恢復,詳情請參見集群管理->配置管理。 自行更換master或etcd證書 可能導致集群不可用 不可恢復。 worker節點 修改集群內節點安全組 可能導致節點無法使用
說明
命名規則:集群名稱-cce-node-隨機數參照購買混合集群,對安全組進行修復,放通安全組。 節點被刪除 該節點不可用 不可恢復。 重裝操作系統 節點組件被刪除,節點不可用 重置節點,具體請參見重置節點。 升級節點內核 可能導致節點無法使用或網絡異常
說明
CCE集群依賴系統內核版本,如非必要,請不要使用yum update更新或重裝節點的操作系統內核(使用原鏡像或其它鏡像重裝均屬高危操作)- 更改節點IP 節點不可用 改回原IP。 自行修改核心組件(kubelet、kube-proxy等)參數 可能導致節點不可用、修改安全相關配置導致組件不安全等 按照推薦配置參數恢復。 修改操作系統配置 可能導致節點不可用 嘗試還原配置項或重置節點,具體請參見重置節點。 刪除/opt、/var/paas目錄,刪除數據盤 節點不可用 重置節點,具體請參見重置節點。 修改節點內目錄權限、容器目錄權限等 權限異常 不建議修改,請自行恢復。 對節點進行磁盤格式化或分區 節點不可用 重置節點,具體請參見重置節點。 在節點上安裝自己的其他軟件 導致安裝在節點上的Kubernetes組件異常,節點狀態變成不可用,無法部署工作負載到此節點 卸載已安裝軟件,嘗試恢復或重置節點,具體請參見重置節點
網絡與負載均衡
高危操作 導致后果 誤操作后解決方案 修改內核參數net.ipv4.ip_forward=0 網絡不通 修改內核參數為 ? net.ipv4.ip_forward=1 修改內核參數net.ipv4.tcp_tw_recycle=1 導致nat異常 修改內核參數 ? net.ipv4.tcp_tw_recycle=0 節點安全組配置未放通容器CIDR的53端口udp 集群內DNS無法正常工作 參照購買混合集群,對安全組進行修復,放通安全組。 通過ELB的控制臺在CCE管理的ELB創建自定義的監聽器 所做修改被CCE側重置或Ingress故障 通過service的yaml來自動創建監聽器。 通過ELB的控制臺在CCE管理的ELB綁定自定義的后端 禁止手動綁定后端。 通過ELB的控制臺修改CCE管理的ELB的證書 通過ingress的yaml來自動管理證書。 通過ELB的控制臺修改CCE管理的ELB監聽器名稱 禁止修改CCE管理的ELB監聽器名稱。 通過ELB的控制臺修改CCE管理的ELB實例、監聽器、轉發策略的描述 禁止修改CCE管理的ELB實例、監聽器、轉發策略的描述。
日志
| 高危操作 | 導致后果 | 誤操作后解決方案 |
|---|---|---|
| 刪除宿主機/tmp/ccs-log-collector/pos目錄 | 日志重復采集 | 無 |
| 刪除宿主機/tmp/ccs-log-collector/buffer目錄 | 日志丟失 | 無 |
云硬盤
| 高危操作 | 導致后果 | 誤操作后解決方案 | 備注 |
|---|---|---|---|
| 控制臺手動解掛云硬盤 | Pod寫入報io error | 刪掉node上mount目錄,重新調度Pod | Pod里面的文件記錄了文件的采集位置 |
| 節點上umount磁盤掛載路徑 | Pod寫入本地磁盤 | 重新mount對應目錄到Pod中 | Buffer里面是待消費的日志緩存文件 |
| 節點上直接操作云硬盤 | Pod寫入本地磁盤 | 無 | 無 |