目前業界的系統遷移方案會引發業務中斷時間長、需要人工操作導致成本高等問題,我們發布了一種采用文件實時同步、數據庫磁盤快照和網絡流量復制等技術,實現新老系統的實時同步。通過數據庫磁盤快照技術解決物理熱備份下數據庫的一致性問題,并將可能丟失的用戶操作以流量方式緩存起來,等到源系統所有業務正式切換到目的系統時,再將緩存的流量釋放到目的系統,使新老系統完全同步。采用海量文件同步閉環解決TB/PB級數據遷移時間長問題,實現快速、安全、一致的數據傳輸。
業界常見的系統遷移框架圖:
老系統停機 -> 老系統數據全量同步到新系統 -> 新老系統一致性校驗 -> 業務系統切換到老系統
改進后的方案流程框架圖:
老系統不中斷生產 -> 系統文件鏡像同步,并激活目的端 -> 實時全量+增量同步數據文件至新系統 -> 數據庫磁盤快照 ->
新系統啟用流量緩存 -> 新老系統一致性校驗 -> 將緩存的流量復制到新系統 -> 業務切換到新系統
在業界常見方案基礎上,采用全量同步及增量同步進行文件實時同步,數據庫磁盤快照保證一致性,并添加流量緩存方式保證業務不中斷。
- 全量同步系統/用戶數據到目的系統;增量同步利用文件變動檢測技術來同步實時變化的文件。
- 采用目錄分析及任務拆分(前)+線程池并發及資源保護(中)+重點數據校驗(后)完整的閉環流程實現快速、一致的同步。
- 針對數據庫直接通過文件進行熱備份可能產生的一致性問題,通過對源庫短暫鎖表,將臟數據文件生成快照同步到目的系統確保數據庫的一致性,期間業務仍然保持不中斷。
- 由于源系統正在實時生產,增量處理存在一定的延遲和誤差,所以引入網絡流量復制緩存技術來彌補增量同步的誤差,在保證系統數據一致性的前提下,遷移期間業務不中斷,服務始終可用。
相對業界技術而言,本方案所具有的如下優點:
- 適用場景廣泛,支持物理機、虛擬機及不同廠商云主機間的遷移,覆蓋主流操作系統;
- 基于操作系統實現數據盤、系統盤分離遷移,大大降低系統鏡像占用存儲空間大小和鏡像制作的時間,同時能提供遷移異常時選擇階段性重遷的便利性。遷移過程中僅同步差異部分,且支持遷移數據定制化,大大節省流量及帶寬;
- 針對大數據量 (TB/PB級) 遷移時間長問題,采用目錄分析及任務拆分(前)+線程池并發及源端系統資源保護(中)+重點數據校驗(后)完整的閉環流程來保證遷移過程不影響源機業務的前提下,最大限度實現快速,一致的數據傳輸;
- 采用數據庫磁盤快照技術,通過短暫鎖表,對臟數據文件生成快照同步到目的系統,實現業務不中斷的前提下保證數據庫事務的一致性;
- 采用流量復制緩存技術解決在系統切換過程中可能丟失少量業務請求的問題;
- 支持遷移的暫停及恢復,對源端資源占用可控,避免遷移操作影響源機業務,保證業務不中斷。
當前多數企業應用部署在物理/虛擬機環境,并且不希望停產,使用該方案可以實現業務不中斷,將現在企業應用系統遷移到云上。