Flink CDC (Change Data Capture) 是一種用于捕獲數據庫變更日志的技術，常用于實時數據同步和數據流處理。MySQL CDC 是指通過 Flink 對 MySQL 數據庫變更進行捕獲和處理的能力。

MySQL CDC 的實現原理主要依賴于以下幾個關鍵技術：
數據庫日志：MySQL 支持二進制日志（binlog），它記錄了數據庫的所有變更信息。
數據庫客戶端：Flink 集成了不同數據庫的客戶端，如 Debezium 對 MySQL 的 binlog 解析。
變更數據捕獲：Debezium 引擎監控 binlog，并將其解析成 Flink 可以處理的 changelog 數據。

和Flink 什么區別？
Flink 是一個更通用的流處理平臺，而 Flink CDC 是構建在 Flink 之上，專注于變更數據捕獲和流式數據同步的工具集。
Apache Flink 是一個開源的流處理框架，用于實時數據流的處理和分析。Flink 提供了用于構建分布式流處理應用的豐富API，包括數據流編程模型、窗口操作、狀態管理、時間語義等。Flink 能夠以極高的吞吐量和低延遲運行復雜的數據分析任務，并且保證數據流的一致性和準確性。Flink 也支持批處理，因此它可以作為批處理和流處理的統一引擎。
Flink CDC 是 Flink 社區提供的變更數據捕獲工具集，它允許用戶捕獲數據庫的增量變化，并將這些變化實時地以流的形式提供給下游系統。Flink CDC 工具可以監控數據庫的變更，并將這些變更作為事件流輸出，這些事件流可以被 Flink 流處理作業所消費。

聯系：
Flink CDC 是基于 Flink 的生態系統構建的，它利用 Flink 的流處理能力來捕獲和分發數據庫的變更數據。
Flink CDC 產生的變更數據流可以被 Flink 流處理作業直接消費，實現近實時的數據同步和流處理。
Flink CDC 與 Flink 的集成提供了端到端的數據流解決方案，從數據源的變更捕獲到數據的流式處理。

區別：
功能定位：Flink 是一個通用的流處理框架，適用于各種流處理和批處理場景。Flink CDC 專注于捕獲和分發數據庫的變更數據。
使用場景：Flink 可以用于構建廣泛的數據處理應用，而 Flink CDC 主要用于數據同步、流式ETL、實時數據倉庫等需要數據庫變更捕獲的場景。
實現細節：Flink CDC 利用了 Flink 的內部機制，如狀態后端和檢查點機制，來保證變更數據的一致性和準確性。但它為數據庫變更捕獲提供了特定的連接器和API。

特點：

實時性
Flink CDC 利用數據庫的日志文件（如 MySQL 的 binlog）來捕獲數據變更事件，這意味著它可以幾乎無延遲地獲取到數據變化。
通過流處理框架 Apache Flink變更數據可以快速被處理和傳輸到下游系統，適合需要低延遲反應的業務場景。
支持多種數據庫
目前Flink CDC 支持廣泛使用的關系型數據庫如 MySQL，PostgreSQL， MongoDB，Oracle，SQL Server 等的支持。
這種廣泛的支持使得 Flink CDC 可以適用于多種存儲系統背景下的實時數據同步和分析需求。
容錯性
結合 Apache Flink 的狀態管理和檢查點機制（Checkpointing），Flink CDC 能夠在發生故障時保證數據處理的一致性并恢復到正確狀態。
這是企業級應用中非常重要的特征，確保了數據處理任務在面對硬件故障或網絡問題時依然能夠可靠運行。
靈活性與易用性
用戶可以通過簡單配置就能啟動一個CDC任務，無需編寫復雜代碼。
支持自定義Deserialization schema來解析變更事件，用戶可以根據自己需求進行定制化開發。
擴展性
由于基于 Apache Flink 實現，Flink CDC 自然繼承了 Flink 的可伸縮架構。用戶可以根據負載增加或減少任務節點。
支持動態表功能（Dynamic Table），允許用戶在不停止現有應用程序情況下修改表結構。
集成性
可以與Apache Kafka、Elasticsearch等其他大數據組件輕松集成，為復雜的大數據生態系統提供強大支撐。
提供了連接器（Connector）接口，使得將CDC與其他外部系統連接起來變得簡單快捷。
開源社區活躍：
作為 Apache 軟件基金會項目之一，Flink 和其CDC組件擁有活躍且龐大的開發者社區。這意味著問題和bug通常能夠快速被響應和解決，并且不斷有新功能被添加進來。
增量快照讀取
Flink CDC的增量快照讀取機制是在Flink CDC 2.x版本中引入的。這一機制允許Flink CDC以更高效的方式進行數據捕獲，它通過將數據表分割成多個chunk（分片），并行地對這些chunk進行快照讀取，從而提高了讀取速度和整體性能。

并發讀取

支持多個并發讀取任務，提高了數據捕獲的速度。
Chunk級別的checkpoint：在每個chunk讀取完成后進行一次checkpoint，提高了故障恢復的準確性和效率。
全量增量無鎖讀取算法：不需要數據庫鎖權限，降低了對數據庫的依賴和權限要求。
此外，Flink CDC 2.x版本還引入了Exactly-Once語義，確保數據處理結果的精確一次性，并且支持動態加表和無主鍵表的處理。

        在Flink CDC 2.3版本中，除了對MySQL CDC的優化，還增加了對Db2、MongoDB和Oracle CDC的支持，并且這些連接器也都接入了增量快照框架，從而提供了無鎖讀取、并行讀取和斷點續傳的能力。