使用 Debezium 和 Kafka 进行流式数据库变更复制

我构建变更数据捕获 (CDC) 管道，将您的数据库转变为实时事件流，以便所有其他系统保持最新，而无需夜间批量导出和脆弱的导出脚本。使用 Debezium 和 Kafka，我直接连接到主存储的事务日志，并在每次提交时捕获每个插入、更新和删除。您的应用程序继续像现在一样写入一个数据库，我在需要的地方无形地传递这些更改。没有人手动更新数据，您永远不会醒来发现过时的仪表板或搜索索引滞后于现实数小时。

我的工作涵盖从源到汇的整个路径。我为您的引擎设置合适的 Debezium 连接器 — PostgreSQL、MySQL、SQL Server、MongoDB 或 Oracle — 并微调初始快照、偏移存储和连接器重启，以确保故障不会导致事件丢失或重复。我通过模式注册表处理模式演变，以便新列或重命名字段能够干净地到达消费者，而不会破坏他们。在交付方面，我将流连接到搜索集群、缓存、数据仓库和其他微服务，设计在正确性重要的地方使用精确一次语义，而在其他地方使用幂等的插入更新操作。

您将获得一个文档化的、可观察的管道，带有延迟指标、死信处理和警报，以及针对实际发生的生产故障的清晰程序。当您需要从头开始重建一个汇时，我将帮助重放历史，因为好的 CDC 不仅仅是一个流，而是一个可回放的所有更改的日志。命名源数据库和数据应该落在哪里，我将使您的系统自我同步。

— Debezium 连接器设置、快照和偏移量
— 模式注册表和安全的模式演变
— 精确一次和幂等交付到搜索、缓存和仓库
— 延迟监控、死信队列和历史重放