关于服务
翻译我设计并构建实时管道，将您的业务从夜间批量导出转移到实时事件流。核心是Apache Kafka，作为一个可靠且高性能的数据摄取总线，之上我连接Flink或Spark Streaming，以满足状态处理的需求：窗口聚合、流连接、复杂事件检测。结果是数据在几秒钟内到达、处理并到达您的数据仓库或仪表板，而不是几个小时，您的团队不再等待早晨报告 — 他们可以立即响应正在发生的事情。
我从头到尾领导任务。我设置从您的应用程序、数据库和第三方系统的事件摄取，连接必要的连接器，以便变更数据捕获、日志和点击干净且无损地流入。我定义模式并建立模式注册表，以便生产者和消费者不会静默地相互破坏。我为您的实际负载选择分区、保留期和消费者组。在正确性至关重要的地方，我通过幂等生产者和事务写入实现精确一次交付 — 重试不会变成重复收费或重复指标。
同样重要的是，管道在生产中变得可管理和可靠。我添加延迟和吞吐量的监控，消费者滞后、死信队列的警报，以及明确的指示，以便值班工程师在凌晨3点时确切知道该做什么。我记录拓扑，提供基础设施即代码，并带领您的团队了解系统，以便您不会被锁定在我这里。反欺诈、实时分析、设备遥测或服务之间的事件总线 — 我交付一个快速、可观察且真正准备好迎接挑战的管道。
工作中通常包含的内容：
— Kafka集群设计：主题、分区和保留以适应您的负载
— 从数据库、应用程序和外部服务的连接器和变更捕获
— 在Flink或Spark Streaming中的流处理：窗口、连接、状态
— 精确一次保证、死信处理、监控和警报
我从头到尾领导任务。我设置从您的应用程序、数据库和第三方系统的事件摄取，连接必要的连接器，以便变更数据捕获、日志和点击干净且无损地流入。我定义模式并建立模式注册表，以便生产者和消费者不会静默地相互破坏。我为您的实际负载选择分区、保留期和消费者组。在正确性至关重要的地方，我通过幂等生产者和事务写入实现精确一次交付 — 重试不会变成重复收费或重复指标。
同样重要的是，管道在生产中变得可管理和可靠。我添加延迟和吞吐量的监控，消费者滞后、死信队列的警报，以及明确的指示，以便值班工程师在凌晨3点时确切知道该做什么。我记录拓扑，提供基础设施即代码，并带领您的团队了解系统，以便您不会被锁定在我这里。反欺诈、实时分析、设备遥测或服务之间的事件总线 — 我交付一个快速、可观察且真正准备好迎接挑战的管道。
工作中通常包含的内容：
— Kafka集群设计：主题、分区和保留以适应您的负载
— 从数据库、应用程序和外部服务的连接器和变更捕获
— 在Flink或Spark Streaming中的流处理：窗口、连接、状态
— 精确一次保证、死信处理、监控和警报
