基于 Apache Kafka 的实时流处理管道

目前我们所有的分析都是通过缓慢的夜间批量计算的，等到早上数据到达仪表板时，已经过时一天。我们需要转向基于 Apache Kafka 的实时事件流处理：我们的应用程序和服务应该在事件发生时发布事件，处理层应该实时过滤、丰富和聚合流，结果应该在几秒钟内到达存储和仪表板，而不是几个小时。

工作范围是一个完整的工作管道。我们需要为我们的事件类型设计主题，将生产者集成到现有应用程序中，设置一个流处理阶段来连接和聚合流，并编写消费者将数据写入我们的存储并将实时指标传递到操作仪表板。可靠性对我们来说和速度一样重要：平台应该能够在不丢失消息的情况下承受代理重启和流量高峰，提供明确的交付保证，并允许在添加新消费者或恢复损坏的表时从任何点重放历史。

我们正在寻找一位在生产环境中构建和操作 Kafka 的工程师，而不仅仅是进行实验。请描述您会为我们的流量建议什么分区和存储策略，您将如何处理事件模式随时间的变化，以及您将如何组织消费者延迟和背压的监控。我们将提供事件示例、当前批处理逻辑和负载测试的测试环境访问。