Потоковий пайплайн реального часу на Apache Kafka

Зараз уся наша аналітика вважається повільними нічними батчами, і до ранку, коли цифри доїжджають на дашборди, вони вже застарілі на добу. Нам потрібно перейти на потокову обробку подій у реальному часі на базі Apache Kafka: наші застосунки та сервіси повинні публікувати події в момент їх виникнення, шар обробки — на льоту фільтрувати, збагачувати та агрегувати потоки, а результат — потрапляти в сховище та на дашборди за секунди, а не за години.

Обсяг роботи — повнофункціональний робочий пайплайн. Потрібно спроектувати топіки під наші типи подій, вбудувати продюсерів у існуючі застосунки, піднімати стадію потокової обробки, яка з'єднує та згортає потоки, і написати консьюмерів, які пишуть дані в наше сховище та віддають живі метрики на оперативні дашборди. Надійність для нас так само важлива, як швидкість: платформа повинна пережити перезапуски брокерів і всплески навантаження без втрати повідомлень, давати зрозумілі гарантії доставки та дозволяти переігрувати історію з будь-якої точки, коли ми додаємо нового споживача або відновлюємо пошкоджену таблицю.

Шукаємо інженера, який будував та експлуатував Kafka у продакшені, а не тільки експериментував з нею. Опишіть, будь ласка, яку стратегію партиціювання та зберігання ви пропонуєте під наш обсяг, як будете обробляти зміни схеми подій з часом та як організуєте моніторинг відставання консьюмерів і зворотного тиску. З нашого боку дамо приклади подій, поточну логіку батчей та доступ до тестового оточення для навантажувальних прогонів.