Описание проекта
Сейчас вся наша аналитика считается медленными ночными батчами, и к утру, когда цифры доезжают до дашбордов, они уже устарели на сутки. Нам нужно перейти на потоковую обработку событий в реальном времени на базе Apache Kafka: наши приложения и сервисы должны публиковать события в момент их возникновения, слой обработки — на лету фильтровать, обогащать и агрегировать потоки, а результат — попадать в хранилище и на дашборды за секунды, а не за часы.
Объём работы — полноценный рабочий пайплайн. Требуется спроектировать топики под наши типы событий, встроить продюсеров в существующие приложения, поднять стадию потоковой обработки, которая соединяет и сворачивает потоки, и написать консьюмеров, которые пишут данные в наше хранилище и отдают живые метрики в оперативные дашборды. Надёжность для нас так же важна, как скорость: платформа должна переживать перезапуски брокеров и всплески нагрузки без потери сообщений, давать понятные гарантии доставки и позволять переигрывать историю с любой точки, когда мы добавляем нового потребителя или восстанавливаем повреждённую таблицу.
Ищем инженера, который строил и эксплуатировал Kafka в продакшене, а не только экспериментировал с ней. Опишите, пожалуйста, какую стратегию партиционирования и хранения вы предложите под наш объём, как будете обрабатывать изменения схемы событий со временем и как организуете мониторинг отставания консьюмеров и обратного давления. Со своей стороны дадим примеры событий, текущую логику батчей и доступ к тестовому окружению для нагрузочных прогонов.
Объём работы — полноценный рабочий пайплайн. Требуется спроектировать топики под наши типы событий, встроить продюсеров в существующие приложения, поднять стадию потоковой обработки, которая соединяет и сворачивает потоки, и написать консьюмеров, которые пишут данные в наше хранилище и отдают живые метрики в оперативные дашборды. Надёжность для нас так же важна, как скорость: платформа должна переживать перезапуски брокеров и всплески нагрузки без потери сообщений, давать понятные гарантии доставки и позволять переигрывать историю с любой точки, когда мы добавляем нового потребителя или восстанавливаем повреждённую таблицу.
Ищем инженера, который строил и эксплуатировал Kafka в продакшене, а не только экспериментировал с ней. Опишите, пожалуйста, какую стратегию партиционирования и хранения вы предложите под наш объём, как будете обрабатывать изменения схемы событий со временем и как организуете мониторинг отставания консьюмеров и обратного давления. Со своей стороны дадим примеры событий, текущую логику батчей и доступ к тестовому окружению для нагрузочных прогонов.
Дизайн и Мультимедиа Наличные, Банковский перевод
