Асинхронный бэкенд на RabbitMQ и Kafka
Описание услуги
Я проектирую и собираю асинхронные, событийно-ориентированные бэкенды, которые делают сервисы независимыми друг от друга, устойчивыми к сбоям и готовыми к росту нагрузки. Когда запрос больше не ждёт, пока отработают все смежные шаги, ваш API остаётся быстрым, а фоновая работа идёт в своём темпе. Сначала я моделирую поток сообщений: какие события важны, кто их публикует, кто потребляет и что должно произойти при ошибке. По этой модели я строю реальную топологию в RabbitMQ или Kafka с понятными именами, продуманной маршрутизацией и явной ответственностью за каждую очередь и топик.
В RabbitMQ я настраиваю обменники, очереди и привязки под ваши настоящие маршруты, а затем пишу воркеры, которые корректно подтверждают сообщения, разумно используют prefetch и не теряют данные при перезапуске. Добавляю политику повторов с экспоненциальной задержкой, dead-letter обменники для «застрявших» сообщений и идемпотентные обработчики, чтобы повторная доставка не привела к двойному списанию или дублю отправки. Для потоков с высокой нагрузкой использую Kafka: партиционированные топики, consumer groups, управление офсетами и повторное чтение истории, чтобы можно было переобработать данные после выката новой фичи. В любом случае меня интересует back-pressure, гарантии порядка и поведение под нагрузкой, а не только идеальный сценарий.
Вы получаете фоновую обработку, которая переживает всплески и аварии: тяжёлые задачи, уведомления, интеграции и конвейеры данных идут через брокер, а не блокируют пользователя. Я отдаю понятные схемы потоков, протестированные продюсеры и консьюмеры, health-check, метрики и дашборды, а также инструкции для дежурного на случай реальных инцидентов. Могу расширить существующую систему или поднять её с нуля и передаю всё с документацией, чтобы команда спокойно развивала решение дальше.
— Проектирование топологии: обменники, очереди, топики, партиции
— Надёжные воркеры: ack, prefetch, повторы, dead-letter
— Идемпотентность, порядок и back-pressure под реальной нагрузкой
— Мониторинг, алерты и инструкции для продакшена
В RabbitMQ я настраиваю обменники, очереди и привязки под ваши настоящие маршруты, а затем пишу воркеры, которые корректно подтверждают сообщения, разумно используют prefetch и не теряют данные при перезапуске. Добавляю политику повторов с экспоненциальной задержкой, dead-letter обменники для «застрявших» сообщений и идемпотентные обработчики, чтобы повторная доставка не привела к двойному списанию или дублю отправки. Для потоков с высокой нагрузкой использую Kafka: партиционированные топики, consumer groups, управление офсетами и повторное чтение истории, чтобы можно было переобработать данные после выката новой фичи. В любом случае меня интересует back-pressure, гарантии порядка и поведение под нагрузкой, а не только идеальный сценарий.
Вы получаете фоновую обработку, которая переживает всплески и аварии: тяжёлые задачи, уведомления, интеграции и конвейеры данных идут через брокер, а не блокируют пользователя. Я отдаю понятные схемы потоков, протестированные продюсеры и консьюмеры, health-check, метрики и дашборды, а также инструкции для дежурного на случай реальных инцидентов. Могу расширить существующую систему или поднять её с нуля и передаю всё с документацией, чтобы команда спокойно развивала решение дальше.
— Проектирование топологии: обменники, очереди, топики, партиции
— Надёжные воркеры: ack, prefetch, повторы, dead-letter
— Идемпотентность, порядок и back-pressure под реальной нагрузкой
— Мониторинг, алерты и инструкции для продакшена
Связаться с фрилансером
Закажите услугу или задайте вопрос исполнителю.
Контакты фрилансера
E-mailПоказать
