Описание проекта
Сейчас наше приложение выполняет слишком много тяжёлой работы прямо внутри запроса, и пользователи ждут того, что вообще не должно блокировать загрузку страницы. Я хочу вынести всё это в полноценную очередь фоновых задач: приложение просто ставит задачу в очередь и сразу отвечает, а отдельные процессы-воркеры забирают задания и выполняют их. Ядру нужны именованные очереди, чтобы маршрутизировать разные типы работы, пулы воркеров с настраиваемой параллельностью, а также отложенные и запланированные задания, которые становятся доступными к выполнению только в заданный момент. Обязательны автоматические повторные попытки с экспоненциальным backoff и dead-letter для заданий, исчерпавших попытки, чтобы ничего не терялось молча.
Не менее важна наблюдаемость. Нужен дашборд мониторинга, показывающий реальную картину: пропускную способность по каждой очереди в реальном времени, счётчики успехов и ошибок, текущую глубину очереди и сколько заданий ждёт против выполняющихся, а также среднее и худшее время обработки. Когда задание падает, я хочу видеть ошибку, полезную нагрузку и историю повторов и уметь вручную вернуть его в очередь одним кликом. Дашборд также должен позволять приостановить очередь, аккуратно завершить воркеров и осмотреть запланированные задания до их запуска. Уточню границы: это не UI для крона, который лишь запускает повторяющиеся задачи, и не ретранслятор вебхуков. Фокус — асинхронная обработка на воркерах плюс сильная наблюдаемость вокруг неё.
Предложите бэкенд хранения и обоснуйте выбор. Мне важны гарантии доставки не менее одного раза, безопасная работа с параллельными воркерами, чтобы одно задание никогда не обрабатывалось дважды, и корректное graceful-завершение при деплое. Нужен протестированный код с понятной документацией по настройке, чтобы команда могла его запустить и развивать.
— Именованные очереди с пулами воркеров и настраиваемой параллельностью
— Повторы с экспоненциальным backoff и dead-letter очередь
— Отложенные и запланированные задания, доступные в заданное время
— Живой дашборд: пропускная способность, ошибки, глубина очередей, задержки
— Ручной возврат в очередь, пауза и мягкое завершение воркеров
Не менее важна наблюдаемость. Нужен дашборд мониторинга, показывающий реальную картину: пропускную способность по каждой очереди в реальном времени, счётчики успехов и ошибок, текущую глубину очереди и сколько заданий ждёт против выполняющихся, а также среднее и худшее время обработки. Когда задание падает, я хочу видеть ошибку, полезную нагрузку и историю повторов и уметь вручную вернуть его в очередь одним кликом. Дашборд также должен позволять приостановить очередь, аккуратно завершить воркеров и осмотреть запланированные задания до их запуска. Уточню границы: это не UI для крона, который лишь запускает повторяющиеся задачи, и не ретранслятор вебхуков. Фокус — асинхронная обработка на воркерах плюс сильная наблюдаемость вокруг неё.
Предложите бэкенд хранения и обоснуйте выбор. Мне важны гарантии доставки не менее одного раза, безопасная работа с параллельными воркерами, чтобы одно задание никогда не обрабатывалось дважды, и корректное graceful-завершение при деплое. Нужен протестированный код с понятной документацией по настройке, чтобы команда могла его запустить и развивать.
— Именованные очереди с пулами воркеров и настраиваемой параллельностью
— Повторы с экспоненциальным backoff и dead-letter очередь
— Отложенные и запланированные задания, доступные в заданное время
— Живой дашборд: пропускная способность, ошибки, глубина очередей, задержки
— Ручной возврат в очередь, пауза и мягкое завершение воркеров
Администрирование Наличные, Банковский перевод
