Cola de tareas en segundo plano con panel de monitoreo

En este momento, nuestra aplicación realiza demasiado trabajo pesado directamente dentro de las solicitudes, y los usuarios esperan cosas que no deberían bloquear la carga de la página en absoluto. Quiero mover todo esto a una cola de tareas en segundo plano con todas las funciones: la aplicación simplemente coloca una tarea en la cola y responde de inmediato, mientras que procesos de trabajo separados toman trabajos y los ejecutan. El núcleo necesita colas nombradas para enrutar diferentes tipos de trabajo, grupos de trabajadores con concurrencia configurable, y también trabajos diferidos y programados que solo estén disponibles en un momento específico. Los reintentos automáticos con retroceso exponencial son obligatorios, y una cola de cartas muertas para trabajos que han agotado sus intentos, para que nada desaparezca silenciosamente.

La observabilidad es igualmente importante. Necesitamos un panel de monitoreo que muestre la imagen real: rendimiento por cola en tiempo real, contadores de éxito y error, profundidad actual de la cola y cuántos trabajos están esperando frente a los que se están ejecutando, y tiempo de procesamiento promedio y en el peor de los casos. Cuando un trabajo falla, quiero ver el error, la carga útil útil, el historial de reintentos y poder devolverlo manualmente a la cola con un clic. El panel también debe permitirnos pausar una cola, apagar trabajadores de manera ordenada e inspeccionar trabajos programados antes de que se ejecuten. Para ser claros sobre el alcance: esto no es una interfaz de usuario para cron que solo ejecuta tareas recurrentes, y no es un retransmisor de webhook. El enfoque es el procesamiento de trabajadores asíncronos más una fuerte observabilidad a su alrededor.

Proponga una solución de almacenamiento en backend y justifique la elección. Me importan las garantías de entrega al menos una vez, operación segura con trabajadores concurrentes para que un trabajo nunca se ejecute dos veces, y un apagado ordenado correcto durante el despliegue. Necesitamos código probado con documentación clara para la configuración para que el equipo pueda ejecutarlo y ampliarlo.

— Colas nombradas con grupos de trabajadores y concurrencia configurable
— Reintentos con retroceso exponencial y cola de cartas muertas
— Trabajos diferidos y programados, disponibles en un momento especificado
— Panel en vivo: rendimiento, errores, profundidades de la cola, latencias
— Devolución manual a la cola, pausa y apagado ordenado de trabajadores