Coda di attività in background con dashboard di monitoraggio

In questo momento la nostra applicazione fa troppo lavoro pesante direttamente all'interno delle richieste, e gli utenti aspettano cose che non dovrebbero bloccare il caricamento della pagina. Voglio spostare tutto questo in una coda di attività in background completa: l'applicazione mette semplicemente un'attività nella coda e risponde immediatamente, mentre processi di lavoro separati prendono i lavori ed eseguono. Il core ha bisogno di code nominate per instradare diversi tipi di lavoro, pool di lavoratori con concorrenza configurabile, e anche lavori differiti e programmati che diventano disponibili solo in un momento specifico. Ripetizioni automatiche con backoff esponenziale sono obbligatorie, e una coda di dead-letter per i lavori che hanno esaurito i loro tentativi, così nulla scompare silenziosamente.

L'osservabilità è altrettanto importante. Abbiamo bisogno di una dashboard di monitoraggio che mostri la situazione reale: throughput per coda in tempo reale, contatori di successi ed errori, profondità attuale della coda e quanti lavori stanno aspettando rispetto a quelli in esecuzione, e tempo di elaborazione medio e peggiore. Quando un lavoro fallisce, voglio vedere l'errore, il payload utile, la cronologia dei tentativi e poterlo restituire manualmente alla coda con un clic. La dashboard deve anche permetterci di mettere in pausa una coda, spegnere i lavoratori in modo controllato e ispezionare i lavori programmati prima che vengano eseguiti. Per essere chiari sul campo: questo non è un'interfaccia utente per cron che esegue solo attività ricorrenti, e non è un ritrasmettitore di webhook. L'attenzione è sul processamento asincrono dei lavoratori più una forte osservabilità attorno ad esso.

Proponi una soluzione di archiviazione backend e giustifica la scelta. Mi interessa avere garanzie di consegna almeno una volta, operazione sicura con lavoratori concorrenti in modo che un lavoro non venga mai eseguito due volte, e corretta chiusura controllata durante il deployment. Abbiamo bisogno di codice testato con documentazione chiara per la configurazione in modo che il team possa eseguirlo ed estenderlo.

— Code nominate con pool di lavoratori e concorrenza configurabile
— Ripetizioni con backoff esponenziale e coda di dead-letter
— Lavori differiti e programmati, disponibili in un momento specificato
— Dashboard live: throughput, errori, profondità della coda, latenze
— Restituzione manuale alla coda, pausa e spegnimento controllato dei lavoratori