带有监控仪表板的后台任务队列

现在我们的应用程序在请求中直接执行了太多繁重的工作，用户在等待那些根本不应该阻塞页面加载的事情。我想将所有这些转移到一个功能齐全的后台任务队列：应用程序只需将任务放入队列并立即响应，而单独的工作进程抓取作业并执行它们。核心需要命名队列来路由不同类型的工作，具有可配置并发的工作池，以及仅在特定时间可用的延迟和计划作业。自动重试和指数退避是强制性的，还有一个死信队列，用于那些已耗尽尝试的作业，以确保没有任何东西悄然消失。

可观察性同样重要。我们需要一个监控仪表板，显示真实情况：实时每个队列的吞吐量、成功和错误计数器、当前队列深度以及等待与执行的作业数量，以及平均和最坏情况下的处理时间。当作业失败时，我想看到错误、有效负载、重试历史，并能够一键手动将其返回队列。仪表板还必须让我们暂停队列，优雅地关闭工作进程，并在作业运行之前检查计划作业。明确范围：这不是一个仅仅运行定期任务的cron UI，也不是一个网络钩子重传器。重点是异步工作处理以及围绕它的强可观察性。

提出一个后端存储解决方案并证明选择的合理性。我关心至少一次交付保证，安全操作与并发工作者，以确保作业不会重复运行，以及在部署期间的正确优雅关闭。我们需要经过测试的代码和清晰的文档以便设置，以便团队可以运行和扩展它。

— 带有工作池和可配置并发的命名队列
— 带有指数退避和死信队列的重试
— 延迟和计划作业，在指定时间可用
— 实时仪表板：吞吐量、错误、队列深度、延迟
— 手动返回队列、暂停和优雅关闭工作者