基础设施监控部署

我们的基础设施已经悄然超出了一个人可以记住的范围。我们运营着一组服务器和服务，今天我们通常是通过客户投诉得知某些东西出现了故障，而不是通过我们自己的工具。没有人有一个单一的屏幕可以显示一切是否正常，当夜间发生事件时，也没有达成一致的方式来联系到合适的人。我们希望停止盲目灭火，开始在用户之前看到问题。

任务是将监控系统端到端地部署到我们的环境中。我们需要从主机和关键服务收集的指标，能够一目了然显示当前状态的仪表板，以及在真正的故障发生时发出的警报，而不是让团队淹没在噪音中。警报应该到达值班轮换，以便始终清楚当前谁负责，安静时间和升级应该合理处理。我们宁愿有更少、值得信赖的警报，而不是一堆每个人都学会忽视的警告。

请告诉我们您会选择哪些工具以及原因，您将如何保持设置的可维护性以便我们添加服务器，以及您将如何调整阈值以确保警报始终意味着需要采取行动。文档和简短的交接，以便我们的团队可以在之后运行它，都是工作的一部分。