服务器监控和人们阅读的值班警报

设置监控从对话开始，而不是软件：我们逐一审查您的服务，并书面达成一致，什么算作事件，什么是普通工作噪音。在备份窗口内十分钟内增长的队列是噪音；中午时分增长的同一队列是事件。在划定那条线之前，任何监控系统都会变成第二周没人听到的警报。

然后我构建检查。可用性从多个地方测量，并包括对页面内容的查看——一个空数据库的服务器返回一个完全健康的响应代码。每个磁盘的可用空间及其消失的速度、处理器和内存负载、后台队列的深度、证书和域名续订的到期日期，以及确认备份不仅开始而且完成并且可以实际恢复。每个检查都有一个严重性，严重性决定了通道：仪表板上的一行、聊天消息或凌晨三点的电话。

围绕检查的是人性化的部分：值班表、当第一个人不接电话时的升级路径、用业务语言编写的管理状态面板，而不是一墙的图表，以及对阈值的定期审查。我提前说明三件事。没有说明的警报是无用的——每个警报都附有说明，说明首先检查什么以及如果没有帮助该打给谁。阈值经过调整，以确保通知不会以流的形式到达：其中一半触发器为假的列表根本不再被阅读。对服务器的访问是个人化和命名的；整个团队不使用单一共享密码。

工作内容包括：
— 审查您的服务并达成一致的事件清单；
— 可用性和内容检查、磁盘空间、负载和队列监控；
— 证书和域名到期跟踪，验证备份成功；
— 按严重性将警报路由到不同通道；
— 带有班次的值班表和文档化的升级阶梯；
— 管理状态面板和简短的定期报告；
— 每种类型警报的书面说明；
— 在第一个月后基于收集的统计数据进行阈值审查。