五个站点和邮件的备份和正常运行监控

我们运营五个公司网站和一个邮件服务器。备份存在的意义在于托管面板显示一条绿色线：某些东西在提供商那边的某个地方被写入，在同一台机器上，用打开服务器本身的相同凭据打开。这里没有人下载过这样的档案、解压过它，或尝试从中恢复网站。春天时，一个糟糕的模块更新让我们损失了一部分订单，我们花了两天时间仅仅是查找是否有可以回滚的内容。我们宁愿在一个安静的星期二得知这个答案，而不是在下一个故障的中间。

我们想要的是一个无聊的、书面的、可测试的例行程序。数据库和文件按照自己的时间表，保留合理数量的版本。两个存储位置同时存在，第二个完全在托管账户之外。一个测试服务器，副本不仅仅是存储，而是解压并启动，这样报告就会显示“网站已打开，管理员已登录，最后的订单存在”，而不是“档案是四个千兆字节”。另外，检查可用性时要查看页面内容，而不仅仅是响应代码，因为缓存的存根会以成功代码响应并谎称几个小时。证书到期和可用磁盘空间应该提前几周警告我们，而不是在它们到期的早晨。

我们坚持的一些条件，因为我们已经因相反的情况而受到伤害：

— 备份只有在实际从中恢复后才算有效；在此之前它不是备份，而是希望；
— 备份存储的凭据与服务器的凭据分开，否则一次入侵就会同时带走网站和副本；
— 警报经过调整，以便人们阅读，而不是静音：阈值和接收者在任何东西开启之前与我们达成一致；
— 用简单语言编写的恢复手册，专为我们自己的员工编写，以便值班的人员在夜间不会阅读他人的脚本；
— 一条简短的每日消息，告诉我们昨天的副本已制作并验证。