Резервное копирование и мониторинг пяти сайтов и почты

У компании пять сайтов и собственный почтовый сервер. Копии, насколько мы понимаем, делает хостинг: в панели есть строка «резервирование выполнено», и на этом наше знание заканчивается. Лежат они на той же машине и открываются теми же доступами, что и сам сервер. За три года никто ни разу не скачал такой архив, не распаковал его и не попробовал поднять из него сайт. Весной мы потеряли часть заказов из-за неудачного обновления модуля и двое суток выясняли, есть ли вообще к чему откатываться. Выяснять это второй раз уже в момент аварии мы не хотим.

Нужен скучный, записанный и проверяемый порядок. Базы и файлы — каждое по своему расписанию, с разумной глубиной хранения. Две площадки хранения, причём вторая вне хостинга и вне того же аккаунта. Тестовый сервер, на котором копия не просто лежит, а разворачивается и запускается: в отчёте должно быть написано «сайт открылся, администратор зашёл, последний заказ на месте», а не «архив весит четыре гигабайта». Отдельно — наблюдение за доступностью: проверять не только код ответа, но и содержимое страницы, потому что закэшированная заглушка отвечает успешным кодом и врёт часами. Плюс срок сертификатов и свободное место на дисках: предупреждать заранее, а не тем утром, когда всё закончилось.

Чего мы просим держаться особо:

— копия считается рабочей только после того, как из неё выполнено восстановление; до этого это не копия, а надежда;
— доступы к хранилищу копий отдельные от доступов к серверу — иначе взлом сервера уносит и копии одним движением;
— оповещения настраиваются так, чтобы их читали, а не отключали: порог срабатывания и адресат согласуются с нами заранее;
— инструкция по восстановлению человеческим языком, для наших сотрудников, чтобы дежурный ночью не разбирался в чужих скриптах;
— одно короткое ежедневное сообщение о том, что вчерашние копии сделаны и проверены.