Внедрение системы мониторинга инфраструктуры

Наша инфраструктура незаметно переросла тот размер, когда её можно держать в голове. У нас парк серверов и сервисов, и сегодня о поломке мы обычно узнаём из жалобы клиента, а не от собственных инструментов. Ни у кого нет одного экрана, где видно, всё ли в порядке, а когда авария случается ночью, нет и понятного способа дозвониться до нужного человека. Хочется перестать тушить пожары вслепую и начать видеть проблемы раньше, чем их увидят пользователи.

Задача — внедрить систему мониторинга по всему нашему окружению от начала до конца. Нужны метрики с хостов и ключевых сервисов, дашборды, на которых текущее состояние понятно с первого взгляда, и оповещения, срабатывающие на настоящие сбои и не топящие команду в шуме. Оповещения должны уходить на дежурную смену, чтобы всегда было ясно, кто сейчас отвечает, а тихие часы и эскалация — обрабатываться разумно. Нам нужнее меньше оповещений, которым можно верить, чем стена предупреждений, которую все учатся игнорировать.

Расскажите, какие инструменты вы предложите и почему, как вы сохраните конфигурацию поддерживаемой по мере роста числа серверов и как настроите пороги, чтобы оповещение всегда означало необходимость действия. Документация и короткая передача дел, чтобы дальше наша команда справлялась сама, — часть работы.