Описание услуги
Настройка наблюдения начинается не с установки программ, а с разбора: что в вашей инфраструктуре считается аварией, а что — рабочим шумом. Рост очереди на десять минут в окно резервного копирования — шум, та же очередь в полдень — авария. Пока эта граница не проведена и не записана словами, любая система мониторинга превращается в сирену, которую перестают слышать на второй неделе.
Дальше собираю сами проверки. Доступность — не одним запросом с одной точки, а с нескольких, и с проверкой содержимого страницы: код ответа 200 отдаёт и сайт, у которого пустая база. Свободное место на дисках и скорость, с которой оно исчезает; нагрузка на процессор и память; глубина фоновых очередей; сроки сертификатов и продления доменов; подтверждение того, что резервная копия не только запустилась, но и завершилась и разворачивается обратно. У каждой проверки своя срочность, и срочность решает канал: строка в панели, сообщение в чат или звонок в три часа ночи.
Вокруг проверок — человеческая часть: дежурный график, эскалация на случай, когда первый не ответил, панель состояния для руководителя на языке бизнеса, а не стена графиков, и регулярный пересмотр порогов. Три вещи оговариваю сразу. Тревога без инструкции бесполезна — к каждой пишется, что проверять первым делом и кому звонить, если не помогло. Пороги настраиваются так, чтобы оповещения не шли потоком: список, где половина срабатываний ложные, перестают читать целиком. Доступы к серверам именные, а общий пароль для всей команды не используется.
Что входит в работу:
— разбор сервисов и согласованный перечень того, что считается аварией;
— проверки доступности и содержимого, места на дисках, нагрузки и очередей;
— контроль сроков сертификатов и доменов, проверка успешности резервных копий;
— маршрутизация оповещений по срочности в разные каналы;
— дежурный график со сменами и лестницей эскалации;
— панель состояния для руководителя и короткий отчёт за период;
— инструкция «что делать» на каждый вид тревоги;
— пересмотр порогов через месяц работы по накопленной статистике.
Дальше собираю сами проверки. Доступность — не одним запросом с одной точки, а с нескольких, и с проверкой содержимого страницы: код ответа 200 отдаёт и сайт, у которого пустая база. Свободное место на дисках и скорость, с которой оно исчезает; нагрузка на процессор и память; глубина фоновых очередей; сроки сертификатов и продления доменов; подтверждение того, что резервная копия не только запустилась, но и завершилась и разворачивается обратно. У каждой проверки своя срочность, и срочность решает канал: строка в панели, сообщение в чат или звонок в три часа ночи.
Вокруг проверок — человеческая часть: дежурный график, эскалация на случай, когда первый не ответил, панель состояния для руководителя на языке бизнеса, а не стена графиков, и регулярный пересмотр порогов. Три вещи оговариваю сразу. Тревога без инструкции бесполезна — к каждой пишется, что проверять первым делом и кому звонить, если не помогло. Пороги настраиваются так, чтобы оповещения не шли потоком: список, где половина срабатываний ложные, перестают читать целиком. Доступы к серверам именные, а общий пароль для всей команды не используется.
Что входит в работу:
— разбор сервисов и согласованный перечень того, что считается аварией;
— проверки доступности и содержимого, места на дисках, нагрузки и очередей;
— контроль сроков сертификатов и доменов, проверка успешности резервных копий;
— маршрутизация оповещений по срочности в разные каналы;
— дежурный график со сменами и лестницей эскалации;
— панель состояния для руководителя и короткий отчёт за период;
— инструкция «что делать» на каждый вид тревоги;
— пересмотр порогов через месяц работы по накопленной статистике.
