Впровадження системи моніторингу інфраструктури

Наша інфраструктура непомітно переросла той розмір, коли її можна тримати в голові. У нас парк серверів і сервісів, і сьогодні про поломку ми зазвичай дізнаємося зі скарги клієнта, а не від власних інструментів. Ні в кого немає одного екрана, де видно, чи все гаразд, а коли аварія стається вночі, немає й зрозумілого способу додзвонитися до потрібної людини. Хочеться перестати гасити пожежі наосліп і почати бачити проблеми раніше, ніж їх побачать користувачі.

Завдання — впровадити систему моніторингу по всьому нашому середовищу від початку до кінця. Потрібні метрики з хостів і ключових сервісів, дашборди, на яких поточний стан зрозумілий з першого погляду, і сповіщення, що спрацьовують на справжні збої й не топлять команду в шумі. Сповіщення мають іти на чергову зміну, щоб завжди було ясно, хто зараз відповідає, а тихі години й ескалація — оброблятися розумно. Нам потрібніше менше сповіщень, яким можна вірити, ніж стіна попереджень, яку всі вчаться ігнорувати.

Розкажіть, які інструменти ви запропонуєте й чому, як ви збережете конфігурацію підтримуваною в міру зростання кількості серверів і як налаштуєте пороги, щоб сповіщення завжди означало потребу дії. Документація й коротка передача справ, щоб далі наша команда впоралася сама, — частина роботи.