Surveillance des serveurs et alertes d'appel que les gens lisent

La mise en place de la surveillance commence par une conversation plutôt que par un logiciel : nous passons en revue vos services et convenons, par écrit, de ce qui compte comme un incident et ce qui est du bruit de travail ordinaire. Une file d'attente qui grandit pendant dix minutes à l'intérieur de la fenêtre de sauvegarde est du bruit ; la même file d'attente qui grandit à midi est un incident. Tant que cette ligne n'est pas tracée, tout système de surveillance se transforme en sirène que personne n'entend au bout de deux semaines.

Ensuite, je construis les vérifications. La disponibilité est mesurée depuis plus d'un endroit et inclut un examen du contenu de la page — un serveur avec une base de données vide renvoie un code de réponse parfaitement sain. Espace libre sur chaque disque et le taux auquel il disparaît, charge du processeur et de la mémoire, profondeur des files d'attente en arrière-plan, dates d'expiration des certificats et renouvellements de domaine, et confirmation qu'une sauvegarde a non seulement commencé mais s'est également terminée et peut réellement être restaurée. Chaque vérification porte une gravité, et la gravité décide du canal : une ligne sur un tableau de bord, un message de chat ou un appel téléphonique à trois heures du matin.

Autour des vérifications vient la partie humaine : un planning de garde, un chemin d'escalade pour le cas où la première personne ne répond pas, un panneau de statut pour la direction rédigé dans le langage des affaires au lieu d'un mur de graphiques, et un examen programmé des seuils. Trois choses que j'affirme dès le départ. Une alerte sans instruction est inutile — chacune vient avec une note indiquant quoi vérifier en premier et qui appeler si cela ne fonctionne pas. Les seuils sont réglés de sorte que les notifications n'arrivent jamais en flux : une liste dans laquelle la moitié des déclencheurs sont faux cesse d'être lue. L'accès aux serveurs est personnel et nommé ; un mot de passe partagé unique pour toute l'équipe n'est pas utilisé.

Ce que le travail inclut :
— un examen de vos services et une liste convenue de ce qui compte comme un incident ;
— vérifications de disponibilité et de contenu, espace disque, charge et surveillance des files d'attente ;
— suivi des dates d'expiration des certificats et des domaines, vérification que les sauvegardes réussissent ;
— routage des alertes par gravité dans différents canaux ;
— un planning de garde avec des shifts et une échelle d'escalade documentée ;
— un panneau de statut pour la direction et un court rapport périodique ;
— une instruction écrite pour chaque type d'alerte ;
— un examen des seuils après le premier mois, basé sur les statistiques collectées.