Déploiement de la surveillance de l'infrastructure

Notre infrastructure a silencieusement dépassé le point où une personne peut la garder en tête. Nous gérons une flotte de serveurs et de services, et aujourd'hui, nous apprenons généralement qu'il y a un problème par une plainte de client plutôt que par nos propres outils. Personne n'a un écran unique qui montre si tout est en bonne santé, et quand un incident se produit la nuit, il n'y a pas de moyen convenu d'atteindre la bonne personne. Nous voulons arrêter de lutter à l'aveugle et commencer à voir les problèmes avant nos utilisateurs.

La tâche consiste à déployer un système de surveillance dans notre environnement de bout en bout. Nous avons besoin de métriques collectées à partir des hôtes et des services clés, de tableaux de bord qui rendent l'état actuel évident d'un coup d'œil, et d'alertes qui se déclenchent sur de vraies défaillances sans noyer l'équipe dans le bruit. Les alertes doivent atteindre une rotation d'astreinte afin qu'il soit toujours clair qui est responsable en ce moment, et les heures de silence et l'escalade doivent être gérées de manière sensée. Nous préférerions avoir moins d'alertes fiables qu'un mur d'avertissements que tout le monde apprend à ignorer.

Veuillez nous dire quels outils vous choisiriez et pourquoi, comment vous garderiez la configuration maintenable à mesure que nous ajoutons des serveurs, et comment vous régleriez les seuils afin qu'une alerte signifie toujours qu'une action est nécessaire. La documentation et un court transfert afin que notre équipe puisse le gérer par la suite font partie du travail.