Rollout der Infrastrukturüberwachung

Unsere Infrastruktur hat stillschweigend den Punkt überschritten, an dem eine Person sie im Kopf behalten kann. Wir betreiben eine Flotte von Servern und Diensten, und heute erfahren wir normalerweise von einem Problem durch eine Kundenbeschwerde, anstatt durch unsere eigenen Werkzeuge. Niemand hat einen einzigen Bildschirm, der zeigt, ob alles gesund ist, und wenn ein Vorfall nachts passiert, gibt es keinen vereinbarten Weg, die richtige Person zu erreichen. Wir wollen aufhören, blind zu löschen, und beginnen, Probleme zu sehen, bevor unsere Benutzer es tun.

Die Aufgabe besteht darin, ein Überwachungssystem in unserer Umgebung von Ende zu Ende bereitzustellen. Wir benötigen Metriken, die von Hosts und wichtigen Diensten gesammelt werden, Dashboards, die den aktuellen Zustand auf einen Blick offensichtlich machen, und Warnungen, die bei echten Ausfällen ausgelöst werden, ohne das Team mit Lärm zu überfluten. Warnungen sollten eine Bereitschaftsrotation erreichen, damit immer klar ist, wer gerade verantwortlich ist, und ruhige Stunden sowie Eskalationen sollten sinnvoll gehandhabt werden. Wir hätten lieber weniger, vertrauenswürdige Warnungen als eine Wand von Warnungen, die jeder lernt zu ignorieren.

Bitte teilen Sie uns mit, welche Werkzeuge Sie wählen würden und warum, wie Sie die Einrichtung wartbar halten würden, während wir Server hinzufügen, und wie Sie Schwellenwerte anpassen würden, damit eine Warnung immer bedeutet, dass Maßnahmen erforderlich sind. Dokumentation und eine kurze Übergabe, damit unser Team es danach betreiben kann, sind Teil des Jobs.