Wdrożenie monitorowania infrastruktury

Nasza infrastruktura cicho przekroczyła punkt, w którym jedna osoba może ją zapamiętać. Prowadzimy flotę serwerów i usług, a dzisiaj zazwyczaj dowiadujemy się, że coś jest zepsute z reklamacji klientów, a nie z naszych własnych narzędzi. Nikt nie ma jednego ekranu, który pokazuje, czy wszystko jest w porządku, a gdy incydent zdarza się w nocy, nie ma ustalonego sposobu, aby dotrzeć do odpowiedniej osoby. Chcemy przestać walczyć z pożarami w ciemno i zacząć dostrzegać problemy, zanim zrobią to nasi użytkownicy.

Zadaniem jest wdrożenie systemu monitorowania w naszym środowisku od początku do końca. Potrzebujemy metryk zbieranych z hostów i kluczowych usług, pulpitów nawigacyjnych, które na pierwszy rzut oka pokazują aktualny stan, oraz powiadomień, które uruchamiają się przy rzeczywistych awariach, nie zalewając zespołu hałasem. Powiadomienia powinny docierać do rotacji dyżurów, aby zawsze było jasne, kto jest odpowiedzialny w danym momencie, a godziny ciszy i eskalacja powinny być obsługiwane sensownie. Wolimy mieć mniej, ale wiarygodnych powiadomień niż ścianę ostrzeżeń, które wszyscy uczą się ignorować.

Proszę powiedz nam, które narzędzia byś wybrał i dlaczego, jak utrzymasz konfigurację w stanie używalności, gdy dodamy serwery, oraz jak dostosujesz progi, aby powiadomienie zawsze oznaczało, że potrzebna jest akcja. Dokumentacja i krótki przekaz, aby nasz zespół mógł to później obsługiwać, są częścią pracy.