Implementazione del monitoraggio dell'infrastruttura

La nostra infrastruttura è cresciuta silenziosamente oltre il punto in cui una persona può tenerla a mente. Gestiamo una flotta di server e servizi, e oggi di solito scopriamo che qualcosa è rotto da un reclamo del cliente piuttosto che dai nostri strumenti. Nessuno ha uno schermo unico che mostri se tutto è sano, e quando si verifica un incidente di notte non c'è un modo concordato per contattare la persona giusta. Vogliamo smettere di spegnere incendi alla cieca e iniziare a vedere i problemi prima dei nostri utenti.

Il compito è implementare un sistema di monitoraggio in tutto il nostro ambiente end to end. Abbiamo bisogno di metriche raccolte da host e servizi chiave, dashboard che rendano evidente lo stato attuale a colpo d'occhio e avvisi che scattino su veri guasti senza sommergere il team di rumore. Gli avvisi dovrebbero raggiungere un turno di reperibilità in modo che sia sempre chiaro chi è responsabile in questo momento, e le ore di silenzio e l'escalation dovrebbero essere gestite in modo sensato. Preferiremmo avere avvisi meno numerosi e affidabili piuttosto che un muro di avvisi che tutti imparano a ignorare.

Per favore, dicci quali strumenti sceglieresti e perché, come manterresti la configurazione manutenibile mentre aggiungiamo server e come regoleresti le soglie in modo che un avviso significhi sempre che è necessaria un'azione. La documentazione e un breve passaggio di consegne affinché il nostro team possa gestirlo successivamente fanno parte del lavoro.