Monitoraggio dei server e allerta in caso di chiamata che le persone leggono

Impostare il monitoraggio inizia con una conversazione piuttosto che con il software: esaminiamo i tuoi servizi e concordiamo, per iscritto, su cosa conta come un incidente e cosa è rumore di lavoro ordinario. Una coda che cresce per dieci minuti all'interno della finestra di backup è rumore; la stessa coda che cresce a mezzogiorno è un incidente. Fino a quando quella linea non è tracciata, qualsiasi sistema di monitoraggio si trasforma in una sirena che nessuno sente entro la seconda settimana.

Poi costruisco i controlli. La disponibilità è misurata da più di un luogo e include un'analisi del contenuto della pagina: un server con un database vuoto restituisce un codice di risposta perfettamente sano. Spazio libero su ogni disco e il tasso con cui scompare, carico della CPU e della memoria, profondità delle code in background, date di scadenza per certificati e rinnovi di dominio, e conferma che un backup non solo è iniziato ma è anche terminato e può effettivamente essere ripristinato. Ogni controllo porta una gravità, e la gravità decide il canale: una linea su un cruscotto, un messaggio in chat o una telefonata alle tre del mattino.

Attorno ai controlli c'è la parte umana: un turno di lavoro, un percorso di escalation per il caso in cui la prima persona non risponda, un pannello di stato per la gestione scritto nel linguaggio del business invece di un muro di grafici, e una revisione programmata delle soglie. Tre cose che dichiaro in anticipo. Un avviso senza un'istruzione è inutile: ognuno di essi viene fornito con una nota che indica cosa controllare per primo e chi chiamare se ciò non aiuta. Le soglie sono sintonizzate in modo che le notifiche non arrivino mai in un flusso: un elenco in cui metà dei trigger sono falsi smette di essere letto del tutto. L'accesso ai server è personale e nominato; una singola password condivisa per l'intero team non viene utilizzata.

Cosa include il lavoro:
— una revisione dei tuoi servizi e un elenco concordato di ciò che conta come un incidente;
— controlli di disponibilità e contenuto, spazio su disco, monitoraggio del carico e delle code;
— monitoraggio della scadenza di certificati e domini, verifica che i backup abbiano successo;
— instradamento degli avvisi per gravità in diversi canali;
— un turno di lavoro con turni e una scala di escalation documentata;
— un pannello di stato per la gestione e un breve rapporto periodico;
— un'istruzione scritta per ogni tipo di avviso;
— una revisione delle soglie dopo il primo mese, basata su statistiche raccolte.