Implantação de monitoramento de infraestrutura

Nossa infraestrutura cresceu silenciosamente além do ponto em que uma pessoa pode mantê-la na cabeça. Operamos uma frota de servidores e serviços, e hoje geralmente descobrimos que algo está quebrado a partir de uma reclamação de cliente, em vez de nossas próprias ferramentas. Ninguém tem uma única tela que mostre se tudo está saudável, e quando um incidente acontece à noite, não há uma maneira acordada de alcançar a pessoa certa. Queremos parar de apagar incêndios às cegas e começar a ver problemas antes que nossos usuários o façam.

A tarefa é implantar um sistema de monitoramento em nosso ambiente de ponta a ponta. Precisamos de métricas coletadas de hosts e serviços-chave, painéis que tornem o estado atual óbvio à primeira vista e alertas que disparem em falhas reais sem afogar a equipe em ruído. Os alertas devem alcançar uma rotação de plantão para que sempre fique claro quem é o responsável no momento, e horas de silêncio e escalonamento devem ser tratados de forma sensata. Preferimos ter menos alertas confiáveis do que uma parede de avisos que todos aprendem a ignorar.

Por favor, nos diga quais ferramentas você escolheria e por quê, como você manteria a configuração sustentável à medida que adicionamos servidores e como você ajustaria os limites para que um alerta sempre signifique que uma ação é necessária. A documentação e uma breve transferência para que nossa equipe possa operá-lo depois fazem parte do trabalho.