Implementación de monitoreo de infraestructura

Nuestra infraestructura ha superado silenciosamente el punto en el que una persona puede mantenerla en su cabeza. Operamos una flota de servidores y servicios, y hoy en día generalmente nos enteramos de que algo está roto a través de una queja de un cliente en lugar de a través de nuestras propias herramientas. Nadie tiene una pantalla única que muestre si todo está saludable, y cuando ocurre un incidente por la noche no hay una forma acordada de contactar a la persona adecuada. Queremos dejar de apagar incendios a ciegas y comenzar a ver problemas antes que nuestros usuarios.

La tarea es desplegar un sistema de monitoreo en nuestro entorno de extremo a extremo. Necesitamos métricas recopiladas de hosts y servicios clave, paneles que hagan que el estado actual sea obvio de un vistazo, y alertas que se activen en fallos reales sin ahogar al equipo en ruido. Las alertas deben llegar a una rotación de guardia para que siempre esté claro quién es el responsable en este momento, y las horas de silencio y la escalación deben manejarse de manera sensata. Preferiríamos tener menos alertas confiables que una pared de advertencias que todos aprenden a ignorar.

Por favor, díganos qué herramientas elegiría y por qué, cómo mantendría la configuración mantenible a medida que agregamos servidores, y cómo ajustaría los umbrales para que una alerta siempre signifique que se necesita acción. La documentación y una breve entrega para que nuestro equipo pueda ejecutarlo después son parte del trabajo.