我们服务器的集中日志收集和可观察性

目前我们对生产中发生的事情基本上是盲目的。日志分散在十几个服务器上，每个应用程序以自己的格式写入自己的文件，当出现故障时，我们通过SSH登录并手动grep数GB的文本。通常我们只有在客户报告问题后才会了解到问题。我们想要妥善解决这个问题：构建一个集中式日志记录和可观察性堆栈，从每个服务器和服务收集日志和指标，并提供搜索功能，这样整个团队就可以在不登录机器的情况下看到全貌。

目标架构是一个用于日志的ELK或OpenSearch集群，加上用于指标和可视化的Grafana。承包商需要在我们的主机上部署日志收集器，规范化并解析传入流为结构化字段，并设计对工程师和管理层都清晰的仪表板。在此基础上，我们需要警报：当错误率上升、响应延迟超过阈值、服务停止发送数据或磁盘空间或内存耗尽时进行通知。警报应发送到我们已经使用的渠道，并设定适当的阈值，以免我们淹没在噪音中。

存储及其成本对我们很重要。我们要求您配置索引生命周期和轮换，以便新数据保持热和可搜索，旧日志按计划移至归档或删除。描述架构、解析规则以及将新服务连接到管道的程序，以便我们的团队可以继续维护和扩展系统。如果您已经在生产中管理过这样的堆栈，请告诉我们您将如何根据我们的数据量进行扩展。

— 从Linux服务器和容器化应用程序收集日志
— 结构化解析、索引和保留策略
— 用于错误、延迟和资源的Grafana仪表板
— 针对错误激增、延迟和静默服务的警报