हमारे सर्वरों के लिए केंद्रीकृत लॉग संग्रहण और अवलोकन

वर्तमान में हम उत्पादन में हो रही घटनाओं के प्रति अंधे हैं। लॉग दर्जनों सर्वरों में बिखरे हुए हैं, प्रत्येक अनुप्रयोग अपने स्वयं के प्रारूप में अपने स्वयं के फ़ाइलों में लिखता है, और जब कुछ टूटता है, तो हम SSH के माध्यम से लॉग इन करते हैं और मैन्युअल रूप से टेक्स्ट के गीगाबाइट्स के माध्यम से खोज करते हैं। आमतौर पर हम किसी समस्या के बारे में केवल तब सीखते हैं जब एक ग्राहक इसकी रिपोर्ट करता है। हम इसे सही तरीके से हल करना चाहते हैं: एक केंद्रीकृत लॉगिंग और अवलोकन स्टैक बनाना जो हर सर्वर और सेवा से लॉग और मेट्रिक्स को एक स्थान पर एकत्र करता है, ताकि पूरी टीम बिना मशीनों में लॉग इन किए चित्र देख सके।

लक्ष्य आर्किटेक्चर लॉग के लिए ELK या OpenSearch क्लस्टर है और मेट्रिक्स और विज़ुअलाइज़ेशन के लिए Grafana है। ठेकेदार से अपेक्षा की जाती है कि वह हमारे होस्ट पर लॉग कलेक्टर्स को तैनात करे, आने वाले स्ट्रीम को संरचित फ़ील्ड में सामान्यीकृत और पार्स करे, और डैशबोर्ड डिज़ाइन करे जो इंजीनियरों और प्रबंधन दोनों के लिए स्पष्ट हो। इसके ऊपर हमें अलर्टिंग की आवश्यकता है: जब त्रुटि दर बढ़ती है, जब प्रतिक्रिया देरी एक सीमा को पार करती है, जब कोई सेवा डेटा भेजना बंद कर देती है, या जब डिस्क स्थान या मेमोरी समाप्त हो जाती है, तो सूचित करें। अलर्ट उन चैनलों पर आने चाहिए जिनका हम पहले से उपयोग करते हैं, उचित सीमाओं के साथ ताकि हम शोर में डूब न जाएं।

हमें संग्रहण और इसकी लागत महत्वपूर्ण है। हम आपसे अनुरोध करते हैं कि आप इंडेक्स जीवनचक्र और रोटेशन को कॉन्फ़िगर करें ताकि ताजा डेटा गर्म और खोजने योग्य रहे, और पुराने लॉग आर्काइव में चले जाएं या अनुसूची पर हटा दिए जाएं। आर्किटेक्चर, पार्सिंग नियमों, और एक नई सेवा को पाइपलाइन से जोड़ने की प्रक्रिया का वर्णन करें ताकि हमारी टीम सिस्टम को बनाए रखने और विस्तारित करने में सक्षम हो सके। यदि आपने पहले से उत्पादन में ऐसे स्टैक का प्रबंधन किया है, तो हमें बताएं कि आप इसे हमारे वॉल्यूम के लिए कैसे स्केल करेंगे।

— लिनक्स सर्वरों और कंटेनराइज्ड अनुप्रयोगों से लॉग एकत्र करना
— संरचित पार्सिंग, इंडेक्सिंग, और रिटेंशन नीति
— त्रुटियों, देरी, और संसाधनों के लिए Grafana डैशबोर्ड
— त्रुटि स्पाइक्स, देरी, और मौन सेवाओं के लिए अलर्ट