सेवा के बारे में
अनुवादितमैं एक डेटा इंजीनियर हूँ जो इवेंट स्ट्रीम के अंदर रहता हूँ, और Apache Kafka लगभग हर चीज़ की नींव है जो मैं बनाता हूँ। जब आपकी सेवाओं को बिना इंतज़ार किए बात करनी होती है, जब एनालिटिक्स को रात भर के बैचों में नहीं बल्कि सेकंडों में प्रतिक्रिया देनी होती है, या जब आप एक भी संदेश खोने का जोखिम नहीं उठा सकते — ये वही समस्याएँ हैं जिनका मैं सामना करता हूँ। मैंने Kafka क्लस्टरों को पहले प्रोटोटाइप से लेकर प्रति घंटे लाखों इवेंट्स के ट्रैफिक का सामना करने तक मार्गदर्शन किया है और मुझे पता है कि तेज किनारे कहाँ छिपे हैं।
मेरा काम डेटा से शुरू होता है। मैं डोमेन को इवेंट्स के रूप में मॉडल करता हूँ, तय करता हूँ कि किसे विषय में शामिल किया जाना चाहिए और किसे नहीं, और लोड को समान रूप से वितरित करते समय क्रमबद्धता की गारंटी को बनाए रखने के लिए एक विभाजन कुंजी चुनता हूँ। फिर मैं स्ट्रीम को स्वयं बनाता हूँ: थ्रूपुट या विश्वसनीयता के लिए ट्यून किए गए उत्पादक, लोड के लिए आकार में उपभोक्ता समूह, और Kafka Streams या Flink में स्ट्रीम प्रोसेसिंग नौकरियाँ जो डेटा को तुरंत जोड़ती, एग्रीगेट करती और समृद्ध करती हैं। मैं एक बार में अर्थ को गंभीरता से लेता हूँ: आइडेम्पोटेंट उत्पादक और लेनदेनात्मक लेखन ताकि पुनः प्रयास कभी भी डाउनस्ट्रीम में डुप्लिकेट न बनें।
खुशहाल पथ के परे, मैं उन चीज़ों के बारे में चिंतित हूँ जो मुझे रात में जगाए रखती हैं। मैं एक स्कीमा रजिस्ट्रि उठाता हूँ ताकि उत्पादक और उपभोक्ता एक-दूसरे को तोड़े बिना विकसित हो सकें, डेटा को डेटाबेस और ऑब्जेक्ट स्टोर्स में और वापस पंप करने के लिए Kafka Connect पाइपलाइनों का निर्माण करता हूँ, और उत्पादन में कुछ भी हिट करने से पहले मृत-पत्र कतारें, निगरानी और उपभोक्ता विलंब अलर्ट सेट करता हूँ। चाहे आप शून्य से शुरू कर रहे हों या संदेश खोने वाली एक नाजुक पाइपलाइन को बचा रहे हों — मैं कुछ ऐसा बनाने में मदद करूंगा जिस पर आप वास्तव में भरोसा कर सकें।
— Kafka क्लस्टर डिजाइन, विषय रणनीति और विभाजन, रिटेंशन ट्यूनिंग
— उत्पादक और उपभोक्ता समूह, ऑफसेट प्रबंधन, पुनः संतुलन
— Kafka Streams और Apache Flink के साथ स्ट्रीम प्रोसेसिंग
— एक बार में अर्थ, आइडेम्पोटेंट और लेनदेनात्मक लेखन
— Kafka Connect, स्कीमा रजिस्ट्रि, Avro और Protobuf
— निगरानी, उपभोक्ता विलंब अलर्ट और मृत-पत्र प्रबंधन
मेरा काम डेटा से शुरू होता है। मैं डोमेन को इवेंट्स के रूप में मॉडल करता हूँ, तय करता हूँ कि किसे विषय में शामिल किया जाना चाहिए और किसे नहीं, और लोड को समान रूप से वितरित करते समय क्रमबद्धता की गारंटी को बनाए रखने के लिए एक विभाजन कुंजी चुनता हूँ। फिर मैं स्ट्रीम को स्वयं बनाता हूँ: थ्रूपुट या विश्वसनीयता के लिए ट्यून किए गए उत्पादक, लोड के लिए आकार में उपभोक्ता समूह, और Kafka Streams या Flink में स्ट्रीम प्रोसेसिंग नौकरियाँ जो डेटा को तुरंत जोड़ती, एग्रीगेट करती और समृद्ध करती हैं। मैं एक बार में अर्थ को गंभीरता से लेता हूँ: आइडेम्पोटेंट उत्पादक और लेनदेनात्मक लेखन ताकि पुनः प्रयास कभी भी डाउनस्ट्रीम में डुप्लिकेट न बनें।
खुशहाल पथ के परे, मैं उन चीज़ों के बारे में चिंतित हूँ जो मुझे रात में जगाए रखती हैं। मैं एक स्कीमा रजिस्ट्रि उठाता हूँ ताकि उत्पादक और उपभोक्ता एक-दूसरे को तोड़े बिना विकसित हो सकें, डेटा को डेटाबेस और ऑब्जेक्ट स्टोर्स में और वापस पंप करने के लिए Kafka Connect पाइपलाइनों का निर्माण करता हूँ, और उत्पादन में कुछ भी हिट करने से पहले मृत-पत्र कतारें, निगरानी और उपभोक्ता विलंब अलर्ट सेट करता हूँ। चाहे आप शून्य से शुरू कर रहे हों या संदेश खोने वाली एक नाजुक पाइपलाइन को बचा रहे हों — मैं कुछ ऐसा बनाने में मदद करूंगा जिस पर आप वास्तव में भरोसा कर सकें।
— Kafka क्लस्टर डिजाइन, विषय रणनीति और विभाजन, रिटेंशन ट्यूनिंग
— उत्पादक और उपभोक्ता समूह, ऑफसेट प्रबंधन, पुनः संतुलन
— Kafka Streams और Apache Flink के साथ स्ट्रीम प्रोसेसिंग
— एक बार में अर्थ, आइडेम्पोटेंट और लेनदेनात्मक लेखन
— Kafka Connect, स्कीमा रजिस्ट्रि, Avro और Protobuf
— निगरानी, उपभोक्ता विलंब अलर्ट और मृत-पत्र प्रबंधन
