परियोजना का विवरण
अनुवादितहमारी कंपनी कई असंबंधित सिस्टम पर काम करती है, और अभी कोई भी व्यक्ति उनके सभी पर क्या हो रहा है, इसका एक विश्वसनीय चित्र नहीं रखता। बिक्री डेटा एक डेटाबेस में है, बिलिंग जानकारी एक तीसरे पक्ष के API के माध्यम से उपलब्ध है, और कुछ विभाग अभी भी हमें हर सप्ताह CSV डंप भेजते हैं। मुझे किसी की आवश्यकता है जो एक पूर्ण ETL पाइपलाइन बनाए: इन सभी स्रोतों से डेटा निकालें, कच्चे रिकॉर्ड को एक एकल सुसंगत प्रारूप में परिवर्तित और साफ करें, और इसे सभी को केंद्रीय डेटा वेयरहाउस में लोड करें। यह एक रिपोर्टिंग डैशबोर्ड नहीं है और न ही एक पूर्ण बैकएंड पुनर्लेखन; डिलीवर करने योग्य वास्तव में एक डेटा एकीकरण परत है जो बैकग्राउंड में विश्वसनीय रूप से काम करती है ताकि डाउनस्ट्रीम उपकरणों के पास हमेशा ताजा और सही संख्या हो।
मेरे लिए सबसे महत्वपूर्ण बात यह है कि पाइपलाइन पूर्वानुमानित है और चुपचाप कुछ भी भ्रष्ट नहीं करती। मैं पूर्ण पुनः लोड के बजाय क्रमिक समन्वय चाहता हूं जहां स्रोत अनुमति देता है, ताकि हम केवल परिवर्तनों को स्थानांतरित करें और जैसे-जैसे मात्रा बढ़ती है, कार्यों को तेज रखें। प्रत्येक रन में डेटा गुणवत्ता जांच शामिल होनी चाहिए जो गायब फ़ील्ड, टूटे प्रकार, डुप्लिकेट कुंजी और व्यावसायिक नियमों का उल्लंघन करने वाली पंक्तियों को पकड़ती है, और ऐसे मामलों में स्पष्ट अलर्ट उत्पन्न करती है बजाय इसके कि चुपचाप वेयरहाउस में कचरा लिखा जाए। मुझे आइडेम्पोटेंसी की भी परवाह है: यदि कोई कार्य आधे रास्ते में विफल हो जाता है और फिर से चलता है, तो इसे डेटा को डबल नहीं करना चाहिए या वेयरहाउस को आधे लोड की स्थिति में छोड़ना चाहिए।
कृपया स्रोत मैपिंग और रूपांतरण लॉजिक का दस्तावेज़ीकरण करें ताकि मेरी टीम हस्तांतरण के बाद सब कुछ बनाए रख सके, और मेरी निरंतर निगरानी के बिना अनुसूचित निष्पादन सेट कर सके। हमें बताएं कि आप कौन सा तकनीकी स्टैक प्रस्तावित करेंगे और क्यों।
— कई स्रोतों से निकालें: SQL डेटाबेस, REST APIs, और साप्ताहिक CSVs
— रिकॉर्ड को एकल स्कीमा में बिना डुप्लिकेट के रूपांतरित और साफ करें
— केंद्रीय गोदाम में स्टेजिंग और अंतिम परतों के साथ लोड करें
— बदले हुए पंक्तियों के लिए वृद्धिशील समन्वय, पूर्ण पुनः लोड नहीं
— त्रुटि अलर्ट के साथ स्वचालित डेटा गुणवत्ता जांच
— अनुसूची पर पुनः प्रारंभ करने योग्य कार्य और हस्तांतरण के लिए दस्तावेज़ीकरण
मेरे लिए सबसे महत्वपूर्ण बात यह है कि पाइपलाइन पूर्वानुमानित है और चुपचाप कुछ भी भ्रष्ट नहीं करती। मैं पूर्ण पुनः लोड के बजाय क्रमिक समन्वय चाहता हूं जहां स्रोत अनुमति देता है, ताकि हम केवल परिवर्तनों को स्थानांतरित करें और जैसे-जैसे मात्रा बढ़ती है, कार्यों को तेज रखें। प्रत्येक रन में डेटा गुणवत्ता जांच शामिल होनी चाहिए जो गायब फ़ील्ड, टूटे प्रकार, डुप्लिकेट कुंजी और व्यावसायिक नियमों का उल्लंघन करने वाली पंक्तियों को पकड़ती है, और ऐसे मामलों में स्पष्ट अलर्ट उत्पन्न करती है बजाय इसके कि चुपचाप वेयरहाउस में कचरा लिखा जाए। मुझे आइडेम्पोटेंसी की भी परवाह है: यदि कोई कार्य आधे रास्ते में विफल हो जाता है और फिर से चलता है, तो इसे डेटा को डबल नहीं करना चाहिए या वेयरहाउस को आधे लोड की स्थिति में छोड़ना चाहिए।
कृपया स्रोत मैपिंग और रूपांतरण लॉजिक का दस्तावेज़ीकरण करें ताकि मेरी टीम हस्तांतरण के बाद सब कुछ बनाए रख सके, और मेरी निरंतर निगरानी के बिना अनुसूचित निष्पादन सेट कर सके। हमें बताएं कि आप कौन सा तकनीकी स्टैक प्रस्तावित करेंगे और क्यों।
— कई स्रोतों से निकालें: SQL डेटाबेस, REST APIs, और साप्ताहिक CSVs
— रिकॉर्ड को एकल स्कीमा में बिना डुप्लिकेट के रूपांतरित और साफ करें
— केंद्रीय गोदाम में स्टेजिंग और अंतिम परतों के साथ लोड करें
— बदले हुए पंक्तियों के लिए वृद्धिशील समन्वय, पूर्ण पुनः लोड नहीं
— त्रुटि अलर्ट के साथ स्वचालित डेटा गुणवत्ता जांच
— अनुसूची पर पुनः प्रारंभ करने योग्य कार्य और हस्तांतरण के लिए दस्तावेज़ीकरण
अन्य / विविध नकद, बैंक ट्रांसफर
