परियोजना का विवरण
अनुवादितहमारा डेटा हर जगह बिखरा हुआ है, बस एक जगह नहीं। CRM में बिक्री, बिलिंग में ऑर्डर, प्लेटफॉर्म डैशबोर्ड में विज्ञापन खर्च, अलग-अलग एनालिटिक्स में उत्पाद घटनाएँ, और वित्त अपने स्प्रेडशीट रखता है। हर बार जब एक साधारण सवाल उठता है - हमने वास्तव में एक विशेष अभियान से कितना कमाया या पिछले क्वार्टर में कौन से ग्राहक गए - एक विश्लेषक निर्यात पर दो दिन बिताता है, पहचानकर्ताओं को मैन्युअल रूप से मिलाता है, और उम्मीद करता है कि योग सही है। हम इसे रोकना चाहते हैं। परियोजना का लक्ष्य एक एकल क्लाउड डेटा वेयरहाउस, Snowflake या BigQuery है, जो सभी प्रश्नों के लिए एक विश्वसनीय स्रोत बनता है।
हम एक इंजीनियर की तलाश कर रहे हैं जो शुरुआत से अंत तक पूरी पाइपलाइन को डिज़ाइन और निर्माण करेगा। यह लोडिंग से शुरू होता है: प्रत्येक स्रोत को एक विश्वसनीय शेड्यूल पर वेयरहाउस में लाना आवश्यक है - तैयार कनेक्टर्स के माध्यम से या कस्टम निर्यात के माध्यम से जहां कोई कनेक्टर नहीं है - वृद्धिशील लोड और परिवर्तन इतिहास के सावधानीपूर्वक प्रबंधन के साथ। कच्चे स्तर के ऊपर, डेटा को dbt का उपयोग करके सही तरीके से व्यवस्थित किया जाना चाहिए: प्रत्येक स्रोत को साफ और मानकीकृत करने वाले स्टेजिंग मॉडल, जोड़ों और डुप्लिकेशन के साथ मध्यवर्ती मॉडल, और स्पष्ट मार्ट जो व्यवसाय की भाषा बोलते हैं। परीक्षण, दस्तावेज़ीकरण, और संस्करण नियंत्रण डिलीवर करने योग्य का हिस्सा हैं, बाद में करने के लिए कुछ नहीं, ताकि परिवर्तन पारदर्शी हों और सुरक्षित रूप से बदले जा सकें।
अंतिम भाग एक सेमांटिक लेयर है जिसमें प्रमुख मैट्रिक्स की सहमति से परिभाषाएँ हैं: राजस्व, सक्रिय उपयोगकर्ता, मार्जिन, रिटेंशन - ताकि सभी रिपोर्टों में वही संख्या वही चीज़ का मतलब हो। अगला, हमें अपने BI टूल को इन तैयार मॉडलों से कनेक्ट करने की आवश्यकता है और कई प्रारंभिक डैशबोर्ड इकट्ठा करने की आवश्यकता है जो साबित करते हैं कि वेयरहाउस काम करता है और विश्लेषण टीम को आगे के विकास के लिए एक आधार देता है। कृपया अपने मॉडलिंग के दृष्टिकोण का वर्णन करें, आप लागत को नियंत्रण में कैसे रखेंगे, और प्रारंभिक निर्माण में लगभग कितना समय लगेगा।
— बिखरे हुए स्रोत: CRM, बिलिंग, विज्ञापन डैशबोर्ड, उत्पाद घटनाएँ, वित्तीय स्प्रेडशीट
— वेयरहाउस: Snowflake या BigQuery, आपकी सिफारिश के साथ औचित्य
— परीक्षण, दस्तावेज़ीकरण, और संस्करण नियंत्रण के साथ dbt मॉडल
— सहमति से मैट्रिक परिभाषाओं के साथ सेमांटिक लेयर
— BI कनेक्शन और कई प्रारंभिक डैशबोर्ड
हम एक इंजीनियर की तलाश कर रहे हैं जो शुरुआत से अंत तक पूरी पाइपलाइन को डिज़ाइन और निर्माण करेगा। यह लोडिंग से शुरू होता है: प्रत्येक स्रोत को एक विश्वसनीय शेड्यूल पर वेयरहाउस में लाना आवश्यक है - तैयार कनेक्टर्स के माध्यम से या कस्टम निर्यात के माध्यम से जहां कोई कनेक्टर नहीं है - वृद्धिशील लोड और परिवर्तन इतिहास के सावधानीपूर्वक प्रबंधन के साथ। कच्चे स्तर के ऊपर, डेटा को dbt का उपयोग करके सही तरीके से व्यवस्थित किया जाना चाहिए: प्रत्येक स्रोत को साफ और मानकीकृत करने वाले स्टेजिंग मॉडल, जोड़ों और डुप्लिकेशन के साथ मध्यवर्ती मॉडल, और स्पष्ट मार्ट जो व्यवसाय की भाषा बोलते हैं। परीक्षण, दस्तावेज़ीकरण, और संस्करण नियंत्रण डिलीवर करने योग्य का हिस्सा हैं, बाद में करने के लिए कुछ नहीं, ताकि परिवर्तन पारदर्शी हों और सुरक्षित रूप से बदले जा सकें।
अंतिम भाग एक सेमांटिक लेयर है जिसमें प्रमुख मैट्रिक्स की सहमति से परिभाषाएँ हैं: राजस्व, सक्रिय उपयोगकर्ता, मार्जिन, रिटेंशन - ताकि सभी रिपोर्टों में वही संख्या वही चीज़ का मतलब हो। अगला, हमें अपने BI टूल को इन तैयार मॉडलों से कनेक्ट करने की आवश्यकता है और कई प्रारंभिक डैशबोर्ड इकट्ठा करने की आवश्यकता है जो साबित करते हैं कि वेयरहाउस काम करता है और विश्लेषण टीम को आगे के विकास के लिए एक आधार देता है। कृपया अपने मॉडलिंग के दृष्टिकोण का वर्णन करें, आप लागत को नियंत्रण में कैसे रखेंगे, और प्रारंभिक निर्माण में लगभग कितना समय लगेगा।
— बिखरे हुए स्रोत: CRM, बिलिंग, विज्ञापन डैशबोर्ड, उत्पाद घटनाएँ, वित्तीय स्प्रेडशीट
— वेयरहाउस: Snowflake या BigQuery, आपकी सिफारिश के साथ औचित्य
— परीक्षण, दस्तावेज़ीकरण, और संस्करण नियंत्रण के साथ dbt मॉडल
— सहमति से मैट्रिक परिभाषाओं के साथ सेमांटिक लेयर
— BI कनेक्शन और कई प्रारंभिक डैशबोर्ड
अन्य / विविध नकद, बैंक ट्रांसफर
