सेवा के बारे में
अनुवादितमैं आपकी पाइपलाइनों में स्वचालित डेटा गुणवत्ता जांच एम्बेड करता हूँ ताकि खराब नंबर कभी भी डैशबोर्ड और मॉडलों तक न पहुँचें। मुख्य उपकरण ग्रेट एक्सपेक्टेशंस है, लेकिन अगर जरूरत हो तो मैं समान ढांचे का उपयोग करूंगा। रिपोर्टिंग बैठक में समस्या के बारे में जानने के बजाय, आप इसे तालिका लोडिंग या रूपांतरण के क्षण में पकड़ते हैं।
शुरुआत में, मैं आपकी वास्तविक तालिकाओं का प्रोफाइल बनाता हूँ और उन लोगों से बात करता हूँ जो डेटा का उपयोग करते हैं, फिर मैं जो महत्वपूर्ण है उसके लिए जांच लिखता हूँ: स्वीकार्य सीमाओं के भीतर पंक्ति की गणनाएँ, नल मानों के बिना कॉलम, कुंजी की विशिष्टता, ज्ञात सेटों से श्रेणियाँ, सही तिथियाँ और वितरण जो अचानक नहीं बदलने चाहिए। मैं इन जांचों को लोडिंग और रूपांतरण चरणों में एम्बेड करता हूँ — एयरफ्लो, dbt, क्रॉन, या सरल स्क्रिप्ट — ताकि एक खराब बैच रिपोर्ट को तोड़ने से पहले रुक जाए।
जब कुछ विफल होता है, तो आपको स्पष्ट अलर्ट मिलता है जो कॉलम और नियम दिखाता है, साथ ही इतिहास और सफलता दर के साथ लाइव डेटा डॉक्स। मैं साफ, दस्तावेज़ीकृत कोड और एक रनबुक प्रदान करता हूँ ताकि आपकी टीम स्वयं जांचों का विस्तार कर सके।
— नियमों की प्रोफाइलिंग और प्राथमिकता सूची
— लोडिंग और रूपांतरण में जांचें
— स्लैक या ईमेल पर विसंगति और ताजगी अलर्ट
— डेटा डॉक्स, रनबुक, और परियोजना हस्तांतरण
शुरुआत में, मैं आपकी वास्तविक तालिकाओं का प्रोफाइल बनाता हूँ और उन लोगों से बात करता हूँ जो डेटा का उपयोग करते हैं, फिर मैं जो महत्वपूर्ण है उसके लिए जांच लिखता हूँ: स्वीकार्य सीमाओं के भीतर पंक्ति की गणनाएँ, नल मानों के बिना कॉलम, कुंजी की विशिष्टता, ज्ञात सेटों से श्रेणियाँ, सही तिथियाँ और वितरण जो अचानक नहीं बदलने चाहिए। मैं इन जांचों को लोडिंग और रूपांतरण चरणों में एम्बेड करता हूँ — एयरफ्लो, dbt, क्रॉन, या सरल स्क्रिप्ट — ताकि एक खराब बैच रिपोर्ट को तोड़ने से पहले रुक जाए।
जब कुछ विफल होता है, तो आपको स्पष्ट अलर्ट मिलता है जो कॉलम और नियम दिखाता है, साथ ही इतिहास और सफलता दर के साथ लाइव डेटा डॉक्स। मैं साफ, दस्तावेज़ीकृत कोड और एक रनबुक प्रदान करता हूँ ताकि आपकी टीम स्वयं जांचों का विस्तार कर सके।
— नियमों की प्रोफाइलिंग और प्राथमिकता सूची
— लोडिंग और रूपांतरण में जांचें
— स्लैक या ईमेल पर विसंगति और ताजगी अलर्ट
— डेटा डॉक्स, रनबुक, और परियोजना हस्तांतरण
