स्काला और स्पार्क पर बिग-डेटा पाइपलाइन विकास

मैं स्काला पर अपाचे स्पार्क के साथ डेटा प्रोसेसिंग सिस्टम विकसित करता हूँ और दो चीजों पर सबसे अधिक ध्यान केंद्रित करता हूँ: आउटपुट पर संख्याएँ सही हैं और कार्य तब पूरा होता है जब डेटा दस गुना बड़ा हो जाता है। मैं बैच और स्ट्रीम पाइपलाइनों, ETL परतों और भारी समेकनों को चलाता हूँ जो हर दिन अरबों पंक्तियों को संसाधित करते हैं और सुबह तीन बजे क्रैश नहीं होते। डिफ़ॉल्ट रूप से मैं टाइप किया हुआ कार्यात्मक कोड लिखता हूँ - साफ़ ट्रांसफॉर्मेशन, स्पष्ट स्कीमा, जॉइन में कोई चुप्पा नल नहीं - ताकि एक साल में मैं शांति से पाइपलाइन पढ़ सकूँ बजाय इसके कि उसे छूने से डरूँ।

कार्य आपके वास्तविक डेटा और आपके वास्तविक बाधा से शुरू होता है, न कि एक प्रस्तुति से। मैं प्रोफाइल करता हूँ कि समय और पैसा वास्तव में कहाँ जाता है: कुंजी असमानता, भारी शफल जॉइन, छोटे फ़ाइलों का विस्फोट, स्ट्रीमिंग स्रोत के पीछे गिरना - और गर्म पथ को फिर से लिखता हूँ: क्वेरी के लिए विभाजन और बकेटिंग, स्थान पर प्रसारण जॉइन, सही जल चिह्नों के साथ विंडो समेकन, चेकपॉइंटिंग ताकि पुनः आरंभ करने में मिनट लगें न कि पूरी पुनः प्रसंस्करण में। मैं कार्यों को ऑर्केस्ट्रेशन में एम्बेड करता हूँ, मैट्रिक्स और डेटा गुणवत्ता जांच जोड़ता हूँ और कोड छोड़ता हूँ जिसे आपकी टीम स्वयं विकसित करती है। मैं स्पार्क के साथ YARN, कुबेरनेट्स या प्रबंधित क्लस्टरों पर काम करता हूँ, काफ्का और पार्केट के साथ - तेज़ क्योंकि लेआउट लोड के लिए उपयुक्त है, न कि इसलिए कि क्लस्टर बड़ा हो गया।