सेवा के बारे में
अनुवादितमैंने ट्रिनो (और क्लासिक प्रेस्टो) को एक एकीकृत SQL इंजन के रूप में सेट किया है जो आपके सभी डेटा को एक साथ पहुंचता है। एक गोदाम में सब कुछ कॉपी करने के बजाय, मैं उन स्रोतों को जोड़ता हूं जो आपके पास पहले से हैं - ऑब्जेक्ट स्टोरेज S3 के साथ हाइव या आइसबर्ग टेबल, पोस्टग्रेएसक्यूएल, मायएसक्यूएल, क्लिकहाउस, काफ्का, इलास्टिकसर्च, मोंगो - और विश्लेषकों को एक ऐसा प्रवेश बिंदु देता हूं जहां एकल क्वेरी एक तथ्य तालिका को झील से एक संदर्भ के साथ जोड़ सकती है जो परिचालन डेटाबेस में रहती है। यह प्रैक्टिस में संघ है, और यहीं सबसे बड़े लाभ और सबसे बड़ी गलतियाँ छिपी होती हैं।
मैं कैटलॉग और कनेक्टर परत के साथ शुरू करता हूं: मैं साफ कनेक्शन कॉन्फ़िग्स लिखता हूं, स्कीमाओं को व्यवस्थित करता हूं, सही तालिका प्रारूप चुनता हूं, और मेटास्टोर या ग्लू को ट्यून करता हूं ताकि विभाजन सही ढंग से पहचाने जाएं। फिर प्रदर्शन ट्यूनिंग आती है। मैं समन्वयक और श्रमिकों का आकार निर्धारित करता हूं, मेमोरी सीमाएँ और स्पिल सेट करता हूं, विभाजन की गणना को नियंत्रित करता हूं, स्रोतों में फ़िल्टर और एग्रीगेट्स को धकेलता हूं, और उन क्वेरियों को फिर से लिखता हूं जो आवश्यक से कहीं अधिक स्कैन करती हैं। इसके ऊपर, मैं सुरक्षा को इस तरह सेट करता हूं जैसे ऑडिट की अपेक्षा होती है: प्रमाणीकरण, टीएलएस, कॉलम और पंक्ति-स्तरीय पहुंच नियंत्रण, क्वेरी लॉगिंग - ताकि आप पूरी टीम के लिए प्लेटफ़ॉर्म को सुरक्षित रूप से खोल सकें।
आपको प्रलेखित, पुनरुत्पादनीय तैनाती मिलती है, न कि एक डेमो जो लोड के तहत टूट जाता है। मैं ट्रिनो को बARE मेटल, डॉकर, या कुबेरनेट्स पर चला सकता हूं, इसे आपके बीआई टूल और शेड्यूलर से जोड़ सकता हूं, और टीम को क्वेरी योजनाओं को पढ़ना और प्रदर्शन बनाए रखना सिखाने के लिए पास में रह सकता हूं। एक SQL बोली सब कुछ पर, रात भर के निर्यात की प्रतीक्षा नहीं।
— S3/Hive/Iceberg, SQL और NoSQL स्रोतों, काफ्का के लिए कनेक्टर्स
— प्रदर्शन ट्यूनिंग: मेमोरी, विभाजन, फ़िल्टर और एग्रीगेट पुशडाउन
— सुरक्षा: टीएलएस, प्रमाणीकरण, कॉलम और पंक्ति पहुंच, ऑडिट
— कुबेरनेट्स या बARE मेटल में निगरानी और दस्तावेज़ों के साथ तैनाती
मैं कैटलॉग और कनेक्टर परत के साथ शुरू करता हूं: मैं साफ कनेक्शन कॉन्फ़िग्स लिखता हूं, स्कीमाओं को व्यवस्थित करता हूं, सही तालिका प्रारूप चुनता हूं, और मेटास्टोर या ग्लू को ट्यून करता हूं ताकि विभाजन सही ढंग से पहचाने जाएं। फिर प्रदर्शन ट्यूनिंग आती है। मैं समन्वयक और श्रमिकों का आकार निर्धारित करता हूं, मेमोरी सीमाएँ और स्पिल सेट करता हूं, विभाजन की गणना को नियंत्रित करता हूं, स्रोतों में फ़िल्टर और एग्रीगेट्स को धकेलता हूं, और उन क्वेरियों को फिर से लिखता हूं जो आवश्यक से कहीं अधिक स्कैन करती हैं। इसके ऊपर, मैं सुरक्षा को इस तरह सेट करता हूं जैसे ऑडिट की अपेक्षा होती है: प्रमाणीकरण, टीएलएस, कॉलम और पंक्ति-स्तरीय पहुंच नियंत्रण, क्वेरी लॉगिंग - ताकि आप पूरी टीम के लिए प्लेटफ़ॉर्म को सुरक्षित रूप से खोल सकें।
आपको प्रलेखित, पुनरुत्पादनीय तैनाती मिलती है, न कि एक डेमो जो लोड के तहत टूट जाता है। मैं ट्रिनो को बARE मेटल, डॉकर, या कुबेरनेट्स पर चला सकता हूं, इसे आपके बीआई टूल और शेड्यूलर से जोड़ सकता हूं, और टीम को क्वेरी योजनाओं को पढ़ना और प्रदर्शन बनाए रखना सिखाने के लिए पास में रह सकता हूं। एक SQL बोली सब कुछ पर, रात भर के निर्यात की प्रतीक्षा नहीं।
— S3/Hive/Iceberg, SQL और NoSQL स्रोतों, काफ्का के लिए कनेक्टर्स
— प्रदर्शन ट्यूनिंग: मेमोरी, विभाजन, फ़िल्टर और एग्रीगेट पुशडाउन
— सुरक्षा: टीएलएस, प्रमाणीकरण, कॉलम और पंक्ति पहुंच, ऑडिट
— कुबेरनेट्स या बARE मेटल में निगरानी और दस्तावेज़ों के साथ तैनाती
