Apache Iceberg पर ओपन लेकहाउस

मैं Apache Iceberg पर ओपन डेटा लेकहाउस बनाता हूँ ताकि आपका विश्लेषण वस्तु भंडारण के शीर्ष पर एक पूर्ण वेयरहाउस का व्यवहार प्राप्त करे - बिना महंगे स्वामित्व वाले इंजनों के और बिना अपने डेटा को एक विक्रेता के साथ लॉक किए। मैं तालिका लेआउट डिजाइन करता हूँ, एक कैटलॉग स्थापित करता हूँ, और कच्चे पारकेट फ़ाइलों के ढेर को प्रबंधित संस्करणित तालिकाओं में बदलता हूँ जिन्हें कोई भी इंजन पढ़ सकता है। लक्ष्य सरल है: आपको ACID लेनदेन, विश्वसनीय स्कीमा विकास, और पूर्वानुमानित प्रदर्शन देना जबकि आपका डेटा खुले प्रारूपों में रहता है जिसका आप पूरी तरह से स्वामित्व रखते हैं।

मैं आपकी वर्तमान स्थिति से शुरू करता हूँ - कच्ची फ़ाइलें, हाइव तालिकाओं का एक गंदा ढेर, या महंगा भंडारण जिससे आप मुक्त होना चाहते हैं। मैं तालिकाओं का मॉडल बनाता हूँ, विभाजन और क्रमबद्धता का चयन करता हूँ ताकि यह मेल खाता है कि आप वास्तव में क्वेरी कैसे लिखते हैं, और छिपे हुए विभाजन को सक्षम करता हूँ ताकि विश्लेषक मैन्युअल रूप से विभाजन कॉलम के साथ संघर्ष न करें। मैं स्कीमा विकास स्थापित करता हूँ ताकि कॉलम जोड़ने और नाम बदलने से इतिहास फिर से न लिखा जाए, समय यात्रा और स्नैपशॉट रोलबैक लाता हूँ - एक खराब लोड को एक पंक्ति में ठीक किया जाता है, न कि एक घटना में बदल दिया जाता है। इंजन पक्ष पर मैं बैच और रखरखाव के लिए स्पार्क, इंटरैक्टिव SQL के लिए ट्रिनो, और स्ट्रीमिंग के लिए फ्लिंक को एकीकृत करता हूँ - सभी एक साझा कैटलॉग के माध्यम से एक ही तालिकाओं पर, दस्तावेज़ीकरण और टीम प्रशिक्षण के साथ।

— Iceberg तालिका डिजाइन, विभाजन, और क्रमबद्धता
— कैटलॉग, हाइव या कच्चे पारकेट से माइग्रेशन
— स्कीमा विकास, समय यात्रा, और स्नैपशॉट रोलबैक
— साझा तालिकाओं पर स्पार्क, ट्रिनो, और फ्लिंक एकीकरण