Відкритий лейкхаус на Apache Iceberg

Я будую відкриті дата-лейкхауси на Apache Iceberg, щоб ваша аналітика отримала поведінку повноцінного сховища прямо поверх об'єктного сховища — без дорогого проприєтарного механізму й без прив'язки даних до одного вендора. Я проектую розкладку таблиць, піднімаю каталог і перетворюю россип сирих Parquet-файлів у керовані версіоновані таблиці, які читає будь-який механізм. Завдання просте: дати вам ACID-транзакції, надійну еволюцію схеми й передбачувану швидкість, при цьому дані залишаються у відкритих форматах, якими ви володієте повністю.

Стартуємо з вашого поточного стану — сирі файли, каша з Hive-таблиць або дороге сховище, від якого ви хочете відв'язатися. Я моделюю таблиці, підбираю партиціювання й сортування під те, як ви реально пишете запити, й включаю приховане партиціювання, щоб аналітики не воювали з колонками розбиття вручну. Налаштовую еволюцію схеми так, що додавання й перейменування колонок не переписують історію, піднімаю time travel й откат снапшотів — погана завантаження чиниться однією рядком, а не перетворюється в інцидент. Зі сторони механізмів інтегрую Spark для пакету й обслуговування, Trino для інтерактивного SQL й Flink для стрімінгу — все на одних таблицях через спільний каталог, з документацією й навчанням команди.

— Проектування таблиць Iceberg, партиціювання й сортування
— Каталог, міграція з Hive або сирого Parquet
— Еволюція схеми, time travel й откат снапшотів
— Інтеграція Spark, Trino й Flink на спільних таблицях