Lakehouse aberto no Apache Iceberg

Eu construo lakehouses de dados abertos no Apache Iceberg para que suas análises tenham o comportamento de um data warehouse completo em cima de armazenamento de objetos — sem motores proprietários caros e sem bloquear seus dados a um único fornecedor. Eu projeto o layout das tabelas, crio um catálogo e transformo uma pilha de arquivos Parquet brutos em tabelas gerenciadas e versionadas que qualquer motor pode ler. O objetivo é simples: fornecer transações ACID, evolução de esquema confiável e desempenho previsível enquanto seus dados permanecem em formatos abertos que você possui totalmente.

Eu começo a partir do seu estado atual — arquivos brutos, uma bagunça de tabelas Hive ou armazenamento caro do qual você deseja se libertar. Eu modelo tabelas, escolho particionamento e ordenação para corresponder à forma como você realmente escreve consultas e habilito particionamento oculto para que os analistas não lutem manualmente com colunas de partição. Eu configuro a evolução de esquema para que adicionar e renomear colunas não reescreva a história, trago a viagem no tempo e o rollback de snapshot — uma carga ruim é corrigida em uma linha, não se transforma em um incidente. Do lado do motor, eu integro Spark para processamento em lote e manutenção, Trino para SQL interativo e Flink para streaming — tudo nas mesmas tabelas através de um catálogo compartilhado, com documentação e treinamento da equipe.

— Design de tabela Iceberg, particionamento e ordenação
— Catálogo, migração do Hive ou Parquet bruto
— Evolução de esquema, viagem no tempo e rollback de snapshot
— Integração do Spark, Trino e Flink em tabelas compartilhadas