À propos du service
TraduitJe construis des lacs de données ouverts sur Apache Iceberg afin que vos analyses bénéficient du comportement d'un entrepôt complet directement sur le stockage d'objets — sans moteurs propriétaires coûteux et sans verrouiller vos données à un seul fournisseur. Je conçois la disposition des tables, mets en place un catalogue et transforme un tas de fichiers Parquet bruts en tables gérées et versionnées que n'importe quel moteur peut lire. L'objectif est simple : vous offrir des transactions ACID, une évolution de schéma fiable et des performances prévisibles tout en gardant vos données dans des formats ouverts que vous possédez entièrement.
Je pars de votre état actuel — fichiers bruts, un fouillis de tables Hive ou un stockage coûteux dont vous souhaitez vous libérer. Je modélise des tables, choisis le partitionnement et le tri pour correspondre à la façon dont vous écrivez réellement des requêtes, et active le partitionnement caché afin que les analystes n'aient pas à se battre avec les colonnes de partition manuellement. Je mets en place l'évolution de schéma afin que l'ajout et le renommage de colonnes ne réécrivent pas l'historique, active le voyage dans le temps et le retour en arrière des instantanés — un mauvais chargement est corrigé en une ligne, sans devenir un incident. Du côté moteur, j'intègre Spark pour le traitement par lots et la maintenance, Trino pour le SQL interactif, et Flink pour le streaming — le tout sur les mêmes tables via un catalogue partagé, avec documentation et formation de l'équipe.
— Conception de table Iceberg, partitionnement et tri
— Catalogue, migration depuis Hive ou Parquet brut
— Évolution de schéma, voyage dans le temps et retour en arrière des instantanés
— Intégration de Spark, Trino et Flink sur des tables partagées
Je pars de votre état actuel — fichiers bruts, un fouillis de tables Hive ou un stockage coûteux dont vous souhaitez vous libérer. Je modélise des tables, choisis le partitionnement et le tri pour correspondre à la façon dont vous écrivez réellement des requêtes, et active le partitionnement caché afin que les analystes n'aient pas à se battre avec les colonnes de partition manuellement. Je mets en place l'évolution de schéma afin que l'ajout et le renommage de colonnes ne réécrivent pas l'historique, active le voyage dans le temps et le retour en arrière des instantanés — un mauvais chargement est corrigé en une ligne, sans devenir un incident. Du côté moteur, j'intègre Spark pour le traitement par lots et la maintenance, Trino pour le SQL interactif, et Flink pour le streaming — le tout sur les mêmes tables via un catalogue partagé, avec documentation et formation de l'équipe.
— Conception de table Iceberg, partitionnement et tri
— Catalogue, migration depuis Hive ou Parquet brut
— Évolution de schéma, voyage dans le temps et retour en arrière des instantanés
— Intégration de Spark, Trino et Flink sur des tables partagées
