Проектирование и тюнинг хранилища Amazon Redshift

Я строю и настраиваю хранилища данных на Amazon Redshift так, чтобы аналитика оставалась быстрой даже когда объём вырастает до миллиардов строк. Начинаю со схемы: моделирую факты и измерения, а затем подбираю стиль распределения и ключи сортировки под то, как ваши запросы реально фильтруют и соединяют данные. Удачный DISTKEY держит соединяемые строки на одном узле и убирает лишние пересылки по сети, правильный SORTKEY позволяет планировщику пропускать целые блоки, а поколоночное сжатие уменьшает объём каждого сканирования.

Помимо схемы беру на себя все подвижные части. Проектирую загрузку из Amazon S3 через COPY, ставлю VACUUM и ANALYZE по расписанию, чтобы статистика оставалась правдивой, и настраиваю управление нагрузкой и concurrency scaling, чтобы тяжёлые отчёты не забирали ресурсы у дашбордов. Переписываю медленные запросы из ваших же логов, сверяя каждый с планом выполнения, подключаю хранилище к вашим BI-инструментам и настраиваю роли и права. Помогаю от начала до конца — переезжаете ли вы со старого хранилища, поднимаете аналитику впервые или спасаете медленный кластер.

— Схема с продуманными ключами распределения и сортировки
— Загрузка из S3, конвейеры COPY, VACUUM и ANALYZE
— Тюнинг запросов, WLM, concurrency scaling и подключение BI