Проєктування та тюнінг сховища Amazon Redshift

Я будую й налаштовую сховища даних на Amazon Redshift так, щоб аналітика лишалася швидкою навіть коли обсяг виростає до мільярдів рядків. Починаю зі схеми: моделюю факти й виміри, а потім добираю стиль розподілу та ключі сортування під те, як ваші запити насправді фільтрують і з'єднують дані. Вдалий DISTKEY тримає з'єднувані рядки на одному вузлі й прибирає зайві пересилання мережею, правильний SORTKEY дозволяє планувальнику пропускати цілі блоки, а поколонкове стиснення зменшує обсяг кожного сканування.

Окрім схеми беру на себе всі рухомі частини. Проєктую завантаження з Amazon S3 через COPY, ставлю VACUUM та ANALYZE за розкладом, щоб статистика лишалася правдивою, і налаштовую керування навантаженням та concurrency scaling, щоб важкі звіти не забирали ресурси в дашбордів. Переписую повільні запити з ваших же логів, звіряючи кожен із планом виконання, під'єдную сховище до ваших BI-інструментів і налаштовую ролі та права. Допомагаю від початку до кінця — переїжджаєте ви зі старого сховища, піднімаєте аналітику вперше чи рятуєте повільний кластер.

— Схема з продуманими ключами розподілу та сортування
— Завантаження з S3, конвеєри COPY, VACUUM та ANALYZE
— Тюнінг запитів, WLM, concurrency scaling та під'єднання BI