Projektowanie i dostosowywanie Amazon Redshift

Tworzę i dostosowuję hurtownie danych na Amazon Redshift, aby analityka pozostała szybka, nawet gdy objętość rośnie do miliardów wierszy. Zaczynam od schematu: modeluję fakty i wymiary, a następnie wybieram styl dystrybucji i klucze sortujące w oparciu o to, jak Twoje zapytania naprawdę filtrują i łączą dane. Dobry DISTKEY utrzymuje połączone wiersze na jednym węźle i eliminuje niepotrzebne przemieszczenia sieciowe, odpowiedni SORTKEY pozwala planistom pominąć całe bloki, a kompresja kolumn zmniejsza każdy skan.

Poza schematem zajmuję się wszystkimi ruchomymi elementami. Projektuję ładowanie z Amazon S3 przez COPY, uruchamiam VACUUM i ANALYZE zgodnie z harmonogramem, aby utrzymać statystyki w prawdzie, oraz konfiguruje zarządzanie obciążeniem i skalowanie współbieżności, aby ciężkie raporty nie głodziły pulpitów nawigacyjnych. Przepisuję wolne zapytania z Twoich własnych logów, sprawdzając każde z nich w odniesieniu do planu wykonania, łączę hurtownię z Twoimi narzędziami BI i ustalam role oraz uprawnienia. Pomagam od początku do końca — niezależnie od tego, czy migrujesz z przestarzałego magazynu, uruchamiasz analitykę po raz pierwszy, czy ratujesz wolny klaster.

— Schemat z przemyślaną dystrybucją i kluczami sortującymi
— Ładowanie z S3, potoki COPY, VACUUM i ANALYZE
— Dostosowywanie zapytań, WLM, skalowanie współbieżności i integracja BI