Katalog danych i pochodzenie dla zespołów analitycznych

Jesteśmy średniej wielkości firmą i przez lata zgromadziliśmy wiele baz danych, schematów w naszym magazynie danych, eksportów w arkuszach kalkulacyjnych oraz raportów BI, ale nikt nie ma pełnego obrazu tego, jakie dane istnieją i gdzie się znajdują. Analitycy spędzają dni na poszukiwaniu odpowiedniej tabeli, pytają kolegów na czatach i odbudowują metryki, które już zostały obliczone gdzie indziej. Kiedy dwa raporty różnią się liczbami, nie możemy szybko ustalić, które źródło jest poprawne i kto je posiada. Chcemy to rozwiązać za pomocą odpowiedniego katalogu danych: jednego przeszukiwanego rejestru zestawów danych, tabel, kolumn i raportów, gdzie każdy ma jasny opis, znaczenie biznesowe, właściciela i wskaźnik świeżości.

Poza wyszukiwaniem potrzebujemy pochodzenia — możliwości zobaczenia, skąd pochodzi pole, które pipeline'y zasilają tabelę i które pulpity nawigacyjne przestaną działać, jeśli je zmienimy. Ważne jest również, aby wskaźniki jakości danych były widoczne bezpośrednio w katalogu: osoba od razu rozumie, czy to zaufany zestaw, przestarzały, czy w trakcie przeglądu. Głównym celem jest zaufanie: analityk otwiera katalog, znajduje potrzebny zestaw danych w kilka sekund, rozumie jego znaczenie, widzi, z kim się skontaktować i już wie, czy może polegać na tych liczbach, zanim zbuduje na nich cokolwiek.

Jesteśmy gotowi rozważyć odpowiednie rozwiązanie open-source lub lekkie zamiast ciężkiej platformy korporacyjnej, jeśli pasuje do naszego stosu i może być utrzymywane przez mały zespół. Prosimy o zaproponowanie podejścia i przybliżonych terminów.

Czego oczekujemy od pracy:
— Inwentaryzacja i automatyczne zbieranie metadanych ze źródeł;
— Wyszukiwanie z opisami, właścicielami i tagami;
— Wizualizacja pochodzenia na poziomie tabeli i kolumny;
— Wskaźniki jakości danych i prosty proces weryfikacji.