Описание проекта
Мы средняя по размеру компания, и за последние годы у нас накопилось множество баз, схем в хранилище, выгрузок в таблицах и BI-отчётов, но целостной картины того, какие данные вообще есть и где они лежат, ни у кого нет. Аналитики тратят дни на поиск нужной таблицы, спрашивают коллег в чатах и заново собирают метрики, которые уже где-то посчитаны. Когда два отчёта расходятся в цифрах, мы не можем быстро понять, какой источник верный и кто за него отвечает. Хотим решить это нормальным каталогом данных: единым поисковым реестром наборов данных, таблиц, колонок и отчётов, где у каждого есть понятное описание, бизнес-смысл, владелец и признак свежести.
Помимо поиска нам нужен линидж — возможность видеть, откуда берётся поле, какие пайплайны наполняют таблицу и какие дашборды сломаются, если её изменить. Также важно, чтобы флаги качества данных были видны прямо в каталоге: человек сразу понимает, доверенный это набор, устаревший или на проверке. Главная цель — доверие: аналитик открывает каталог, за секунды находит нужный набор, понимает его смысл, видит, к кому обратиться, и заранее знает, можно ли полагаться на цифры, прежде чем строить на них что-либо.
Мы готовы рассмотреть подходящее open-source или лёгкое решение вместо тяжёлой корпоративной платформы, если оно ложится на наш стек и его сможет поддерживать небольшая команда. Просим предложить подход и примерные сроки.
Что ждём от работы:
— Инвентаризация и автоматический сбор метаданных из источников;
— Поиск с описаниями, владельцами и тегами;
— Визуализация линиджа на уровне таблиц и колонок;
— Индикаторы качества данных и простой процесс проверки.
Помимо поиска нам нужен линидж — возможность видеть, откуда берётся поле, какие пайплайны наполняют таблицу и какие дашборды сломаются, если её изменить. Также важно, чтобы флаги качества данных были видны прямо в каталоге: человек сразу понимает, доверенный это набор, устаревший или на проверке. Главная цель — доверие: аналитик открывает каталог, за секунды находит нужный набор, понимает его смысл, видит, к кому обратиться, и заранее знает, можно ли полагаться на цифры, прежде чем строить на них что-либо.
Мы готовы рассмотреть подходящее open-source или лёгкое решение вместо тяжёлой корпоративной платформы, если оно ложится на наш стек и его сможет поддерживать небольшая команда. Просим предложить подход и примерные сроки.
Что ждём от работы:
— Инвентаризация и автоматический сбор метаданных из источников;
— Поиск с описаниями, владельцами и тегами;
— Визуализация линиджа на уровне таблиц и колонок;
— Индикаторы качества данных и простой процесс проверки.
Другое Разное Наличные, Банковский перевод
