Описание проекта
Наша компания работает на нескольких разрозненных системах, и сейчас ни у кого нет единой достоверной картины того, что происходит по всем ним. Данные о продажах лежат в одной базе, информация по биллингу доступна через сторонний API, а часть отделов до сих пор еженедельно присылает нам выгрузки в CSV. Мне нужен человек, который построит полноценный ETL-конвейер: извлечёт данные из всех этих источников, преобразует и очистит сырые записи до единого согласованного вида и загрузит всё в центральное хранилище данных. Это не дашборд для отчётности и не переписывание бэкенда целиком; результат работы — именно слой интеграции данных, который надёжно работает в фоне, чтобы у смежных инструментов всегда были свежие и корректные цифры.
Важнее всего для меня, чтобы конвейер был предсказуемым и ничего не портил втихую. Хочу инкрементальные синхронизации, а не полные перезаливки везде, где источник это позволяет, чтобы переносить только изменившееся и держать задания быстрыми по мере роста объёма. Каждый прогон должен включать проверки качества данных, которые ловят пропущенные поля, сломанные типы, дубли ключей и строки, нарушающие бизнес-правила, и по таким случаям выдавать понятный алерт, а не молча писать мусор в хранилище. Ещё мне важна идемпотентность: если задание упало на середине и запускается заново, оно не должно задваивать данные или оставлять хранилище в полузагруженном состоянии.
Прошу задокументировать соответствия источников и логику преобразований, чтобы моя команда могла сопровождать всё после передачи, и настроить запуск по расписанию без моего постоянного контроля. Напишите, какой стек вы предложите и почему.
— Извлечение из нескольких источников: SQL-базы, REST API и еженедельные CSV
— Преобразование и очистка записей в единую схему без дублей
— Загрузка в центральное хранилище со слоями staging и финальным
— Инкрементальные синхронизации по изменившимся строкам, а не полные перезаливки
— Автоматические проверки качества данных с оповещениями об ошибках
— Идемпотентные перезапускаемые задания по расписанию и документация для передачи
Важнее всего для меня, чтобы конвейер был предсказуемым и ничего не портил втихую. Хочу инкрементальные синхронизации, а не полные перезаливки везде, где источник это позволяет, чтобы переносить только изменившееся и держать задания быстрыми по мере роста объёма. Каждый прогон должен включать проверки качества данных, которые ловят пропущенные поля, сломанные типы, дубли ключей и строки, нарушающие бизнес-правила, и по таким случаям выдавать понятный алерт, а не молча писать мусор в хранилище. Ещё мне важна идемпотентность: если задание упало на середине и запускается заново, оно не должно задваивать данные или оставлять хранилище в полузагруженном состоянии.
Прошу задокументировать соответствия источников и логику преобразований, чтобы моя команда могла сопровождать всё после передачи, и настроить запуск по расписанию без моего постоянного контроля. Напишите, какой стек вы предложите и почему.
— Извлечение из нескольких источников: SQL-базы, REST API и еженедельные CSV
— Преобразование и очистка записей в единую схему без дублей
— Загрузка в центральное хранилище со слоями staging и финальным
— Инкрементальные синхронизации по изменившимся строкам, а не полные перезаливки
— Автоматические проверки качества данных с оповещениями об ошибках
— Идемпотентные перезапускаемые задания по расписанию и документация для передачи
Другое Разное Наличные, Банковский перевод
