Опис проєкту
ПерекладНаша компанія працює на кількох розрізнених системах, і зараз ніхто не має єдиної достовірної картини того, що відбувається по всіх них. Дані про продажі лежать в одній базі, інформація по біллінгу доступна через сторонній API, а частина відділів досі щотижня надсилає нам вивантаження в CSV. Мені потрібна людина, яка побудує повноцінний ETL-конвеєр: витягне дані з усіх цих джерел, перетворить та очистить сирі записи до єдиного узгодженого вигляду та завантажить все в центральне сховище даних. Це не панель для звітності та не переписування бекенду цілком; результат роботи — саме шар інтеграції даних, який надійно працює в фоні, щоб у суміжних інструментів завжди були свіжі та коректні цифри.
Важливіше всього для мене, щоб конвеєр був передбачуваним та нічого не портив втихую. Хочу інкрементальні синхронізації, а не повні перезаливки скрізь, де джерело це дозволяє, щоб переносити лише змінене та тримати завдання швидкими з ростом обсягу. Кожен запуск має включати перевірки якості даних, які ловлять пропущені поля, поламані типи, дублі ключів та рядки, що порушують бізнес-правила, та за таких випадків видавати зрозумілий алерт, а не мовчки писати сміття в сховище. Ще мені важлива ідемпотентність: якщо завдання впало на середині та запускається заново, воно не має задвоювати дані чи залишати сховище в напівзавантаженому стані.
Прошу задокументувати відповідності джерел та логіку перетворень, щоб моя команда могла супроводжувати все після передачі, та налаштувати запуск за розкладом без мого постійного контролю. Напишіть, який стек ви запропонуєте та чому.
— Витягання з кількох джерел: SQL-бази, REST API та щотижневі CSV
— Перетворення та очищення записів у єдину схему без дублів
— Завантаження в центральне сховище зі шарами staging та фінальним
— Інкрементальні синхронізації по змінених рядках, а не повні перезаливки
— Автоматичні перевірки якості даних з оповіщеннями про помилки
— Ідемпотентні перезапускаємі завдання за розкладом та документація для передачі
Важливіше всього для мене, щоб конвеєр був передбачуваним та нічого не портив втихую. Хочу інкрементальні синхронізації, а не повні перезаливки скрізь, де джерело це дозволяє, щоб переносити лише змінене та тримати завдання швидкими з ростом обсягу. Кожен запуск має включати перевірки якості даних, які ловлять пропущені поля, поламані типи, дублі ключів та рядки, що порушують бізнес-правила, та за таких випадків видавати зрозумілий алерт, а не мовчки писати сміття в сховище. Ще мені важлива ідемпотентність: якщо завдання впало на середині та запускається заново, воно не має задвоювати дані чи залишати сховище в напівзавантаженому стані.
Прошу задокументувати відповідності джерел та логіку перетворень, щоб моя команда могла супроводжувати все після передачі, та налаштувати запуск за розкладом без мого постійного контролю. Напишіть, який стек ви запропонуєте та чому.
— Витягання з кількох джерел: SQL-бази, REST API та щотижневі CSV
— Перетворення та очищення записів у єдину схему без дублів
— Завантаження в центральне сховище зі шарами staging та фінальним
— Інкрементальні синхронізації по змінених рядках, а не повні перезаливки
— Автоматичні перевірки якості даних з оповіщеннями про помилки
— Ідемпотентні перезапускаємі завдання за розкладом та документація для передачі
Інше Різне Готівка, Банківський переказ
