Фриланс › Послуги Фрилансерів › Розробка програм › ETL/ELT-конвеєри на Apache Airflow — DAG, що працюють самі
ETL/ELT-конвеєри на Apache Airflow — DAG, що працюють самі
Опис послуги
Я будую конвеєри даних на Apache Airflow, які щодня роблять свою роботу тихо й без ручного нагляду. Беру на себе весь цикл ETL/ELT: забираю дані з API, файлів, черг і робочих баз, приводжу їх до чистих типізованих таблиць і завантажую у ваше сховище за розкладом, якому можна довіряти. Кожен процес описаний як DAG з явними залежностями, тож задачі йдуть у правильному порядку й ніколи не стартують раніше, ніж готові їхні вхідні дані.
Більша частина роботи йде саме на надійність. Налаштовую розумні повтори з наростаючою паузою, ідемпотентні задачі, які можна перезапустити без задвоєння рядків, і сповіщення, що доходять до вас у Slack або на пошту в момент падіння чи затягнутого запуску. Між стадіями ставлю перевірки якості даних, щоб поганий джерельний файл був спійманий до того, як отруїть звіт, і підключаю моніторинг: час виконання, backlog і частку успішних прогонів. Перезаливка історії стає однією командою, а не вихідними за ручними скриптами.
Інтегруюся з тим, що у вас уже працює — PostgreSQL, MySQL, ClickHouse, Snowflake, BigQuery, S3-сумісне сховище, моделі dbt і REST-сервіси — і документую кожен DAG, щоб команда могла розвивати його далі. Ви отримуєте репозиторій під контролем версій, зрозумілий деплой і оркестрацію, що прозора, а не загадкова.
— Проєктування DAG, розклад, залежності, сенсори та бекфіли
— Повтори, ідемпотентність, SLA, сповіщення і контроль якості даних
— Інтеграції: сховища, бази, об'єктне сховище, API та dbt
Більша частина роботи йде саме на надійність. Налаштовую розумні повтори з наростаючою паузою, ідемпотентні задачі, які можна перезапустити без задвоєння рядків, і сповіщення, що доходять до вас у Slack або на пошту в момент падіння чи затягнутого запуску. Між стадіями ставлю перевірки якості даних, щоб поганий джерельний файл був спійманий до того, як отруїть звіт, і підключаю моніторинг: час виконання, backlog і частку успішних прогонів. Перезаливка історії стає однією командою, а не вихідними за ручними скриптами.
Інтегруюся з тим, що у вас уже працює — PostgreSQL, MySQL, ClickHouse, Snowflake, BigQuery, S3-сумісне сховище, моделі dbt і REST-сервіси — і документую кожен DAG, щоб команда могла розвивати його далі. Ви отримуєте репозиторій під контролем версій, зрозумілий деплой і оркестрацію, що прозора, а не загадкова.
— Проєктування DAG, розклад, залежності, сенсори та бекфіли
— Повтори, ідемпотентність, SLA, сповіщення і контроль якості даних
— Інтеграції: сховища, бази, об'єктне сховище, API та dbt
Зв'язатися з фрилансером
Замовте послугу або поставте питання виконавцю.
Контакти фрилансера
E-mailПоказати
