Описание услуги
Я собираю конвейеры данных на Apache Airflow, которые каждый день делают свою работу тихо и без ручного присмотра. Беру на себя весь цикл ETL/ELT: забираю данные из API, файлов, очередей и рабочих баз, привожу их к чистым типизированным таблицам и загружаю в ваше хранилище по расписанию, которому можно доверять. Каждый процесс описан как DAG с явными зависимостями, поэтому задачи идут в правильном порядке и никогда не стартуют раньше, чем готовы их входные данные.
Большая часть работы уходит именно на надёжность. Настраиваю разумные повторы с нарастающей паузой, идемпотентные задачи, которые можно перезапустить без задвоения строк, и оповещения, доходящие до вас в Slack или на почту в момент падения или затянувшегося запуска. Между стадиями ставлю проверки качества данных, чтобы плохой источник был пойман до того, как отравит отчёт, и подключаю мониторинг: время выполнения, backlog и доля успешных прогонов. Перезаливка истории становится одной командой, а не выходными за ручными скриптами.
Интегрируюсь с тем, что у вас уже работает — PostgreSQL, MySQL, ClickHouse, Snowflake, BigQuery, S3-совместимое хранилище, модели dbt и REST-сервисы — и документирую каждый DAG, чтобы команда могла развивать его дальше. Вы получаете репозиторий под контролем версий, понятный деплой и оркестрацию, которая прозрачна, а не загадочна.
— Проектирование DAG, расписание, зависимости, сенсоры и бэкфиллы
— Повторы, идемпотентность, SLA, оповещения и контроль качества данных
— Интеграции: хранилища, базы, объектное хранилище, API и dbt
Большая часть работы уходит именно на надёжность. Настраиваю разумные повторы с нарастающей паузой, идемпотентные задачи, которые можно перезапустить без задвоения строк, и оповещения, доходящие до вас в Slack или на почту в момент падения или затянувшегося запуска. Между стадиями ставлю проверки качества данных, чтобы плохой источник был пойман до того, как отравит отчёт, и подключаю мониторинг: время выполнения, backlog и доля успешных прогонов. Перезаливка истории становится одной командой, а не выходными за ручными скриптами.
Интегрируюсь с тем, что у вас уже работает — PostgreSQL, MySQL, ClickHouse, Snowflake, BigQuery, S3-совместимое хранилище, модели dbt и REST-сервисы — и документирую каждый DAG, чтобы команда могла развивать его дальше. Вы получаете репозиторий под контролем версий, понятный деплой и оркестрацию, которая прозрачна, а не загадочна.
— Проектирование DAG, расписание, зависимости, сенсоры и бэкфиллы
— Повторы, идемпотентность, SLA, оповещения и контроль качества данных
— Интеграции: хранилища, базы, объектное хранилище, API и dbt
