Python-скрейпер і система збору даних

Виробнича система веб-скрейпингу для збору структурованих даних з 5-8 сайтів за розкладом.

Обсяг робіт

1. Архітектура скрейпера
— Scrapy + ротація проксі та пулу User-Agent
— Playwright/Selenium для JS-сайтів
— Обхід CAPTCHA (2captcha/anti-captcha API)
— Rate limiting, дотримання robots.txt

2. Пайплайн даних
— Вилучення сирого HTML у структурований JSON
— Валідація і дедуплікація даних
— Нормалізація: ціни, дати, телефони
— Зберігання в PostgreSQL зі схемою БД
— Інкрементальні оновлення (тільки нові/змінені записи)

3. Моніторинг і експлуатація
— Дашборд здоров'я: успішність запусків, кількість записів, помилки
— Сповіщення в Slack/email при збоях або аномаліях
— Деплой через Docker Compose
— Cron-розклад із логікою повторів

Цільові сайти
— Конфіденційно (NDA) — деталі після підписання угоди
— Суміш статичних HTML і динамічних SPA-сайтів

Результат
— Повний вихідний код з тестами
— Docker Compose конфігурація для production
— Міграції схеми БД
— Runbook і налаштування моніторингу