Python-скрейпер и система сбора данных

Производственная система веб-скрейпинга для сбора структурированных данных с 5-8 сайтов по расписанию.

Объём работ

1. Архитектура скрейпера
— Scrapy + ротация прокси и пула User-Agent
— Playwright/Selenium для JS-сайтов
— Обход CAPTCHA (2captcha / anti-captcha)
— Rate limiting, соблюдение robots.txt

2. Пайплайн данных
— HTML → структурированный JSON
— Валидация и дедупликация
— Нормализация цен, дат, телефонов
— Хранение в PostgreSQL с проектированием схемы
— Инкрементальные обновления (только новые/изменённые записи)

3. Мониторинг и эксплуатация
— Дашборд: успешность запусков, количество записей, ошибки
— Уведомления в Slack/email при сбоях
— Деплой через Docker Compose
— Cron-расписание с логикой повторов

Целевые сайты
— Конфиденциально (NDA) — детали после соглашения
— Смесь статических и SPA-сайтов

Результат
— Исходный код с тестами
— Docker Compose конфигурация
— Миграции схемы БД
— Runbook и настройка мониторинга