Описание проекта
У нас средний по размеру интернет-магазин, и мы постоянно теряем маржу, потому что узнаём об изменениях цен у конкурентов слишком поздно. Нужен отдельный скрапер для мониторинга цен, который следит за заданным списком товарных страниц примерно на десятке сайтов розничных магазинов и по фиксированному расписанию, несколько раз в день, фиксирует текущую цену. Для каждого отслеживаемого товара инструмент должен сохранять цену, статус наличия и метку времени, а затем хранить полную историю, чтобы мы видели, как цена менялась в течение недель, а не только один снимок. Это не проект про купоны или промокоды и не общий конвейер загрузки данных в хранилище: весь фокус на скрапинге цен конкурентов и отслеживании их изменений во времени.
Скрапер должен выдерживать типичные реальные препятствия: страницы, где цена отрисовывается через JavaScript, мягкая защита от ботов, меняющаяся вёрстка и периодические изменения структуры товарной страницы. Хочу настраиваемые селекторы для каждого сайта, чтобы при редизайне магазина можно было поправить одну цель, а не переписывать код. Планировщик должен быть надёжным и вежливым, разносить запросы по времени, чтобы не долбить один сайт, с повторными попытками и понятным логированием при сбое загрузки. Когда отслеживаемая цена пересекает заданное мной правило (падает ниже порога, оказывается ниже нашей цены или меняется больше чем на заданный процент), система обязана отправить оповещение на почту и в мессенджер, с указанием товара, старого и нового значения и прямой ссылки.
Также нужна простая панель, где можно посмотреть историю цены каждого товара в виде графика, сравнить нашу цену с конкурентами бок о бок и выгрузить данные в CSV для отдела закупок. Опишите, пожалуйста, ваш подход к стабильности скрапера, как вы работаете с сайтами, блокирующими автоматический доступ, и как вы сделаете список отслеживаемых товаров удобным для редактирования нетехническим менеджером.
— Скрапинг по расписанию настраиваемого списка ссылок на товары конкурентов
— Сбор цены, статуса наличия и метки времени; хранение полной истории
— Оповещения по правилам (порог, процент изменения, ниже нашей цены) на почту и в чат
— Графики истории цен и сравнение с конкурентами бок о бок
— Экспорт в CSV и редактируемый список товаров для нетехнических сотрудников
— Повторы, вежливый темп запросов и понятное логирование сбоев
Скрапер должен выдерживать типичные реальные препятствия: страницы, где цена отрисовывается через JavaScript, мягкая защита от ботов, меняющаяся вёрстка и периодические изменения структуры товарной страницы. Хочу настраиваемые селекторы для каждого сайта, чтобы при редизайне магазина можно было поправить одну цель, а не переписывать код. Планировщик должен быть надёжным и вежливым, разносить запросы по времени, чтобы не долбить один сайт, с повторными попытками и понятным логированием при сбое загрузки. Когда отслеживаемая цена пересекает заданное мной правило (падает ниже порога, оказывается ниже нашей цены или меняется больше чем на заданный процент), система обязана отправить оповещение на почту и в мессенджер, с указанием товара, старого и нового значения и прямой ссылки.
Также нужна простая панель, где можно посмотреть историю цены каждого товара в виде графика, сравнить нашу цену с конкурентами бок о бок и выгрузить данные в CSV для отдела закупок. Опишите, пожалуйста, ваш подход к стабильности скрапера, как вы работаете с сайтами, блокирующими автоматический доступ, и как вы сделаете список отслеживаемых товаров удобным для редактирования нетехническим менеджером.
— Скрапинг по расписанию настраиваемого списка ссылок на товары конкурентов
— Сбор цены, статуса наличия и метки времени; хранение полной истории
— Оповещения по правилам (порог, процент изменения, ниже нашей цены) на почту и в чат
— Графики истории цен и сравнение с конкурентами бок о бок
— Экспорт в CSV и редактируемый список товаров для нетехнических сотрудников
— Повторы, вежливый темп запросов и понятное логирование сбоев
Администрирование Наличные, Банковский перевод
