У нас интернет-магазин с каталогом в несколько тысяч позиций, и сейчас отдел закупок сверяет цены конкурентов вручную: открывают вкладки, сравнивают цифры в таблице раз в два-три дня. На это уходит по несколько часов в неделю, а о снижении цены у конкурента узнаём постфактум, когда падают продажи. Хотим автоматизировать процесс: чтобы система сама забирала данные с заданного списка сайтов конкурентов по расписанию, хранила историю цен и показывала, что изменилось с прошлой проверки.
Сложность в том, что у сайтов конкурентов разная структура: где-то цена в обычном HTML, где-то подгружается через JavaScript, где-то наличие товара скрыто в динамическом блоке, который меняется при редизайне. Парсер должен выдерживать такие различия и работать дальше, если конкурент немного поменял вёрстку. Отдельная задача — сопоставление наших товаров с позициями конкурентов: по названию, штрихкоду или через таблицу соответствий.
Помимо сбора данных нужен понятный отчёт: текущая цена, предыдущая цена, процент изменения и наличие по каждому товару, плюс уведомления на почту или в мессенджер, когда цена конкурента опускается ниже нашей или начинается акция.
Ожидаем на выходе: — парсер по стартовому списку из 6-8 сайтов конкурентов — хранение истории цен и отчёт для сравнения — настраиваемые правила алертов (порог, периодичность, канал) — краткую инструкцию, как добавлять новые сайты и товары