Моніторинг цін конкурентів для відділу закупівель

У нас інтернет-магазин із каталогом на кілька тисяч позицій, і наразі відділ закупівель звіряє ціни конкурентів вручну — відкривають вкладки, порівнюють цифри в таблиці раз на два-три дні. На це йде кілька годин щотижня, а про зниження ціни в конкурента дізнаємось постфактум, коли падають продажі. Хочемо автоматизувати процес: щоб система сама забирала дані із заданого списку сайтів конкурентів за розкладом, зберігала історію цін і показувала, що змінилося з минулої перевірки.

Складність у тому, що сайти конкурентів мають різну структуру: десь ціна в звичайному HTML, десь підвантажується через JavaScript, десь наявність товару схована в динамічному блоці, який змінюється при редизайні. Парсер має витримувати такі відмінності й далі працювати, якщо конкурент трохи змінив верстку. Окреме завдання — зіставлення наших товарів із позиціями конкурентів: за назвою, штрихкодом або через таблицю відповідностей.

Крім збору даних потрібен зрозумілий звіт: поточна ціна, попередня ціна, відсоток зміни та наявність по кожному товару, плюс сповіщення на пошту або в месенджер, коли ціна конкурента опускається нижче нашої або починається акція.

Очікуємо на виході:
— парсер за стартовим списком із 6-8 сайтів конкурентів
— зберігання історії цін і звіт для порівняння
— налаштовувані правила алертів (поріг, періодичність, канал)
— стислу інструкцію, як додавати нові сайти й товари