Скрапер моніторингу цін конкурентів з оповіщеннями

У нас середній за розміром інтернет-магазин, і ми постійно втрачаємо маржу, бо дізнаємося про зміни цін у конкурентів надто пізно. Потрібен окремий скрапер для моніторингу цін, який стежить за заданим списком товарних сторінок приблизно на десятку сайтів роздрібних магазинів і за фіксованим розкладом, кілька разів на день, фіксує поточну ціну. Для кожного відстежуваного товару інструмент має зберігати ціну, статус наявності та мітку часу, а потім тримати повну історію, щоб ми бачили, як ціна змінювалася протягом тижнів, а не лише один знімок. Це не проєкт про купони чи промокоди й не загальний конвеєр завантаження даних у сховище: весь фокус на скрапінгу цін конкурентів і відстеженні їхніх змін у часі.

Скрапер має витримувати типові реальні перешкоди: сторінки, де ціна відмальовується через JavaScript, м'який захист від ботів, змінна верстка та періодичні зміни структури товарної сторінки. Хочу налаштовувані селектори для кожного сайту, щоб при редизайні магазину можна було виправити одну ціль, а не переписувати код. Планувальник має бути надійним і ввічливим, розносити запити в часі, щоб не гатити один сайт, з повторними спробами та зрозумілим логуванням при збої завантаження. Коли відстежувана ціна перетинає задане мною правило (падає нижче порога, виявляється нижчою за нашу ціну або змінюється більше ніж на заданий відсоток), система зобов'язана надіслати оповіщення на пошту та в месенджер, із зазначенням товару, старого й нового значення та прямого посилання.

Також потрібна проста панель, де можна переглянути історію ціни кожного товару у вигляді графіка, порівняти нашу ціну з конкурентами поруч і вивантажити дані у CSV для відділу закупівель. Опишіть, будь ласка, ваш підхід до стабільності скрапера, як ви працюєте із сайтами, що блокують автоматичний доступ, і як ви зробите список відстежуваних товарів зручним для редагування нетехнічним менеджером.

— Скрапінг за розкладом налаштовуваного списку посилань на товари конкурентів
— Збір ціни, статусу наявності та мітки часу; зберігання повної історії
— Оповіщення за правилами (поріг, відсоток зміни, нижче за нашу ціну) на пошту та в чат
— Графіки історії цін і порівняння з конкурентами поруч
— Експорт у CSV та редагований список товарів для нетехнічних співробітників
— Повтори, ввічливий темп запитів і зрозуміле логування збоїв