Опис проєкту
ПерекладУ нас середній за розміром інтернет-магазин, і ми постійно втрачаємо маржу, тому що дізнаємося про зміни цін у конкурентів занадто пізно. Потрібен окремий скрапер для моніторингу цін, який стежить за заданим списком товарних сторінок приблизно на десятку сайтів роздрібних магазинів і за фіксованим розкладом, кілька разів на день, фіксує поточну ціну. Для кожного відстежуваного товару інструмент повинен зберігати ціну, статус наявності та мітку часу, а потім зберігати повну історію, щоб ми бачили, як ціна змінювалась протягом тижнів, а не тільки один знімок. Це не проект про купони або промокоди і не загальний конвеєр завантаження даних у сховище: весь фокус на скрапінгу цін конкурентів і відстеженні їх змін у часі.
Скрапер повинен витримувати типові реальні перешкоди: сторінки, де ціна відрисовується через JavaScript, м'яка захист від ботів, що змінюється вёрстка і періодичні зміни структури товарної сторінки. Хочу настраюємі селектори для кожного сайту, щоб при редизайні магазину можна було виправити одну ціль, а не переписувати код. Планувальник повинен бути надійним і ввічливим, розносити запити по часу, щоб не «долбити» один сайт, з повторними спробами і зрозумілим логуванням при збою завантаження. Коли відстежувана ціна перетинає задане мною правило (падає нижче порога, виявляється нижче нашої ціни або змінюється більше ніж на заданий відсоток), система обов'язково повинна надіслати сповіщення на пошту та в месенджер, з указанням товару, старого й нового значення і прямого посилання.
Також потрібна проста панель, де можна подивитися історію ціни кожного товару у вигляді графіка, порівняти нашу ціну з конкурентами бік о бік і вивантажити дані в CSV для відділу закупівель. Опишіть, будь ласка, ваш підхід до стабільності скрапера, як ви працюєте з сайтами, що блокують автоматичний доступ, і як ви зробите список відстежуваних товарів зручним для редагування нетехнічним менеджером.
— Скрапінг за розкладом настраюємого списку посилань на товари конкурентів
— Збір ціни, статусу наявності та мітки часу; зберігання повної історії
— Сповіщення за правилами (поріг, відсоток зміни, нижче нашої ціни) на пошту та в чат
— Графіки історії цін і порівняння з конкурентами бік о бік
— Експорт у CSV і редаговуваний список товарів для нетехнічних співробітників
— Повторні спроби, ввічливий темп запитів і зрозуміле логування збоїв
Скрапер повинен витримувати типові реальні перешкоди: сторінки, де ціна відрисовується через JavaScript, м'яка захист від ботів, що змінюється вёрстка і періодичні зміни структури товарної сторінки. Хочу настраюємі селектори для кожного сайту, щоб при редизайні магазину можна було виправити одну ціль, а не переписувати код. Планувальник повинен бути надійним і ввічливим, розносити запити по часу, щоб не «долбити» один сайт, з повторними спробами і зрозумілим логуванням при збою завантаження. Коли відстежувана ціна перетинає задане мною правило (падає нижче порога, виявляється нижче нашої ціни або змінюється більше ніж на заданий відсоток), система обов'язково повинна надіслати сповіщення на пошту та в месенджер, з указанням товару, старого й нового значення і прямого посилання.
Також потрібна проста панель, де можна подивитися історію ціни кожного товару у вигляді графіка, порівняти нашу ціну з конкурентами бік о бік і вивантажити дані в CSV для відділу закупівель. Опишіть, будь ласка, ваш підхід до стабільності скрапера, як ви працюєте з сайтами, що блокують автоматичний доступ, і як ви зробите список відстежуваних товарів зручним для редагування нетехнічним менеджером.
— Скрапінг за розкладом настраюємого списку посилань на товари конкурентів
— Збір ціни, статусу наявності та мітки часу; зберігання повної історії
— Сповіщення за правилами (поріг, відсоток зміни, нижче нашої ціни) на пошту та в чат
— Графіки історії цін і порівняння з конкурентами бік о бік
— Експорт у CSV і редаговуваний список товарів для нетехнічних співробітників
— Повторні спроби, ввічливий темп запитів і зрозуміле логування збоїв
Адміністрування Готівка, Банківський переказ
