Monitorowanie cen konkurencji za pomocą skryptu z powiadomieniami

Mamy średniej wielkości sklep internetowy i ciągle tracimy marżę, ponieważ dowiadujemy się o zmianach cen konkurencji za późno. Potrzebujemy osobnego skryptu do monitorowania cen, który śledzi określoną listę stron produktów na około tuzinie stron internetowych sklepów detalicznych i, według ustalonego harmonogramu, kilka razy dziennie, rejestruje aktualną cenę. Dla każdego śledzonego produktu narzędzie powinno zapisywać cenę, status dostępności i znacznik czasu, a następnie przechowywać pełną historię, abyśmy mogli zobaczyć, jak cena zmieniała się w ciągu tygodni, a nie tylko jednego zrzutu. To nie jest projekt dotyczący kuponów ani kodów promocyjnych i nie jest ogólnym przepływem danych do magazynu: cały nacisk kładziony jest na skrobanie cen konkurencji i śledzenie ich zmian w czasie.

Skrypt musi wytrzymać typowe realne przeszkody: strony, na których cena jest renderowana przez JavaScript, ochrona przed botami, zmieniający się układ i okresowe zmiany struktury strony produktu. Chcę mieć możliwość dostosowywania selektorów dla każdej strony, aby, gdy sklep przeprojektuje, można było naprawić jeden cel, a nie przepisywać kod. Harmonogram musi być niezawodny i uprzejmy, rozkładając żądania w czasie, aby nie obciążać jednej strony, z ponownymi próbami i jasnym logowaniem w przypadku niepowodzeń ładowania. Gdy śledzona cena przekroczy regułę, którą ustawiłem (spadnie poniżej progu, będzie poniżej naszej ceny lub zmieni się o więcej niż określony procent), system musi wysłać powiadomienie za pośrednictwem e-maila i komunikatora z produktem, starymi i nowymi wartościami oraz bezpośrednim linkiem.

Potrzebuję również prostego panelu, w którym mogę zobaczyć historię cen każdego produktu w formie wykresu, porównać naszą cenę z cenami konkurencji obok siebie i eksportować dane do CSV dla działu zakupów. Proszę opisać swoje podejście do stabilności skryptu, jak pracujesz z witrynami blokującymi dostęp automatyczny oraz jak ułatwisz edytowanie listy śledzonych produktów dla nietechnicznego menedżera.

— Skrobanie według harmonogramu dostosowanej listy linków do produktów konkurencji
— Zbieranie ceny, statusu dostępności i znacznika czasu; przechowywanie pełnej historii
— Powiadomienia według reguł (próg, zmiana procentowa, poniżej naszej ceny) na e-mail i czat
— Wykresy historii cen i porównanie konkurencji obok siebie
— Eksport CSV i edytowalna lista produktów dla nietechnicznego personelu
— Ponowne próby, uprzejme tempo żądań i jasne logowanie błędów