Strumento di monitoraggio dei prezzi dei concorrenti con avvisi

Abbiamo un negozio online di medie dimensioni e perdiamo costantemente margine perché veniamo a conoscenza delle variazioni di prezzo dei concorrenti troppo tardi. Abbiamo bisogno di uno scraper di monitoraggio dei prezzi separato che tracci un elenco specifico di pagine prodotto su circa una dozzina di siti web di negozi al dettaglio e, secondo un programma fisso, più volte al giorno, registri il prezzo attuale. Per ogni prodotto tracciato, lo strumento deve salvare il prezzo, lo stato di disponibilità e il timestamp, e poi memorizzare l'intera storia in modo da poter vedere come il prezzo è cambiato nel tempo, non solo un'istantanea. Questo non è un progetto sui coupon o codici promozionali e non è un pipeline di dati generale verso un magazzino: l'intero focus è sullo scraping dei prezzi dei concorrenti e sul monitoraggio delle loro variazioni nel tempo.

Lo scraper deve resistere a ostacoli reali tipici: pagine in cui il prezzo è reso tramite JavaScript, protezione soft bot, layout che cambia e modifiche periodiche alla struttura della pagina prodotto. Voglio selettori personalizzabili per ogni sito in modo che quando un negozio ridisegna, puoi correggere un obiettivo piuttosto che riscrivere il codice. Il pianificatore deve essere affidabile e cortese, distribuendo le richieste nel tempo in modo da non sovraccaricare un sito, con ripetizioni e registrazione chiara sui fallimenti di caricamento. Quando un prezzo tracciato supera una regola che ho impostato (scende al di sotto di una soglia, è al di sotto del nostro prezzo o cambia più di una percentuale specificata), il sistema deve inviare un avviso via email e messenger con il prodotto, i valori vecchi e nuovi e un link diretto.

Ho anche bisogno di una semplice dashboard dove posso visualizzare la cronologia dei prezzi di ciascun prodotto come un grafico, confrontare il nostro prezzo con quello dei concorrenti affiancati ed esportare i dati in CSV per il dipartimento acquisti. Si prega di descrivere il proprio approccio alla stabilità dello scraper, come si lavora con i siti che bloccano l'accesso automatizzato e come si renderà l'elenco dei prodotti tracciati facile da modificare per un manager non tecnico.

— Scraping secondo un programma di un elenco personalizzabile di link ai prodotti dei concorrenti
— Raccolta di prezzo, stato di disponibilità e timestamp; memorizzazione della cronologia completa
— Avvisi secondo regole (soglia, variazione percentuale, al di sotto del nostro prezzo) via email e chat
— Grafici storici dei prezzi e confronto affiancato con i concorrenti
— Esportazione in CSV e elenco di prodotti modificabile per il personale non tecnico
— Ripetizioni, ritmo di richiesta cortese e registrazione chiara dei fallimenti