Wettbewerberpreisüberwachungs-Scraper mit Benachrichtigungen

Wir haben einen mittelgroßen Online-Shop und verlieren ständig Marge, weil wir zu spät von Preisänderungen der Wettbewerber erfahren. Wir benötigen einen separaten Preisüberwachungs-Scraper, der eine gegebene Liste von Produktseiten auf etwa einem Dutzend Einzelhandels-Websites verfolgt und zu einem festen Zeitplan mehrmals täglich den aktuellen Preis aufzeichnet. Für jedes verfolgte Produkt sollte das Tool den Preis, den Verfügbarkeitsstatus und den Zeitstempel speichern und dann die vollständige Historie aufbewahren, damit wir sehen können, wie sich der Preis über Wochen verändert hat, nicht nur einen Schnappschuss. Dies ist kein Projekt über Gutscheine oder Aktionscodes und kein allgemeiner Datenpipeline zu einem Lager: Der gesamte Fokus liegt auf dem Scraping von Wettbewerberpreisen und der Verfolgung ihrer Änderungen im Laufe der Zeit.

Der Scraper muss typischen realen Hindernissen standhalten: Seiten, auf denen der Preis durch JavaScript gerendert wird, sanfter Bot-Schutz, sich ändernde Layouts und periodische Änderungen an der Produktseitenstruktur. Ich möchte anpassbare Selektoren für jede Seite, damit man, wenn ein Geschäft das Design ändert, ein Ziel anpassen kann, anstatt den Code neu zu schreiben. Der Zeitplaner muss zuverlässig und höflich sein, Anfragen über die Zeit verteilen, damit er eine Seite nicht überlastet, mit Wiederholungen und klarer Protokollierung bei Ladefehlern. Wenn ein verfolgter Preis eine Regel überschreitet, die ich festgelegt habe (unter einen Schwellenwert fällt, unter unserem Preis liegt oder sich um mehr als einen bestimmten Prozentsatz ändert), muss das System eine Benachrichtigung per E-Mail und Messenger mit dem Produkt, alten und neuen Werten und einem direkten Link senden.

Ich benötige auch ein einfaches Dashboard, auf dem ich die Preishistorie jedes Produkts als Diagramm anzeigen, unseren Preis mit den Wettbewerbern nebeneinander vergleichen und Daten für die Einkaufsabteilung im CSV-Format exportieren kann. Bitte beschreiben Sie Ihren Ansatz zur Stabilität des Scrapers, wie Sie mit Websites umgehen, die den automatisierten Zugriff blockieren, und wie Sie die Liste der verfolgten Produkte für einen nicht-technischen Manager einfach bearbeitbar machen.

— Scraping nach einem Zeitplan einer anpassbaren Liste von Wettbewerberproduktlinks
— Sammlung von Preis, Verfügbarkeitsstatus und Zeitstempel; vollständige Historie speichern
— Benachrichtigungen nach Regeln (Schwellenwert, prozentuale Änderung, unter unserem Preis) per E-Mail und Chat
— Preishistorien-Diagramme und nebeneinander Vergleich mit Wettbewerbern
— CSV-Export und bearbeitbare Produktliste für nicht-technisches Personal
— Wiederholungen, höfliches Anfrage-Tempo und klare Fehlerprotokollierung