Description du projet
TraduitNous avons un magasin en ligne de taille moyenne et nous perdons constamment des marges car nous apprenons les changements de prix des concurrents trop tard. Nous avons besoin d'un scraper de surveillance des prix séparé qui suit une liste donnée de pages de produits sur une dizaine de sites de magasins de détail et, selon un calendrier fixe, plusieurs fois par jour, enregistre le prix actuel. Pour chaque produit suivi, l'outil doit enregistrer le prix, le statut de disponibilité et l'horodatage, puis stocker l'historique complet afin que nous puissions voir comment le prix a changé au fil des semaines, pas seulement un instantané. Ce n'est pas un projet sur les coupons ou les codes promo et pas un pipeline de données général vers un entrepôt : l'ensemble de l'accent est mis sur le scraping des prix des concurrents et le suivi de leurs changements au fil du temps.
Le scraper doit résister aux obstacles réels typiques : pages où le prix est rendu par JavaScript, protection douce contre les bots, mise en page changeante et modifications périodiques de la structure de la page produit. Je veux des sélecteurs personnalisables pour chaque site afin que lorsque un magasin se refait une beauté, vous puissiez corriger une cible plutôt que de réécrire le code. Le planificateur doit être fiable et poli, étalant les demandes dans le temps afin de ne pas saturer un site, avec des tentatives de reprise et une journalisation claire des échecs de chargement. Lorsque le prix suivi franchit une règle que j'ai définie (tombe en dessous d'un seuil, est en dessous de notre prix ou change de plus d'un pourcentage spécifié), le système doit envoyer une alerte par e-mail et messagerie avec le produit, les anciennes et nouvelles valeurs et un lien direct.
J'ai également besoin d'un tableau de bord simple où je peux voir l'historique des prix de chaque produit sous forme de graphique, comparer notre prix avec ceux des concurrents côte à côte et exporter des données au format CSV pour le département des achats. Veuillez décrire votre approche de la stabilité du scraper, comment vous travaillez avec les sites bloquant l'accès automatisé, et comment vous rendrez la liste des produits suivis facile à éditer pour un responsable non technique.
— Scraping selon un calendrier d'une liste personnalisable de liens de produits concurrents
— Collecte du prix, du statut de disponibilité et de l'horodatage ; stockage de l'historique complet
— Alertes par règles (seuil, changement de pourcentage, en dessous de notre prix) par e-mail et chat
— Graphiques d'historique des prix et comparaison côte à côte avec les concurrents
— Exportation CSV et liste de produits modifiable pour le personnel non technique
— Tentatives de reprise, rythme de demande poli et journalisation claire des échecs
Le scraper doit résister aux obstacles réels typiques : pages où le prix est rendu par JavaScript, protection douce contre les bots, mise en page changeante et modifications périodiques de la structure de la page produit. Je veux des sélecteurs personnalisables pour chaque site afin que lorsque un magasin se refait une beauté, vous puissiez corriger une cible plutôt que de réécrire le code. Le planificateur doit être fiable et poli, étalant les demandes dans le temps afin de ne pas saturer un site, avec des tentatives de reprise et une journalisation claire des échecs de chargement. Lorsque le prix suivi franchit une règle que j'ai définie (tombe en dessous d'un seuil, est en dessous de notre prix ou change de plus d'un pourcentage spécifié), le système doit envoyer une alerte par e-mail et messagerie avec le produit, les anciennes et nouvelles valeurs et un lien direct.
J'ai également besoin d'un tableau de bord simple où je peux voir l'historique des prix de chaque produit sous forme de graphique, comparer notre prix avec ceux des concurrents côte à côte et exporter des données au format CSV pour le département des achats. Veuillez décrire votre approche de la stabilité du scraper, comment vous travaillez avec les sites bloquant l'accès automatisé, et comment vous rendrez la liste des produits suivis facile à éditer pour un responsable non technique.
— Scraping selon un calendrier d'une liste personnalisable de liens de produits concurrents
— Collecte du prix, du statut de disponibilité et de l'horodatage ; stockage de l'historique complet
— Alertes par règles (seuil, changement de pourcentage, en dessous de notre prix) par e-mail et chat
— Graphiques d'historique des prix et comparaison côte à côte avec les concurrents
— Exportation CSV et liste de produits modifiable pour le personnel non technique
— Tentatives de reprise, rythme de demande poli et journalisation claire des échecs
Administration Espèces, Virement bancaire
