竞争对手价格监控爬虫及警报

我们有一个中型在线商店，因得知竞争对手价格变化太晚而不断失去利润。我们需要一个单独的价格监控爬虫，跟踪大约十几个零售商网站上给定产品页面的列表，并在固定的时间表上，每天多次记录当前价格。对于每个跟踪的产品，该工具应保存价格、可用状态和时间戳，然后存储完整的历史记录，以便我们可以看到价格在几周内的变化，而不仅仅是一个快照。这不是一个关于优惠券或促销代码的项目，也不是一个通用的数据管道到仓库：整个重点是抓取竞争对手的价格并跟踪其随时间的变化。

爬虫必须能够应对典型的真实障碍：通过JavaScript渲染价格的页面、软机器人保护、布局变化和产品页面结构的周期性变化。我希望为每个网站提供可定制的选择器，以便在商店重新设计时，可以修复一个目标，而不是重写代码。调度程序必须可靠且礼貌，分散请求以避免对一个网站的过度请求，并在负载失败时进行重试和清晰的日志记录。当跟踪的价格超过我设定的规则（低于阈值、低于我们的价格或变化超过指定百分比）时，系统必须通过电子邮件和消息发送警报，包含产品、旧值和新值以及直接链接。

我还需要一个简单的仪表板，可以查看每个产品的价格历史图表，比较我们的价格与竞争对手的价格，并将数据导出为CSV供采购部门使用。请描述您对爬虫稳定性的看法，您如何处理阻止自动访问的网站，以及您将如何使跟踪产品列表对非技术经理易于编辑。

— 按照可定制的竞争对手产品链接列表的时间表进行抓取
— 收集价格、可用状态和时间戳；存储完整历史记录
— 按规则（阈值、百分比变化、低于我们的价格）发送电子邮件和聊天警报
— 价格历史图表和并排竞争对手比较
— CSV导出和非技术人员可编辑的产品列表
— 重试、礼貌请求速度和清晰的失败日志记录