项目描述
翻译我们的网站在过去几年中不断增长，页面被移动，外部资源关闭，旧的引用悄然变成死胡同。访客在我们不知道的情况下遇到错误页面，直到有人投诉，而到那时损害已经造成。我们需要有人设置一个监控例程，自动捕捉这些问题，而不是我们偶然发现断链。
任务是配置一个爬虫，定期遍历网站的每个页面，跟踪内部和外部链接，并检查每个链接是否加载。当链接失败时，报告应显示发现该链接的页面及返回的错误类型。我们还希望在出现新的断链时，向负责人员发送通知，按照自己的时间表运行，无需手动触发。
准确性最为重要：没有来自临时超时或登录保护页面的虚假警报，也没有深埋在结构中的跳过页面。请描述您的方法和工具。
结果应包括：
— 每个页面的完整爬取
— 内部和外部断链的单独列表
— 每个断链的确切页面和位置
— 新问题的通知
— 可读的摘要，而不是原始日志
任务是配置一个爬虫，定期遍历网站的每个页面，跟踪内部和外部链接，并检查每个链接是否加载。当链接失败时，报告应显示发现该链接的页面及返回的错误类型。我们还希望在出现新的断链时，向负责人员发送通知，按照自己的时间表运行，无需手动触发。
准确性最为重要：没有来自临时超时或登录保护页面的虚假警报，也没有深埋在结构中的跳过页面。请描述您的方法和工具。
结果应包括：
— 每个页面的完整爬取
— 内部和外部断链的单独列表
— 每个断链的确切页面和位置
— 新问题的通知
— 可读的摘要，而不是原始日志
网页编程 现金, 银行转账
