首页 Spider

Spider

  • Spider 再次抓取更新策略

      Spider把网页抓取到本地,该网页被分析索引并参与了排名,并不意味着Spider针对该网页的工作已经结束了。现在互联网网页内容多是动态变化的,甚至有时网页会被管理者删除。搜索引擎所抓取到的本地页面,可以看做是对已经抓取并索引过的网页做了一个镜像,也就是说理论上搜索引擎应该保证,本地“镜像”页面和对应互联网上的网页内容实时一致。但是由于搜索引擎的Spider资源有限,现阶段做不到也没有必要做到实时监测全部已索引网页的所有变化。搜索引擎只需要为Spider 设置一个再次抓取和更新页面的策略,以保证当部分页面呈...

    2019-05-15 727 0 seoSpider知识点
1