成都信网网站建设技术有限公司
首页 | 联系方式 | 加入收藏 | 设为首页 | 手机站

产品中心

联系方式

联系人:宁先生
电话:028-8672252
邮箱:service@szrichway.com

当前位置:首页 >> 网站知识 >> 正文

搜索引擎如何监控网站网页变化?

编辑:成都信网网站建设技术有限公司  时间:2013/01/25  字号:
摘要:搜索引擎如何监控网站网页变化?
(1) 为减少浏览器对web服务器流量过大,http 1.1 设计了 if-modified-since 和 E-tag 功能,你可以在每一次下载后,记住last-modified-time 和 E-tag内容,然后下一次抓取时,在http协议上带上这些值,如果内容没变化,web服务器直接返回页面未变化错误码,从而快速得出网页未变化结论;此法判断不出,在跳入指纹比较。
(2) 从效率上考虑,我们不能对所有网页一视同仁,而应该重点检查;测试发现,大部分网站的网页变化应该有一定规律的,比如首页和论坛列表页等容易发生变化,但老新闻内容页可能几年都不会发生变化;只要把经常变的给揪出来,变化内容就顺便发现了,那么怎么跟踪这些变化呢?可以记录每个url的阶段性变化历史(如访问了几次,变化了几次),然后下次抓取时,对其进行预测,优先级排序,经常变化的经常访问。
上一条:网站被挂黑链,怎样快速恢复百度排名 下一条:百度与谷歌相比有哪些不足之处