辽阳网站优化之百度蜘蛛访问网站大量占用网站流量该怎么办?

在企业网站建设推广的过程中,会出现这样的问题:有些小型企业网站,流量固定,但是百度蜘蛛爬去的很频繁,造成n多流量被蜘蛛占用,怎么限制它?或者用别的什么标签语句限制?
我们查证了很多网站资料,分析得出以下结论:正常情况下,百度蜘蛛baiduspider对一个网站的抓取频率决定于这个网站产出新内容的速度。一个小型的企业网站的抓取频率远高于新内容产出速度,通常会是下面这两种问题有中的一个:
第一,企业建设网站的时候,网站程序有漏洞,产生了无穷尽的url,被baiduspider当成了很多新内容而频繁的抓取。建议分析网站的访问日志,看看baiduspider所抓取的内容是否是你想让百度收录的,如果不是则建议修改网站程序或者用robots协议禁止baiduspider抓取这部分内容。
第二,在网站推广的过程中,有其他程序冒充baiduspider抓取。建议在linux下用host ip命令反解ip来判断baiduspider的抓取是否冒充,baiduspider的hostname以*.baidu.com的格式命名。
上一个:暂无
下一个:B2B网站建设:内容优化的3个实用小技巧!
辽阳seo,辽阳关键词优化,辽阳网站优化,辽阳seo优化,辽阳seo公司