流量宝
liuliangbao.cn

近日收到一会员反映：网站的抓取频次从5月初的19万下降至6月份3万，但网站一直保持正常优化状态，咨询是什么原因造成的呢？

我们根据网站SEO优化经验，对百度抓取频次异常情况进行分析！

先看下什么是抓取频次？

官方解读抓取频次是指：搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，

简单理解：就是指百度的“蜘蛛”去抓取互联网网站的更新内容信息，并记录反馈，而抓取频次就是蜘蛛的抓取次数。

一般百度的抓取频次在一定范围内上下浮动属于正常现象。因为Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。

所以，如果单纯出现抓取频次下降，而网站流量并未受到影响的情况下，可暂时不做调整，建议多观察一段时间；

而如果像上面用户存在的情况如果长时间的抓取频次未得到回升，且同时网站的索引量、流量和关键词数据都有明显的下降，则说明网站的搜索数据存在异常，需要及时处理；

一、抓取频次过大如何处理？

1）蜘蛛的抓取频次并非越高越好

如果抓取频次过高，很有可能导致网站服务器不稳定。

当Baiduspider 影响了网站的正常访问时，需要至抓取频次上限调整页面进行抓取频次上限下调。

提醒：

在调整抓取频次时，一定要慎重，如果抓取频次过小则会影响Baiduspider对网站的收录

2）抓取无价值链接

如果Baiduspider抓取了一些无价值的链接， 请更新网站robots.txt进行屏蔽抓取，然后到robots工具页面操作生效。

二、抓取频次过小如何处理？

当我们发现网站的抓取频次过小，需要从以下几点处理！

1）检查是否设置了抓取频次上限，如有，需要取消限制；

2）使用抓取诊断工具自助检测，及自查网站是否可正常访问；

3）通过抓取异常工具显示网站无法正常抓取的URL链接异常情况，是服务器错误、访问被拒绝、找不到页面，还是其他类错误，从而针对性解决网站问题；

4）主动提交新链接至链接提交页面，有助于提升网页的抓取频次；

三、抓取频次突然下降怎么办？

抓取频次突然下降且长时间未恢复，网站流量也受到较大影响，需要网站关注以下几点！

1）更换网站服务器

很多网站在更换网站服务器时，往往也会随之更换IP，所以需要在百度后台查看网站是否出现“链接超时”的情况。

2）另外网站URL改变的情况也经常存在，需要去修正相关规则，然后利用301重定向；

3）使用第三方安全防护软件，因为百度IP地址范围动态变化不固定，导致屏蔽蜘蛛的IP段

如何正确识别百度蜘蛛？也简单的，就是看UA

百度搜索蜘蛛的UA会有一个特定的字符串：Baiduspider

只要包含Baiduspider的UA基本可以判定为百度蜘蛛。

4）被百度算法命中，比如近期的网站SEO优化方法被百度算法命中，而被降权，或百度算法近期的调整，从而导致网站的综合权重下降。

所以我们在做日常的网站优化时，一定要熟悉百度的各种算法，避免存在违规或打擦边球的现象。

好了，以上就是针对百度抓取频次异常、过大/过小情况的原因分析，以及网站相应的解决方法，希望对大家有帮助。