分析百度抓取频次突然下降的原因,及网站如何解决?
近日收到一会员反映:网站的抓取频次从5月初的19万下降至6月份3万,但网站一直保持正常优化状态,咨询是什么原因造成的呢?
我们根据网站SEO优化经验,对百度抓取频次异常情况进行分析!
先看下什么是抓取频次?
官方解读抓取频次是指:搜索引擎在单位时间内(天级)对网站服务器抓取的总次数,
简单理解:就是指百度的“蜘蛛”去抓取互联网网站的更新内容信息,并记录反馈,而抓取频次就是蜘蛛的抓取次数。
一般百度的抓取频次在一定范围内上下浮动属于正常现象。因为Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。
所以,如果单纯出现抓取频次下降,而网站流量并未受到影响的情况下,可暂时不做调整,建议多观察一段时间;
而如果像上面用户存在的情况如果长时间的抓取频次未得到回升,且同时网站的索引量、流量和关键词数据都有明显的下降,则说明网站的搜索数据存在异常,需要及时处理;
一、抓取频次过大如何处理?
1)蜘蛛的抓取频次并非越高越好
如果抓取频次过高,很有可能导致网站服务器不稳定。
当Baiduspider 影响了网站的正常访问时,需要至抓取频次上限调整页面进行抓取频次上限下调。
提醒:
在调整抓取频次时,一定要慎重,如果抓取频次过小则会影响Baiduspider对网站的收录
2)抓取无价值链接
如果Baiduspider抓取了一些无价值的链接, 请更新网站robots.txt进行屏蔽抓取,然后到robots工具页面操作生效。
二、抓取频次过小如何处理?
当我们发现网站的抓取频次过小,需要从以下几点处理!
1)检查是否设置了抓取频次上限,如有,需要取消限制;
2)使用抓取诊断工具自助检测,及自查网站是否可正常访问;
3)通过抓取异常工具显示网站无法正常抓取的URL链接异常情况,是服务器错误、访问被拒绝、找不到页面,还是其他类错误,从而针对性解决网站问题;
4)主动提交新链接至链接提交页面,有助于提升网页的抓取频次;
三、抓取频次突然下降怎么办?
抓取频次突然下降且长时间未恢复,网站流量也受到较大影响,需要网站关注以下几点!
1)更换网站服务器
很多网站在更换网站服务器时,往往也会随之更换IP,所以需要在百度后台查看网站是否出现“链接超时”的情况。
2)另外网站URL改变的情况也经常存在,需要去修正相关规则,然后利用301重定向;
3)使用第三方安全防护软件,因为百度IP地址范围动态变化不固定,导致屏蔽蜘蛛的IP段
如何正确识别百度蜘蛛?也简单的,就是看UA
百度搜索蜘蛛的UA会有一个特定的字符串:Baiduspider
只要包含Baiduspider的UA基本可以判定为百度蜘蛛。
4)被百度算法命中,比如近期的网站SEO优化方法被百度算法命中,而被降权,或百度算法近期的调整,从而导致网站的综合权重下降。
所以我们在做日常的网站优化时,一定要熟悉百度的各种算法,避免存在违规或打擦边球的现象。
好了,以上就是针对百度抓取频次异常、过大/过小情况的原因分析,以及网站相应的解决方法,希望对大家有帮助。
猜你喜欢