分析百度抓取频次突然下降的原因,及网站如何解决?

2020-06-12 09:33:37

近日收到一会员反映:网站的抓取频次从5月初的19万下降至6月份3万,但网站一直保持正常优化状态,咨询是什么原因造成的呢?


asCVUNEtu4jjQ8oz.png


我们根据网站SEO优化经验,对百度抓取频次异常情况进行分析!


先看下什么是抓取频次?

官方解读抓取频次是指:搜索引擎在单位时间内(天级)对网站服务器抓取的总次数,

简单理解:就是指百度的“蜘蛛”去抓取互联网网站的更新内容信息,并记录反馈,而抓取频次就是蜘蛛的抓取次数。

一般百度的抓取频次在一定范围内上下浮动属于正常现象。因为Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。

所以,如果单纯出现抓取频次下降,而网站流量并未受到影响的情况下,可暂时不做调整,建议多观察一段时间;

而如果像上面用户存在的情况如果长时间的抓取频次未得到回升,且同时网站的索引量、流量和关键词数据都有明显的下降,则说明网站的搜索数据存在异常,需要及时处理;


一、抓取频次过大如何处理?

1)蜘蛛的抓取频次并非越高越好

如果抓取频次过高,很有可能导致网站服务器不稳定。

当Baiduspider 影响了网站的正常访问时,需要至抓取频次上限调整页面进行抓取频次上限下调。

提醒:

在调整抓取频次时,一定要慎重,如果抓取频次过小则会影响Baiduspider对网站的收录


抓取频次.png


2)抓取无价值链接

如果Baiduspider抓取了一些无价值的链接, 请更新网站robots.txt进行屏蔽抓取,然后到robots工具页面操作生效。


ROBOTS.png


二、抓取频次过小如何处理?

当我们发现网站的抓取频次过小,需要从以下几点处理!

1)检查是否设置了抓取频次上限,如有,需要取消限制;

2)使用抓取诊断工具自助检测,及自查网站是否可正常访问;

3)通过抓取异常工具显示网站无法正常抓取的URL链接异常情况,是服务器错误、访问被拒绝、找不到页面,还是其他类错误,从而针对性解决网站问题;

4)主动提交新链接至链接提交页面,有助于提升网页的抓取频次;


三、抓取频次突然下降怎么办?

抓取频次突然下降且长时间未恢复,网站流量也受到较大影响,需要网站关注以下几点!

1)更换网站服务器

很多网站在更换网站服务器时,往往也会随之更换IP,所以需要在百度后台查看网站是否出现“链接超时”的情况。

2)另外网站URL改变的情况也经常存在,需要去修正相关规则,然后利用301重定向;

3)使用第三方安全防护软件,因为百度IP地址范围动态变化不固定,导致屏蔽蜘蛛的IP段

如何正确识别百度蜘蛛?也简单的,就是看UA

百度搜索蜘蛛的UA会有一个特定的字符串: Baiduspider

只要包含 Baiduspider的UA基本可以判定为百度蜘蛛。

4)被百度算法命中,比如近期的网站SEO优化方法被百度算法命中,而被降权,或百度算法近期的调整,从而导致网站的综合权重下降。


所以我们在做日常的网站优化时,一定要熟悉百度的各种算法,避免存在违规或打擦边球的现象。

好了,以上就是针对百度抓取频次异常、过大/过小情况的原因分析,以及网站相应的解决方法,希望对大家有帮助。

流量宝流量版官方版

软件功能: 刷网站流量,刷手机流量

软件大小: 44.3MB

用户评分:  10 分

立即下载
已有2476+万次下载

电商流量

网站流量

Copyright © 2010-2020 liuliangbao.cn All Rights Reserved. 流量宝 - 浙ICP备12019862号浙公网安备 33010802006263号

返回顶部