服务器带宽与抓取频率的平衡之道

许多站长在优化网站时，，，，经常遇到一个疑心：显着内容质量不差，，，，外部链接也做了不少，，，，但百度收录新页面的速率却迟迟跟不上。。。。。扫除内容自己的问题后，，，，一个容易被忽视的泉源，，，，着实是服务器带宽与搜索引擎蜘蛛抓取频率之间的匹配没有调试好。。。。。

带宽缺乏怎样拖慢收录

当百度蜘蛛对网站提倡抓取请求时，，，，若是服务器的上行带宽有限，，，，蜘蛛的请求就会排队期待，，，，甚至超时断开。。。。。超时后，，，，蜘蛛通常不会连忙重试，，，，而是期待较长一段时间再回来。。。。。这样一来，，，，新页面被发明的周期就被拉长了。。。。。

详细体现为：

• 服务器响应时间变长，，，，蜘蛛日志中泛起大宗超时或毗连重置纪录。。。。。
• 蜘蛛天天现实抓取的页面数目，，，，远低于网站向百度提交的链接总量。。。。。
• 首页抓取正常，，，，但内页抓取断断续续，，，，深层页面可能数周都无法入库。。。。。

关于共享主机或低设置云服务器的站点，，，，尤其在营业岑岭期，，，，带宽被其他流量挤占，，，，蜘蛛抓取失败率会更高。。。。。建议站长通过服务器监控工具视察逐日带宽占用峰值，，，，若是已靠近上限，，，，就应该思量升级带宽或启用CDN分流静态资源。。。。。

抓取频率并非越高越好

有些站长以为，，，，只要在百度资源平台把抓取频率调到最高，，，，收录速率就能腾飞。。。。。现实上，，，，抓取频率凌驾服务器承载力时，，，，反而会引发负面反映。。。。。蜘蛛高频会见导致CPU和内存恒久满负荷，，，，正常用户会见网站会变慢甚至报错，，，，这会导致用户体验下降和页面跳失率升高。。。。。而百度算法会注重到网站可会见性的恶化，，，，从而降低对整站质量的评估，，，，抓取量也会随之被系统自动削减。。。。。

合理的做法是：

• 视察百度资源平台给出的“抓取异常”报告，，，，确认是否有大宗抓取失败。。。。。
• 凭证服务器响应速率，，，，选择“适中”或“守旧”的抓取频率战略。。。。。
• 若是网站使用动态页面或包括重大数据库盘问，，，，建议开启页面静态化或缓存，，，，减轻瞬时负载压力。。。。。

带宽与频率联调才是正解

纯粹提升带宽而不调解抓取频率，，，，可能造成资源铺张；；纯粹降低频率但带宽很窄，，，，收录瓶颈依然保存。。。。。二者需要协同优化：

落地执行中的常见误区

一些人为了追求收录速率，，，，实验频仍在百度资源平台手动提交链接，，，，或者用第三方工具制造大宗假蜘蛛请求。。。。。这些做法很可能被系统识别为异常行为，，，，轻则暂时限制抓取，，，，重则影响站点信誉。。。。。提升收录速率的基础途径，，，，是让蜘蛛在每次抓取时都能获得流通、低延迟的响应体验，，，，逐步积累抓守信任度。。。。。

履历批注：当服务器平均响应时间稳固在200毫秒以内，，，，且没有4xx/5xx过失时，，，，蜘蛛的抓取深度和频次都会自然上升。。。。。带宽与频率的调优，，，，实质上是在为蜘蛛创立一个“乐于来访”的情形。。。。。