爬虫抓取的基本逻辑

百度搜索引擎的爬虫（Baiduspider）在抓取网页时，，，会遵照一定的层级深度战略。。。。
。。通常，，，爬虫从首页或入口链接出发，，，沿着链接一层层向内抓取。。。。
。。若是站内URL层级过深，，，好比凌驾3到4层，，，爬虫可能由于资源配额限制而阻止抓取深层页面，，，导致这些页面迟迟无法被收录。。。。
。。

通过蜘蛛池控制抓取与收录

蜘蛛池是通过聚合大宗廉价域名或站群，，，自动向百度提交链接，，，吸引爬虫频仍来访的手艺手段。。。。
。。在蜘蛛池中，，，控制URL层级是要害：

• 扁平化URL层级：将目的站点的URL控制在2-3层以内，，，例如 domain.com/category/page 而非 domain.com/a/b/c/d/page。。。。
  。。层级越浅，，，爬虫越容易遍历并带走页面。。。。
  。。
• 合理分配深度资源：蜘蛛池中的每个站应分配差别深度的链接，，，优先将浅层链接提交给百度，，，深层链接逐步释放，，，阻止爬虫一次性耗尽抓取配额。。。。
  。。

爬虫深度控制的详细要领

百度爬虫默认会遵照站点的 Robots.txt 和 nofollow 指令。。。。
。。在蜘蛛池建设中，，，可以通过以下方式自动控制爬虫深度：

1. 设置抓取深度上限：在服务器设置或CMS系统中，，，通过 Disallow 规则阻止爬虫进入凌驾3层的目录，，，或者使用 nofollow 标签屏障无关链接。。。。
   。。
2. 使用内链结构指导：将主要页面放在首页或分类页的直接链接中，，，使用锚文本明确指向深度页面。。。。
   。。爬虫会优先抓取浅层且被多次引用的链接。。。。
   。。
3. 控制蜘蛛池的抓取频率：通过调解蜘蛛池中站点的更新频率和链接数目，，，让百度爬虫在有限时间内集中抓取目的页面的前2-3层，，，而非广撒网式铺张资源。。。。
   。。

URL层级与深度控制的协同

在现实操作中，，，URL层级和爬虫深度控制需要配合使用。。。。
。。例如：

若是目的页面位于第4层，，，但通过蜘蛛池提交了一个第2层的入口链接，，，并在此入口页加上指向第4层页面的 nofollow 标签，，，那么爬虫可能不会继续深入。。。。
。。准确做法是：在蜘蛛池中为第4层页面单独建设浅层入口（如直接天生一个第2层的跳转页），，，并去除 nofollow。。。。
。。

履历批注，，，常见的收录效果与层级深度的关系如下表所示：

总结与建议

提升百度收录并非纯粹依赖蜘蛛池的数目，，，更需要细腻控制URL层级与爬虫深度。。。。
。。建议在蜘蛛池项目中：

• 始终将焦点页面坚持在3层以内。。。。
  。。
• 使用 robots.txt 和 nofollow 合理分配抓取预算。。。。
  。。
• 按期检查蜘蛛池中链接的有用性与深度结构，，，阻止泛起死链或过深路径。。。。
  。。

通过以上要领，，，可以在遵守搜索引擎规则的条件下，，，显著提升目的站点的页面收录率。。。。
。。