明确爬虫预算：长尾词优化的入口

搜索引擎分配给每个网站的爬取资源是有限的，
，，这个资源通常被称为“爬虫预算”。。。。
。
。关于希望优化长尾词排名的站点来说，
，，合理分配爬虫预算，
，，指导爬虫优先抓取对长尾词排名有价值的内容，
，，是提升整体搜索体现的要害。。。。
。
。预算分配不当，
，，可能导致主要的长尾页面恒久不被收录，
，，或者新增内容无法实时进入索引库。。。。
。
。

预算分配的常见误区

许多站点的爬虫预算铺张在低质量、重复或无关页面上。。。。
。
。以下三种情形尤其常见：

• 太过抓取参数页面：好比URL中带有大宗筛选、排序参数的页面，
  ，，这些页面通常内容重复，
  ，，且对长尾词排名资助有限。。。。
  。
  。
• 死链接与重定向链：保存大宗404页面或多次跳转的URL，
  ，，爬虫消耗时间在这些无效路径上，
  ，，无法深入抓取优质长尾内容。。。。
  。
  。
• 无差别的首页或栏目页：若是网站首页和各个大类页面内容恒久不更新，
  ，，且与其他站点高度类似，
  ，，爬虫可能在这些页面重复停留却不深入下层。。。。
  。
  。

提醒：按期通过日志剖析工具审查爬虫现实会见的URL漫衍，
，，可以资助定位预算消耗过高的页面类型。。。。
。
。

优化爬虫预算以服务长尾词

要让有限的预算更高效地服务于长尾词的排名，
，，可以从以下几个偏向入手：

1. 优先指导爬虫抓取长尾内容

通过站点地图（sitemap）明确标注出需要重点收录的页面，
，，尤其是那些针对详细问题或细分子话题的长尾词页面。。。。
。
。同时，
，，在robots.txt中屏障对排名无资助的URL模式，
，，好比后台链接、暂时缓存页面或参数页。。。。
。
。这样爬虫的注重力会更集中。。。。
。
。

2. 优化内链结构

内链是指导爬虫深入站点的“蹊径”。。。。
。
。建议将指向长尾页面的链接设置在内容相关的优质页面上，
，，并使用形貌性锚文本。。。。
。
。例如，
，，在一篇关于“家庭抢救箱设置”的文章里，
，，自然链向“抢救物品保质期检查要领”这类长尾页面，
，，比在导航栏里纯粹枚举更具爬虫亲和力。。。。
。
。

3. 控制页面深度

长尾页面最好位于网站内链结构的2到3次点击之内。。。。
。
。深度凌驾5次的页面，
，，爬虫预算往往难以笼罩到。。。。
。
。通过面包屑导航、相关文章推荐等方式，
，，可以让爬虫在每次抓取中都更容易进入长尾内容区域。。。。
。
。

区分差别内容类型的预算权重

并非所有页面都应获得相同的抓取频率。。。。
。

？？梢云局つ谌菁壑岛透缕德剩
，，制订简朴的优先级战略：

现实调理时，
，，可以通过CMS的更新日志或第三方SEO工具，
，，自动向搜索引擎推送新页面，
，，同时镌汰对低价值页面的更新信号。。。。
。
。

长尾词排名的一连监控与调解

预算分配不是一次性的事情。。。。
。
。建议按期视察搜索资源平台中的“抓取统计”数据，
，，关注抓取量的转变趋势。。。。
。
。若是发明大宗预算消耗在非目的页面，
，，或者某个长尾词页面的抓取频次突然下降，
，，应实时排查内链是否断裂、页面是否被意外榨取，
，，以及是否有其他站点拖慢了整体抓取速率。。。。
。
。

同时，
，，注重长尾词的搜索量通常较低，
，，排名提升需要一定的时间积累。。。。
。
。预算分配合理后，
，，耐心期待爬虫完成新一轮的抓取和索引更新，
，，往往比频仍调解页面结构更有用。。。。
。
。

总的来说，
，，预算分配的焦点是“抓大放小”：放弃对无效页面的抓取支持，
，，将资源集中到真正有潜力获取搜索流量的长尾页面上。。。。
。
。一连这一思绪，
，，长尾词排名的提升会变得越发可预期。。。。
。
。