焦点思绪：当Nginx遇上SEO

百度搜索引擎优化（SEO）与Nginx服务器的交集，，，，，，主要体现在页面加载速率、响应头设置和URL结构三个层面。。。。。。轻量级Nginx自己已经具备优异性能，，，，，，但针对百度爬虫做针对性调优，，，，，，能让站点在索引效率上获得显着提升。。。。。。以下从装置后最基础的方法最先，，，，，，逐步拆解要害优化点。。。。。。

一、开启Gzip压缩，，，，，，镌汰传输体积

百度爬虫在抓取页面时，，，，，，会优先处理响应快、体积小的资源。。。。。。Nginx默认不开启Gzip，，，，，，需要手动设置。。。。。。

• 在http块或server块中添加：gzip on;
• 指定压缩类型：gzip_types text/html text/css application/javascript application/json image/svg+xml;
• 建议设置gzip_min_length 1k;，，，，，，阻止极小文件无效压缩。。。。。。
• 开启gzip_vary on;，，，，，，让百度爬虫识别压缩版本。。。。。。

注重：不要对图片（如jpg、png）做二次Gzip，，，，，，这类名堂自己已被压缩，，，，，，增添服务端肩负而收益甚微。。。。。。

二、设置Expires与Cache-Control，，，，，，使用浏览器缓存

合理设置静态资源的缓存时间，，，，，，能降低重复请求，，，，，，提升二次抓取时的加载速率。。。。。。

• 关于CSS、JS、字体等恒久稳固的文件：expires 30d;
• 关于HTML页面：expires 1h;，，，，，，包管内容更新后爬虫能较快感知。。。。。。
• 同时添加Cache-Control: public，，，，，，允许中心缓存节点存储副本。。。。。。

三、URL重写与301重定向，，，，，，统一权重

百度对带www和不带www的域名视为两个站点，，，，，，容易疏散权重。。。。。。Nginx中通过server块做301跳转是最稳固方案。。。。。。

• 示例：将所有非www请求永世重定向到www域名。。。。。。
• 同时处理index.html、/最后的重复路径，，，，，，阻止爆发重复页面。。。。。。
• 若是站点迁徙或URL变换，，，，，，务必使用301而非302，，，，，，否则百度可能保存旧索引。。。。。。

四、自界说404与500页面，，，，，，降低死链影响

当爬虫遇到404过失时，，，，，，若是Nginx返回默认的空缺页面或简陋过失页，，，，，，可能被判断为低质量信号。。。。。。建议：

• 建设雅观且有导航链接的404页面，，，，，，error_page 404 /custom_404.html;
• 关于服务器内部过失，，，，，，同样准备友好的500页面，，，，，，并确保状态码准确返回（不要将404跳转到200页面）。。。。。。

五、限制爬虫速率，，，，，，阻止资源被耗尽

若是服务器设置较低，，，，，，百度爬虫在高并发抓取时可能占用所有带宽或CPU。。。。。。Nginx的limit_req模
？？
？？？榭梢园碔P限制请求频率。。。。。。

• 示例：对百度爬虫的User-Agent设置每秒不凌驾10个请求。。。。。。
• 需要配合geo模
  ？？
  ？？？榛map模
  ？？
  ？？？榍峙莱嬗胪ㄋ子没В，，阻止误伤正常会见。。。。。。

六、日志切割与剖析，，，，，，一连优化依据

Nginx默认日志会无限增添，，，，，，建议设置access_log按天或按巨细轮转。。。。。。通太过析日志中的爬虫会见次数、返回状态码漫衍，，，，，，可以定位哪些URL抓取异常，，，，，，进而调解设置战略。。。。。。

七、常见陷阱提醒

不要盲目开启所有优化模
？？
？？？椋，，好比sendfile在部分虚拟化情形下可能造成文件读取过失；；；；；；tcp_nopush与tcp_nodelay需要凭证页面类型权衡。。。。。。每次修改设置后，，，，，，务必使用nginx -t测试语法，，，，，，并视察百度站长平台的抓取异常数据。。。。。。

SEO优化没有一劳永逸的方案，，，，，，Nginx设置需要与站点内容更新频率、服务器硬件资源坚持动态平衡。。。。。。