抓取预算优化：让 Googlebot 的每一次访问都物有所值

抓取预算指的是 Googlebot 愿意在给定时间段内抓取你网站页面的数量。对于拥有数百万 URL 的大型网站而言，优化抓取预算可以确保 Googlebot 把时间花在发现和重新抓取你最重要的内容上，而不是把资源浪费在低价值页面上。

哪些因素决定抓取预算

Google 根据多个因素分配抓取预算：通过服务器响应码和性能衡量的网站健康状况、表明内容多久变更一次的内容新鲜度信号、反映你域名重要性和可信度的网站权威性、由于 Googlebot 会尊重服务器负载上限而受限的服务器容量，以及基于用户搜索你网站内容频率的抓取需求。

抓取预算浪费的迹象

可通过以下指标识别抓取预算浪费：Google Search Console 抓取统计信息显示抓取率相对于你的页面数量偏低、GSC 覆盖率报告中"已发现但未编入索引"的页面增长速度快于已编入索引的页面、频繁重新抓取诸如标签归档和参数 URL 之类的低价值页面、新内容发现缓慢、需要数周才能出现在搜索结果中。

优化策略

1. 消除低价值 URL

最有效的抓取预算优化方式是移除或屏蔽那些不应被抓取的 URL：带有筛选参数、会生成成千上万低价值组合的分面导航 URL、URL 中的会话 ID 和跟踪参数、站内搜索结果页、超过合理深度的分页页面，以及内容单薄、自动生成的标签和分类归档页。

2. 优化 robots.txt

有策略地使用 robots.txt 来屏蔽低价值 URL 模式。使用通配符模式禁止基于参数的 URL、屏蔽站内搜索页、阻止抓取 API 端点和管理路径，并确保你没有意外屏蔽重要内容。

3. 改善 URL 发现

帮助 Googlebot 更快地找到你最重要的内容：维护一个仅包含规范 URL 的干净 XML 站点地图、利用从高权威页面到重要新内容的策略性内部链接、尽量减少没有任何内部链接指向的孤立页面。

衡量抓取预算优化效果

跟踪以下指标以验证优化成效：变更前后 GSC 抓取统计信息中的抓取率、已抓取页面占总页面的比例、新内容被发现和编入索引所需的时间，以及以每次总抓取请求中抓取到的有价值页面数量来衡量的抓取效率提升。

结论

抓取预算优化不仅仅是让 Googlebot 访问更多页面，而是确保每一次抓取访问都花在对你业务有意义的内容上。对于大型网站而言，有效的抓取预算管理可能决定着是让数千个页面被编入索引，还是让正确的那数千个页面被编入索引。