教程：使用 Screaming Frog 完成一次完整的技术 SEO 审计

Screaming Frog SEO Spider 是用于技术 SEO 审计、最受欢迎的桌面端爬虫工具。本教程将带你完成配置并运行一次全面的技术审计，分析结果并撰写一份可落地执行的报告。

第 1 步：配置

在开始爬取之前，请先正确配置 Screaming Frog。打开 Configuration，再进入 Spider，将爬取深度设置为无限制（unlimited），以实现对整站的全面覆盖。在 Crawl 选项下勾选 CSS、JavaScript 和图片。启用 Store Raw HTML 以便进行内容分析。将用户代理（user agent）设置为 Googlebot，以实现更精准的模拟。根据你的服务器承载能力配置爬取速度。

第 2 步：robots.txt 与 Sitemap 设置

上传你的 robots.txt 文件，以实现精准的爬取模拟。添加你的 XML sitemap URL。这样 Screaming Frog 就能将 sitemap 中的 URL 与可爬取的 URL 进行对比，并找出其中的差异。

第 3 步：运行爬取

输入你的网站 URL 并点击 Start。对于页面数超过 100000 的大型网站，可以考虑使用 Include 和 Exclude 路径过滤器，分区块分别爬取。监控爬取进度，留意可能预示服务器问题的错误激增。

第 4 步：分析结果

响应状态码（Response Codes）

检查 Response Codes 标签页，查找需要修复或重定向的 404 错误、包含重定向链的 301 和 302 重定向、表明后端存在问题的 500 服务器错误，以及软 404（soft 404）。

页面标题与 Meta 描述

查看 Page Titles 标签页，检查缺失的标题、重复的标题，以及过长或过短的标题。同样地，检查 Meta Description 标签页，查找缺失、重复或长度不合适的描述。

规范标签（Canonical Tags）

在 Canonical 标签页中，找出缺少规范标签的页面、规范标签指向不同 URL 的页面、规范链（canonical chains），并核实自引用规范标签（self-referencing canonicals）。

内部链接

Internal 标签页会显示没有任何内部链接的孤立页面（orphan pages）、内部链接极少的页面、显示页面距离首页点击次数过多的链接深度分析，以及重要页面与非重要页面之间的内部链接分布情况。

第 5 步：导出与报告

将每个相关标签页导出为 CSV，以便进一步分析。创建一份按优先级排序的问题报告，内容包括问题类别与描述、受影响的 URL 数量、严重程度、建议的修复方案，以及预估影响。使用 Bulk Export 功能生成全面的数据文件。

第 6 步：制定行动计划

根据影响程度对修复事项排序：首先修复阻碍爬取的问题，例如 robots.txt 屏蔽了重要内容。接着解决索引问题，例如错误的规范标签。然后处理网站架构问题。随后进行内容优化。最后处理性能改进。

结论

一次 Screaming Frog 技术审计为按优先级推进 SEO 改进提供了数据基础。对于持续运营的网站，应每季度运行一次审计；在重大网站改动之后应立即运行；在上线新的网站板块之前也应运行。