2026年，GPTBot、PerplexityBot、anthropic-ai等AI爬虫已遍布全网。但许多网站在无意中通过robots.txt屏蔽了这些爬虫，导致内容无法被AI索引，在AI搜索中完全"隐形"。
适合人群： 所有希望让内容被AI搜索引擎收录的网站运营者。 学完收获： 识别并修复robots.txt中对AI爬虫的误屏蔽；正确配置允许规则；通过llms.txt主动引导AI爬虫。 主要AI爬虫清单：
- GPTBot（OpenAI/ChatGPT）
- PerplexityBot（Perplexity AI）
- anthropic-ai（Claude）
- Googlebot（Google AI Overview）
- bingbot（Bing Copilot）
配置示例（推荐写法）：
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: anthropic-ai
Allow: /
注意：如担心服务器压力，可添加 Crawl-delay: 10 限速。