知识库 / 入门教学 / 编者补充
AI 搜索时代的可见性(AI Overviews / AI Mode / ChatGPT)
本手册的原文资料成文较早,一个字都没提 AI 搜索。但从 2024 年下半年开始,用户找信息的入口已经多了一层:搜索结果页顶部的 AI 摘要、ChatGPT / Perplexity 这类直接给答案的对话框。对做内容的人来说,这件事的影响是实打实的——排第一不等于被看见,被引用才等于被看见。
这一页讲三件事:现在到底有哪些 AI 入口、哪些流行说法是假的、以及在能控制的范围内该做什么。
相关:勘误与现状校准 收的是原文里已经过时的说法;这一页收的是原文根本没有的部分。
一、现在有哪些「AI 搜索」入口#
| 入口 | 是什么 | 靠哪个爬虫拿内容 |
|---|---|---|
| Google AI Overviews | 搜索结果页顶部的 AI 摘要,带来源链接 | Googlebot(就是常规那个) |
| Google AI Mode | Google 里独立的对话式搜索标签页 | Googlebot |
| ChatGPT 搜索 | ChatGPT 联网回答并附引用 | OAI-SearchBot(检索)、ChatGPT-User(用户触发抓取)、GPTBot(训练,与前两者是分开的) |
| Perplexity | 对话式搜索引擎,引用密度高 | PerplexityBot(索引)、Perplexity-User(用户触发) |
| Bing Copilot | 微软侧的 AI 回答 | bingbot(复用 Bing 索引) |
| Claude 联网 | Claude 检索网页并引用 | ClaudeBot / Claude-User / Claude-SearchBot |
要记住的一点:这些 bot 是分开的。屏蔽了训练用的爬虫,不等于屏蔽了检索用的爬虫;反过来也一样。具体名字以各家官方文档为准(Google、OpenAI),厂商加新 bot 的频率不低。
二、先破三个流行的误解#
误解 1:「要为 AI 搜索单独做一套优化」#
不需要。AI Overviews 和 AI Mode 主要从常规搜索索引里挑内容,进不了索引就谈不上被引用。所以地基还是那些老东西:能被抓取、内容有价值、结构清楚、加载不慢。市面上卖「AEO 优化套餐」「GEO 排名保证」的,多数是把常规 SEO 换了个名字。
真正的差别在写法,不在技术套件——见下面第四节。
误解 2:「llms.txt 是新的 robots.txt,必须加」#
目前没有任何主流 AI 厂商承诺读取它。 这是 2024 年 9 月提出的一个社区提案,Google 方面 2025 年已明确表示 Google Search 的任何系统都不读、也不据此行动;OpenAI、Anthropic、Meta、Mistral 也都没有公开承诺在生产系统里使用。有统计显示 GPTBot 偶尔会去抓这个文件,但抓了不等于用了,且目前没有数据表明加了它就更容易被引用。
它唯一比较扎实的用处是开发者文档场景:AI 编程助手(Cursor、Copilot、Claude Code 之类)读它能更快定位到该看哪几页,省 token。
结论:想加就加,成本很低也不会有害,但别把它当必做项,更别当成没做就吃亏的东西。谁跟你说「不加 llms.txt 就会被 AI 搜索淘汰」,可以直接判定为话术。
误解 3:「屏蔽 Google-Extended 就不会出现在 AI Overviews 里」#
这是两码事。 Google-Extended 控制的是内容能不能被用于 Gemini 应用侧的训练与 grounding;而 AI Overviews / AI Mode 属于搜索功能,走的是 Googlebot。屏蔽了 Google-Extended,AI Overviews 照样会引用你。
想控制在搜索里的呈现,只有常规那几个手段:robots.txt 里对 Googlebot 的规则、noindex、以及下一节说的 nosnippet 系列。
三、真正能控制的开关#
能动的就这么几个,且每一个都有代价:
| 手段 | 效果 | 代价 |
|---|---|---|
robots.txt 屏蔽某家 AI bot |
该家不再抓 | 等于放弃在那家被引用的机会 |
noindex |
不进搜索索引 | AI Overviews 也没了,常规排名也没了 |
nosnippet |
不给摘要 | AI Overviews 里也不会用你的内容,但普通搜索结果的摘要、富媒体结果一起没了 |
max-snippet:[n] |
限制摘要长度 | 同上,按比例削弱 |
data-nosnippet |
页面内局部不做摘要 | 粒度最细,适合只想护住某一段 |
判断顺序:先问「我是想要流量,还是想护内容」。想要流量就别屏蔽——被 AI 引用时带出的品牌曝光和点击,通常比屏蔽换来的那点保护值钱。真要护的是付费内容、内部资料这类东西,那该用的是登录墙,不是 robots.txt。
本站(培训手册)走的是全站禁抓,因为它是内部教学资料、不求流量。这是个特例,别照搬到业务站上。
四、想被引用,内容该怎么写#
这一节是唯一跟常规 SEO 写法有真差别的地方。AI 要的是能直接摘出来用的片段:
- 结论前置。每个小节第一句就把答案说完,后面再展开。AI 摘的是那一句,不是你铺垫三段之后的那句。
- 一问一答的结构。小标题直接写成用户会问的那句话(「robots.txt 多久生效」比「关于 robots.txt 的说明」好摘得多)。
- 给可核验的事实:具体数字、具体日期、具体来源。「加载要快」摘不出来,「LCP 控制在 2.5 秒以内」摘得出来。
- 标注更新时间和作者。AI 在几个来源里挑一个引用时,有明确时效标记的那个更容易被选中。
- 正文别藏在 JS 里。前端异步渲染的正文,爬虫可能抓到空壳——这条对 AI 抓取比对常规 SEO 更致命,因为 AI 检索侧的爬虫普遍不像 Googlebot 那样执行 JS。
- 表格和列表比大段文字好用。结构化的东西更容易被整段引用。
反过来,没用的动作:堆关键词、为 AI 单独写一个隐藏版本的页面(属于伪装 cloaking,风险大于收益)、加一堆用不上的 schema。
五、怎么衡量效果#
先说清楚:目前无法精确归因。
- GSC 不单独拆分。AI Overviews 和 AI Mode 带来的曝光与点击,被并进 Performance 报告的「Web」搜索类型里,看不到单独的行。别指望在 GSC 里找一个「AI Overviews」标签页。
- GA4 看引荐来源。
chatgpt.com、perplexity.ai、copilot.microsoft.com、gemini.google.com会以 referral 出现,建议在 GA4 里建一个「AI 来源」的渠道分组单独看趋势。量通常不大,但增长曲线有参考价值。 - 看间接信号:品牌词的搜索量、直接访问量。被 AI 反复引用的站,这两个数会先动。
- 手动抽查(最笨也最实在):把你最想拿下的 10 个问题,每月拿去 Google / ChatGPT / Perplexity 各问一遍,记录有没有引用你、引用的是哪一页。做成一张表,比任何工具都直观。
六、心理预期:流量结构会怎么变#
- 信息型查询的点击率会下降。「XX 是什么」「XX 怎么读」这类问题,用户看完 AI 摘要就走了。这是结构性变化,不是你哪里做错了。
- 受冲击最大的是纯资讯型内容;交易型、需要对比决策的、以及长尾具体问题,相对稳。
- 零点击不等于零价值。摘要里露出品牌名,也是一次曝光。
- 别为了追 AI 流量砍掉现有的东西。目前所有厂商的规则都在快速变动,把站押在某一家的偏好上,风险很高。
七、这一页哪些结论可能很快过时#
AI 搜索是本手册里变化最快的一块。以下几条按 2026 年 8 月的情况写,用之前建议复核:
- 各家 bot 的名字和数量——厂商加新 bot 很频繁,以官方文档为准。
- llms.txt 的地位——目前无人承诺读取,但如果哪天有主流厂商正式支持,这条就要改。
- GSC 是否拆分 AI 数据——目前不拆分。Google 有可能后续加,留意 Search Console 的更新公告。
- AI Mode 的开放范围与形态——仍在快速迭代。
发现本页说法与现状对不上时,以官方文档为准,并回来改这一页,别让它变成新的过时资料——这正是勘误页存在的原因。
Sources / 官方文档:
- Google Search Central · AI features and your website:https://developers.google.com/search/docs/appearance/ai-features
- OpenAI · Bots(各 bot 的用途与 robots.txt 写法):https://platform.openai.com/docs/bots
- Perplexity、Anthropic 的爬虫说明见各自官方文档站