网站分页抓取收录配置说明

一、整体结构原则

核心页强 index，延伸页控 index，重复页 noindex，全部 follow。

页面分级#

二、分页策略（兼顾 Yandex）#

首页分页（时间流）#

• / → index
• /page/2/ → index
• /page/3/ → index
• /page/4/ → index
• /page/5/ → index
• /page/6/ 及以后 → noindex

• 前 5 页 index：保证 Yandex 深层抓取与新内容发现

• 6 页后 noindex：防止索引膨胀

分类分页（强主题）#

• 分类首页 → index
• 分类第2页 → index
• 分类第3页 → index
• 第4页及以后 → noindex

• 分类比标签权重高

• 允许 2–3 页参与索引

• 后续控膨胀

标签分页（弱聚合）#

标签首页（≥3 篇） → index

标签分页全部 → noindex

• 不给分页 index

• 保证权重集中到首页

作者页#

作者首页（有品牌价值） → index

作者分页 → noindex

如果作者只是普通投稿人：

作者首页也可以 noindex

三、标签生命周期模型（自动进阶）#

• =1 篇 → noindex
• =2 篇 → noindex
• ≥3 篇 → index

进阶优化（更稳版本）：

≥3 连续 7 天 → 才 index

避免频繁切换。

四、Sitemap 分配策略（极其关键）#

只提交：#

• 首页

• 分类首页

• 标签首页（≥3 篇）

• 文章页

不提交：#

• 分页

• 1–2 篇标签

• 作者分页

五、抓取预算分配逻辑#

60% 抓取预算 → 文章页#

20% → 分类页#

15% → 首页分页#

5% → 标签页#

不要让分页吃掉预算。

六、内链权重控制（比 robots 更重要）#

首页：#

• 只露出高质量标签

• 不推孤岛标签

分类页：#

• 强推最新文章

• 不堆积无价值标签

标签页：#

• 不要全站侧栏堆 100 个标签

七、Yandex 特别注意#

Yandex 讨厌：

• URL 爆炸

• 深层分页全部 noindex

• 结构频繁变化

所以：

• 首页分页保留 3–5 页 index

• 结构不要频繁调整

• robots 改动不要太密集

八、最终稳定结构图#

• 首页（index）
• ├── 分类（index）
• │ ├── 分页 2-3 页 index
• │ └── 后续 noindex
• ├── 标签（≥3 index）
• │ └── 分页全部 noindex
• └── 文章（全部 index）

九、一句话模型总结#

首页保证抓新
分类保证主题
标签保证专题
分页控制膨胀