怎么创建自己的博客：重复页面怎样排查
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f017cf05460a.html
📄
怎么创建自己的博客：重复页面怎样排查
重复页面排查的核心是：先确认“重复”发生在哪个层面，再决定处理方式。常见重复包括同一内容有多个网址、列表页与详情页内容高度相似、参数或分页生成大量近似页面。排查时不要只看一个页面，而要把可访问网址、页面标题、正文主体和 canonical 标签放在一起对比。下面是一份可执行清单，每项都说明查什么、怎么查、结果说明什么。
先列出可能重复的网址
要查的是：同一篇博客文章是否存在多个可访问地址。怎么查：在站点地图、站内搜索、分类归档、标签页、分页和旧链接中收集网址，再用 site: 查询或爬虫工具抓取。结果说明：如果同一内容对应两个以上返回正常状态的网址，就属于需要进一步判断的重复候选。
判断时注意，网址不同不一定就是重复页面。比如带 ?utm_source= 的推广链接，如果返回同一内容且没有规范化，可能被当成不同网址；而真正的分页页、筛选页是否重复，要看正文主体是否高度一致。
逐页对比标题、正文和 canonical
要查的是：重复候选页之间，标题、H1、正文主体和 canonical 是否指向同一首选网址。怎么查：打开每个候选网址，查看页面源代码中的 <title>、<h1>、<link rel="canonical">，并肉眼比较正文前几段和主体结构。结果说明：
- 标题和正文几乎一致，canonical 各自指向自己：说明规范化信号可能冲突，需要确定哪个网址是首选。
- 标题不同但正文主体相同：说明可能只是标题模板差异，仍要检查 canonical 和内部链接是否集中。
- canonical 都指向同一个网址：说明已经给出合并信号，但仍要确认该首选网址可正常访问且返回正确状态。
- canonical 指向的网址返回错误或跳转：说明规范化目标可能无效，需要修正。
检查参数、分页和归档页
要查的是：参数、分页、日期归档、标签聚合是否生成了大量近似页面。怎么查：从博客的归档页、标签页、作者页和分页链接逐层点开，观察每页正文是否只有少量文章摘要变化。结果说明：如果多个页面只是文章列表顺序不同，正文主体差异很小，就属于低差异聚合页；如果每页都有独立且完整的文章内容，则更接近正常分页。
处理这类页面时，可以先判断它们是否对读者有独立价值。对读者没有独立价值、又和主列表高度相似的页面，可以考虑用 canonical 指向主列表、设置 noindex，或调整站内链接减少抓取。具体选哪种，要看这些页面是否带来自然搜索流量、是否有外部链接，以及是否承担站内导航功能。
用一次改动前后对比来验证
要查的是：处理重复页面后，首选网址是否被正确识别，重复候选是否减少。怎么查：在改动前记录一组候选网址的标题、canonical、返回状态和站内入口；改动后隔一段时间再抓取同一组网址，比较变化。结果说明：如果重复候选的 canonical 开始集中到首选网址，说明规范化方向更清晰；如果仍然各自指向自己，说明改动没有生效或还有别的入口在生成重复网址。
比较时要注意，搜索需求会随季节和热点变化，数据采集也可能有延迟，所以不能只看一天的数据就下结论。更稳妥的做法是固定同一组网址、同一类查询条件，观察趋势而不是单点数值。
排查时容易漏掉的检查项
要查的是：内部链接、站点地图和旧链接是否还在把权重和抓取引向重复网址。怎么查：在站内搜索框输入文章标题，看返回的是哪个网址；检查站点地图中是否同时列出多个版本；检查旧文章中的内链是否还指向已合并的地址。结果说明：如果站内入口和站点地图都指向首选网址，重复页面被重新发现和抓取的概率会降低；如果多个入口仍指向不同版本，规范化效果可能被抵消。
可以按这个顺序执行：先收集候选网址，再对比标题、正文和 canonical，然后检查参数、分页和归档页，最后用改动前后对比验证。每一步都留下记录，后续判断会更容易。下一步建议你选一篇自己的博客文章，把它的所有可访问网址列成一张表，再逐项填写标题、canonical 和返回状态，先完成一次小范围排查。
