百度提交入口的核心用途,是把你希望百度发现和处理的URL告知搜索引擎。首页与内页的分配原则可以概括为:首页负责稳定暴露站点主入口,内页负责按内容价值分批提交;不要把全部URL一次性推给提交入口,也不要只交首页而让内页长期等待自然发现。提交只是抓取线索,不等于收录,更不等于排名。
抓取是百度蜘蛛来取页面,索引是页面进入可检索库,排名是页面在结果中的位置。百度提交入口影响的主要是抓取线索,不能保证后面两个环节。因此分配任务时,首页和内页的目标不同:首页要保证站点有一个稳定、可访问、可被抓取的主入口;内页要保证真正有独立内容价值的页面优先被看到。
判断一个URL是否值得提交,先看三件事:页面能否正常打开、内容是否与站内其他页面明显重复、页面是否希望被用户从搜索进入。三项都满足,才进入提交清单。
不要边浏览边随手提交。先建立两份清单,再执行。
这一步最关键的是把首页和内页分开记录。混在一起会导致两种情况:要么首页被反复提交而内页被忽略,要么内页大量涌入而首页入口没有被稳定确认。
首页的处理方式是少而稳。确认首页可正常访问、没有跳转到错误地址、没有被robots规则挡住,然后把它作为站点主入口提交一次,之后只在首页地址或结构发生实质变化时重新处理。不需要每天重复提交首页。
内页的处理方式是按价值分批。优先提交具备独立主题、能解决具体问题、站内没有重复版本的页面。新发布的原创内容可以优先于旧内容;已经存在很久但从未被发现的页面,可以放在第二批。每批数量不宜过大,提交后留出观察时间,再决定下一批。
如果内页数量很多,先做一次站内筛选:把内容单薄、只是列表聚合、或与已有页面高度相似的URL剔除。把提交入口用在真正需要被抓取的页面上,比均匀撒网更有效。
提交完成后,要验证的是百度是否来过,而不是自己是否点过提交。可执行的检查项如下:
site:加具体URL,观察该页面是否已被索引;没有结果不代表一定没抓取,只代表当前未检索到。判断结果时注意区分:提交成功只说明线索已送出;日志出现抓取说明蜘蛛来过;site:有结果说明已进入索引。三者不是同一件事,不能因为提交了就认定页面已被收录。
维护的重点是更新清单,而不是不断增加提交量。每隔一段时间检查:首页入口是否仍然有效;已提交内页中哪些已收录、哪些仍未抓取;站内是否新增了重复页面;是否有旧页面改版后地址变化。把已收录且稳定的页面从待提交清单移出,把新产生的优质内页补入。
如果发现同一主题有多个相似内页,先做合并或规范处理,再决定提交哪一个。把多个近似URL同时提交,只会让抓取预算分散。
下一步,按你的站点实际情况,先写出首页URL和不超过二十个内页URL的两份清单,逐项确认可访问性和内容独立性,再开始分批提交。