天津SEO

百度蜘蛛爬行抓取索引收录是什么意思

字号+ 作者:木子seo 来源:木子seo 2018-08-29 16:45 我要评论( )

百度蜘蛛爬行抓取索引收录是什么意思 一、蜘蛛爬行 蜘蛛爬行指的是搜索引擎蜘蛛从已知页面上解析出 链接指向的URL ,然后沿着链接发现新页面(也就是链接指向的URL)的过程。当然,蜘蛛并不是发现新URL马上就爬过去抓取新页面,而是把发现的URL存放到待抓地


百度蜘蛛爬行抓取索引收录是什么意思



一、蜘蛛爬行
蜘蛛爬行指的是搜索引擎蜘蛛从已知页面上解析出链接指向的URL,然后沿着链接发现新页面(也就是链接指向的URL)的过程。当然,蜘蛛并不是发现新URL马上就爬过去抓取新页面,而是把发现的URL存放到待抓地址库中,蜘蛛按照一定顺序从地址库中提取要抓取的URL。
 
二、蜘蛛抓取
蜘蛛抓取是搜索引擎蜘蛛从待抓地址库中提取要抓的URL,访问这个URL,把读取的HTML代码存入数据库。蜘蛛的抓取就是像浏览器一样打开这个页面,和用户浏览器访问一样,也会在服务器原始日志中留下记录。
 
三、百度索引
百度索引指的是将一个URL的信息进行整理,存入数据库,也就是索引库,用户搜索时,搜索引擎从索引库中提取URL信息并排序展现出来。索引库是用于搜索的,所以被索引的URL是可以被用户搜索到的,没有被索引的URL用户在搜索结果中是看不到的。
 
四、百度收录
一般收录和索引没有区别。只不过收录是从搜索用户角度看的,搜索时能找到这个URL,就是这个URL被收录了。从搜索引擎角度看,URL被收录了,也就是这个URL的信息在索引库中存在。很多时候向百度反馈网页没收录时,百度会回复网页索引正常,就是我们看不到的,百度索引库中已经有了,只是不让用户看到而已。
 
被抓取的页面是可以不被索引的
 
因为页面内容是抄袭、转载、低质量的,搜索引擎虽然抓取了页面,索引过程中检测出这些内容问题,被丢弃,没有被索引。所以页面没有被收录,通常要先检查原始日志,看看是否被抓取过,如果被抓取过,可能是内容质量问题,如果根本没被抓取,那就要看网站结构是否有问题,robots是否正确。

转载请注明原文网址:http://www.seolhj.com/tjseo/264.html

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
网友点评
尚未注册畅言帐号,请到后台注册