#MZAD_POP_PLACEHOLDER { display: none !important; } #pop_ad{ display: none !important; }
雄安SEO

什么是robots及其作用

字号+ 作者:木子seo 来源:未知 2018-06-09 09:35 我要评论( )

 
当前位置:主页 > SEO > 雄安SEO > 什么是robots及其作用

一、Robots 搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。 通常可以在网站更目录下建立一个txt文件,命名robots来限制蜘蛛抓取网页。 robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个

一、Robots
 
搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
 
通常可以在网站更目录下建立一个txt文件,命名robots来限制蜘蛛抓取网页。
 
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
 
robots.txt的作用就是限制网站的某些私密性文件或信息不让搜索引擎抓取,不让页面展现在搜索引擎中。一般为网站的后台网址等安全性和私密性的页面。
 
举例:http://www.seolhj.com/robots.txt
 

部分政府网站为了保护某些私密信息一般都整站屏蔽蜘蛛,不让搜索引擎抓取收录网页。

举例:

 木子seo原创文章,转载请注明网址:http://www.seolhj.com/xaseo/227.html

转载请注明原文网址:http://www.seolhj.com/xaseo/227.html

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
网友点评