天津SEO

怎么写robots让动态页面不收录

字号+ 作者:木子seo 来源:木子seo 2018-09-29 16:02 我要评论( )

robots协议是搜索引擎抓取网站时第一个要访问的文件,有限制要求则会按照要求抓取页面,没有限制则就全站抓取,为了网站的安全和一些私密文件不被抓取收录,robots一定要正确的书写。 有些伪静态网站有动态页也有静态页,静态页和动态页是一个页面,如果都被

      robots协议是搜索引擎抓取网站时第一个要访问的文件,有限制要求则会按照要求抓取页面,没有限制则就全站抓取,为了网站的安全和一些私密文件不被抓取收录,robots一定要正确的书写。

      有些伪静态网站有动态页也有静态页,静态页和动态页是一个页面,如果都被搜索引擎收录的话,就会造成重复页面,后果就是两个页面的排名都不会好,为了保持网址的唯一性,一般我们选择不让搜索引擎抓取收录动态页面,那么怎么样不让抓取呢?当然就是在robots中写明,什么样的网址可以抓取,哪个栏目页不让抓取,只让百度抓取,不让谷歌抓取等等,都可以写好,怎么写了?下面看看具体的写法:

      以上是举例的百度搜索蜘蛛的robots写法,其他搜索引擎同理,要提醒的一点就是不要写错了,比如说Disallow:/m 和Disallow:/m/是完全两个不同的意思,百度站长后台有网页抓取诊断,可以试好了再添加,好了有什么疑问可以互相交流!

转载请注明原文网址:http://www.seolhj.com/tjseo/291.html

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
网友点评
尚未注册畅言帐号,请到后台注册