Robots的设置方法

吴哲路 2019年12月14日21:26:28Robots的设置方法已关闭评论 7,285

robots是站点与spider沟通的重要渠道,站点通过robots告诉蜘蛛哪些能被抓取,哪些不要让蜘蛛抓取,对于这些内容的设置,相信大家都非常明白,今年就讲下Robots的设置方法。

Robots的设置方法

User-agent:该项的值用于描述搜索引擎robot的名字。"User-agent:*这样的记录只能有一条。告诉所有的蜘蛛都能抓取,如果User-agent:baiduspider,就是只能让百度蜘蛛抓取。

Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。

Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。

总结:最后robots文件不能经常被修改,当你确定了这个文件之后,robots不得修改,因为修改之后,容易造成蜘蛛抓取的路线改变,robots的设置方法是不是很简单呢!

吴哲路