网站robots.txt文件设置

吴哲路 2020年3月9日11:52:34网站robots.txt文件设置已关闭评论 20,723

robots协议,相信进本上只要做seo的站长都知道他的作用,即使刚入行的SEO新手也是有耳闻的。但是对于SEO小白来说,只听过这种协议,但是具体的操作就非常少了。今天就来讲一下robots.txt文件的设置。

网站robots.txt文件设置

什么是robots.txt文件协议

robots.txt文件协议即搜索引擎爬虫协议,它是搜索引擎爬虫与网站站爬取之间的沟通文件。网站站点通过robots文件告知搜索引擎哪些文件可以让搜索引擎抓取,哪些则是不能让搜索引擎抓取的。

robots.txt文件的存放位置

通常,网站的robots.txt文件放置在网站根目录下,也就是在www的文件中,这是第一时间告诉搜索引擎抓取网站的那些内容链接,便于搜索引擎爬虫第一时间抓取该文件。一般新手站长需要重视robots.txt文件的使用规则。

robots协议规则内容总结如下:

1、禁止所有搜索引擎爬虫访问网站的任何内容

User-agent: *

Disallow: /

2、允许所有搜索引擎爬虫访问网站的任何内容

User-agent: *

Allow: /

3、仅禁止baidu搜索引擎爬虫访问网站的任何内容

User-agent: Baiduspider

Disallow: /

总结:robots.txt文件设置非常简单,同时里面还要放置网站地图,这样就非常完没了,如果新手不会使用的话,可以现在本体建一个txt的文档,然后再复制规则,最后上传到空间根目录这样也挺方便的。

吴哲路