让robots.txt文本不泄露网站后台

吴哲路 2020年3月13日22:58:49让robots.txt文本不泄露网站后台已关闭评论 23,628

最近有网友问关于robots的问题,很多账号的后台都被蜘蛛抓取来,非常不利于网站的安全性,对于网站账号的保护我们可以利用robots.txt文件限制抓取我们网站后台文件。限制robots.txt后台抓取,可以通过2种方法实现。

让robots.txt文本不泄露网站后台

作为站长都应该知道robots.txt协议,能限制搜索引擎哪些内容,哪些内容对于网站来说就是非常保密的,比如我们网站的后台登录就不能被蜘蛛抓取,那么robots文件需要这样写:

User-agent: *

Disallow: /admin/

这里我们存在一个问题,如果有人想破解网站的话,通过robots文件,ro,如果有人要破解网站的话,通过robots文件很容易找到我们网站的后台,对于网站的安全性有增加几分漏洞,这样得不偿失。

既让robots文件限制搜索引擎抓取网站后台,又能隐藏后台登录网址,两个实用的办法:

一、使用通配符(*)

User-agent: *

Disallow: /a*/

这种写法的目的是禁止所有的搜索引擎抓a开头的文件夹。那么,当你的后台是admin的时候,文件在a目录下,基本上别人很难猜到你后台登录的文件。

二、用字母代替不写完整目录

User-agent: *

Disallow: /bc

这样写是禁止所有的搜索引擎抓取根目录下bc开头的目录。需要网站中没有相同字母开头的目录。例如bc目录,如果存在相同目录,可以再增加,robots.txt文件里的字母长度,区分相同目录。

吴哲路