-
序号
规则
解释
1
User-agent: Baiduspider
开始配置:Baiduspider
2
Disallow: /system/
禁止Baiduspider访问/system目录
3
Disallow: /admin/
禁止Baiduspider访问/admin目录
4
Disallow: /themes/
禁止Baiduspider访问/themes目录
5
Disallow: /static/
禁止Baiduspider访问/static目录
6
Disallow: /attachs/
禁止Baiduspider访问/attachs目录
7
Disallow: /404.html
禁止Baiduspider访问根目录下的404.html文件
8
User-agent: googlebot
开始配置:googlebot
9
Disallow: /
禁止googlebot访问网站的任何部分
10
User-agent: slurp
开始配置:slurp
11
Disallow: /
禁止slurp访问网站的任何部分
12
User-agent: ia_archiver
开始配置:ia_archiver
13
Disallow: /
禁止ia_archiver访问网站的任何部分
14
User-agent: msnbot
开始配置:msnbot
15
Disallow: /
禁止msnbot访问网站的任何部分
16
User-agent: 360Spider
开始配置:360Spider
17
Disallow: /
禁止360Spider访问网站的任何部分
18
User-agent: yisouspider
开始配置:yisouspider
19
Disallow: /
禁止yisouspider访问网站的任何部分
20
User-agent: YisouSpider
开始配置:YisouSpider
21
Disallow: /
禁止YisouSpider访问网站的任何部分
22
User-agent: Sogou web spider
开始配置:Sogou web spider
23
Disallow: /
禁止Sogou web spider访问网站的任何部分
24
User-agent: Sogou inst spider
开始配置:Sogou inst spider
25
Disallow: /
禁止Sogou inst spider访问网站的任何部分
26
User-agent: Sogou spider2
开始配置:Sogou spider2
27
Disallow: /
禁止Sogou spider2访问网站的任何部分
28
User-agent: Sogou blog
开始配置:Sogou blog
29
Disallow: /
禁止Sogou blog访问网站的任何部分
30
User-agent: Sogou News Spider
开始配置:Sogou News Spider
31
Disallow: /
禁止Sogou News Spider访问网站的任何部分
32
User-agent: Sogou Orion spider
开始配置:Sogou Orion spider
33
Disallow: /
禁止Sogou Orion spider访问网站的任何部分
34
User-agent: *
开始配置:所有搜索引擎
35
Disallow: /
禁止所有搜索引擎访问网站的任何部分