-
序号
规则
解释
1
User-agent: 360Spider
开始配置:360Spider
2
Disallow: /search/?
禁止360Spider访问/search目录下任何带参数的页面
3
Disallow: /u/
禁止360Spider访问/u目录
4
Disallow: /user/
禁止360Spider访问/user目录
5
Disallow: /userMgr/
禁止360Spider访问/userMgr目录
6
Disallow: /userMgrApply/
禁止360Spider访问/userMgrApply目录
7
Disallow: /UserMgrAudit/
禁止360Spider访问/UserMgrAudit目录
8
User-agent: Baiduspider
开始配置:Baiduspider
9
User-agent: Baiduspider-news
开始配置:Baiduspider-news
10
User-agent: Baiduspider-image
开始配置:Baiduspider-image
11
Disallow: /search/?
禁止Baiduspider-image访问/search目录下任何带参数的页面
12
Disallow: /u/
禁止Baiduspider-image访问/u目录
13
Disallow: /user/
禁止Baiduspider-image访问/user目录
14
Disallow: /userMgr/
禁止Baiduspider-image访问/userMgr目录
15
Disallow: /userMgrApply/
禁止Baiduspider-image访问/userMgrApply目录
16
Disallow: /UserMgrAudit/
禁止Baiduspider-image访问/UserMgrAudit目录
17
User-agent: Sogou web spider
开始配置:Sogou web spider
18
User-agent: Sogou inst spider
开始配置:Sogou inst spider
19
Disallow: /search/?
禁止Sogou inst spider访问/search目录下任何带参数的页面
20
Disallow: /u/
禁止Sogou inst spider访问/u目录
21
Disallow: /user/
禁止Sogou inst spider访问/user目录
22
Disallow: /userMgr/
禁止Sogou inst spider访问/userMgr目录
23
Disallow: /userMgrApply/
禁止Sogou inst spider访问/userMgrApply目录
24
Disallow: /UserMgrAudit/
禁止Sogou inst spider访问/UserMgrAudit目录
25
User-agent: Sosospider
开始配置:Sosospider
26
Disallow: /search/?
禁止Sosospider访问/search目录下任何带参数的页面
27
Disallow: /u/
禁止Sosospider访问/u目录
28
Disallow: /user/
禁止Sosospider访问/user目录
29
Disallow: /userMgr/
禁止Sosospider访问/userMgr目录
30
Disallow: /userMgrApply/
禁止Sosospider访问/userMgrApply目录
31
Disallow: /UserMgrAudit/
禁止Sosospider访问/UserMgrAudit目录
32
User-agent: Googlebot
开始配置:Googlebot
33
Disallow: /search/?
禁止Googlebot访问/search目录下任何带参数的页面
34
Disallow: /u/
禁止Googlebot访问/u目录
35
Disallow: /user/
禁止Googlebot访问/user目录
36
Disallow: /userMgr/
禁止Googlebot访问/userMgr目录
37
Disallow: /userMgrApply/
禁止Googlebot访问/userMgrApply目录
38
Disallow: /UserMgrAudit/
禁止Googlebot访问/UserMgrAudit目录
39
User-agent: bingbot
开始配置:bingbot
40
Disallow: /search/?
禁止bingbot访问/search目录下任何带参数的页面
41
Disallow: /u/
禁止bingbot访问/u目录
42
Disallow: /user/
禁止bingbot访问/user目录
43
Disallow: /userMgr/
禁止bingbot访问/userMgr目录
44
Disallow: /userMgrApply/
禁止bingbot访问/userMgrApply目录
45
Disallow: /UserMgrAudit/
禁止bingbot访问/UserMgrAudit目录
46
User-agent: ToutiaoSpider
开始配置:ToutiaoSpider
47
User-agent: Bytespider
开始配置:Bytespider
48
Disallow: /
禁止Bytespider访问网站的任何部分
49
User-Agent: *
开始配置:所有搜索引擎
50
Disallow: /
禁止所有搜索引擎访问网站的任何部分