-
序号
规则
解释
1
User-agent: 360Spider
开始配置:360Spider
2
Disallow: /create
禁止360Spider访问/create目录(包括子目录)
3
Disallow: /uc
禁止360Spider访问/uc目录(包括子目录)
4
User-agent: Googlebot
开始配置:Googlebot
5
Disallow: /create
禁止Googlebot访问/create目录(包括子目录)
6
Disallow: /history
禁止Googlebot访问/history目录(包括子目录)
7
Disallow: /uc
禁止Googlebot访问/uc目录(包括子目录)
8
Disallow: /doc/history/
禁止Googlebot访问/doc/history目录
9
Disallow: /search
禁止Googlebot访问/search目录(包括子目录)
10
User-agent: bingbot
开始配置:bingbot
11
Disallow: /create
禁止bingbot访问/create目录(包括子目录)
12
Disallow: /history
禁止bingbot访问/history目录(包括子目录)
13
Disallow: /uc
禁止bingbot访问/uc目录(包括子目录)
14
Disallow: /doc/history/
禁止bingbot访问/doc/history目录
15
Disallow: /search
禁止bingbot访问/search目录(包括子目录)
16
User-agent: Sogou web spider
开始配置:Sogou web spider
17
Disallow: /create
禁止Sogou web spider访问/create目录(包括子目录)
18
Disallow: /history
禁止Sogou web spider访问/history目录(包括子目录)
19
Disallow: /uc
禁止Sogou web spider访问/uc目录(包括子目录)
20
Disallow: /doc/history/
禁止Sogou web spider访问/doc/history目录
21
Disallow: /search
禁止Sogou web spider访问/search目录(包括子目录)
22
User-agent: ChinasoSpider
开始配置:ChinasoSpider
23
Disallow: /create
禁止ChinasoSpider访问/create目录(包括子目录)
24
Disallow: /history
禁止ChinasoSpider访问/history目录(包括子目录)
25
Disallow: /uc
禁止ChinasoSpider访问/uc目录(包括子目录)
26
Disallow: /doc/history/
禁止ChinasoSpider访问/doc/history目录
27
Disallow: /search
禁止ChinasoSpider访问/search目录(包括子目录)
28
User-agent: Sosospider
开始配置:Sosospider
29
Disallow: /create
禁止Sosospider访问/create目录(包括子目录)
30
Disallow: /history
禁止Sosospider访问/history目录(包括子目录)
31
Disallow: /uc
禁止Sosospider访问/uc目录(包括子目录)
32
Disallow: /doc/history/
禁止Sosospider访问/doc/history目录
33
Disallow: /search
禁止Sosospider访问/search目录(包括子目录)
34
User-agent: Baiduspider
开始配置:Baiduspider
35
Disallow: /create
禁止Baiduspider访问/create目录(包括子目录)
36
Disallow: /history
禁止Baiduspider访问/history目录(包括子目录)
37
Disallow: /uc
禁止Baiduspider访问/uc目录(包括子目录)
38
Disallow: /doc/history/
禁止Baiduspider访问/doc/history目录
39
Disallow: /search
禁止Baiduspider访问/search目录(包括子目录)
40
User-agent: *
开始配置:所有搜索引擎
41
Disallow: /
禁止所有搜索引擎访问网站的任何部分