-
序号
规则
解释
1
User-agent: Baiduspider
开始配置:Baiduspider
2
Disallow:
禁止Baiduspider访问目录(包括子目录)
3
User-agent: Sosospider
开始配置:Sosospider
4
Disallow:
禁止Sosospider访问目录(包括子目录)
5
User-agent: sogou spider
开始配置:sogou spider
6
Disallow:
禁止sogou spider访问目录(包括子目录)
7
User-agent: YodaoBot
开始配置:YodaoBot
8
Disallow:
禁止YodaoBot访问目录(包括子目录)
9
User-agent: Googlebot
开始配置:Googlebot
10
Disallow:
禁止Googlebot访问目录(包括子目录)
11
User-agent: Bingbot
开始配置:Bingbot
12
Disallow:
禁止Bingbot访问目录(包括子目录)
13
User-agent: Slurp
开始配置:Slurp
14
Disallow:
禁止Slurp访问目录(包括子目录)
15
User-agent: Teoma
开始配置:Teoma
16
Disallow:
禁止Teoma访问目录(包括子目录)
17
User-agent: ia_archiver
开始配置:ia_archiver
18
Disallow:
禁止ia_archiver访问目录(包括子目录)
19
User-agent: twiceler
开始配置:twiceler
20
Disallow:
禁止twiceler访问目录(包括子目录)
21
User-agent: MSNBot
开始配置:MSNBot
22
Disallow:
禁止MSNBot访问目录(包括子目录)
23
User-agent: Scrubby
开始配置:Scrubby
24
Disallow:
禁止Scrubby访问目录(包括子目录)
25
User-agent: Robozilla
开始配置:Robozilla
26
Disallow:
禁止Robozilla访问目录(包括子目录)
27
User-agent: Gigabot
开始配置:Gigabot
28
Disallow:
禁止Gigabot访问目录(包括子目录)
29
User-agent: googlebot-image
开始配置:googlebot-image
30
Disallow:
禁止googlebot-image访问目录(包括子目录)
31
User-agent: googlebot-mobile
开始配置:googlebot-mobile
32
Disallow:
禁止googlebot-mobile访问目录(包括子目录)
33
User-agent: yahoo-mmcrawler
开始配置:yahoo-mmcrawler
34
Disallow:
禁止yahoo-mmcrawler访问目录(包括子目录)
35
User-agent: yahoo-blogs/v3.9
开始配置:yahoo-blogs/v3.9
36
Disallow:
禁止yahoo-blogs/v3.9访问目录(包括子目录)
37
User-agent: psbot
开始配置:psbot
38
Disallow:
禁止psbot访问目录(包括子目录)
39
User-agent: *
开始配置:所有搜索引擎
40
Disallow:
禁止所有搜索引擎访问目录(包括子目录)
41
Disallow: /bin/
禁止所有搜索引擎访问/bin目录