-
序号
规则
解释
1
User-agent: Baiduspider
开始配置:Baiduspider
2
Disallow:
禁止Baiduspider访问目录(包括子目录)
3
User-agent: Sosospider
开始配置:Sosospider
4
Disallow:
禁止Sosospider访问目录(包括子目录)
5
User-agent: sogou spider
开始配置:sogou spider
6
Disallow:
禁止sogou spider访问目录(包括子目录)
7
User-agent: Googlebot
开始配置:Googlebot
8
Disallow:
禁止Googlebot访问目录(包括子目录)
9
User-agent: Bingbot
开始配置:Bingbot
10
Disallow:
禁止Bingbot访问目录(包括子目录)
11
User-agent: MSNBot
开始配置:MSNBot
12
Disallow:
禁止MSNBot访问目录(包括子目录)
13
User-agent: googlebot-image
开始配置:googlebot-image
14
Disallow:
禁止googlebot-image访问目录(包括子目录)
15
User-agent: googlebot-mobile
开始配置:googlebot-mobile
16
Disallow:
禁止googlebot-mobile访问目录(包括子目录)
17
User-agent: psbot
开始配置:psbot
18
Disallow:
禁止psbot访问目录(包括子目录)
19
User-agent: YodaoBot
开始配置:YodaoBot
20
Disallow: /
禁止YodaoBot访问网站的任何部分
21
User-agent: Slurp
开始配置:Slurp
22
Disallow: /
禁止Slurp访问网站的任何部分
23
User-agent: Teoma
开始配置:Teoma
24
Disallow: /
禁止Teoma访问网站的任何部分
25
User-agent: ia_archiver
开始配置:ia_archiver
26
Disallow: /
禁止ia_archiver访问网站的任何部分
27
User-agent: twiceler
开始配置:twiceler
28
Disallow: /
禁止twiceler访问网站的任何部分
29
User-agent: Scrubby
开始配置:Scrubby
30
Disallow: /
禁止Scrubby访问网站的任何部分
31
User-agent: Robozilla
开始配置:Robozilla
32
Disallow: /
禁止Robozilla访问网站的任何部分
33
User-agent: Gigabot
开始配置:Gigabot
34
Disallow: /
禁止Gigabot访问网站的任何部分
35
User-agent: yahoo-mmcrawler
开始配置:yahoo-mmcrawler
36
Disallow: /
禁止yahoo-mmcrawler访问网站的任何部分
37
User-agent: yahoo-blogs/v3.9
开始配置:yahoo-blogs/v3.9
38
Disallow: /
禁止yahoo-blogs/v3.9访问网站的任何部分
39
User-agent: ltx71 - (http://ltx71.com/)
开始配置:ltx71 - (http
40
Disallow: /
禁止ltx71 - (http访问网站的任何部分
41
User-agent: AhrefsBot
开始配置:AhrefsBot
42
Disallow: /
禁止AhrefsBot访问网站的任何部分
43
User-agent: Barkrowler
开始配置:Barkrowler
44
Disallow: /
禁止Barkrowler访问网站的任何部分
45
User-agent: netEstate NE Crawler
开始配置:netEstate NE Crawler
46
Disallow: /
禁止netEstate NE Crawler访问网站的任何部分
47
User-agent: *
开始配置:所有搜索引擎
48
Disallow:
禁止所有搜索引擎访问目录(包括子目录)
49
Disallow: /about
禁止所有搜索引擎访问/about目录(包括子目录)
50
Disallow: /publ
禁止所有搜索引擎访问/publ目录(包括子目录)
51
Disallow: /delinf
禁止所有搜索引擎访问/delinf目录(包括子目录)
52
Disallow: /search
禁止所有搜索引擎访问/search目录(包括子目录)
53
Disallow: /ad
禁止所有搜索引擎访问/ad目录(包括子目录)
54
Disallow:/javascript.php$
禁止所有搜索引擎访问所有以javascript.php结尾的文件
55
Disallow:/comment.php$
禁止所有搜索引擎访问所有以comment.php结尾的文件
56
Disallow:/member.php$
禁止所有搜索引擎访问所有以member.php结尾的文件