-
序号
规则
解释
1
User-agent: Baiduspider
开始配置:Baiduspider
2
Disallow:
禁止Baiduspider访问目录(包括子目录)
3
Disallow: /activities/
禁止Baiduspider访问/activities目录
4
Disallow: /aien/
禁止Baiduspider访问/aien目录
5
Disallow: /alipay/
禁止Baiduspider访问/alipay目录
6
Disallow: /css/
禁止Baiduspider访问/css目录
7
Disallow: /firmMg/
禁止Baiduspider访问/firmMg目录
8
Disallow: /images/
禁止Baiduspider访问/images目录
9
Disallow: /include/
禁止Baiduspider访问/include目录
10
Disallow: /js/
禁止Baiduspider访问/js目录
11
Disallow: /kindeditor/
禁止Baiduspider访问/kindeditor目录
12
Disallow: /login/
禁止Baiduspider访问/login目录
13
Disallow: /Member/
禁止Baiduspider访问/Member目录
14
Disallow: /MemberReg/
禁止Baiduspider访问/MemberReg目录
15
Disallow: /mger/
禁止Baiduspider访问/mger目录
16
Disallow: /player/
禁止Baiduspider访问/player目录
17
Disallow: /storesMg/
禁止Baiduspider访问/storesMg目录
18
Disallow: /upholsterMg/
禁止Baiduspider访问/upholsterMg目录
19
Disallow: /html/
禁止Baiduspider访问/html目录
20
Disallow: /house/house_list_kd0_*
禁止Baiduspider访问/house/house_list_kd0_*目录(包括子目录)
21
Disallow: /house/house_list_kd1_*
禁止Baiduspider访问/house/house_list_kd1_*目录(包括子目录)
22
Disallow: /stores/house_list_kd0_*
禁止Baiduspider访问/stores/house_list_kd0_*目录(包括子目录)
23
Disallow: /stores/house_list_kd1_*
禁止Baiduspider访问/stores/house_list_kd1_*目录(包括子目录)
24
Disallow: /house/agent_*_*
禁止Baiduspider访问/house/agent_*_*目录(包括子目录)
25
Disallow: .jpg$
禁止Baiduspider访问所有以.jpg结尾的文件
26
Disallow: .jpeg$
禁止Baiduspider访问所有以.jpeg结尾的文件
27
Disallow: .gif$
禁止Baiduspider访问所有以.gif结尾的文件
28
Disallow: .png$
禁止Baiduspider访问所有以.png结尾的文件
29
Disallow: .bmp$
禁止Baiduspider访问所有以.bmp结尾的文件
30
User-agent: Sosospider
开始配置:Sosospider
31
Disallow:
禁止Sosospider访问目录(包括子目录)
32
Disallow: /activities/
禁止Sosospider访问/activities目录
33
Disallow: /aien/
禁止Sosospider访问/aien目录
34
Disallow: /alipay/
禁止Sosospider访问/alipay目录
35
Disallow: /css/
禁止Sosospider访问/css目录
36
Disallow: /firmMg/
禁止Sosospider访问/firmMg目录
37
Disallow: /images/
禁止Sosospider访问/images目录
38
Disallow: /include/
禁止Sosospider访问/include目录
39
Disallow: /js/
禁止Sosospider访问/js目录
40
Disallow: /kindeditor/
禁止Sosospider访问/kindeditor目录
41
Disallow: /login/
禁止Sosospider访问/login目录
42
Disallow: /Member/
禁止Sosospider访问/Member目录
43
Disallow: /MemberReg/
禁止Sosospider访问/MemberReg目录
44
Disallow: /mger/
禁止Sosospider访问/mger目录
45
Disallow: /player/
禁止Sosospider访问/player目录
46
Disallow: /storesMg/
禁止Sosospider访问/storesMg目录
47
Disallow: /upholsterMg/
禁止Sosospider访问/upholsterMg目录
48
Disallow: /html/
禁止Sosospider访问/html目录
49
Disallow: /house/house_list_kd0_*
禁止Sosospider访问/house/house_list_kd0_*目录(包括子目录)
50
Disallow: /house/house_list_kd1_*
禁止Sosospider访问/house/house_list_kd1_*目录(包括子目录)
51
Disallow: /stores/house_list_kd0_*
禁止Sosospider访问/stores/house_list_kd0_*目录(包括子目录)
52
Disallow: /stores/house_list_kd1_*
禁止Sosospider访问/stores/house_list_kd1_*目录(包括子目录)
53
Disallow: /house/agent_*_*
禁止Sosospider访问/house/agent_*_*目录(包括子目录)
54
Disallow: .jpg$
禁止Sosospider访问所有以.jpg结尾的文件
55
Disallow: .jpeg$
禁止Sosospider访问所有以.jpeg结尾的文件
56
Disallow: .gif$
禁止Sosospider访问所有以.gif结尾的文件
57
Disallow: .png$
禁止Sosospider访问所有以.png结尾的文件
58
Disallow: .bmp$
禁止Sosospider访问所有以.bmp结尾的文件
59
User-agent: sogou spider
开始配置:sogou spider
60
Disallow:
禁止sogou spider访问目录(包括子目录)
61
Disallow: /activities/
禁止sogou spider访问/activities目录
62
Disallow: /aien/
禁止sogou spider访问/aien目录
63
Disallow: /alipay/
禁止sogou spider访问/alipay目录
64
Disallow: /css/
禁止sogou spider访问/css目录
65
Disallow: /firmMg/
禁止sogou spider访问/firmMg目录
66
Disallow: /images/
禁止sogou spider访问/images目录
67
Disallow: /include/
禁止sogou spider访问/include目录
68
Disallow: /js/
禁止sogou spider访问/js目录
69
Disallow: /kindeditor/
禁止sogou spider访问/kindeditor目录
70
Disallow: /login/
禁止sogou spider访问/login目录
71
Disallow: /Member/
禁止sogou spider访问/Member目录
72
Disallow: /MemberReg/
禁止sogou spider访问/MemberReg目录
73
Disallow: /mger/
禁止sogou spider访问/mger目录
74
Disallow: /player/
禁止sogou spider访问/player目录
75
Disallow: /storesMg/
禁止sogou spider访问/storesMg目录
76
Disallow: /upholsterMg/
禁止sogou spider访问/upholsterMg目录
77
Disallow: /html/
禁止sogou spider访问/html目录
78
Disallow: /house/house_list_kd0_*
禁止sogou spider访问/house/house_list_kd0_*目录(包括子目录)
79
Disallow: /house/house_list_kd1_*
禁止sogou spider访问/house/house_list_kd1_*目录(包括子目录)
80
Disallow: /stores/house_list_kd0_*
禁止sogou spider访问/stores/house_list_kd0_*目录(包括子目录)
81
Disallow: /stores/house_list_kd1_*
禁止sogou spider访问/stores/house_list_kd1_*目录(包括子目录)
82
Disallow: /house/agent_*_*
禁止sogou spider访问/house/agent_*_*目录(包括子目录)
83
Disallow: .jpg$
禁止sogou spider访问所有以.jpg结尾的文件
84
Disallow: .jpeg$
禁止sogou spider访问所有以.jpeg结尾的文件
85
Disallow: .gif$
禁止sogou spider访问所有以.gif结尾的文件
86
Disallow: .png$
禁止sogou spider访问所有以.png结尾的文件
87
Disallow: .bmp$
禁止sogou spider访问所有以.bmp结尾的文件
88
User-agent: YandexBot
开始配置:YandexBot
89
Disallow: /
禁止YandexBot访问网站的任何部分
90
User-agent: Bytespider
开始配置:Bytespider
91
Disallow: /
禁止Bytespider访问网站的任何部分
92
User-agent: SemrushBot
开始配置:SemrushBot
93
Disallow: /
禁止SemrushBot访问网站的任何部分
94
User-agent: YodaoBot
开始配置:YodaoBot
95
Disallow: /
禁止YodaoBot访问网站的任何部分
96
User-agent: Googlebot
开始配置:Googlebot
97
Disallow: /
禁止Googlebot访问网站的任何部分
98
User-agent: Bingbot
开始配置:Bingbot
99
Disallow: /
禁止Bingbot访问网站的任何部分
100
User-agent: Slurp
开始配置:Slurp
101
Disallow: /
禁止Slurp访问网站的任何部分
102
User-agent: Teoma
开始配置:Teoma
103
Disallow: /
禁止Teoma访问网站的任何部分
104
User-agent: ia_archiver
开始配置:ia_archiver
105
Disallow: /
禁止ia_archiver访问网站的任何部分
106
User-agent: twiceler
开始配置:twiceler
107
Disallow: /
禁止twiceler访问网站的任何部分
108
User-agent: MSNBot
开始配置:MSNBot
109
Disallow: /
禁止MSNBot访问网站的任何部分
110
User-agent: Scrubby
开始配置:Scrubby
111
Disallow: /
禁止Scrubby访问网站的任何部分
112
User-agent: Robozilla
开始配置:Robozilla
113
Disallow: /
禁止Robozilla访问网站的任何部分
114
User-agent: Gigabot
开始配置:Gigabot
115
Disallow: /
禁止Gigabot访问网站的任何部分
116
User-agent: googlebot-image
开始配置:googlebot-image
117
Disallow: /
禁止googlebot-image访问网站的任何部分
118
User-agent: googlebot-mobile
开始配置:googlebot-mobile
119
Disallow: /
禁止googlebot-mobile访问网站的任何部分
120
User-agent: yahoo-mmcrawler
开始配置:yahoo-mmcrawler
121
Disallow: /
禁止yahoo-mmcrawler访问网站的任何部分
122
User-agent: yahoo-blogs/v3.9
开始配置:yahoo-blogs/v3.9
123
Disallow: /
禁止yahoo-blogs/v3.9访问网站的任何部分
124
User-agent: psbot
开始配置:psbot
125
Disallow: /
禁止psbot访问网站的任何部分
126
User-agent: YisouSpider
开始配置:YisouSpider
127
Disallow: /
禁止YisouSpider访问网站的任何部分
128
User-agent: EasouSpider
开始配置:EasouSpider
129
Disallow: /
禁止EasouSpider访问网站的任何部分