-
序号
规则
解释
1
User-agent: Baiduspider
开始配置:Baiduspider
2
Disallow:
禁止Baiduspider访问目录(包括子目录)
3
User-agent: Baiduspider-image
开始配置:Baiduspider-image
4
Disallow:
禁止Baiduspider-image访问目录(包括子目录)
5
User-agent: 360Spider
开始配置:360Spider
6
Disallow:
禁止360Spider访问目录(包括子目录)
7
User-agent: 360Spider-Image
开始配置:360Spider-Image
8
Disallow:
禁止360Spider-Image访问目录(包括子目录)
9
User-agent: YodaoBot
开始配置:YodaoBot
10
Disallow:
禁止YodaoBot访问目录(包括子目录)
11
User-agent: haosouspider
开始配置:haosouspider
12
Disallow:
禁止haosouspider访问目录(包括子目录)
13
User-agent: ToutiaoSpider
开始配置:ToutiaoSpider
14
Disallow:
禁止ToutiaoSpider访问目录(包括子目录)
15
User-agent: Yisouspider
开始配置:Yisouspider
16
Disallow:
禁止Yisouspider访问目录(包括子目录)
17
User-agent: Googlebot
开始配置:Googlebot
18
Disallow:
禁止Googlebot访问目录(包括子目录)
19
User-agent: Sogou spider
开始配置:Sogou spider
20
Disallow:
禁止Sogou spider访问目录(包括子目录)
21
User-agent: Sogou web spider
开始配置:Sogou web spider
22
Disallow:
禁止Sogou web spider访问目录(包括子目录)
23
User-agent: Sogou inst spider
开始配置:Sogou inst spider
24
Disallow:
禁止Sogou inst spider访问目录(包括子目录)
25
User-agent: Sogou spider2
开始配置:Sogou spider2
26
Disallow:
禁止Sogou spider2访问目录(包括子目录)
27
User-agent: Sogou blog
开始配置:Sogou blog
28
Disallow:
禁止Sogou blog访问目录(包括子目录)
29
User-agent: Sogou News Spider
开始配置:Sogou News Spider
30
Disallow:
禁止Sogou News Spider访问目录(包括子目录)
31
User-agent: Sogou Orion spider
开始配置:Sogou Orion spider
32
Disallow:
禁止Sogou Orion spider访问目录(包括子目录)
33
User-agent: Sosospider
开始配置:Sosospider
34
Disallow:
禁止Sosospider访问目录(包括子目录)
35
User-agent: MSNBot
开始配置:MSNBot
36
Disallow:
禁止MSNBot访问目录(包括子目录)
37
User-agent: *
开始配置:所有搜索引擎
38
Disallow: /
禁止所有搜索引擎访问网站的任何部分