-
序号
规则
解释
1
User-agent: Googlebot
开始配置:Googlebot
2
Disallow: /info/
禁止Googlebot访问/info目录
3
Disallow: /search/
禁止Googlebot访问/search目录
4
User-agent: Mediapartners-Google
开始配置:Mediapartners-Google
5
Disallow: /info/
禁止Mediapartners-Google访问/info目录
6
Disallow: /search/
禁止Mediapartners-Google访问/search目录
7
User-agent: Yahoo! Slurp
开始配置:Yahoo! Slurp
8
Allow: /$
允许Yahoo! Slurp访问所有以结尾的文件
9
Disallow: /
禁止Yahoo! Slurp访问网站的任何部分
10
User-agent: bingbot
开始配置:bingbot
11
Allow: /$
允许bingbot访问所有以结尾的文件
12
Disallow: /
禁止bingbot访问网站的任何部分
13
User-agent: Yandex
开始配置:Yandex
14
Allow: /$
允许Yandex访问所有以结尾的文件
15
Disallow: /
禁止Yandex访问网站的任何部分
16
User-agent: Baiduspider
开始配置:Baiduspider
17
Disallow: /
禁止Baiduspider访问网站的任何部分
18
User-agent: Sogou
开始配置:Sogou
19
Disallow: /
禁止Sogou访问网站的任何部分
20
User-agent: ia_archiver
开始配置:ia_archiver
21
Disallow:
禁止ia_archiver访问目录(包括子目录)
22
User-agent: IPS-Agent
开始配置:IPS-Agent
23
Disallow: /parking.php4
禁止IPS-Agent访问根目录下的parking.php4文件
24
User-agent: BLEXBot
开始配置:BLEXBot
25
Disallow: /
禁止BLEXBot访问网站的任何部分
26
User-agent: Pandalytics
开始配置:Pandalytics
27
Disallow: /info/
禁止Pandalytics访问/info目录
28
Disallow: /search/
禁止Pandalytics访问/search目录
29
User-agent: IonCrawl
开始配置:IonCrawl
30
Disallow: /info/
禁止IonCrawl访问/info目录
31
Disallow: /search/
禁止IonCrawl访问/search目录
32
User-agent: *
开始配置:所有搜索引擎
33
Disallow: /
禁止所有搜索引擎访问网站的任何部分