-
序号
规则
解释
1
User-agent: *
开始配置:所有搜索引擎
2
Disallow: /style/*
禁止所有搜索引擎访问/style/*目录(包括子目录)
3
Disallow: /admin/
禁止所有搜索引擎访问/admin目录
4
Disallow: /js/
禁止所有搜索引擎访问/js目录
5
Disallow: /css/
禁止所有搜索引擎访问/css目录
6
User-agent: AhrefsBot
开始配置:AhrefsBot
7
Disallow: /
禁止AhrefsBot访问网站的任何部分
8
User-agent: dotbot
开始配置:dotbot
9
Disallow: /
禁止dotbot访问网站的任何部分
10
User-agent: YYSpider
开始配置:YYSpider
11
Disallow: /
禁止YYSpider访问网站的任何部分
12
User-agent: Flamingo_SearchEngine
开始配置:Flamingo_SearchEngine
13
Disallow: /
禁止Flamingo_SearchEngine访问网站的任何部分
14
User-agent: wotbox
开始配置:wotbox
15
Disallow: /
禁止wotbox访问网站的任何部分
16
User-agent: BLEXBot
开始配置:BLEXBot
17
Disallow: /
禁止BLEXBot访问网站的任何部分
18
User-agent: omgilibot
开始配置:omgilibot
19
Disallow: /
禁止omgilibot访问网站的任何部分
20
User-agent: WBSearchBot
开始配置:WBSearchBot
21
Disallow: /
禁止WBSearchBot访问网站的任何部分
22
User-agent: YandexBot
开始配置:YandexBot
23
Disallow: /
禁止YandexBot访问网站的任何部分
24
User-agent: MJ12bot
开始配置:MJ12bot
25
Disallow: /
禁止MJ12bot访问网站的任何部分
26
User-agent: www.integromedb.org/Crawler
开始配置:www.integromedb.org/Crawler
27
Disallow: /
禁止www.integromedb.org/Crawler访问网站的任何部分
28
User-agent: bingbot
开始配置:bingbot
29
User-agent: MS Search
开始配置:MS Search
30
User-agent: Googlebot
开始配置:Googlebot