-
序号
规则
解释
1
User-agent: *
开始配置:所有搜索引擎
2
Disallow: /group/
禁止所有搜索引擎访问/group目录
3
Disallow: /news/default/feed
禁止所有搜索引擎访问/news/default/feed目录(包括子目录)
4
Disallow: /config/
禁止所有搜索引擎访问/config目录
5
Disallow: /install/
禁止所有搜索引擎访问/install目录
6
Disallow: /source/
禁止所有搜索引擎访问/source目录
7
Disallow: /misc.php
禁止所有搜索引擎访问根目录下的misc.php文件
8
Disallow: /Style/*
禁止所有搜索引擎访问/Style/*目录(包括子目录)
9
Disallow: /util/*
禁止所有搜索引擎访问/util/*目录(包括子目录)
10
Disallow: /lang/
禁止所有搜索引擎访问/lang目录
11
Disallow: /lib/
禁止所有搜索引擎访问/lib目录
12
Disallow: /model/
禁止所有搜索引擎访问/model目录
13
Disallow: /attachment/
禁止所有搜索引擎访问/attachment目录
14
Disallow: /data/
禁止所有搜索引擎访问/data目录
15
Disallow: /js/
禁止所有搜索引擎访问/js目录
16
Disallow: /apps/
禁止所有搜索引擎访问/apps目录
17
User-agent: AhrefsBot
开始配置:AhrefsBot
18
Disallow: /
禁止AhrefsBot访问网站的任何部分
19
User-agent: dotbot
开始配置:dotbot
20
Disallow: /
禁止dotbot访问网站的任何部分
21
User-agent: YYSpider
开始配置:YYSpider
22
Disallow: /
禁止YYSpider访问网站的任何部分
23
User-agent: Flamingo_SearchEngine
开始配置:Flamingo_SearchEngine
24
Disallow: /
禁止Flamingo_SearchEngine访问网站的任何部分
25
User-agent: wotbox
开始配置:wotbox
26
Disallow: /
禁止wotbox访问网站的任何部分
27
User-agent: BLEXBot
开始配置:BLEXBot
28
Disallow: /
禁止BLEXBot访问网站的任何部分
29
User-agent: omgilibot
开始配置:omgilibot
30
Disallow: /
禁止omgilibot访问网站的任何部分
31
User-agent: WBSearchBot
开始配置:WBSearchBot
32
Disallow: /
禁止WBSearchBot访问网站的任何部分
33
User-agent: YandexBot
开始配置:YandexBot
34
Disallow: /
禁止YandexBot访问网站的任何部分
35
User-agent: MJ12bot
开始配置:MJ12bot
36
Disallow: /
禁止MJ12bot访问网站的任何部分
37
User-agent: www.integromedb.org/Crawler
开始配置:www.integromedb.org/Crawler
38
Disallow: /
禁止www.integromedb.org/Crawler访问网站的任何部分
39
User-agent: bingbot
开始配置:bingbot
40
User-agent: MS Search
开始配置:MS Search
41
User-agent: Googlebot
开始配置:Googlebot