-
序号
规则
解释
1
User-agent: YoudaoBot
开始配置:YoudaoBot
2
Disallow: /
禁止YoudaoBot访问网站的任何部分
3
User-agent: JikeSpider
开始配置:JikeSpider
4
Disallow: /
禁止JikeSpider访问网站的任何部分
5
User-agent: EasouSpider
开始配置:EasouSpider
6
Disallow: /
禁止EasouSpider访问网站的任何部分
7
User-agent: AhrefsBot
开始配置:AhrefsBot
8
Disallow: /
禁止AhrefsBot访问网站的任何部分
9
User-agent: MJ12bot
开始配置:MJ12bot
10
Disallow: /
禁止MJ12bot访问网站的任何部分
11
User-agent: YandexBot
开始配置:YandexBot
12
Disallow: /
禁止YandexBot访问网站的任何部分
13
User-agent: YYSpider
开始配置:YYSpider
14
Disallow: /
禁止YYSpider访问网站的任何部分
15
User-agent: Teoma
开始配置:Teoma
16
Disallow: /
禁止Teoma访问网站的任何部分
17
User-agent: rogerbot
开始配置:rogerbot
18
Disallow: /
禁止rogerbot访问网站的任何部分
19
User-agent: exabot
开始配置:exabot
20
Disallow: /
禁止exabot访问网站的任何部分
21
User-agent: dotbot
开始配置:dotbot
22
Disallow: /
禁止dotbot访问网站的任何部分
23
User-agent: gigabot
开始配置:gigabot
24
Disallow: /
禁止gigabot访问网站的任何部分
25
User-agent: DOCOMO Sprider
开始配置:DOCOMO Sprider
26
Disallow: /
禁止DOCOMO Sprider访问网站的任何部分
27
User-agent: PetalBot
开始配置:PetalBot
28
Disallow: /
禁止PetalBot访问网站的任何部分
29
User-agent: YisouSpider
开始配置:YisouSpider
30
Disallow: /
禁止YisouSpider访问网站的任何部分
31
User-agent: SeekportBot
开始配置:SeekportBot
32
Disallow: /
禁止SeekportBot访问网站的任何部分
33
User-agent: BLEXBot
开始配置:BLEXBot
34
Disallow: /
禁止BLEXBot访问网站的任何部分
35
User-agent: *
开始配置:所有搜索引擎
36
Disallow: /article.php?id=*
禁止所有搜索引擎访问根目录下的article.php,参数为id=*的页面
37
Disallow: /list.php?page=*
禁止所有搜索引擎访问根目录下的list.php,参数为page=*的页面
38
Disallow: /list.php?cid*
禁止所有搜索引擎访问根目录下的list.php,参数为cid*的页面
39
Disallow: /index/strategy/index/cid/8.html
禁止所有搜索引擎访问/index/strategy/index/cid目录下的8.html文件
40
Disallow: /index/article/article/cid/8.html
禁止所有搜索引擎访问/index/article/article/cid目录下的8.html文件
41
Disallow: /index/article/article/cid/14.html
禁止所有搜索引擎访问/index/article/article/cid目录下的14.html文件
42
Disallow: /index/quality/index/cid/6.html
禁止所有搜索引擎访问/index/quality/index/cid目录下的6.html文件
43
Disallow: /index/quality/index/cid/9.html
禁止所有搜索引擎访问/index/quality/index/cid目录下的9.html文件
44
Disallow: /index/article/article/cid/43.html
禁止所有搜索引擎访问/index/article/article/cid目录下的43.html文件
45
Disallow: /index/live/live/cid/5.html
禁止所有搜索引擎访问/index/live/live/cid目录下的5.html文件
46
Disallow: /index/designer/designer/cid/4.html
禁止所有搜索引擎访问/index/designer/designer/cid目录下的4.html文件
47
Disallow: /index/cases/cases/cid/3.html
禁止所有搜索引擎访问/index/cases/cases/cid目录下的3.html文件
48
Disallow: /index/cases/cases/cid/23.html
禁止所有搜索引擎访问/index/cases/cases/cid目录下的23.html文件
49
Disallow: /index/cases/cases/cid/22.html
禁止所有搜索引擎访问/index/cases/cases/cid目录下的22.html文件
50
Disallow: /index/about/index/cid/2.html
禁止所有搜索引擎访问/index/about/index/cid目录下的2.html文件
51
Disallow: /index/strategy/index/cid/8.html
禁止所有搜索引擎访问/index/strategy/index/cid目录下的8.html文件
52
Disallow: /index/goods/goods/cid/7.html
禁止所有搜索引擎访问/index/goods/goods/cid目录下的7.html文件
53
Disallow: /index/quality/index/cid/6.html
禁止所有搜索引擎访问/index/quality/index/cid目录下的6.html文件
54
Disallow: /index/live/live/cid/5.html
禁止所有搜索引擎访问/index/live/live/cid目录下的5.html文件
55
Disallow: /index/designer/designer/cid/4.html
禁止所有搜索引擎访问/index/designer/designer/cid目录下的4.html文件
56
Disallow: /hao/zlist.php?*
禁止所有搜索引擎访问/hao目录下zlist.php带任何参数的页面
57
Disallow: /hao/zlist.php
禁止所有搜索引擎访问/hao目录下的zlist.php文件
58
Disallow: /css/list.php?*
禁止所有搜索引擎访问/css目录下list.php带任何参数的页面
59
Disallow: /html/nmdb.php*
禁止所有搜索引擎访问/html目录下的nmdb.php*文件
60
Disallow: /xyz.php?*
禁止所有搜索引擎访问根目录下xyz.php带任何参数的页面
61
Disallow: /silian.txt
禁止所有搜索引擎访问根目录下的silian.txt文件
62
Disallow: /xyz.php
禁止所有搜索引擎访问根目录下的xyz.php文件
63
Disallow: /images/
禁止所有搜索引擎访问/images目录
64
Disallow: /uploads/image/
禁止所有搜索引擎访问/uploads/image目录
65
Disallow: /xyz.php?*
禁止所有搜索引擎访问根目录下xyz.php带任何参数的页面
66
Disallow: /sitemap.xml
禁止所有搜索引擎访问根目录下的sitemap.xml文件