-
序号
规则
解释
1
User-agent: *
开始配置:所有搜索引擎
2
Disallow: /index.php/ad/index/
禁止所有搜索引擎访问/index.php/ad/index目录
3
Disallow: /index.php/jsdata/index/
禁止所有搜索引擎访问/index.php/jsdata/index目录
4
Disallow: /session/show_session_status
禁止所有搜索引擎访问/session/show_session_status目录(包括子目录)
5
Disallow: /*.js$
禁止所有搜索引擎访问所有以*.js结尾的文件
6
Disallow: /public/assets/images/*.gif$
禁止所有搜索引擎访问/public/assets/images目录下所有以*.gif结尾的文件
7
Disallow: /public/assets/images/*.png$
禁止所有搜索引擎访问/public/assets/images目录下所有以*.png结尾的文件
8
Disallow: /*.swf$
禁止所有搜索引擎访问所有以*.swf结尾的文件
9
Disallow: /*.css$
禁止所有搜索引擎访问所有以*.css结尾的文件
10
Disallow: /*.zip$
禁止所有搜索引擎访问所有以*.zip结尾的文件
11
Disallow: /api/
禁止所有搜索引擎访问/api目录
12
Disallow: /api_im/
禁止所有搜索引擎访问/api_im目录
13
Disallow: /index.php/
禁止所有搜索引擎访问/index.php目录
14
Disallow: /sem/
禁止所有搜索引擎访问/sem目录
15
Disallow: /*/*/?*
禁止所有搜索引擎访问/*/*目录下任何带参数的页面
16
User-agent: bingbot
开始配置:bingbot
17
User-agent: bingbot
开始配置:bingbot
18
User-agent: Googlebot
开始配置:Googlebot
19
User-agent: Googlebot
开始配置:Googlebot
20
User-agent: YisouSpider
开始配置:YisouSpider
21
User-agent: YisouSpider
开始配置:YisouSpider
22
User-agent: Sogou web spider
开始配置:Sogou web spider
23
User-agent: Sogou web spider
开始配置:Sogou web spider
24
User-agent: Bytespider
开始配置:Bytespider
25
User-agent: Bytespider
开始配置:Bytespider