-
序号
规则
解释
1
User-agent: *
开始配置：所有搜索引擎
2
Allow: /
允许所有搜索引擎访问网站的任何部分
3
Sitemap: https://www.icdeal.com/sitemap.xml
Sitemap地址：https
4
Disallow: /getInquiry
禁止所有搜索引擎访问/getInquiry目录(包括子目录)
5
Disallow: /js/
禁止所有搜索引擎访问/js目录
6
Disallow: /login
禁止所有搜索引擎访问/login目录(包括子目录)
7
Disallow: /reg
禁止所有搜索引擎访问/reg目录(包括子目录)
8
Disallow: /backpwd
禁止所有搜索引擎访问/backpwd目录(包括子目录)
9
Disallow: /cart
禁止所有搜索引擎访问/cart目录(包括子目录)
10
Disallow: /user
禁止所有搜索引擎访问/user目录(包括子目录)
11
Disallow: /elb
禁止所有搜索引擎访问/elb目录(包括子目录)
12
Disallow: /api/
禁止所有搜索引擎访问/api目录
13
Disallow: /*.js$
禁止所有搜索引擎访问所有以*.js结尾的文件
14
Disallow: /*.php$
禁止所有搜索引擎访问所有以*.php结尾的文件
15
Disallow: /*.asp$
禁止所有搜索引擎访问所有以*.asp结尾的文件
16
Disallow: /ld/
禁止所有搜索引擎访问/ld目录
17
Disallow: /None$
禁止所有搜索引擎访问所有以结尾的文件
18
Disallow: /None
禁止所有搜索引擎访问/None目录(包括子目录)
19
Disallow: /bidding_display_page
禁止所有搜索引擎访问/bidding_display_page目录(包括子目录)
20
User-agent: Alispider
开始配置：Alispider
21
Disallow: /
禁止Alispider访问网站的任何部分
22
User-agent: bingbot
开始配置：bingbot
23
Disallow: /
禁止bingbot访问网站的任何部分
24
User-agent: MJ12bot
开始配置：MJ12bot
25
Disallow: /
禁止MJ12bot访问网站的任何部分
26
User-agent: DataForSeoBot
开始配置：DataForSeoBot
27
Disallow: /
禁止DataForSeoBot访问网站的任何部分
28
User-agent: DotBot
开始配置：DotBot
29
Disallow: /
禁止DotBot访问网站的任何部分
30
User-agent: BLEXBot
开始配置：BLEXBot
31
Disallow: /
禁止BLEXBot访问网站的任何部分
32
User-agent: GPTBot
开始配置：GPTBot
33
Disallow: /
禁止GPTBot访问网站的任何部分
34
User-agent: SemrushBot
开始配置：SemrushBot
35
Disallow: /
禁止SemrushBot访问网站的任何部分
36
User-agent: Adsbot
开始配置：Adsbot
37
Disallow: /
禁止Adsbot访问网站的任何部分
38
User-agent: MegaIndex
开始配置：MegaIndex
39
Disallow: /
禁止MegaIndex访问网站的任何部分
40
User-agent: MegaIndex.ru
开始配置：MegaIndex.ru
41
Disallow: /
禁止MegaIndex.ru访问网站的任何部分
42
User-Agent: panscient.com
开始配置：panscient.com
43
Disallow: /
禁止panscient.com访问网站的任何部分
44
User-Agent: Crawlson
开始配置：Crawlson
45
Disallow: /
禁止Crawlson访问网站的任何部分
46
User-Agent: Barkrowler
开始配置：Barkrowler
47
Disallow: /
禁止Barkrowler访问网站的任何部分
48
User-Agent: Go-http-client
开始配置：Go-http-client
49
Disallow: /
禁止Go-http-client访问网站的任何部分
50
User-Agent: AhrefsBot
开始配置：AhrefsBot
51
Disallow: /
禁止AhrefsBot访问网站的任何部分
52
User-Agent: PetalBot
开始配置：PetalBot
53
Disallow: /
禁止PetalBot访问网站的任何部分
54
User-Agent: TestBot
开始配置：TestBot
55
Disallow: /
禁止TestBot访问网站的任何部分
56
User-Agent: CCBot
开始配置：CCBot
57
Disallow: /
禁止CCBot访问网站的任何部分
58
User-Agent: YandexBot
开始配置：YandexBot
59
Disallow: /
禁止YandexBot访问网站的任何部分
60
User-Agent: YisouSpider
开始配置：YisouSpider
61
Disallow: /
禁止YisouSpider访问网站的任何部分
62
User-Agent: Yahoo! Slurp China
开始配置：Yahoo! Slurp China
63
Disallow: /
禁止Yahoo! Slurp China访问网站的任何部分
64
User-Agent: Yahoo! Slurp
开始配置：Yahoo! Slurp
65
Disallow: /
禁止Yahoo! Slurp访问网站的任何部分
66
User-Agent: ImagesiftBot
开始配置：ImagesiftBot
67
Disallow: /
禁止ImagesiftBot访问网站的任何部分
68
User-Agent: GPTBot
开始配置：GPTBot
69
Disallow: /
禁止GPTBot访问网站的任何部分
