-
序号
规则
解释
1
User-agent: Slurp
开始配置:Slurp
2
Disallow: /
禁止Slurp访问网站的任何部分
3
User-agent: Teoma
开始配置:Teoma
4
Disallow: /
禁止Teoma访问网站的任何部分
5
User-agent: ia_archiver
开始配置:ia_archiver
6
Disallow: /
禁止ia_archiver访问网站的任何部分
7
User-agent: twiceler
开始配置:twiceler
8
Disallow: /
禁止twiceler访问网站的任何部分
9
User-agent: Scrubby
开始配置:Scrubby
10
Disallow: /
禁止Scrubby访问网站的任何部分
11
User-agent: Robozilla
开始配置:Robozilla
12
Disallow: /
禁止Robozilla访问网站的任何部分
13
User-agent: Gigabot
开始配置:Gigabot
14
Disallow: /
禁止Gigabot访问网站的任何部分
15
User-agent: yahoo-mmcrawler
开始配置:yahoo-mmcrawler
16
Disallow: /
禁止yahoo-mmcrawler访问网站的任何部分
17
User-agent: yahoo-blogs/v3.9
开始配置:yahoo-blogs/v3.9
18
Disallow: /
禁止yahoo-blogs/v3.9访问网站的任何部分
19
User-agent: psbot
开始配置:psbot
20
Disallow: /
禁止psbot访问网站的任何部分
21
User-agent: SemrushBot
开始配置:SemrushBot
22
Disallow: /
禁止SemrushBot访问网站的任何部分
23
User-agent: AhrefsBot
开始配置:AhrefsBot
24
Disallow: /
禁止AhrefsBot访问网站的任何部分
25
User-agent: BLEXBot
开始配置:BLEXBot
26
Disallow: /
禁止BLEXBot访问网站的任何部分
27
User-agent: MJ12bot
开始配置:MJ12bot
28
Disallow: /
禁止MJ12bot访问网站的任何部分
29
User-agent: serpstatbot
开始配置:serpstatbot
30
Disallow: /
禁止serpstatbot访问网站的任何部分
31
User-agent: PetalBot
开始配置:PetalBot
32
Disallow: /
禁止PetalBot访问网站的任何部分
33
User-agent: dotbot
开始配置:dotbot
34
Disallow: /
禁止dotbot访问网站的任何部分
35
User-agent: DataForSeoBot
开始配置:DataForSeoBot
36
Disallow: /
禁止DataForSeoBot访问网站的任何部分
37
User-agent: Amazonbot
开始配置:Amazonbot
38
Disallow: /
禁止Amazonbot访问网站的任何部分
39
Sitemap: http://www.5118.link/sitemap.xml
Sitemap地址: http://www.5118.link/sitemap.xml
40
Sitemap: http://www.5118.link/sitemap_2.xml
Sitemap地址: http://www.5118.link/sitemap_2.xml
41
Sitemap: http://www.5118.link/sitemap_3.xml
Sitemap地址: http://www.5118.link/sitemap_3.xml
42
Sitemap: http://www.5118.link/sitemap_4.xml
Sitemap地址: http://www.5118.link/sitemap_4.xml
43
Sitemap: http://www.5118.link/sitemap_5.xml
Sitemap地址: http://www.5118.link/sitemap_5.xml
44
Sitemap: http://www.5118.link/sitemap_6.xml
Sitemap地址: http://www.5118.link/sitemap_6.xml
45
Sitemap: http://www.5118.link/sitemap_7.xml
Sitemap地址: http://www.5118.link/sitemap_7.xml
46
Sitemap: http://www.5118.link/sitemap_8.xml
Sitemap地址: http://www.5118.link/sitemap_8.xml
47
Sitemap: http://www.5118.link/sitemap_9.xml
Sitemap地址: http://www.5118.link/sitemap_9.xml
48
Sitemap: http://www.5118.link/sitemap_10.xml
Sitemap地址: http://www.5118.link/sitemap_10.xml
49
Sitemap: http://www.5118.link/sitemap_11.xml
Sitemap地址: http://www.5118.link/sitemap_11.xml
50
Sitemap: http://www.5118.link/sitemap_12.xml
Sitemap地址: http://www.5118.link/sitemap_12.xml
51
Sitemap: http://www.5118.link/sitemap_13.xml
Sitemap地址: http://www.5118.link/sitemap_13.xml
52
Sitemap: http://www.5118.link/sitemap_14.xml
Sitemap地址: http://www.5118.link/sitemap_14.xml
53
Sitemap: http://www.5118.link/sitemap_15.xml
Sitemap地址: http://www.5118.link/sitemap_15.xml
54
Sitemap: http://www.5118.link/sitemap_16.xml
Sitemap地址: http://www.5118.link/sitemap_16.xml