-
序号
规则
解释
1
User-agent: Slurp
开始配置:Slurp
2
Disallow: /
禁止Slurp访问网站的任何部分
3
User-agent: Teoma
开始配置:Teoma
4
Disallow: /
禁止Teoma访问网站的任何部分
5
User-agent: ia_archiver
开始配置:ia_archiver
6
Disallow: /
禁止ia_archiver访问网站的任何部分
7
User-agent: twiceler
开始配置:twiceler
8
Disallow: /
禁止twiceler访问网站的任何部分
9
User-agent: Scrubby
开始配置:Scrubby
10
Disallow: /
禁止Scrubby访问网站的任何部分
11
User-agent: Robozilla
开始配置:Robozilla
12
Disallow: /
禁止Robozilla访问网站的任何部分
13
User-agent: Gigabot
开始配置:Gigabot
14
Disallow: /
禁止Gigabot访问网站的任何部分
15
User-agent: yahoo-mmcrawler
开始配置:yahoo-mmcrawler
16
Disallow: /
禁止yahoo-mmcrawler访问网站的任何部分
17
User-agent: yahoo-blogs/v3.9
开始配置:yahoo-blogs/v3.9
18
Disallow: /
禁止yahoo-blogs/v3.9访问网站的任何部分
19
User-agent: psbot
开始配置:psbot
20
Disallow: /
禁止psbot访问网站的任何部分
21
User-agent: SemrushBot
开始配置:SemrushBot
22
Disallow: /
禁止SemrushBot访问网站的任何部分
23
User-agent: AhrefsBot
开始配置:AhrefsBot
24
Disallow: /
禁止AhrefsBot访问网站的任何部分
25
User-agent: BLEXBot
开始配置:BLEXBot
26
Disallow: /
禁止BLEXBot访问网站的任何部分
27
User-agent: MJ12bot
开始配置:MJ12bot
28
Disallow: /
禁止MJ12bot访问网站的任何部分
29
User-agent: serpstatbot
开始配置:serpstatbot
30
Disallow: /
禁止serpstatbot访问网站的任何部分
31
User-agent: PetalBot
开始配置:PetalBot
32
Disallow: /
禁止PetalBot访问网站的任何部分
33
User-agent: dotbot
开始配置:dotbot
34
Disallow: /
禁止dotbot访问网站的任何部分
35
User-agent: DataForSeoBot
开始配置:DataForSeoBot
36
Disallow: /
禁止DataForSeoBot访问网站的任何部分
37
User-agent: Amazonbot
开始配置:Amazonbot
38
Disallow: /
禁止Amazonbot访问网站的任何部分