消息通知
▲

最近使用

热门推荐

当前位置： 站长工具 > Robots检测

百度真假蜘蛛 搜索蜘蛛、机器人模拟抓取 中文域名在线转码 Robots检测 新广告法禁用词检测 进制转换 htpasswd生成器

查询记录

工具简介

Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

SEO相关 其他工具相关
Wap适配 网站测速PK 过期域名查询 关键词异地排名

关于站长之家 | 联系我们 | 广告服务 | 友情链接 | 网站动态 | 版权声明 | 人才招聘 | 帮助

© CopyRight 2002-2025, CHINAZ.COM, Inc.All Rights Reserved.闽ICP备08105208号增值电信业务经营许可证闽B2-20120007号亿速云提供云服务器支持