站长之家 - 动态 2008-03-28T19:55:13 +08:00

谷歌网站管理员工具新增robots.txt生成器

要想控制各搜索引擎的爬虫对你的网站的访问,你就得在网站的robots.txt文件里写明有关的规则。比如,你允许爬虫访问你的哪些目录,禁止爬虫访问哪些内容。Google自己也有爬虫即Googlebot,如果你有些目录不想让它访问但你又不熟悉robots.txt文件的编写,现在可以利用Google网站管理员工具新增的robots.txt文件生成器了。

进入控制台>工具>生成 robots.txt就可以看到有关选项:

你可以允许或禁止某种Googlebot访问你的某些目录或文件,十分方便。你要做的只是填写目标目录或文件:

生成新的robots.txt文件后,还可以使用工具里的"分析 robots.txt"来分析它。

推荐关键词

24小时热搜

查看更多内容

大家正在看

DarkCarrot