《robots是能否彻底屏蔽搜索蜘蛛爬行与索引呢？》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
robots.txt是一种存放在网站空间根目录下的文本文件，是一种协议，用来告诉搜索蜘蛛网站中哪些可被爬行抓取，哪些不可被爬行抓取...
对此，笔者却是另一种看法，在后边加上与未加上/，对于蜘蛛而言是两种概念，加上了是告诉蜘蛛，这是一个文件夹，而未加上即告诉蜘蛛这是一个文件，也因此导致明明在robots.txt上做好了设置，却没能有效的屏蔽...
robots.txt不能彻底屏蔽蜘蛛的爬行抓取...
要想彻底屏蔽页面文件被谷歌索引的话（即使有其他网站链接到该页面文件），则需要在页面head中插入noindex元标记或x-robots-tag...
而百度呢？对于百度而言，并不支持如谷歌那般通过noindex完全将网页从索引上删除，仅支持noarchive元标记来禁止百度显示网页快照...
......
本文由站长之家用户“huizhouseo.cn”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。