《使用robots.txt暂禁谷歌搜索引擎爬行要慎重》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
大家都知道，在网站上线前，就是你的网址暴露在互联网中，能引来谷歌，百度，雅虎，搜狗等等搜索引擎蜘蛛来爬前，网站的主题，关键字，描述，和网站的结构布局一定要明确...
竟然是拒绝访问，我这下头大了，拒绝访问？我再一次检查了网站的robots.txt里面没有禁止谷歌来抓啊，网页的meta标签里也没有写禁止，我甚至把robots.txt都删掉了．再用模拟蜘蛛程序来抓仍然是拒绝访问．我再次发论坛求助，仍然没人知道原因和解决办法．然后我就写了一封信给google，信内容如下：...
一定要谨慎使用robots.txt禁止搜索引擎抓取．新站没做好前，不要让自己的网址出现在互联网任何地方，也不要设置禁止蜘蛛来爬，等网站标题结构等确定好后，再去提交，引蜘蛛．本人亲身经历，希望新手引以为戒...
......
本文由站长之家用户“www.tianya5.com”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。