Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
2019-07-02
robots
推荐关键词
最新资讯
24小时热搜
-
热
- 1 沙特申博宣传片真是中国拍的 网友：这风格意境是中国的手笔
- 2 南方人东北购物被店主语气“凶哭”：文化差异导致误解
- 3 女子下班回家发现家门口被贴U盘：新型诈骗手段？
- 4 爸爸送娃撂下就走结果学校没开门：交警协助联系 安全返家
-
热
- 5 宗庆后在黄金地段为员工建廉租房：从不裁45岁以上员工 我算有钱
- 荐 2020年高通骁龙CPU排名 高通骁龙888排名领先