Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。也叫机器人排除标准（Robots Exclusion Standard），网站使用的文本文件，用于与网络机器人（最常见的SE机器人）进行通信，以处理网站的每个页面。在这里，您可以将某些页面设置为漫游器的禁区，并仅扫描最有用的内容。

通过手动提交URL使搜索引擎知道新网页，以便更快地对其进行索引。

很多人认为这是不必要的，因为爬虫很擅长发现新内容，如果有链接指向你的网站或网页，它们最终会索引你的网站或网页。

然而，有，全新的网站/网页要出现在SERPs需要一段时间，几天的是正常的，但如果需要几个星期，你可能想要考虑手动提交到搜索引擎。