开发者可通过 robots 文件声明小程序中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。仅当您的小程序中包含不希望被搜索引擎收录的内容时,才需要使用 robots.txt 文件。文件上传路径为:智能小程序开发者平台->设置->开发设置->小程序资源抓取设置->点击“设置”按钮->点击“上传协议”按钮。
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。也叫机器人排除标准(Robots Exclusion Standard),网站使用的文本文件,用于与网络机器人(最常见的SE机器人)进行通信,以处理网站的每个页面。在这里,您可以将某些页面设置为漫游器的禁区,并仅扫描最有用的内容。
相对链接(Relative Link),也叫做相对路径。用于内部链接的链接。这是文件,HTML页面,图像或我们链接到的其他内容的简短路径。该链接用作定位标记的一部分,但不包含协议或域名。
示例:使用相对路径的锚标记示例:<a href=”/images/logo.png”>站长之家</a>内部链接使用两种类型的路径-一种是相对路径,另一种是绝对路径。但是,没有迹象表明就SEO而言,一个比另一个更有利。