近日,据悉百度百科实施了屏蔽措施,针对谷歌和必应等大多数搜索引擎及爬虫进行了限制,旨在阻止这些外部搜索引擎未经授权抓取百度百科内容用于人工智能(AI)训练。
根据百度百科的 robots.txt 文件,目前仅允许少数搜索引擎抓取其内容,包括百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider 和宜搜搜索(EasouSpider)。
谷歌搜索、必应搜索、微软 MSN、UC 浏览器的 Yisouspider 及其他所有搜索引擎爬虫均被明确禁止抓取百度百科内容。
虽然 360 搜索未在屏蔽列表中单独列出,但百度百科的策略是禁止任何非白名单爬虫抓取,因此 360 搜索和其他搜索引擎也受到影响。
值得注意的是,百度百科的屏蔽措施只能防范守法的爬虫,而一些非法爬虫仍可能采用其他方式抓取内容用于 AI 训练。