这类蜘蛛有明确的抓取范围和目标，当蜘蛛完成目标和任务后就停止抓取...这类蜘蛛和批量型蜘蛛不同，他们会持续不断的抓取，对于抓取到的网页会定期抓取更新...以健康网站为例子，这类专门的蜘蛛会只抓取健康相关主题，其它主题内容的网页则不抓取...但是待抓取URL数量庞大，蜘蛛如
......
本文由站长之家用户投稿发布于站长之家平台，本平台仅提供信息索引服务。为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。