站长之家 - 优化 2011-08-18 09:32

百度spider对常用的http返回码的处理逻辑

《百度spider对常用的http返回码的处理逻辑》文章已经归档,站长之家不再展示相关内容,下文是站长之家的自动化写作机器人,通过算法提取的文章重点内容。这只AI还很年轻,欢迎联系我们帮它成长:

503返回码的含义是“ServiceUnavailable”,百度会认为该网页临时不可访问,通常网站临时关闭,带宽有限等会产生这种情况...

对于这种情况,如果是新发现的url,百度spider暂不会抓取,短期内会再次检查;如果是百度已收录url,当前也不会直接删除,短期内同样会再访问...

判断商品是否通过平台运营方审核,是的话,页面就返回200,否的话,就返回403;对于正常的商品页面,可以确保百度Spider正常抓取;对于新增商品,百度新发现的URL是返回403的,当再次回访这些页面时,由于商品已经审核通过,返回的状态码由403变成了200,则百度仍可抓取到;方法仍然有待实验,毕竟之间存在一个时间差以及百度对于返回403的页面是否存在收录效果不佳的风险...

......

本文由站长之家用户“bloghuman.com”投稿,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完整的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请联系作者获取原文。

推荐关键词

24小时热搜

查看更多内容

大家正在看