未被检测到的网络内容抓取爬虫程序对电商行业影响严重
2024 年7月2日 –负责支持和保护网络生活的云服务提供商阿卡迈技术公司(Akamai Technologies， Inc.，以下简称:Akamai)(NASDAQ:AKAM)，近日发布了新一期的《互联网现状》(SOTI) 报告，详细介绍了随着网络内容抓取爬虫程序的激增，许多企业都会面临安全和业务威胁。《侵蚀您的利润: 网络爬虫程序对电商行业有何影响》报告发现，爬虫程序流量占整个网络流量的 42%，且 65% 的爬虫程序是恶意的。
由于电商行业依赖于创收型 Web 应用程序，高风险爬虫程序流量对该行业的影响最 大。尽管某些爬虫程序对业务是有益的，但网络抓取类爬虫程序却被用于获取竞争情报和开展间谍活动、囤积库存、创建假冒网站以及其他对利润和客户体验产生负面影响的活动。目前尚无法律禁止使用抓取类爬虫程序，而且由于人工智能 (AI) 僵尸网络的兴起，检测它们并非易事，但公司可以采取一些措施来加以缓解。
Akamai亚太地区及日本安全技术和战略总监Reuben Koh 表示:“每家电商平台都在一定程度上依赖网络爬虫机器人。当这些机器人被滥用时，挑战就出现了，因为它们的功能相似，很难区分好坏。此外，快速发展的爬虫环境使防火墙等传统防御措施失效，这进一步加剧了这一问题。现在，电子商务企业，尤其是作为全球主要商业中心的亚太及日本地区的电子商务企业，比以往任何时候都更需要投资于合适的解决方案。以成功应对恶意机器人发起的不可预测和反复的攻击。这是由于这些企业在实现区域化并扩大客户群的时候，往往会面临更多威胁。”
该报告的主要调查结果如下:
·AI僵尸网络能够发现并抓取格式或位置不一致的非结构化数据和内容。 此外，还可以通过收集、提取并处理数据，利用实际的商业情报来改进决策过程。
·抓取类爬虫程序可以通过抓取产品图片、说明和价格信息，创建假冒商店或网络钓鱼网站，窃取凭据或信用卡信息，进而形成更复杂的网络钓鱼活动。
·爬虫程序的使用可进一步导致新帐户开设滥用的增加。根据最近的研究，50% 的欺诈损失是爬虫程序所致。
·无论抓取类爬虫程序是出于恶意还是善意目的抓取企业数据，都可能导致企业遭受包括网站性能下降、网站指标染污、网络钓鱼网站发起的盗用凭据攻击，以及计算成本攀升等技术影响。
《侵蚀您的利润:网络爬虫程序对电商行业有何影响》研究报告介绍了缓解抓取类爬虫程序的策略，并结合案例研究，说明采取有效防护措施能够显著提升网站的运行速度和效率。此外，该研究报告还指出，在应对这些日益增多的攻击时，必须考虑合规性问题。
今年是 Akamai发布《互联网现状》(SOTI) 报告10 周年。 SOTI 系列报告以 Akamai Connected Cloud 收集的数据为基础，提供有关网络安全和 Web 性能形势的专家见解。
关于Akamai
Akamai 为在线生活提供支持和保护。全球领先的公司选择 Akamai 来构建、交付和保护他们的数字体验——为数十亿人每天的生活、工作和娱乐提供帮助。借助全球广泛分布的覆盖从云到边缘的计算平台Akamai Connected Cloud，我们帮助客户轻松开发和运行应用程序，同时让体验更贴近用户，让威胁距离用户更远。