打开网易新闻 查看更多图片
场景描述

受巨大的商业利益驱动,爬虫现象普遍存在于各行各业,如高科技与金融、旅游与酒店、数字媒体、电子商务、社交媒体等。其中,电商领域的爬虫现象显著高于其他行业。

善意的爬虫如搜索引擎,它们为信息流通与检索提供了便利,有助于提升企业的网络可见度和营收;中性的爬虫则涉及了许多提供“爬虫即服务”的公司,如Web scraping bots、BrightData等,它们旨在帮助用户进行信息收集与聚合,从事市场调研、竞品分析等非恶意活动,但这类工具也许会被不当使用与滥用;有害的爬虫也就是“坏爬虫”,可能从事撞库攻击、库存抓取等恶意行为,不仅威胁到用户的账户安全,也会严重损害企业利益与安全

撞库攻击:利用从暗网等非法渠道获取的庞大用户名和密码列表,通过自动化程序尝试登录其他网站,以寻找可复用的凭证。一旦用户账户被非法入侵,企业信誉和资产都可能受到波及。 “库存抓取”机器人:专门紧盯新品或限量版商品,一旦发现便迅速抢购一空,再转而在自己的平台上高价销售,不仅扰乱了市场秩序,也严重损害了企业的合法权益和利润,更是对电商生态产生潜在威胁。

那么,在实际应用中,不法分子是如何利用爬虫技术从电商领域获利的呢?钛媒体App了解到,爬虫玩转了“全网最低价”策略,首先是广泛搜集各销售网站数据,包括产品价格、库存等关键信息;通过对比分析,找出价格最优、优惠力度最大的电商平台。基于这些信息,转而在另一个平台上开设自己的店铺,以准新或全新未开封的产品进行转售,利用价格优势实现盈利。甚至还可能利用脚本抢占库存、购买促销商品后转售牟利,给电商生态带来潜在威胁。

值得注意的是,随着技术的进步,融入了AI和机器学习技术的爬虫服务也日益智能化,它们能自动从多个数据源抓取内容,通过预设的逻辑进行数据抽取与分析,这种一站式解决方案无疑是把双刃剑。尤其对电商网站的所有者来说,爬虫技术演进后,其隐蔽性越来越强,特别是采用“无头浏览器”等技术的爬虫已经能模拟人类访问行为,使得传统安全手段难以有效识别与拦截。此外,不断泛滥的爬虫还会不断变化,一次防御过后,下一次还可能会出现变种,这对企业构成了巨大的挑战。

解决方案

打开网易新闻 查看更多图片

点击报名参与创新场景50的评选

Akamai北亚区技术总监刘烨告诉钛媒体App,面对日趋复杂的网络爬虫,企业的应对策略应分而治之,以确保好的爬虫能够正常访问,而对坏的爬虫进行处理。这就要求,首先要能够识别爬虫,其次,针对不同类型的爬虫再采取相应的应对措施。

识别的核心,即如何分析行为并利用数据库查看特征。具体来看有两种方法:第一种方法是通过观察足够多的请求,建立一个大型数据库,用于记录并分析请求的特征。如果请求来自恶意爬虫,则需要识别其来源和特征。第二种方法是判断数据库之外的请求是人还是爬虫,需要分析其行为,以确定是否可能影响企业敏感信息或对电商网站造成不利影响

针对识别出的坏爬虫,下一步则是考虑采取什么样的应对方法。刘烨表示:“通常我们提到的应对措施是针对其它产品,如应用防火墙(WAF),其主要模式是‘报警’和‘阻止’。然而处理爬虫时,通常不是简单地阻拦或禁止,而是管理它们。一旦识别出爬虫,即使是恶意爬虫,也应该采取不同的处理方式。”

处理爬虫的方法可以有多种不同选择。例如,可以选择不禁止它,但不做任何响应,让它误以为连接仍在进行;或者是给它提供虚假信息,例如在它抓取价格时返回给它一个虚假的价格;当然也可以选择直接禁止它。以上措施一般是根据实际情况进行动态调整。

具体到Akamai的做法,其提出了双重应对策略。首先,在边缘网络层面,利用预定义的访问异常特征和协议指纹来快速识别并限制恶意爬虫。其次,通过深入分析访问行为(如鼠标移动轨迹、键盘敲击模式)和设备指纹,结合机器学习模型,进一步细化识别精度,确保对潜在威胁的精准打击。

同时,面对AI加持下不断变化的爬虫,企业和安全厂商也应采取更多自动化策略。当出现新的攻击类型时,不需要人为干预,策略引擎能够自动部署新的策略,有针对性地阻止这些新攻击。这是应对快速变化的攻击类型和产品演进的重要措施。

成效

关于电商场景中可能遇到的爬虫问题,包含三个具体例子,分别针对爬虫识别、被动成本、“撞库”威胁

第一个例子是对电商网站高风险爬虫的识别管理。通过一周的监测,Akamai判断出某客户电商网站的人类访问、高风险爬虫、中风险爬虫、善意爬虫类型,识别出使用高级脚本的恶意爬虫比例高达97%,进行爬虫管理后,这一比例降至不到1/3,有效禁掉了大部分高风险爬虫。

第二个案例是针对爬虫带来的被动成本威胁。当企业短信接口被爬虫触发时,频繁的短信发送导致了成本损失。通过爬虫管理平台能够识别并处理这类爬虫,从而降低费用损失。

第三个案例涉及“撞库”类型的爬虫。企业在日志中发现大量“访问不成功”的信息,这则是明显的撞库请求。通过有效过滤来提升账户安全,确保业务安全。(本文首发钛媒体APP 作者 | 贾雨微)

「关于创新场景50」 场景不是案例,它更加精准、也更加抽象。数字化就是创新场景的不断叠加和迭代。 在此背景下,钛媒体重磅推出「创新场景50」评选,每年遴选并解读50个全行业与业务深度融合的创新性场景及其解决方案,并在钛媒体年度ITValue Summit 数字价值年会上隆重颁奖、深度交流。 目前场景正在征集中,更精准的解读、更广泛的曝光、更强大的品牌势能,欢迎你提出问题,更欢迎你留下解决的方法和工具。点击这里投递更多场景信息

打开网易新闻 查看更多图片

点击进入2024 ITValue Summit数字价值年会,了解更多信息。