受巨大的商业利益驱动，爬虫现象普遍存在于各行各业，如高科技与金融、旅游与酒店、数字媒体、电子商务、社交媒体等。其中，电商领域的爬虫现象显著高于其他行业。
善意的爬虫如搜索引擎，它们为信息流通与检索提供了便利，有助于提升企业的网络可见度和营收；中性的爬虫则涉及了许多提供“爬虫即服务”的公司，如Web scraping bots、BrightData等，它们旨在帮助用户进行信息收集与聚合，从事市场调研、竞品分析等非恶意活动，但这类工具也许会被不当使用与滥用；有害的爬虫也就是“坏爬虫”，可能从事撞库攻击、库存抓取等恶意行为，不仅威胁到用户的账户安全，也会严重损害企业利益与安全。
撞库攻击：利用从暗网等非法渠道获取的庞大用户名和密码列表，通过自动化程序尝试登录其他网站，以寻找可复用的凭证。一旦用户账户被非法入侵，企业信誉和资产都可能受到波及。 “库存抓取”机器人：专门紧盯新品或限量版商品，一旦发现便迅速抢购一空，再转而在自己的平台上高价销售，不仅扰乱了市场秩序，也严重损害了企业的合法权益和利润，更是对电商生态产生潜在威胁。
那么，在实际应用中，不法分子是如何利用爬虫技术从电商领域获利的呢？钛媒体App了解到，爬虫玩转了“全网最低价”策略，首先是广泛搜集各销售网站数据，包括产品价格、库存等关键信息；通过对比分析，找出价格最优、优惠力度最大的电商平台。基于这些信息，转而在另一个平台上开设自己的店铺，以准新或全新未开封的产品进行转售，利用价格优势实现盈利。甚至还可能利用脚本抢占库存、购买促销商品后转售牟利，给电商生态带来潜在威胁。
值得注意的是，随着技术的进步，融入了AI和机器学习技术的爬虫服务也日益智能化，它们能自动从多个数据源抓取内容，通过预设的逻辑进行数据抽取与分析，这种一站式解决方案无疑是把双刃剑。尤其对电商网站的所有者来说，爬虫技术演进后，其隐蔽性越来越强，特别是采用“无头浏览器”等技术的爬虫已经能模拟人类访问行为，使得传统安全手段难以有效识别与拦截。此外，不断泛滥的爬虫还会不断变化，一次防御过后，下一次还可能会出现变种，这对企业构成了巨大的挑战。
解决方案
点击报名参与创新场景50的评选
Akamai北亚区技术总监刘烨告诉钛媒体App，面对日趋复杂的网络爬虫，企业的应对策略应分而治之，以确保好的爬虫能够正常访问，而对坏的爬虫进行处理。这就要求，首先要能够识别爬虫，其次，针对不同类型的爬虫再采取相应的应对措施。
识别的核心，即如何分析行为并利用数据库查看特征。具体来看有两种方法：第一种方法是通过观察足够多的请求，建立一个大型数据库，用于记录并分析请求的特征。如果请求来自恶意爬虫，则需要识别其来源和特征。第二种方法是判断数据库之外的请求是人还是爬虫，需要分析其行为，以确定是否可能影响企业敏感信息或对电商网站造成不利影响。
针对识别出的坏爬虫，下一步则是考虑采取什么样的应对方法。刘烨表示：“通常我们提到的应对措施是针对其它产品，如应用防火墙（WAF），其主要模式是‘报警’和‘阻止’。然而处理爬虫时，通常不是简单地阻拦或禁止，而是管理它们。一旦识别出爬虫，即使是恶意爬虫，也应该采取不同的处理方式。”
处理爬虫的方法可以有多种不同选择。例如，可以选择不禁止它，但不做任何响应，让它误以为连接仍在进行；或者是给它提供虚假信息，例如在它抓取价格时返回给它一个虚假的价格；当然也可以选择直接禁止它。以上措施一般是根据实际情况进行动态调整。
具体到Akamai的做法，其提出了双重应对策略。首先，在边缘网络层面，利用预定义的访问异常特征和协议指纹来快速识别并限制恶意爬虫。其次，通过深入分析访问行为（如鼠标移动轨迹、键盘敲击模式）和设备指纹，结合机器学习模型，进一步细化识别精度，确保对潜在威胁的精准打击。
同时，面对AI加持下不断变化的爬虫，企业和安全厂商也应采取更多自动化策略。当出现新的攻击类型时，不需要人为干预，策略引擎能够自动部署新的策略，有针对性地阻止这些新攻击。这是应对快速变化的攻击类型和产品演进的重要措施。
成效
关于电商场景中可能遇到的爬虫问题，包含三个具体例子，分别针对爬虫识别、被动成本、“撞库”威胁。
第一个例子是对电商网站高风险爬虫的识别管理。通过一周的监测，Akamai判断出某客户电商网站的人类访问、高风险爬虫、中风险爬虫、善意爬虫类型，识别出使用高级脚本的恶意爬虫比例高达97%，进行爬虫管理后，这一比例降至不到1/3，有效禁掉了大部分高风险爬虫。
第二个案例是针对爬虫带来的被动成本威胁。当企业短信接口被爬虫触发时，频繁的短信发送导致了成本损失。通过爬虫管理平台能够识别并处理这类爬虫，从而降低费用损失。
第三个案例涉及“撞库”类型的爬虫。企业在日志中发现大量“访问不成功”的信息，这则是明显的撞库请求。通过有效过滤来提升账户安全，确保业务安全。（本文首发钛媒体APP 作者 | 贾雨微）
「关于创新场景50」 场景不是案例，它更加精准、也更加抽象。数字化就是创新场景的不断叠加和迭代。 在此背景下，钛媒体重磅推出「创新场景50」评选，每年遴选并解读50个全行业与业务深度融合的创新性场景及其解决方案，并在钛媒体年度ITValue Summit 数字价值年会上隆重颁奖、深度交流。 目前场景正在征集中，更精准的解读、更广泛的曝光、更强大的品牌势能，欢迎你提出问题，更欢迎你留下解决的方法和工具。点击这里投递更多场景信息
点击进入2024 ITValue Summit数字价值年会，了解更多信息。