商业|热门黑产工具分析03：爬取电商商业数据的蛀虫低薪|中薪|电商|商业|工具|pi

文章插图
概述本次分析的工具是给“无货源商家”做电商选品与盗转商品信息用的工具。
无货源商家，顾名思义，就是不需要自己准备货源的电商商家，货源来自于其他店铺的产品，重新定价后在自己店铺售出，当客户在自己店铺下单时，再利用软件去所对应的店铺下单，然后赚取商品的差价。而选品，指的就是这些无货源商家将从电商平台爬取商品信息罗列起来，挑选合适的商品，选入自己的店铺中。
这个工具一个功能较多的综合化电商选品工具，其中包括爬虫工具、转链工具和上货工具，其中对电商平台影响最大的还是爬虫工具。我们检测到了该工具会爬取包括〇宝、拼〇〇等多家电商平台的商品信息，并涉及到了对应平台返利联盟的返利比例爬取。
根据对该工具的视频教程进行分析，我们可以了解到，该工具爬取的数据包括商品ID、店铺ID、商品标题、商品价格、销量、佣金比例，以及店铺商品数量、销量等信息。

文章插图
根据关键词库爬取商品信息

文章插图
利用该工具爬取店铺信息
而伴随着爬取工具的升级，该工具逐渐在版本更新中添加了大量的辅助类工具，如裂变标题生成、同行分析、转链上货一体化操作等，这些新增功能均是基于爬取商品信息后再进行的分析，进一步加大了电商平台的爬虫压力。

文章插图
同行分析相关功能
众所周知，各大电商平台对价格爬取是有一定的反制措施的，包括但不限于限制单IP、单账号的搜索请求频率。在这个工具中，我们从主界面就可以看到，为了爬取到商品信息，该工具采取了“人海战术”，即利用大量的账号资源与代理IP资源去进行数据“分布式爬取”，将所需的店铺ID、商品ID、标题、价格等数据进行爬取，再整合到一个列表中，从而实现将大量的商品信息爬取到本地。该工具主要爬取的电商平台为〇宝与拼〇〇。

文章插图
图为爬取拼〇〇商品信息
该工具爬取时会利用软件集成代理IP与事先导入的电商平台账号进行爬取，由于电商平台会对异常行为账号进行行为校验或屏蔽，该工具为了提高爬取的效率，还会对账号登录信息Token的可用性进行检测。

文章插图
工具分析基本信息

文章插图
详细分析该工具首次发现于2020年5月26日，是一款采用E语言编写，并且使用VMP加壳的工具软件。对该工具进行静态分析，我们可以确认该工具是一款协议工具，通过破解各大电商平台app的业务接口通信协议，向电商的后台服务器发送精心伪造的数据包，从而达到自动爬取商品信息的目的。
相比于模拟按键脚本（触控精灵/按键精灵等），协议工具脱离了设备的限制，黑灰产利用协议工具可以更低成本完成批量化规模化作案，因此危害也更加严重。
以该工具对拼〇〇上的商品信息爬取为例，
工具首先会调用以下接口进行登陆：
hxxps://mms.pin*.com/latitude/auth/login

文章插图
爬取商品信息时所使用到的一些接口:
hxxps://mms.pin*.com/venus/api/goods/list
hxxps://pifa.pin*.com/pifa/goods/queryGoodsDetail
hxxps://pifa.pin*.com/pifa/goods/queryGoodsPropertyInfo
hxxps://youhui.pin*.com/network/api/goods/queryByGoodsId
hxxps://mms.pin*.com/vodka/v2/mms/query/display/mall/goodsList
【 商业|热门黑产工具分析03：爬取电商商业数据的蛀虫】hxxps://mms.pin*.com/sydney/api/mallScore/queryMallScoreInfo

文章插图
部分接口请求代码，其中请求头已内置
另外，此工具还用到了打码平台、代理平台来绕过电商平台的反爬虫策略。
该工具使用到的代理平台：
hxxp://www.**daili.cn/
该工具使用到的打码平台：
hxxp://www.**dama.com/
总结爬虫对电商平台的威胁由来已久，针对这种爬取商品价格信息的工具也是层出不穷。虽然各电商已经有相对完善的手段去检测并拦截一些异常的自动化请求，但是来自黑灰产的需求源源不断，自然会出现绕过对应规则的工具，这属于长期的攻防对抗。