爬虫实战 | 揭秘古风系列商品,避免踩坑(14)

总结:

      在淘宝里的古风商品,服装、佩饰价格都普遍处于相对便宜的位置,如:佩饰价格普遍分布在0-50元,服装普遍分布在50-150元,这都是我们可以接受的范围。所以在生活中,买件古风装,圆个江湖梦的成本还是不算太高。^_^

不足:

        1、抓取的速度方面可以优化,反爬方面可以准备更多尝试,因为在抓取到100多页后还是意料之内的被forbid,后续可以考虑建立更多的ip,和模拟账号登录。

        2、仅对普通的淘宝店铺进行了抓取,未对天猫商家的数据进行抓取,后续技术提高后可以尝试增加天猫这一块的样本,毕竟常识来看同款商品天猫的价位比普通的淘宝店铺偏高,并且对于商品有最低和最高价的商品仅选择了最低价,综合来说,总体的价格结论可能会稍微偏低。

        3、将关键词作为商品的分类,可能会有类型重叠部分,后续可以通过搜索类别+关键词作为依据。