一种基于大数据的商品比价平台及比价方法与流程

本发明涉及商品比价，具体为一种基于大数据的商品比价平台及比价方法。

背景技术：

1、人们在电商平台购物时通常要对购买的产品进行价格比较和商品质量比较，对于商品的质量通常通过商品的销量、好评率来判断，而对于价格同一商品，不同供货商/店铺会有不同的报价，网络商品购买存在不确定性，对于消费者来说，很难购买到物美价廉的商品。

2、现有的比价系统主要用于对商品的各大电商的标定价格进行比较，而仅仅针对价格单方面因素进行对比，不能够很好的给消费者推荐优异，从而给用户带来不好的购物体验。

3、所以我们提出了一种基于大数据的商品比价平台及比价方法，以便于解决上述中提出的问题。

技术实现思路

1、本发明的目的在于提供一种基于大数据的商品比价平台及比价方法，以解决上述背景技术提出的目前市场上的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于大数据数的商品比价平台，包括爬取模块、入库模块、清洗模块、价格整合模块、价格标签模块、效果评估模块、平台存储器和大数据平台；

3、所述爬取模块基于商品池从主流电商平台爬取商品信息；

4、所述入库模块将爬取下来的原始商品信息数据入库加载到大数据平台；

5、所述清洗模块按照供应商和sku_id对爬取的商品信息数据进行清洗、整合，去掉无效以及不合规数据；

6、所述价格整合模块将清洗后的商品信息数据与平台存储器内记录的当前价格与历史价格进行关联整合，形成价格相关的宽表；

7、所述价格标签模块对整合后的商品信息数据进行再次加工，形成价格相关的标签；

8、所述效果评估模块对爬虫单元爬取商品的覆盖率、准确率、价格完整率、爬取失败及异常的商品占比指标进行统计。

9、优选的，所述商品信息包括商品名称、商品价格、商品sku、店铺名称、商品参数信息、好评率、评价数、评价关键词、销量、品牌和类目，在爬取商品信息的的同时，利用selenium和无头浏览器技术自动化模拟访问网站页面，对商品详情页进行截图，保留对商品爬取时页面信息，价格高的商品留痕存档，可对供应商价格商品进行考核。

10、一种基于大数据数的商品比价方法，包括以下步骤：

11、s1：数据爬取

12、基于商品池从主流电商平台爬取商品信息；

13、s2：入库

14、将爬取下来的原始商品信息数据加载到大数据平台；

15、s3：清洗

16、按照供应商和sku_id对爬取的商品信息数据进行清洗、整合，去掉无效以及不合规数据；

17、s4：价格整合

18、将清洗后的商品信息数据与平台存储器内记录的当前价格与历史价格进行关联整合，形成价格相关的宽表；

19、s5：形成价格标签

20、对整合后的商品信息数据进行再次加工，形成价格相关的标签；

21、s6：调整平台商品池

22、基于价格标签调整平台的商品池，进行商品价格管控。

23、与现有技术相比，本发明的有益效果是：

24、本发明一种基于大数据的商品比价平台及比价方法，总体上实现内、外部商品价格数据的实时获取、实时比价与留痕、比价结果输出、价高商品下架等一系列处理流程，通过比价将商品划分成不同的商品池，在兼顾用户的行为与偏好的基础上，优先推荐价格有优势的商品或者相似商品，让用户购买到物美价廉的商品。

25、说明书附图

26、图1为本发明一种基于大数据的商品比价平台系统框图；

27、图2为本发明一种基于大数据的商品比价方法流程图。

技术特征：

1.一种基于大数据数的商品比价平台，其特征在于：包括爬取模块、入库模块、清洗模块、价格整合模块、价格标签模块、效果评估模块、平台存储器和大数据平台；

2.根据权利要求1所述的一种基于大数据数的商品比价平台，其特征在于：所述商品信息包括商品名称、商品价格、商品sku、店铺名称、商品参数信息、好评率、评价数、评价关键词、销量、品牌和类目，在爬取商品信息的的同时，利用selenium和无头浏览器技术自动化模拟访问网站页面，对商品详情页进行截图，保留对商品爬取时页面信息，价格高的商品留痕存档，可对供应商价格商品进行考核。

3.一种基于大数据数的商品比价方法，其特征在于：包括以下步骤：

技术总结
本发明公开了一种基于大数据的商品比价平台及比价方法，商品比价技术领域，比价平台包括爬取模块、入库模块、清洗模块、价格整合模块、价格标签模块、效果评估模块、平台存储器和大数据平台；本发明总体上实现内、外部商品价格数据的实时获取、实时比价与留痕、比价结果输出、价高商品下架等一系列处理流程，通过比价将商品划分成不同的商品池，在兼顾用户的行为与偏好的基础上，优先推荐价格有优势的商品或者相似商品，让用户购买到物美价廉的商品。

技术研发人员：李创,谭颖,韩诚,曾小康
受保护的技术使用者：中通服供应链管理有限公司湖南分公司
技术研发日：
技术公布日：2024/1/11