基于人工智能的数据特征提取采集方法及系统与流程

本发明涉及电子电商，具体是涉及基于人工智能的数据特征提取采集方法及系统。

背景技术：

1、电商平台，也称为电子商务平台，是一个为企业或个人提供网上交易洽谈的平台。这种平台建立在互联网上，用于进行商务活动，提供网络基础设施、支付平台、安全平台和管理平台等共享资源，使企业或个人可以低成本、高效地开展商业活动。不同电商的数据形式不同，采用的模型架构也不同。相互之间数据无法进行相通，因此，无法进行直接对接，导致不同平台的电商用户无法进行交互购买，阻碍了用户购买的欲望，限制了电商的规模。

技术实现思路

1、为解决上述技术问题，提供基于人工智能的数据特征提取采集方法及系统，本技术方案解决了上述背景技术中提出的不同电商的数据形式不同，采用的模型架构也不同。相互之间数据无法进行相通，因此，无法进行直接对接，导致不同平台的电商用户无法进行交互购买，阻碍了用户购买的欲望，限制了电商的规模的问题。

2、为达到以上目的，本发明采用的技术方案为：

3、基于人工智能的数据特征提取采集方法，包括：

4、对不同电商平台的数据进行抓取，对存在数据重复的产品进行去重；

5、建立电商和分类标准化映射机制，使用电商和分类标准化映射机制对数据实现标准化，对标准化后的数据进行分类对接；

6、进行交易数据的输入输出处理；

7、提供用户浏览产品的界面；

8、确定用户的购买方式，所述用户的购买方式为立即下单或加入购物车中的其中一种；

9、确定用户的购买地址和产品运输使用的快递；

10、选择支付方式并使用选择的支付方式完成支付，所述支付方式为网银支付或支付宝支付中的其中一种；

11、对完成支付的产品进行发货处理。

12、优选的，所述对存在数据重复的产品进行去重包括以下步骤：

13、获取产品名称、电商、型号和产品参数均相同的至少一个特征产品；

14、在至少一个特征产品中保留其中一个，删除剩余的至少一个特征产品。

15、优选的，所述建立电商和分类标准化映射机制包括以下步骤：

16、获取电商汇总合集；

17、获取电商汇总合集中的电商的数据类型分类，每个电商对应至少一个数据类型分类；

18、在电商的数据类型分类中进行数据特征提取，根据提取的特征对电商的数据类型分类进行识别，得到至少一个数据类型特征，数据类型特征为电商的数据类型分类中数据的属性；

19、选择电商汇总合集中的其中一个电商作为特征电商；

20、将特征电商的至少一个数据类型分类，作为基准数据类型分类；

21、获取电商汇总合集中任意一个电商，作为待转化电商；

22、获取与待转化电商的数据类型分类的数据类型特征一致的基准数据类型分类的数据类型特征，使用该基准数据类型分类与待转化电商的数据类型分类配对；

23、当待转化电商遍历电商汇总合集时，汇总基准数据类型分类与待转化电商的数据类型分类的配对关系，形成标准化函数映射。

24、优选的，所述使用电商和分类标准化映射机制对数据实现标准化包括以下步骤：

25、获取待转化电商的数据类型分类中的数据；

26、使用标准化函数映射，得到待转化电商的数据类型分类对应的基准数据类型分类；

27、将待转化电商的数据类型分类中的数据类型转化为对应的基准数据类型分类中数据类型，得到标准化数据。

28、优选的，所述对标准化后的数据进行分类对接包括以下步骤：

29、获取至少一个电商的架构，获取电商的架构的至少一个基本元；

30、获取特征电商的架构的至少一个基本元，作为特征基本元；

31、获取至少一个特征基本元的数据对接关系；

32、根据电商的架构的基本元形成电商的架构拓扑图；

33、对基本元进行数据特征提取，得到至少一个数据特征，将数据特征与基本元进行配对；

34、使用基本元的特征数据构建样本集，使用样本集训练形成神经网络，基于神经网络对数据特征进行识别；

35、特征基本元形成特征基本元分类，特征基本元对应唯一的特征基本元分类，特征基本元分类初始状态为空集；

36、将与特征基本元的数据特征相同的基本元归入特征基本元的特征基本元分类中；

37、基本元的数据进行互通对接时，按照基本元所在的特征基本元分类对应的特征基本元的数据对接关系进行对接。

38、优选的，所述进行交易数据的输入输出处理包括以下步骤：

39、使用标准化数据接口对交易数据进行输入输出；

40、对交易数据中频繁访问的数据进行缓存处理；

41、利用多线程和异步处理技术处理多个交易数据的处理请求；

42、在交易数据输入输出之前进行数据预处理，数据预处理包括去除重复数据和进行数据清洗；

43、数据处理时，通过负载均衡技术将交易数据的处理请求分散到至少一个数据处理节点上。

44、优选的，所述负载均衡技术具体为：

45、确定至少一个数据处理节点的所有运维日志；

46、基于数据处理节点的运维日志，筛选出数据处理节点的所有运维异常事件；

47、基于数据处理节点的所有运维异常事件，通过logistic回归分析数据处理节点的运行风险；

48、确定至少一个数据处理节点的硬件迭代事件；

49、基于数据处理节点的硬件迭代事件，评估数据处理节点的数据处理性能；

50、确定每个交易数据的处理需求算力；

51、以分配给数据处理节点的所有交易数据的处理请求的需求算力总和小于数据处理节点的数据处理性能作为限制条件生成若干个交易数据的处理请求的分散方案；

52、基于数据处理节点的运行风险，评估每一个交易数据的处理请求的分散方案的负载均衡指标，并筛选出负载均衡指标最小的交易数据的处理请求的分散方案，作为负载均衡方案；

53、按照负载均衡方案将交易数据的处理请求分散到至少一个数据处理节点上。

54、优选的，所述确定用户的购买地址和产品运输使用的快递包括以下步骤：

55、获取收货地址列表；

56、获取用户的收货地址；

57、判断收货地址是否存在于收货地址列表中，若是，则选择地址，并选择快递物流；

58、若否，则新建收货地址，在收货地址列表中更新后，选择地址，并选择快递物流。

59、优选的，所述选择支付方式并使用选择的支付方式完成支付包括以下步骤：

60、提供网银支付和支付宝支付选项；

61、获取用户的选择结果；

62、当支付方式为支付宝支付时，确认信息提交订单后，跳转付款页面；

63、扫码支付，付款成功；

64、当支付方式为网银支付时，确认信息提交订单后，跳转付款页面；

65、输入密码进行支付，付款成功。

66、进一步的，还提出基于人工智能的数据特征提取采集系统，用于实现上述的基于人工智能的数据特征提取采集方法，包括：

67、产品去重模块，所述产品去重模块对不同电商平台的数据进行抓取，对存在数据重复的产品进行去重；

68、产品数据标准化模块，所述产品数据标准化模块建立电商和分类标准化映射机制，使用电商和分类标准化映射机制对数据实现标准化，对标准化后的数据进行分类对接；

69、数据处理模块，所述数据处理模块进行交易数据的输入输出处理；

70、产品展示模块，所述产品展示模块提供用户浏览产品的界面；

71、下单模块，所述下单模块确定用户的购买方式，所述用户的购买方式为立即下单或加入购物车中的其中一种；

72、物流选择模块，所述物流选择模块确定用户的购买地址和产品运输使用的快递；

73、交易支付模块，所述交易支付模块选择支付方式并使用选择的支付方式完成支付，所述支付方式为网银支付或支付宝支付中的其中一种；

74、发货模块，所述发货模块对完成支付的产品进行发货处理。

75、与现有技术相比，本发明的有益效果在于：

76、通过设置产品去重模块和产品数据标准化模块，使用电商和分类标准化映射机制对数据实现标准化，并对标准化后的数据进行分类对接，在数据标准化环境下进行不同电商平台数据的自主对接，从而能将不同架构的电商数据沟通，进而用户能跨平台进行下单，能提升交易的效率，并且对于交易数据使用标准化数据接口进行输入输出，能确保交易数据的标准化，使用利用多线程和异步处理技术能同时处理多个交易请求，使用负载均衡技术能减小大量交易时的数据压力，进而能保证交易的流畅性。