网络交易大数据分析方法及分析系统与流程

本发明涉及数据处理技术，尤其涉及一种网络交易大数据分析方法及分析系统。

背景技术：

1、随着网络技术的飞速发展，人们设立了大量的网络交易平台，并且由于网络交易便利性的提升，越来越多的用户愿意在网络上进行交易，因此分析网络交易大数据用于协助用户进行调整经营尤为重要。

2、一般而言，在对网络交易大数据进行分析时，需要采集各个交易平台的网络交易数据，现有技术中，往往是通过人工逐一发送请求，当请求通过后人工再对大量的数据进行统一的数据格式转换，上述数据采集模式，导致数据采集效率低下，且需要占用大量的人力资源。

3、因此，如果实现网络交易数据的自动化高效采集，从而方便用户进行数据分析成为亟待解决的问题。

技术实现思路

1、本发明实施例提供一种网络交易大数据分析方法及分析系统，可以实现网络交易数据的自动化高效采集，从而方便用户进行数据分析。

2、本发明实施例的第一方面，提供一种网络交易大数据分析方法，包括：

3、聚合分析平台根据管理员配置的分析目标生成相对应的第一数据标签组和/或定制限定信息，按照每个交易平台所对应的数据存储架构对第一数据标签组转换得到第二数据标签组并发送至相应交易平台；

4、交易平台在接收到相应第二数据标签组和/或定制限定信息后，遍历数据库内满足第二数据标签组和/或定制限定信息的数据并脱敏处理得到相对应的网络交易数据；

5、聚合分析平台按照不同交易平台的数据存储架构对所接收到的网络交易数据分析处理，结合分析目标对相应的网络交易数据生成相对应的第一分析标签；

6、根据所述分析目标对所有的第一分析标签进行组合归类得到多个分析标签组，按照所述分析标签组对聚合分析平台所接收到的网络交易数据聚合归类得到多个数据集；

7、统计数据集内相应的数据标量，根据所述分析目标对数据标量按照相应的计算方式进行处理得到分析结果。

8、可选地，在第一方面的一种可能实现方式中，所述聚合分析平台根据管理员配置的分析目标生成相对应的第一数据标签组和/或定制限定信息，按照每个交易平台所对应的数据存储架构对第一数据标签组转换得到第二数据标签组并发送至相应交易平台，包括：

9、聚合分析平台若判断当前的分析目标与历史的分析目标相对应，则确定历史的数据标签组作为本次分析目标对应的第一数据标签组；

10、聚合分析平台若判断当前的分析目标与历史的分析目标不对应，则接收用户对本次分析目标所配置的配置标签作为本次分析目标对应的第一数据标签组；

11、聚合分析平台若判断管理员输入与本次分析目标所对应的定制限定信息，则对所述定制限定信息和第一数据标签组绑定处理；

12、聚合分析平台若判断当前的第一数据标签组和/或定制限定信息的数据架构与交易平台所对应的数据存储架构不对应，则对第一数据标签组转换得到第二数据标签组并发送至相应交易平台。

13、可选地，在第一方面的一种可能实现方式中，所述聚合分析平台若判断当前的第一数据标签组和/或定制限定信息的数据架构与交易平台所对应的数据存储架构不对应，则对第一数据标签组转换得到第二数据标签组并发送至相应交易平台，包括：

14、聚合分析平台确定当前的第一数据标签组和/或定制限定信息所对应的第一数据标签字符，获取每个交易平台与第一数据标签组和/或定制限定信息具有相同意义所对应的预设数据标签字符；

15、若所述第一数据标签字符和预设数据标签字符完全对应，则判断第一数据标签组与交易平台所对应的数据存储架构相对应，直接将第一数据标签组作为第二数据标签组；

16、若相同意义的第一数据标签字符和预设数据标签字符不对应，则将不对应的预设数据标签字符对第一数据标签字符替换，得到转换后的第二数据标签组。

17、可选地，在第一方面的一种可能实现方式中，所述交易平台在接收到相应第二数据标签组和/或定制限定信息后，遍历数据库内满足第二数据标签组和/或定制限定信息的数据并脱敏处理得到相对应的网络交易数据，包括：

18、根据第二数据标签组所对应所有的第二数据标签字符对数据库内的网络交易信息进行筛选，得到一次筛选后的网络交易信息；

19、基于所述定制限定信息对网络交易信息二次筛选，确定满足定制限定信息所对应的网络交易信息，对二次筛选后的网络交易信息脱敏处理后打包得到网络交易数据。

20、可选地，在第一方面的一种可能实现方式中，所述基于所述定制限定信息对网络交易信息二次筛选，确定满足定制限定信息所对应的网络交易信息，对二次筛选后的网络交易信息脱敏处理后打包得到网络交易数据，包括：

21、根据所述定制限定信息所对应的第二数据标签字符确定相应网络交易信息所对应的语句；

22、获取所述语句的语句属性，若所述语句属性满足所述定制限定信息要求则判断相应的网络交易信息满足要求，所述语句属性至少包括词语数量、词语类型。

23、可选地，在第一方面的一种可能实现方式中，所述聚合分析平台按照不同交易平台的数据存储架构对所接收到的网络交易数据分析处理，结合分析目标对相应的网络交易数据生成相对应的第一分析标签，包括：

24、聚合分析平台对不同交易平台所发送网络交易数据内的网络交易信息的数量统计，将数量最多的网络交易信息所对应的网络交易数据作为基准的网络交易数据；

25、将基准的网络交易数据的第二数据标签组的第二数据标签字符作为分析数据标签字符，对所有非基准的网络交易数据中相同含义的第二数据标签字符转换为分析数据标签字符；

26、根据分析目标确定相对应的分析数据标签字符为第一分析标签。

27、可选地，在第一方面的一种可能实现方式中，所述将基准的网络交易数据的第二数据标签组的第二数据标签字符作为分析数据标签字符，对所有非基准的网络交易数据中相同含义的第二数据标签字符转换为分析数据标签字符，包括：

28、确定非基准的网络交易数据中每个第二数据标签字符与第一数据标签字符的对应关系得到多个第一对应组，以及确定每个分析数据标签字符与第一数据标签字符的对应关系得到多个第二对应组；

29、确定具有相同第一数据标签字符所对应的第一对应组和第二对应组作为关联的第一对应组和第二对应组，将关联的第一对应组和第二对应组合并得到三元组；

30、基于所述三元组对所有非基准的网络交易数据中相同含义的第二数据标签字符转换为分析数据标签字符。

31、可选地，在第一方面的一种可能实现方式中，所述基于所述三元组对所有非基准的网络交易数据中相同含义的第二数据标签字符转换为分析数据标签字符，包括：

32、依次遍历每个非基准的网络交易数据中的第二数据标签字符，确定具有所述第二数据标签字符的三元组；

33、将所述三元组所对应的分析数据标签字符对第二数据标签字符替换。

34、可选地，在第一方面的一种可能实现方式中，所述根据所述分析目标对所有的第一分析标签进行组合归类得到多个分析标签组，按照所述分析标签组对聚合分析平台所接收到的网络交易数据聚合归类得到多个数据集，包括：

35、根据所述分析目标对所有的第一分析标签进行组合归类得到多个分析标签组，每个分析目标具有预设的标签归类分组方式；

36、基于所述分析标签组对网络交易数据中的所有网络交易信息遍历，统计符合相应分析标签组的网络交易信息得到与分析标签组所对应的数据集。

37、本发明实施例的第二方面，提供一种网络交易大数据分析系统，包括：

38、生成模块，用于使聚合分析平台根据管理员配置的分析目标生成相对应的第一数据标签组和/或定制限定信息，按照每个交易平台所对应的数据存储架构对第一数据标签组转换得到第二数据标签组并发送至相应交易平台；

39、遍历模块，用于使交易平台在接收到相应第二数据标签组和/或定制限定信息后，遍历数据库内满足第二数据标签组和/或定制限定信息的数据并脱敏处理得到相对应的网络交易数据；

40、分析模块，用于使聚合分析平台按照不同交易平台的数据存储架构对所接收到的网络交易数据分析处理，结合分析目标对相应的网络交易数据生成相对应的第一分析标签；

41、归类模块，用于根据所述分析目标对所有的第一分析标签进行组合归类得到多个分析标签组，按照所述分析标签组对聚合分析平台所接收到的网络交易数据聚合归类得到多个数据集；

42、统计模块，用于统计数据集内相应的数据标量，根据所述分析目标对数据标量按照相应的计算方式进行处理得到分析结果。

43、本发明实施例的第三方面，提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。

44、本发明的有益效果如下：

45、1、本发明会将与多个交易平台建立数据传输通道，并基于各个平台的数据存储架构对所需采集的数据进行自动采集以及按照数据转换协议对采集到的网络交易数据进行自动转换，从而实现高效的网络交易数据的采集。本方发明会根据分析目标自动生成第一数据标签组和相应的定制限定信息，并依据各交易平台的数据存储架构对第一数据标签组和定制限定信息进行自动转换，方便后续交易平台进行遍历采集，将采集到的多个交易平台数据发送至聚合分析平台进行格式统一并归类得到多个数据集，方便后续依据数据集的数据进行数据分析，本发明实现了自动化的数据采集，提升了数据采集的效率。

46、2、本发明会依据分析目标自动确定相应的第一数据标签组和相应的定制限定信息，并依据不同交易平台的数据存储架构进行自动转换得到相应的第二数据标签组。本发明会先将分析目标与历史的分析目标进行比对，如果之前分析过，则重复使用上次的数据标签组，无须重复生成，减少数据处理量，如果没有分析过，则依据分析目标自行配置得到第一数据标签组，并与相应的定制限定信息绑定，并依据不同交易平台的数据存储架构对第一数据标签组进行自动转换为第二数据标签组，使得交易平台可以采用相应的第二数据标签组进行数据的自动采集，提升了采集效率，无须人为进行数据标签组的转换。

47、3、通过第二数据标签组和定制限定信息自动对数据进行采集，并将采集后的网络交易数据自动转化为分析标签组，方便后续利用分析标签组对应的数据集进行分析处理。本发明会将交易平台中网络交易数据最多的作为基准的网络交易数据，以基准的网络交易数据的第二数据标签组的第二数据标签字符作为分析数据标签字符，并将其他的非基准的网络交易数据以基准的分析数据标签字符进行转换，转换过程中通过三元组实现第二数据标签字符的自动转换，转换完成后利用分析标签组对聚合分析平台所接收到的网络交易数据聚合归类得到多个数据集，实现了对多个交易平台的交易数据进行自动归类的过程。