数据处理方法、装置、通信设备、存储介质及车辆与流程

本发明涉及大数据处理，具体涉及一种数据处理方法、装置、通信设备、存储介质及车辆。

背景技术：

1、随着工业大数据的发展，各个行业的智能化服务和发展需求日益增多，尤其在工业设备领域，例如，智能车联网技术的逐步提升，用户对车辆的需求已经不单局限于车辆驾驶性能，更多的向车辆的舒适性、功能适配性、座舱智能化、人车智能交互、智能驾驶等领域拓展，在实现上述功能时，需要车辆收集大量的车辆相关数据并将这些数据传回至车企进行加工备份。

2、然而，现有技术中，在实现对工业信号数据传输处理中，如车辆can信号等工业智能化大数据采集信号上传的全量数据中无效数据条数多、数据所需占空间大，导致大数据集群压力过大，影响后续数据分析处理时无法及时进行调用或者占用大量计算资源。

技术实现思路

1、本发明的目的之一在于提供一种数据处理方法，以解决现有技术中的工业智能化大数据采集信号上传的存储体量大所引发的无效数据条数多、所需占空间大的问题；目的之二在于提供一种数据处理装置；目的之三在于提供一种通信设备；目的之四在于提供一种存储介质；目的之五在于提供一种车辆。

2、为了实现上述目的，本发明采用的技术方案如下：

3、本技术实施的第一方面，首先提供了一种数据处理方法，所述数据处理方法包括：

4、根据预设业务明细表中的表格字段获取所述表格字段对应的工业信号数据，其中，所述工业信号数据是从预设工业设备上传至预设云端的全量工业信号数据中获取的；

5、对所述工业信号数据进行筛选处理，得到目标工业信号数据；

6、根据所述目标工业信号数据对应的秒级时间对所述目标工业信号数据进行聚合处理，得到聚合工业信号数据；

7、根据所述聚合工业信号数据确定所述预设业务明细表中的表格字段对应的聚合工业信号数据。

8、进一步，所述根据所述目标工业信号数据对应的秒级时间对所述目标工业信号数据进行聚合处理，得到聚合工业信号数据包括：

9、根据所述目标工业信号数据对应的秒级时间以及所述目标工业信号数据对应的不同信号编码对全部所述工业信号数据进行聚合处理，得到聚合工业信号数据。

10、进一步，所述信号编码是根据所述目标工业信号数据对应的功能类别划分的。

11、进一步，所述根据所述目标工业信号数据对应的秒级时间以及所述目标工业信号数据对应的不同信号编码对全部所述工业信号数据进行聚合处理，得到聚合工业信号数据包括：

12、根据所述目标工业信号数据对应的秒级时间对全部所述目标工业信号数据进行聚合处理，得到主表，所述主表包括设备唯一标识以及秒级时间字段；

13、根据所述目标工业信号数据对应的不同信号编码以及所述秒级时间对全部所述目标工业信号数据进行聚合处理，得到不同所述信号编码对应的目标工业信号数据对应的副表，其中，所述副表包括所述设备唯一标识、所述秒级时间字段以及所述表格字段对应的聚合工业信号数据；

14、将所述主表和至少一个所述副表进行对齐处理，得到事件明细表，其中，所述事件明细表包括聚合工业信号数据。

15、进一步，所述根据所述目标工业信号数据对应的不同信号编码以及所述秒级时间对全部所述目标工业信号数据进行聚合处理，得到不同所述信号编码对应的目标工业信号数据对应的副表包括：

16、根据信号编码对全部所述目标工业信号数据进行拆分，得到不同信号编码对应的多个所述目标工业信号数据；

17、在检测到同一秒级时间字段内任一信号编码对应的第二目标工业信号数据为非空值以及第一目标工业信号数据为空值，或者，同一秒级时间字段内相同信号编码对应的所述第二目标工业信号数据为空值以及所述第一目标工业信号数据为非空值的情况下，将所述第一目标工业信号数据对应的非空值和所述第二目标工业信号数据对应的非空值根据所述秒级时间进行聚合处理，得到所述信号编码对应的目标工业信号数据对应的副表，其中，所述副表包括信号编码、车辆唯一标识、秒级时间字段以及数据字段。

18、进一步，所述根据信号编码对全部所述目标工业信号数据进行拆分，得到不同信号编码对应的多个所述目标工业信号数据包括：

19、根据信号编码对全部所述目标工业信号数据进行拆分，得到多组目标工业信号数据，其中，每组目标工业信号数据对应一个所述信号编码；

20、选取每组目标工业信号数据中的基于毫秒级时间排序的第一条目标工业信号数据或者最后一条目标工业数据作为不同信号编码对应的所述目标工业信号数据。

21、进一步，所述将所述主表和至少一个所述副表进行对齐处理，得到事件明细表包括：

22、根据所述主表和所述副表中的设备唯一标识以及秒级时间字段进行对齐处理，得到事件明细表。

23、进一步，所述根据预设业务明细表中的表格字段获取所述表格字段对应的工业信号数据包括：

24、接收用户发送的业务功能指令；

25、根据所述业务功能指令生成预设业务明细表，其中，所述预设业务明细表包括表格字段，所述表格字段包括秒级时间字段以及数据字段，一个所述秒级时间字段对应多个所述数据字段；

26、根据所述数据字段在预设采集信号矩阵中获取所述数据字段对应的工业信号数据，其中，一个所述数据字段对应至少一个所述工业信号数据。

27、进一步，所述对所述工业信号数据进行筛选处理，得到目标工业信号数据包括：

28、根据预设筛选规则对所述工业信号数据进行筛选处理，得到目标工业信号数据。

29、进一步，所述预设筛选规则包括所述工业信号数据对应的数值为非空值，且，所述工业信号数据对应的频率大于目标阈值。

30、进一步，所述秒级时间是在所述工业信号数据对应的毫秒级时间字符串中截取秒级单位对应的时间。

31、在本技术实施的又一方面，还提供了数据处理装置，所述数据处理装置包括：

32、获取模块，用于根据预设业务明细表中的表格字段获取所述表格字段对应的工业信号数据，其中，所述工业信号数据是从预设工业设备上传至预设云端的全量工业信号数据中获取的；

33、筛选模块，用于对所述工业信号数据进行筛选处理，得到目标工业信号数据；

34、聚合模块，用于根据所述目标工业信号数据对应的秒级时间对所述目标工业信号数据进行聚合处理，得到聚合工业信号数据；

35、确定模块，用于根据所述聚合工业信号数据确定所述预设业务明细表中的表格字段对应的聚合工业信号数据。

36、进一步，所述聚合模块包括：

37、第一聚合子模块，用于根据所述目标工业信号数据对应的秒级时间以及所述目标工业信号数据对应的不同信号编码对全部所述工业信号数据进行聚合处理，得到聚合工业信号数据，其中，所述信号编码是所述目标工业信号数据对应的信号通道。

38、所述第一聚合子模块包括：

39、第一聚合单元，用于根据所述目标工业信号数据对应的秒级时间对全部所述目标工业信号数据进行聚合处理，得到主表，所述主表包括设备唯一标识以及秒级时间字段；

40、第二聚合单元，用于根据所述目标工业信号数据对应的不同信号编码以及所述秒级时间对全部所述目标工业信号数据进行聚合处理，得到不同所述信号编码对应的目标工业信号数据对应的副表，其中，所述副表包括所述设备唯一标识、所述秒级时间字段以及所述表格字段对应的聚合工业信号数据；

41、对齐单元，用于将所述主表和至少一个所述副表进行对齐处理，得到事件明细表，其中，所述事件明细表包括聚合工业信号数据。

42、进一步，所述第二聚合子模块包括：

43、划分子单元，用于根据信号编码对全部所述目标工业信号数据进行划分，得到不同信号编码对应的多个所述目标工业信号数据；

44、聚合子单元，用于在检测到同一秒级时间字段内任一信号编码对应的第二目标工业信号数据为非空值以及第一目标工业信号数据为空值，或者，同一秒级时间字段内相同信号编码对应的所述第二目标工业信号数据为空值以及所述第一目标工业信号数据为非空值的情况下，将所述第一目标工业信号数据对应的非空值和所述第二目标工业信号数据对应的非空值根据所述秒级时间进行聚合处理，得到所述信号编码对应的目标工业信号数据对应的副表，其中，所述副表包括信号编码、设备唯一标识、秒级时间字段以及数据字段。

45、进一步，所述对齐单元包括：

46、对齐子单元，用于根据所述主表和所述副表中的设备唯一标识以及秒级时间字段进行对齐处理，得到事件明细表。

47、进一步，所述获取模块包括：

48、接收子模块，用于接收用户发送的业务功能指令；

49、生成子模块，用于根据所述业务功能指令生成预设业务明细表，其中，所述预设业务明细表包括表格字段，所述表格字段包括秒级时间字段以及数据字段，一个所述秒级时间字段对应多个所述数据字段；

50、获取子模块，用于根据所述数据字段在预设采集信号矩阵中获取所述数据字段对应的工业信号数据，其中，一个所述数据字段对应至少一个所述工业信号数据。

51、进一步，所述筛选模块包括：

52、筛选子模块，用于根据预设筛选规则对所述工业信号数据进行筛选处理，得到目标工业信号数据。

53、进一步，所述筛选子模块具体用于所述预设筛选规则包括所述工业信号数据对应的数值为非空值，且，所述工业信号数据对应的频率大于目标阈值。

54、进一步，所述聚合模块具体用于所述秒级时间是在所述工业信号数据对应的毫秒级时间字符串中截取秒级单位对应的时间。

55、在本技术实施的又一方面，还提供了一种通信设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

56、存储器，用于存放计算机程序；

57、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的数据处理方法。

58、在本技术实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的数据处理方法。

59、在本技术实施的又一方面，还提供了一种车辆，所述车辆包括上述任一所述的数据处理装置。

60、本发明的有益效果：

61、本技术实施例提供的数据处理方法，通过根据预设业务明细表中的表格字段获取所述表格字段对应的工业信号数据，其中，所述工业信号数据是从预设工业设备上传至预设云端的全量工业信号数据中获取的；对所述工业信号数据进行筛选处理，得到目标工业信号数据；根据所述目标工业信号数据对应的秒级时间对所述目标工业信号数据进行聚合处理，得到聚合工业信号数据；根据所述聚合工业信号数据确定所述预设业务明细表中的表格字段对应的聚合工业信号数据。即本技术通过对获取的工业信号数据进行筛选，可以将原始全量数据进行第一步优化，保留符合需求和质量的目标工业信号数据，在目标工业信号数据上进一步根据秒级时间进行秒级时间聚合，得到聚合后的工业信号数据，可以将每秒多条数据中的冗余数据剔除，可以实现保留有效数据的同时排除掉多余无关无效数据，提升整体数据粒度留存以少替多的满足数据业务需求。