一种公路施工数据处理方法及系统与流程

本发明属于数据处理，具体涉及一种公路施工数据处理方法及系统。

背景技术：

1、在公路施工项目中，常常需要将施工过程中的一些施工数据进行上传，如施工质量检查表中的数据，上传的施工数据可能由于数据漏读或数据漏传等各种原因导致用于记录公路施工数据的数据表中存在缺失数据，因此常常需要对数据表中缺失的数据进行数据补齐。

2、目前，对于数据表中缺失数据的补齐，较常用的方式是根据缺失数据的相邻数据进行插值补齐，然而在实际情形中相邻数据并不能够准确反映施工数据的变化规律，从而导致补齐的数据与实际数据之间存在较大的差异，数据补齐的准确率低。

3、因此，如何提供一种有效的方案，以便对缺失数据准确进行补齐，已成为现有技术中一亟待解决的问题。

技术实现思路

1、本发明的目的是提供一种公路施工数据处理方法及系统，用以解决现有技术中存在的上述问题。

2、为了实现上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种公路施工数据处理方法，用于对数据表中缺失的公路施工数据进行补齐，包括：

4、对所述数据表中的公路施工数据进行归一化处理，得到归一化数据表，其中所述数据表中包括多项数据，每项数据包括多个不同类型的数据；

5、基于所述归一化数据表中各项数据的数据分布，确定出所述归一化数据表中各项数据的数据聚合度；

6、基于所述归一化数据表中各类数据的数据分布，确定出所述归一化数据表中各类数据所对应的类间耦合度；

7、基于所述数据表中各数据所在数据项所对应的数据聚合度以及各数据所属数据类型所对应的类间耦合度，确定出所述数据表中各数据所对应的权重；

8、基于存在数据缺失的目标数据项中的各已知数据及各已知数据所对应的权重，计算出与所述目标数据项相似度最高的多个非缺失数据项，其中非缺失数据项是指不存在数据缺失的数据项；

9、基于所述多个非缺失数据项，对所述目标数据项中的缺失数据进行数据补齐。

10、基于上述公开的内容，本发明通过对数据表中的公路施工数据进行归一化处理，得到归一化数据表；基于归一化数据表中各项数据的数据分布，确定出归一化数据表中各项数据的数据聚合度；基于归一化数据表中各类数据的数据分布，确定出归一化数据表中各类数据所对应的类间耦合度；基于数据表中各数据所在数据项所对应的数据聚合度以及各数据所属数据类型所对应的类间耦合度，确定出数据表中各数据所对应的权重；基于存在数据缺失的目标数据项中的各已知数据及各已知数据所对应的权重，计算出与目标数据项相似度最高的多个非缺失数据项，其中非缺失数据项是指不存在数据缺失的数据项；基于多个非缺失数据项，对目标数据项中的缺失数据进行数据补齐。如此，通过各项数据的数据聚合度和各类数据所对应的类间耦合度，确定出数据表中各数据所对应的权重，也即数据表中各数据对数据补齐的影响程度，然后再根据存在数据缺失的目标数据项中的各已知数据及各已知数据所对应的权重(即各数据对数据补齐的影响程度)，综合计算出与存在数据缺失的目标数据项相似度最高的非缺失数据项，并根据与存在数据缺失的目标数据项相似度最高的非缺失数据项对缺失数据进行补齐，从而使得补齐的数据能够尽可能接近其实际数据，实现对缺失数据的准确补齐。

11、通过上述的设计，本发明可通过各项数据的数据聚合度和各类数据所对应的类间耦合度，确定出数据表中各数据所对应的权重，也即数据表中各数据对数据补齐的影响程度，然后再根据存在数据缺失的目标数据项中的各已知数据及各已知数据所对应的权重(即各数据对数据补齐的影响程度)，综合计算出与存在数据缺失的目标数据项相似度最高的非缺失数据项，并根据与存在数据缺失的目标数据项相似度最高的非缺失数据项对缺失数据进行补齐，从而使得补齐的数据能够尽可能接近其实际数据，实现对缺失数据的准确补齐，便于实际应用和推广。

12、在一个可能的设计中，所述对所述数据表中的公路施工数据进行归一化处理，得到归一化数据表，包括：

13、分别对所述数据表中的属于同一类型的数据进行归一化处理，得到归一化数据表。

14、在一个可能的设计中，所述基于所述归一化数据表中各项数据的数据分布，确定出所述归一化数据表中各项数据的数据聚合度，包括：

15、基于所述归一化数据表中各项数据的数据分布区间，以及所述归一化数据表中所有数据的数据分布区间，确定出所述归一化数据表中各项数据的数据聚合度。

16、在一个可能的设计中，所述基于所述归一化数据表中各类数据的数据分布，确定出所述归一化数据表中各类数据所对应的类间耦合度，包括：

17、基于所述归一化数据表中各类数据的数据分布区间，以及所述归一化数据表中所有数据的数据分布区间，确定出所述归一化数据表中各类数据所对应的类间耦合度。

18、在一个可能的设计中，所述数据表中任一数据所对应的权重，与所述任一数据所在数据项所对应的数据聚合度正相关，且与所述任一数据所属数据类型所对应的类间耦合度负相关。

19、在一个可能的设计中，所述基于存在数据缺失的目标数据项中的各已知数据及各已知数据所对应的权重，计算出与所述目标数据项相似度最高的多个非缺失数据项，包括：

20、基于存在数据缺失的目标数据项中的各已知数据及各已知数据所对应的权重，对目标数据项中的各已知数据与非缺失数据项中对应数据的欧式距离进行加权运算，得到所述目标数据项与非缺失数据项之间的差异度；

21、将所对应差异度最低的多个非缺失数据项作为与所述目标数据项相似度最高的多个非缺失数据项。

22、在一个可能的设计中，所述基于存在数据缺失的目标数据项中的各已知数据及各已知数据所对应的权重，计算出与所述目标数据项相似度最高的多个非缺失数据项，包括：

23、基于存在数据缺失的目标数据项中的各已知数据及各已知数据所对应的权重，对目标数据项中的各已知数据与非缺失数据项中对应数据的余弦相似度进行加权运算，得到所述目标数据项与非缺失数据项之间的差异度；

24、将所对应差异度最低的多个非缺失数据项作为与所述目标数据项相似度最高的多个非缺失数据项。

25、第二方面，本发明提供了一种公路施工数据处理系统，用于对数据表中缺失的公路施工数据进行补齐，包括：

26、归一化单元，用于对所述数据表中的公路施工数据进行归一化处理，得到归一化数据表，其中所述数据表中包括多项数据，每项数据包括多个不同类型的数据；

27、第一确定单元，用于基于所述归一化数据表中各项数据的数据分布，确定出所述归一化数据表中各项数据的数据聚合度；

28、第二确定单元，用于基于所述归一化数据表中各类数据的数据分布，确定出所述归一化数据表中各类数据所对应的类间耦合度；

29、第三确定单元，用于基于所述数据表中各数据所在数据项所对应的数据聚合度以及各数据所属数据类型所对应的类间耦合度，确定出所述数据表中各数据所对应的权重；

30、计算单元，用于基于存在数据缺失的目标数据项中的各已知数据及各已知数据所对应的权重，计算出与所述目标数据项相似度最高的多个非缺失数据项，其中非缺失数据项是指不存在数据缺失的数据项；

31、数据补齐单元，用于基于所述多个非缺失数据项，对所述目标数据项中的缺失数据进行数据补齐。

32、第三方面，本发明提供了一种电子设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如上述第一方面或第一方面任一可能设计所述的公路施工数据处理方法。

33、第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行第一方面或第一方面任一可能设计所述的公路施工数据处理方法。

34、第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面任一可能设计所述的公路施工数据处理方法。

35、有益效果：

36、本发明提供的公路施工数据处理方法及系统，可通过各项数据的数据聚合度和各类数据所对应的类间耦合度，确定出数据表中各数据所对应的权重，也即数据表中各数据对数据补齐的影响程度，然后再根据存在数据缺失的目标数据项中的各已知数据及各已知数据所对应的权重(即各数据对数据补齐的影响程度)，综合计算出与存在数据缺失的目标数据项相似度最高的非缺失数据项，并根据与存在数据缺失的目标数据项相似度最高的非缺失数据项对缺失数据进行补齐，从而使得补齐的数据能够尽可能接近其实际数据，实现对缺失数据的准确补齐，便于实际应用和推广。