一种面向车路协同自动驾驶交通大数据校验方法及装置与流程

本发明涉及交通大数据处理，尤其涉及一种面向车路协同自动驾驶交通大数据校验方法及装置，属于ipc分类号g06f。

背景技术：

1、目前大数据处理技术在各个领域得到了广泛应用。在一些大数据应用场景中数据存在一定的时间连续性，如在交通大数据中车辆经过卡口的阅读器时阅读器将车辆的过车记录上传给大数据平台，交通卡口过车记录就存在一定的时间连续性，如果车辆在卡口处缓行或静止，则阅读器会在短时间内多次上传该车辆的过车记录，造成大数据平台存储很多同类或近似的数据。另外，当车辆在卡口处缓行或静止时，系统产生的近似数据不仅仅是车辆数据，还包括车与车、车与路以及车、路与周围环境之间的若干类型数据，因此短时间内产生的数据是海量的。鉴于此，车路协同自动驾驶交通大数据平台需要对收到的数据进行校验处理。

2、cn114936107a公开一种车辆整车数据校验方法，包括获取待校验整车数据；根据预设的数值校验规则对待校验整车数据进行数值校验，得到数值校验结果；根据预设的项目统计规则对待校验整车数据进行项目统计，得到项目统计结果；输出数值校验结果和项目统计结果。

3、cn113160571a公开一种基于车路协同的多数据源的数据融合处理方法，包括：接收来自多数据源采集到的车辆数据；其中，每个数据源采集到的车辆数据中包含车辆的位置数据；提取各车辆数据中的位置数据，并将提取到的多个置数据划分为多个初始位置数据集合；针对任一初始位置数据集合，获取与该初始位置数据集合中各位置数据对应的车辆特征信息；比较车辆特征信息，并根据比较结果将相同车辆特征信息对应的位置数据进行融合，得到目标位置数据集合。

4、当前，相关技术中提供了一种数据校验方法，即在一个校验周期内每收到一个数据，从该数据中确定预设数目个关键字，判断该校验周期内收到的其他每个数据中是否存在包含这些关键字的数据，如果是，则将该数据删除。如果否，则存储该数据。然而该相关技术中简单的关键字校验并不能消除同类或近似数据，校验的准确性很差，校验之后仍然存在大量的数据冗余，浪费大量的存储空间，还会形成信息污染，掩盖真正有价值的信息。

5、此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。

技术实现思路

1、针对现有技术之不足，本发明提供了一种面向车路协同自动驾驶交通大数据校验方法及装置，旨在解决现有技术中存在的至少一个或多个技术问题。

2、为实现上述目的，本发明提供了一种面向车路协同自动驾驶交通大数据校验方法，包括：

3、获取包含发生时间和数据字符串的待校验车路协同自动驾驶交通数据集；

4、基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键值对；

5、将键值对插入服务器对中，并基于服务器对针对键值对的返回结果确定待校验车路协同自动驾驶交通数据集的可用性。

6、在本发明中，通过服务器集群进行车路协同自动驾驶交通大数据校验，将数据运算尽可能分散到集群环境中的不同节点上。通过将待校验的数据的发生时间扩展到多个临近时间节点，能够有效过滤掉时间接近的近似数据，校验准确性高、精度高，且通用性好，能够应用于各种数据具有时间连续性特点的面向车路协同自动驾驶交通大数据应用场景中。另外，本发明在数据校验时优选采用可高并发访问的键值对数据库polardb，能够从空间和时间角度确保海量交通数据校验运算尽可能少地占用系统计算资源。

7、优选地，基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键值对包括：

8、基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键；

9、基于发生时间生成键对应的键值；

10、将键及其对应的键值组成待校验车路协同自动驾驶交通数据集对应的键值对。

11、优选地，基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键之步骤包括：

12、基于发生时间及设定周期长度计算待校验车路协同自动驾驶交通数据集对应的周期标识；

13、基于周期标识和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键。

14、优选地，基于发生时间生成键对应的键值之步骤包括：

15、将发生时间扩展为设定数目个临近时间；

16、将设定数目个临近时间确定为键对应的键值。

17、优选地，基于服务器对针对键值对的返回结果确定待校验车路协同自动驾驶交通数据集的可用性之步骤包括：

18、基于服务器对针对键值对的返回结果与键值对包含的键值的数目的对应性确定待校验车路协同自动驾驶交通数据集的可用性。

19、优选地，基于服务器对针对键值对的返回结果与键值对包含的键值的数目的对应性确定待校验车路协同自动驾驶交通数据集的可用性之步骤包括：

20、若服务器对针对键值对的返回结果等于键值对包含的键值的数目，则待校验车路协同自动驾驶交通数据集为可用数据；

21、若服务器对针对键值对的返回结果不等于键值对包含的键值的数目，则待校验车路协同自动驾驶交通数据集为不可用数据。

22、优选地，在将键值对插入服务器对中之前还包括：

23、基于发生时间和设定周期长度计算第一边界系数和第二边界系数；

24、若第一边界系数小于或等于第一设定阈值，则生成键值对对应的第一边界键值对，并将第一边界键值对插入服务器对中；

25、若第二边界系数小于或等于第二设定阈值，则生成键值对对应的第二边界键值对，并将第二边界键值对插入服务器对中。

26、优选地，本发明中，若待校验车路协同自动驾驶交通数据集为不可用数据，将不可用数据删除或丢弃。

27、优选地，本发明还涉及一种面向车路协同自动驾驶交通大数据校验装置，该装置包括：

28、接收模块，配置为获取包含发生时间和数据字符串的待校验车路协同自动驾驶交通数据集；

29、生成模块，配置为基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键值对；

30、确定模块，配置为将键值对插入服务器对中，并基于服务器对针对键值对的返回结果确定待校验车路协同自动驾驶交通数据集的可用性。

31、优选地，生成模块包括生成单元和组成单元，其中，

32、生成单元用于基于发生时间和数据字符串生成待校验车路协同自动驾驶交通数据集对应的键，和/或基于发生时间生成键对应的键值；

33、组成单元用于将键及其对应的键值组成待校验车路协同自动驾驶交通数据集对应的键值对。

34、优选地，本发明还涉及一种面向车路协同自动驾驶交通大数据校验的电子设备，该设备包括一个或多个处理器；存储有一个或多个计算机程序的储存器；一个或多个计算机程序被一个或多个处理器执行，使得一个或多个计算机程序实现如本发明所述的面向车路协同自动驾驶交通大数据校验方法。

35、优选地，本发明还涉及一种面向车路协同自动驾驶交通大数据校验的计算机可读存储介质，其上存储有计算机可执行程序/指令，所述计算机可执行程序/指令被处理器时实现如本发明所述的面向车路协同自动驾驶交通大数据校验方法。

36、优选地，本发明还涉及一种面向车路协同自动驾驶交通大数据校验的服务器集群，包括多个工作节点和至少一个负载均衡节点，其中，工作节点用于通过本发明所述的数据校验或可用性检测方法获得集群可用性数据，负载均衡节点用于根据每个工作节点上传的集群可用性数据更新负载均衡列表。