一种符合数据隐私安全的自动驾驶数据处理方法及系统与流程

1.本发明涉及汽车自动驾驶数据处理技术领域，特别是一种符合数据隐私安全的自动驾驶数据处理方法及系统。


背景技术：

2.目前，已经有公开的专利技术利用旗下的大规模车队收集海量数据，从而反哺迭代其自动驾驶系统性能。智能汽车上集成的摄像头、激光雷达、毫米波雷达、测速仪、导航仪等各类传感器和各类app，时刻都在收集车辆的环境信息、车辆行驶信息和个人信息。因此，过去智能移动终端存在的安全问题也将“转移”到智能汽车上，数据安全、个人信息、人身安全以及公共安全问题也将成为智能汽车商用的“拦路虎”。近年来，随着智能网联汽车的加速发展，智能汽车数据安全问题已成为行业关注的重点。
3.虽然目前也有采用联邦学习或区块链来保障智能汽车用户的隐私及数据安全的技术，但现有的技术并非专门设计用于自动驾驶领域的数据收集，不具备对难例数据的发掘及分类能力，也缺乏对用户同意贡献数据的激励机制，导致最终数据收集效率较低，机构、企业之间缺乏数据共通、共享的积极性，更难以用于自动驾驶车辆的性能提升。因此，需要提出新的在满足数据安全法及用户隐私保护前提下的自动驾驶车辆大数据采集系统。


技术实现要素：

4.本发明的目的在于，提供一种符合数据隐私安全的自动驾驶数据处理方法及系统。本发明在保障自动驾驶数据所有者的隐私及权益的基础上，可对难例数据进行发掘及分类，还能促使智能汽车用户更积极主动地贡献自动驾驶数据。
5.本发明的技术方案：一种符合数据隐私安全的自动驾驶数据处理方法，包括以下步骤：
6.步骤1、收集由车辆传感器测得的外界感知数据以及车辆自身的行为状态数据组成的车辆自动驾驶数据；
7.步骤2、对收集到的车辆自动驾驶数据进行预处理，将其转化为结构化的标准格式；
8.步骤3、对预处理后的数据进行特征提取，得到收集的外界感知数据的特征矩阵f
sensor
以及车辆行为状态数据的高维状态特征f
state
；
9.步骤4、基于特征提取后得到的数据f
sensor
和f
state
，进行自动驾驶的控制指令计算，得到决策控制信号序列u
model
；
10.步骤5、对特征提取后得到的数据f
sensor
和f
state
进行数据分类和标注，形成第一数据包；
11.步骤6、收集车辆实际执行的动作信号序列u
real
，将u
real
和u
model
进行比对得到基础评分e
base
，再根据第一数据包的数据稀缺性给出一个额外评分e
bonus
，将基础评分e
base
与额外评分e
benus
进行整合，得到车辆自动驾驶的数据评分e
adjust
，将第一数据包更新为包含数据
评分e
adjust
的第二数据包；
12.若数据评分e
adjust
达到用户预设阈值，则生成一个包含第二数据包内所有数据的元数据，车辆发起把元数据打包进区块的请求，当通过所有节点确认后，完成数据确权，同时将该元数据对应的自动驾驶数据进行存储。
13.前述的一种符合数据隐私安全的自动驾驶数据处理方法中，所述步骤1中的外界感知数据包括激光雷达数据、相机数据、毫米波雷达数据、超声波雷达数据；其中，外界感知数据这些来自传感器的外界环境图像、点云数据可支持基于深度学习的感知算法做模型训练。
14.前述的一种符合数据隐私安全的自动驾驶数据处理方法中，所述步骤1中车辆自身的行为状态数据包括地图数据、组合导航数据、轮速脉冲数据、v2x数据、车辆执行动作数据、车身电子稳定系统数据和电池电量soc水平；其中，车辆行为状态数据可用于基于强化学习的决策规划算法进行模型训练和迭代。
15.前述的一种符合数据隐私安全的自动驾驶数据处理方法中，所述步骤2中的数据预处理包括图像去畸变、时间同步和信号滤波。
16.前述的一种符合数据隐私安全的自动驾驶数据处理方法中，所述步骤3中使用通用的神经网络模型对外界感知数据进行特征提取及数据融合得到特征矩阵f
sensor
，这些特征矩阵用于后续负责不同检测任务的神经网络模型的输入，最后进行车辆的决策和控制；同时，这些特征矩阵也用于对自动驾驶数据的分类、评分和元数据生成。
17.前述的一种符合数据隐私安全的自动驾驶数据处理方法中，所述步骤3中使用规则判断的方式对车辆行为状态数据进行特征提取，形成表示车辆当前驾驶行为、整体运行状态及位置的高维状态特征f
state
，f
state
＝[当前位置坐标，导航目的地坐标，导航规划路径点，当前道路区域，当前车辆控制动作，当前车辆状态，外界交通情况，外界天气情况，时间]。
[0018]
前述的一种符合数据隐私安全的自动驾驶数据处理方法中，所述步骤5中使用监督学习算法对数据场景进行多级分类，使用半监督学习方法进行数据的半自动化标注。
[0019]
前述的一种符合数据隐私安全的自动驾驶数据处理方法中，所述步骤6中，将u
real
和u
model
两者差值的绝对值作为基础评分e
base
，车辆实际执行的动作与模型输出的动作相差越大，基础评分e
base
越高，
[0020][0021]eadjust
＝a*e
base
+b*e
bonus
[0022]
其中，t为每次采集的数据包总帧数，a、b分别代表两项评分的权重，可自由调整，可见e
adjust
由数据的后续使用热度、稀缺程度来衡量。
[0023]
针对数据的评分用于后续数据需求方做数据的筛选以及评估数据使用需要付出的开销，也对应于数据持有者基于此包数据能获得的收益，因此，通过e
adjust
评分机制可以较好的发掘出难例场景及高价值数据。
[0024]
前述的一种符合数据隐私安全的自动驾驶数据处理方法中，所述步骤6中，当车辆发起把元数据打包进区块的请求时，所有节点通过pow机制竞争元数据打包权；获取到元数据打包权的车辆方与该数据所有者分享后续的数据权益；每个节点在对数据进行区块链认
证时，通过元数据提供的信息同步检索是否已经有相近数据的存在。
[0025]
当有数据需求方想要基于用户高价值数据更新自身算法模型时，可通过区块链网络搜索锁定想要使用的元数据及对应的自动驾驶数据，随后将自身需要迭代的算法模型上传至对应的受监管的数据存储中心，进行远程的模型训练后再下载回本地。这个过程产生的费用收益将由数据中心、数据所有者以及数据打包者共享。
[0026]
由于所有在区块链上保存的信息都为元数据，且所有节点账户、数据所有方等信息均通过区块链进行哈希加密，故链上不存在隐私泄露的风险。而自动驾驶原始数据也只与元数据关联，且保存于受监管的数据中心，符合法律法规的要求。
[0027]
实现前述的一种符合数据隐私安全的自动驾驶数据处理方法的系统，所述系统包括通讯模块、传感器模块、计算模块和元数据存储模块。
[0028]
与现有技术相比，本发明的有益效果体现在：本发明保障了自动驾驶数据所有者的隐私及权益，以及其他敏感数据(地理数据、安防数据、社会经济数据等)的存储安全及使用安全，保证采集到的自动驾驶数据在使用过程中的安全性及合法性；同时可以自动进行数据场景的分类、难例/边界工况的识别、高价值数据的筛选、以及数据的标注；另外，本发明还可以促使智能汽车用户更积极主动地贡献自动驾驶数据，也使不同企业机构之间共享、共用自动驾驶数据成为可能，最终实现源源不断的数据供给，会为自动驾驶车辆的性能带来持续性的提升。
附图说明
[0029]
图1是本发明数据处理方法的流程图；
[0030]
图2是本发明数据处理系统的模块组成图。
具体实施方式
[0031]
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
[0032]
实施例：一种符合数据隐私安全的自动驾驶数据处理系统，系统模块参考图1，包括通讯模块、传感器模块、计算模块和元数据存储模块，基于以上模块的一种符合数据隐私安全的自动驾驶数据处理方法，包括以下步骤，步骤流程图参考图2：
[0033]
步骤1、收集由车辆传感器测得的外界感知数据以及车辆自身的行为状态数据组成的车辆自动驾驶数据；
[0034]
有一驾驶员驾驶着搭载了本发明阐述的系统的车辆行驶在城区中，本系统不断地收集着车上的传感器以及车辆自身的信息。包括：外界感知数据(激光雷达数据、相机数据、毫米波雷达数据、超声波雷达数据)和车辆行为状态数据(地图数据、组合导航数据、轮速脉冲数据、v2x数据、车辆执行动作数据、车身电子稳定系统数据、电池电量soc水平等)。
[0035]
步骤2、对收集到的车辆自动驾驶数据进行预处理，将其转化为结构化的标准格式，留待后续可能触发的数据上传至数据中心的步骤使用。
[0036]
步骤3、对预处理后的数据进行特征提取，得到收集的外界感知数据的特征矩阵f
sensor
以及车辆行为状态数据的高维状态特征f
state
；
[0037]
使用主流通用的神经网络模型如darknet53、resnet50等对外界感知数据进行特
征提取及数据融合得到f
sensor
。
[0038]
使用规则判断的方式对车辆行为状态数据进行特征提取，形成表示车辆当前驾驶行为、整体运行状态及位置的高维状态特征f
state
。
[0039]fstate
＝[当前位置坐标，导航目的地坐标，导航规划路径点，当前道路区域，当前车辆控制动作，当前车辆状态，外界交通情况，外界天气情况，时间]。
[0040]
比如当前驾驶员驾驶车辆，行驶在a小区附近道路的上，保持直行，导航目标设置在b商场：
[0041]
则f
state
＝[车辆当前坐标，b商场停车场入口坐标，a到b的规划路线，城区非快速路u
real
，[车速，剩余电量，航向角等]，道路通畅，雨天，夜晚19：00]。
[0042]
步骤4、基于特征提取后得到的数据f
sensor
和f
state
，进行自动驾驶的控制指令计算，得到决策控制信号序列u
model
，该指令并不实际作用于车辆(实际车辆还是由驾驶员驾驶)；
[0043]
自动驾驶控制指令的计算有多种方式，数据需求方可以根据自己的情况来选择使用对应计算方式输出的数据结果，以下举例三种较为主流的流程：
[0044]
流程1：将外界感知数据提取后的特征f
sensor
结合f
state
进行相应的维度转换及状态拼接，得到类似[f
sensor
，f
state
]的形式。将[f
sensor
，f
state
]输入进设计好的的强化学习神经网络模型，直接输出对应的控制动作u
model
指令；
[0045]
流程2：也可以将f
sensor
输入到正常的自动驾驶算法工作流中，即：感知模块对f
sensor
进行分析，提取出感知目标结果o
res
，决策模块根据感知目标结果以及来自车辆行为状态数据提取出的信息f
state
开始行为决策a(换道、直行、停车、转弯、避让等高维指令)，规划模块针对决策指令进行轨迹规划，输出一系列期望车辆在接下来一段时间内达到的位置点，最终由控制模块对这些位置轨迹点进行跟踪控制，计算出当前时刻相应的控制动作u
model
；
[0046]
流程3：可以将流程2中的o
res
与f
state
进行状态拼接得到[o
res
，f
state
]，将[o
res
，f
state
]输入到强化学习神经网络模型，输出对应的决策行为指令a，后续的做法与流程2也一致。
[0047]
步骤5、对特征提取后得到的数据f
sensor
和f
state
进行数据分类和标注，避免模块重复进行特征提取的运算，减少计算消耗。此步骤会形成如[外界感知数据，车辆行为状态数据，标签]的第一数据包；
[0048]
首先f
state
中已经提供了一些分类标签如：雨天-城区道路-夜晚-u
real-车况，再基于提取后的特征f
sensor
通过主流的ai分类算法以及标注算法进行数据分类和标注。
[0049]
步骤6、数据评分环节：收集车辆实际执行的动作信号序列u
real
，将u
real
和u
model
进行比对得到基础评分e
base
，再根据第一数据包的数据稀缺性给出一个额外评分e
bonus
，将基础评分e
base
与额外评分e
benus
进行整合，得到车辆自动驾驶的数据评分e
adjust
，将第一数据包更新为包含数据评分e
adjust
的第二数据包；
[0050]
此步骤会形成如[外界感知数据，车辆行为状态数据，标签，分数]的第二数据包；
[0051]
在数据评分环节会重点考虑收集到的车辆实际执行的动作信号u
real
，将其与当前模型运算后得到的决策控制信号序列u
model
进行比对。将两者差值的绝对值作为最终分数的基础值。车辆实际执行的动作与模型输出的动作相差越大，基础评分e
base
越高。假设每次采集的数据包总帧数为t，实际控制信号动作序列为u
real
＝[u
real1
，u
real2
，...，u
realt
]，模型得
到的控制信号动作序列为u
model
＝[u
model1
，u
model2
，...，u
modelt
]，
[0052][0053]
最终数据总分由两部分组成：
[0054]eadjust
＝a*e
base
+b*e
bonus
[0055]ebenus
为根据数据稀缺性给出的一个额外评分，因此，可见e
adjust
由数据的后续使用热度、稀缺程度来衡量。
[0056]
a、b分别代表两项分数的权重，可自由调整。
[0057]
针对数据的评分用于后续数据需求方做数据的筛选以及评估数据使用需要付出的开销，也对应于数据持有者基于此包数据能获得的收益。通过e
adjust
评分机制可以较好的发掘出难例场景及高价值数据。
[0058]
元数据组成：
[0059]
如果评分e
adjust
达到用户预设阈值，则会触发本步骤及后续的元数据确权以及自动驾驶数据包的上传存储。元数据为描述数据属性的数据，本实施例中的元数据主要是描述需要上传存储的数据包[外界感知数据，车辆行为状态数据，标签，分数]的数据。本发明中的元数据内容包含对采集自动驾驶数据的场景类别描述(如天气条件、地理位置、时间、数据评分/价值、行驶工况、数据加密方式、特征提取方式及参数、数据经过特征提取步骤后得到的特征矩阵、数据量大小、所有者、数据包存放地址等)，本实施例中的元数据为[标签(已经包含天气、时间、地理位置、行驶工况等信息)，数据评分e
adjust
，加密方式(如sha256)，特征提取方式(如darknet53)，提取后的特征数据矩阵[f
sensor
，f
state
]，数据量大小(如3mb)，数据所有者节点(如id304c26b0cb99ce91c6节点用户，每个节点拥有独一无二加密后的id)，数据认证节点(如idafe2cc588d86079f9de8节点用户)，本元数据对应的数据包存放的地址索引(如xxx市xxx号数据中心xxx号存储区域xxx号位置)]。
[0060]
用户节点、数据确权、打包：
[0061]
每一辆具备数据存储、计算、及网络通信功能的车辆都可以由用户自由选择是否成为数据认证网络中的一个计算节点或数据提供节点。每一个新节点都会通过hash运算对车主信息进行加密，得到一个独一无二的加密后的节点id、及私钥用于身份验证。每当采集到的数据包符合评分阈值，触发了元数据上传区块链确权的申请时，该申请会通过广播的方式给到周边的计算节点，计算节点采用pow机制竞争元数据认证权。最终完成元数据认证后，将对应的自动驾驶数据包上传存储至受监管的数据中心。此时存入区块链网络的元数据也会包含数据所有者节点、数据认证节点以及数据存储地址等信息。每个节点在对数据进行区块链认证时，还会通过元数据提供的信息去同步检索是否已经有相近数据存在，(通过数据分类的标签、提取后的特征等)对于比较稀有的数据给予较高的e
bonus
额外评分。
[0062]
数据使用：
[0063]
当有数据需求方想要基于用户高价值数据更新自身算法模型时，可通过区块链网络浏览器通过检索元数据标签、分数及模型特征提取的方式等筛选方法来锁定想要使用的元数据及对应的自动驾驶数据，随后根据元数据中对应的自动驾驶数据包的地址，将自身需要迭代的算法模型上传至对应的受监管的数据存储中心，进行远程的模型训练后再下载回本地。这个过程产生的费用收益将由数据中心、数据所有者节点以及数据认证节点共享。
[0064]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。