自动驾驶车路协同感知方法、设备和计算机可读存储介质

1.本技术涉及自动驾驶领域，具体涉及自动驾驶车路协同感知方法、设备和计算机可读存储介质。


背景技术：

2.在自动驾驶车路协同方面研究较多的是更高效的网络通信协议、嵌入式端的神经网络加速等技术，车路间的感知信息交互大量依赖全球定位系统(global positioning system，gps)定位信息导致协同智能化准确性程度较低，而在当前实际通信带宽有限的前提下如何减小协同感知数据传输量并高效完成协同感知这一重要的问题研究较少，还需要更多的研究来补充。尤其是在车路协同这种对时间敏感的实际场景，在车辆高峰期大量的车侧和路侧感知数据进行交互，车路协同感知信息若不经特殊处理，网络的带宽拥堵将不可避免的产生，从而进一步影响车路协同感知的高效性和实时性。


技术实现要素：

3.本技术主要解决的技术问题是现有的自动驾驶车路协同感知方法带宽消耗大、实时性不强。
4.根据第一方面，一种实施例中提供一种自动驾驶车路协同感知方法，包括：第一感知对象获取第一视野中至少一个车辆的图像信息和三维信息，第二感知对象获取第二视野中至少一个车辆的图像信息和三维信息，所述第一视野中至少一个车辆的图像信息和三维信息与所述第二视野中至少一个车辆的图像信息和三维信息包括同一个车辆；第一感知对象基于车辆重识别网络对第一视野中至少一个车辆的图像信息进行特征提取，得到第一向量特征，第二感知对象基于车辆重识别网络对第二视野中至少一个车辆的图像信息进行特征提取，得到第二向量特征；第二感知对象基于第一视野和第二视野所包含的车辆数量的总和确定是否进行特征转换，若所述车辆数量的总和大于第一阈值，则第一感知对象基于随机超平面投影的哈希算法对第一向量特征进行转换得到第一二值化特征，第二感知对象基于随机超平面投影的哈希算法对第二向量特征进行转换得到第二二值化特征；第一感知对象将第一二值化特征和第一视野中至少一个车辆的三维信息发送到第二感知对象，第二感知对象对第一二值化特征和第二二值化特征进行匹配得到匹配结果，所述匹配结果中包括至少一对匹配成功的车辆；第二感知对象基于icp算法对所述至少一对匹配成功的车辆所对应的三维信息计算得到坐标变换矩阵；第二感知对象基于坐标变换矩阵对第一视野的三维信息和第二视野的三维信息进行融合，得到融合三维信息。
5.在一实施例中，还提供了另一种自动驾驶车路协同感知方法，包括：获取第二视野中至少一个车辆的图像信息和三维信息，所述第二视野中至少一个车辆的图像信息和三维信息与第一视野中至少一个车辆的图像信息和三维信息中包括同一个车辆，所述第一视野中至少一个车辆的图像信息和三维信息由第一感知对象获取；基于车辆重识别网络对第二视野中至少一个车辆的图像信息进行特征提取，得到第二向量特征；基于第一视野和第二
视野所包含的车辆数量的总和确定是否进行特征转换，若所述车辆数量的总和大于第一阈值，则基于随机超平面投影的哈希算法对第二向量特征进行转换得到第二二值化特征；接收第一感知对象发送的第一二值化特征和第一视野中至少一个车辆的三维信息，再对第一二值化特征和第二二值化特征进行匹配得到匹配结果，所述匹配结果中包括至少一对匹配成功的车辆；基于icp算法对所述至少一对匹配成功的车辆所对应的三维信息计算得到坐标变换矩阵；基于坐标变换矩阵对第一视野的三维信息和第二视野的三维信息进行融合，得到融合三维信息。
6.融合三维信息为融合后的三维信息，融合三维信息综合了第一视野和第二视野的信息，进而扩展了感知设备的视野。融合三维信息可以呈现在第一感知对象或第二感知对象上。
7.根据第二方面，一种实施例中提供一种电子设备，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如第一方面所述的方法。
8.根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述第一方面中任一项所述的方法。
9.依据上述实施例的自动驾驶车路协同感知方法、设备和计算机可读存储介质，通过车辆重识别网络降低了带宽消耗，提高了协同感知的实时性，扩大了感知设备的视野。
附图说明
10.图1为本技术实施例提供的一种自动驾驶车路协同感知方法的场景图；
11.图2为本技术实施例提供的一种自动驾驶车路协同感知方法的示意图；
12.图3为本技术实施例提供的一种车辆重识别网络的示意图；
13.图4为本技术实施例提供的一种车辆特征转化的示意图；
14.图5为本技术实施例提供的一种icp算法的融合的示意图；
15.图6为本技术实施例提供的融合后的示意图；
16.图7为本技术实施例提供的一种车辆匹配后的融合效果的示意图；
17.图8为本技术实施例提供的一种特征匹配以及特征融合的示意图；
18.图9为本技术实施例提供的一种车路两侧三维信息融合的示意图；
19.图10为本技术提供的一种电子设备的示意图。
具体实施方式
20.下面通过具体实施方式结合附图对本技术作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
21.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各
种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
22.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
23.车辆终端和道路终端的实时感知交互可以最大限度的减少驾驶盲区，而本技术提出的方法是基于车辆重识别的高效车路协同感知，涉及车路协同感知的最核心的一个方面——感知融合，而车路协同感知融合主要涉及到的算法则是重识别和感知融合方法两大类。
24.在车路协同方面研究较多的是更高效的网络通信协议、嵌入式端的神经网络加速等技术，车路间的感知信息交互大量依赖gps定位信息导致协同智能化准确性程度较低，而在当前实际通信带宽有限的前提下如何减小协同感知数据传输量并高效完成协同感知这一重要的问题研究较少，还需要更多的研究来补充。尤其是在车路协同这种对时间敏感的实际场景，在车辆高峰期大量的车侧和路侧感知数据进行交互，车路协同感知信息若不经特殊处理，网络的带宽拥堵将不可避免的产生，从而进一步影响车路协同感知的高效性和实时性。为了解决这一通信痛点、并保证协同感知精度和速度的前提下尽可能减小传输数据大小的目的，本技术展开了利用轻量化重识别技术对车路两侧减小感知数据的数据量、减小传输时延并高效进行感知融合的方法的研究。
25.对现有的文献搜查发现，现有的车路协同系统研究中，车路间的感知信息交互大量依赖gps定位信息导致协同智能化准确性程度较低，并且车路协同传输的数据量较大导致传输和特征匹配的速度不够快。
26.车路协同作为自动驾驶的一种高级阶段，近些年才成为研究的重点。车路协同重要的一环是需要快速的进行车路信息的交互和融合，而完成这一任务需要快速的特征识别、传输、匹配和融合。
27.车辆重识别最初的目的是为了更好的解决交通监管和刑侦问题，并且由早期的基于传感器的方法、基于人工特征的方法，发展到现在主要基于深度学习的方法，由于车辆重识别重点在于特征提取和比对，并且深度学习较为擅长提取目标的特征，因此深度学习成为当前车辆重识别的热点方法。在车路协同场景下，车辆重识别结合车路协同可以带来更多的可能，可以将路侧和车侧的目标进行关联，真正实现车路感知结果的统一。但是也面临着一些较为严重的问题，如当前的车辆重识别深度学习模型参数较多，不适合部署在汽车侧和路侧的算力较低的计算设备中，并且车侧和路侧的带宽有限，在车辆高峰期以及高速运行的过程中车路协同交互的时延及通信量需要更短更小。现在的大多数模型方法还不足以满足这些要求，而这也是制约车路协同发展的因素之一。
28.随着传感器技术的进一步发展，深度学习在三维目标检测领域里也开始大放异彩，包括基于激光雷达的点云数据的三维目标检测，基于摄像机和激光雷达数据融合的三维目标检测，基于单目三维目标检测方法和双目三维目标检测方法等，这些方法基于车侧的数据进行感知，难以获得更全面的车辆驾驶环境感知数据。由于车路协同感知的过程需要车辆侧和路侧的感知数据交互，如何在最短时间内把两侧的三维感知数据进行感知融合
关系到车路协同最终的落地效果。而常用的迭代最近点(iterative closest point，icp)等点云配准方法(基于点基元的配准方法、基于几何基元的配准方法、基于体素基元的配准方法等)并不适合直接应用在车路协同这种对时间敏感的场景，基于gps定位的融合方式也因为不够智能不够准确而不适合用在协同感知信息的融合上。
29.本技术实施例包括多个使用场景，图1为在一实施例中的自动驾驶车路协同感知方法的场景图。
30.本技术实施例中，提供了如图2所示的一种自动驾驶车路协同感知方法，包括步骤s201～s206：
31.步骤s201，第一感知对象获取第一视野中至少一个车辆的图像信息和三维信息，第二感知对象获取第二视野中至少一个车辆的图像信息和三维信息，第一视野中至少一个车辆的图像信息和三维信息与第二视野中至少一个车辆的图像信息和三维信息包括同一个车辆；
32.在一实施例中，第一感知对象可以为道路侧的感知设备或车辆侧的感知设备。在一实施例中，第二感知对象可以为道路侧的感知设备或车辆侧的感知设备。
33.在一实施例中，第一视野或第二视野中的车辆还可以替换为第一视野或第二视野中的其他物体，也可以达到扩展视野的效果。第一视野或第二视野中的其他物体的图像信息和三维信息一一对应。其他物体可以包括花、草、人、树、路灯、楼房、路面标志、指示牌等，本技术对此不做限制。本技术可以基于第一视野或第二视野中的其他物体生成得到融合三维信息，以此来扩展视野。在一实施例中，至少一个车辆的图像信息和三维信息一一对应。
34.三维信息包括了车辆的位置、大小、方向的信息。在一实施例中，位置信息可以是以感知设备为坐标系原点的车辆的三维包围框的中心点的x，y，z坐标，x、y、z是空间坐标的表示字母，x表示横坐标，y表示纵坐标，z表示高度。感知设备为车侧传感器或路侧传感器。大小信息为车辆的长、宽、高。方向可以表示为车辆的偏航角信息。车辆的三维包围框的八个顶点可以基于车辆的三维包围框的中心点的x，y，z坐标和车辆的长、宽、高以及车辆的偏航角信息等计算得到。因此三维信息可以是车辆的三维包围框的中心点的x，y，z坐标，车辆的长、宽、高以及车辆的偏航角。
35.在一实施例中，三维信息还可以是以感知设备为坐标系原点的车辆目标的三维点云信息，感知设备为车侧传感器或路侧传感器。例如，三维信息可以为车辆的原始三维点云坐标值或者经过精简的部分三维点云坐标值。
36.三维信息还可以是其他类型的信息，在此不做限制。
37.第一视野中和第二视野包括相同的车辆，例如，第一视野包括车辆1、2、3，第二视野包括车辆3、4、5，则第一视野和第二视野包括相同的车辆3，则可以基于相同的车辆3来综合第一视野和第二视野的信息，进而达到扩展视野。
38.步骤s202，第一感知对象基于车辆重识别网络对第一视野中至少一个车辆的图像信息进行特征提取，得到第一向量特征，第二感知对象基于车辆重识别网络对第二视野中至少一个车辆的图像信息进行特征提取，得到第二向量特征；
39.车辆重识别网络的模型由conv1层、maxpool层(最大池化层)、stage2层、stage3层、stage4层、conv5层、adaptiveavgpool2d层(自适应平均池化层)、bnneck层、全连接层组成，其中所述conv1层包括卷积层、batchnorm层、silu激活函数层，所述stage2层包括
invertedresidual结构(倒残差结构)、卷积层、batchnorm2d层、silu激活函数层、最大池化层、senet注意力层(squeeze-and-excitation module)、linear层(线性层)，所述stage3层包括invertedresidual结构(倒残差结构)、卷积层、batchnorm2d层、silu激活函数层、最大池化层、senet注意力层、linear层(线性层)，所述stage4层包括invertedresidual结构(倒残差结构)、卷积层、batchnorm2d层、silu激活函数层、最大池化层、senet注意力层、linear层(线性层)，所述conv5层包括卷积层、batchnorm层、silu激活函数层，所述bnneck层包括了一个batchnorm1d层，所述全连接层包括一个linear层(线性层)；车辆重识别网络的模型的激活函数为silu(sigmoid linear unit)，训练时采用半精度浮点型参数进行训练。在一些实施例中，图3为车辆重识别网络模型的示意图。
40.在一实施例中，重识别网络模型是针对性的基于shufflenetv2进行改造完成的，改造包括：1)利用了shufflenetv2 2.0的特征提取主干网络的预训练权重作为我们重识别模型的预训练权重，2)将网络中原有的relu(rectified linear unit)激活函数替换为了silu激活函数，用以防止原模型训练中梯度饱和的出现，3)在特征提取主干部分加入了senet(squeeze-and-excitation module)注意力机制，4)在网络的全连接层之前加入bnneck，5)为进一步减小模型体积，使用半精度浮点型参数进行模型训练。
41.在重识别网络模型深度特征提取阶段，损失函数是网络训练的关键。在现有的车辆重识别算法中，大多利用cross-entropy loss(交叉熵损失函数)和triplet loss(三元组损失函数)的联合损失函数对重识别网络进行诱导训练，该训练方法可以使模型提取的车辆图像特征在特征度量空间中具有类内距离小、类间距离大的优点。但是在后续的研究中为了最大程度实现特征的自由压缩，采用了随机超平面投影的哈希算法对特征空间进行划分以实现特征数据降维，因此训练的重识别模型提取的目标特征在度量空间中还需具备优秀的聚类性能，进而降维之后同一车辆的特征才有更大的可能性被划分到同一空间。因此，本发明设计了将arcface损失函数应用于约束车辆重识别特征提取网络训练，将车辆图像特征映射到超球面上，进而约束图像特征在向量空间中的角度距离，优化特征的空间可分性。于是本发明结合cross-entropy loss、triplet loss和arcface loss联合对车辆重识别特征提取网络进行约束训练，有效提高网络的特征提取性能以及使得特征降维后依旧能够保持较好的重识别准确性，这样可以为我们后续的车路协同感知融合更智能的缩小目标三维信息特征匹配范围。
42.重识别网络模型训练时的损失函数为l
final
，l
final
＝λ1l
ce
+λ2l
t
+λ3la，其中λ1、λ2、λ3是加权系数l
ce
为为交叉熵损失函数、l
t
为三元组损失函数，la为arcface损失函数；其中yi为预测的分类值，yi为实际分类值；l
t
＝(d
a,p-d
a,n
+m)，其中m为边距参数；d
a,p
为正样本对间的特征距离；d
a,n
为负样本对间的特征距离；
[0043][0044]
式子中n为batch size(批量大小)；n为类别数；s是放缩因子；m是角度间隔参数；θj为wj和xi之间的夹角(深度学习网络中最后一个全连接层(fc，fully connected layer)的权重为w，xi是深度学习网络输入全连接层的特征)(第j∈{1，2，..，yi，..，n}个类别的fc层权重为wj，t代表矩阵乘法中的转置；)，夹角θj可通过计算得出；yi代表训练过程中特征xi的真实类别，为预测为yi类别的目标权重，为和xi之间的夹角，夹角可通过计算得出。
[0045]
车辆重识别网路模型训练如果只用常用的交叉熵损失函数(l
ce
)和三元组损失函数(l
t
)，训练后对基于随机投影法的哈希函数(lsh)转换后的二进制的比特特征进行目标匹配，匹配的准确度相比特征转换前会造成较大损失。例如，特征从2048bit到1024bit再到512bit，每下降一半都会出现较大的rank1造成准确率下降，这对车路协同中目标重识别而言是极为不利的。rank表示搜索结果中置信度最高的n张图有正确结果的概率，rank 1表示第一次命中，rank k，表示第k次以内命中。为此本发明在模型训练阶段，除了加入了常用的交叉熵损失函数和三元组损失函数外，也加入arcface损失函数(la)。
[0046]
表1表示了加入arcface损失函数前后的试验验证表。如表1所示，通过在veri776数据集上试验验证，加入arcface损失函数后，可以使浮点数特征经过lsh转换为比特特征后的特征匹配精度损失减小。经测试，重识别特征长度分别为2048bit、1024bit、512bit的特征，与压缩前的特征准确度相比几乎不变。加入arcface损失函数后，在明显提升模型检测精度的同时，也很好的减少了特征压缩转换产生的精度损失。例如从加入arcface损失函数之前2048bit到64bit的特征转换损失35.7％的rank1精度，到特征转换损失19.9％的rank1精度，精度损失率减小了44.3％，并且整体精度也有了较好的提升。在降维到128bit的情况下，rank1依然可以大于85％。同时，map(平均精度均值)指标也有类似表现。
[0047][0048]
表1
[0049]
步骤s203，第二感知对象基于第一视野和第二视野所包含的车辆数量的总和确定是否进行特征转换，若车辆数量的总和大于第一阈值，则第一感知对象基于随机超平面投影的哈希算法对第一向量特征进行转换得到第一二值化特征，第二感知对象基于随机超平面投影的哈希算法对第二向量特征进行转换得到第二二值化特征；
[0050]
所包含的车辆数量的总和表示第一视野和第二视野中包括的车辆总数，例如第一视野包括10辆车，第二视野包括20辆车，则所包含的车辆数量的总和为30辆车。
[0051]
基于随机投影法的哈希函数定义如公式(1)所示：随机选取n维特征空间中的非零向量x＝[x1,x2,...,xn]作为经过坐标原点的超平面的法向量，由于n维空间被超平面划分为正负两个空间，法向量所在空间即为正空间，设集合s中位于正负空间中的向量哈希值分别为1和0，通过判断向量v与法向量x的夹角是否大于90度即可计算向量哈希值，因此哈希函数的定义公式如下：
[0052][0053]
假设向量v和u的夹角大小为θ，两个向量被随机选取的法向量x确定的超平面划分
到同一空间的概率为p(θ)＝1-θ
÷
π。设向量v和u的相似度为s，根据θ＝arccos(s)可得p(s)＝1-arccos(s)
÷
π，相似度s与概率p为单调递增关系。公式(1)的哈希函数只能够产生两位哈希值，为了增加哈希值的长度提升哈希值的表征能力，需利用多个独立哈希函数，只有当两个特征向量有足够多的h(v)值相等时哈希值才相同。因此定义哈希函数h(v)如公式(2)所示：
[0054]
h(v)＝(hb(v),h
b-1
(v),...,h1(v))2ꢀꢀ
(2)
[0055]
式中b为输出的二值位数；hi(v)为第i个独立的h(v)函数。
[0056]
如果把重识别网络提取的浮点数或者半精度浮点数特征直接进行传输，数据量依然较大，车路协同场景下车路两侧进行特征传输的速度依然将受到较大影响，假使车路协同环境中车侧和路侧分别需要传输感知到的20辆行驶车辆目标，浮点数特征的情况下，shufflebnlsh对每个目标提取的特征大小是2048
×
32＝65536比特，20辆数据量将达到1310720比特，这个数据量在需要实时交互的车路协同这种对时间敏感的通信场景上很难令人满意。
[0057]
因此，在车路协同场景中，在车辆较少且行驶较慢时，带宽和速度的需求并不是特别的紧张，而高峰期或者车速较快的时候带宽和协同速度就将变得更加紧要。车路协同感知的比特特征在减小到一定长度的时候会较大的影响重识别的精度，因此，我们设计了一种动态自适应的协同传输方法。在协同视域范围内车辆较少并且车速较慢的情况下，我们不做特征的bit转化，采用半精度浮点数的车路协同感知提取特征，而在车辆较多的情况下，我们根据视域范围内车辆总数多少进行车辆重识别特征bit量转化的决断(车路两侧通信时可以很容易获取车辆数量信息)。在车辆数大于一定数量的情况下，我们采用较短的比特感知特征进行传输比对。在车辆数量中等的情况下，我们采用中等长度的比特特征传输和比对，在车辆较少的情况下，采用较长的比特特征进行传输。这样动态的进行特征传输的方式可以更好的平衡车路重识别精度和传输带宽之间的关系，使车路之间的通信信道利用更高效。图4为本技术一实施例中的车辆特征转化的示意图。
[0058]
在一实施例中，若车辆数量的总和大于第一阈值，小于第二阈值，则转换后的第一二值化特征和第二二值化特征的大小为1024比特；第一阈值可以为10辆车，第二阈值可以为20辆车。
[0059]
在一实施例中，若车辆数量的总和大于第二阈值，小于第三阈值，则转换后的第一二值化特征和第二二值化特征的大小为512比特；第二阈值可以为20辆车，第三阈值可以为40辆车。
[0060]
在一实施例中，若车辆数量的总和大于第三阈值，则转换后的第一二值化特征和第二二值化特征的大小为256比特；第三阈值可以为40辆车。
[0061]
在一实施例中，若车辆数量的总和小于第一阈值，则不对第一向量特征和第二向量特征进行特征转换。第一阈值可以为10辆车。
[0062]
通过基于随机投影法的哈希函数处理后每个车辆的特征数据量预设为128bit到1024bit之间，相对压缩前的浮点数特征数据量可以减小到1/128至1/32，对比压缩前的数据量可以大大减轻车路协同感知数据的通信压力。
[0063]
步骤s204，第一感知对象将第一二值化特征和第一视野中至少一个车辆的三维信息发送到第二感知对象，第二感知对象对第一二值化特征和第二二值化特征进行匹配得到
匹配结果，匹配结果中包括至少一对匹配成功的车辆；
[0064]
特征匹配的速度也是车路协同的关键之一。欧式距离是重识别中常用的特征距离度量方式，假设n维空间内有两点x(x1,x2,...,xn)和y(y1,y2,...,yn)，则x和y的欧式距离d(x,y)计算如公式(3)所示，车路协同过程需要频繁进行车路之间目标特征的相似度计算，但是高维度的特征进行欧氏距离需要频繁的进行乘法和开平方计算，这个计算开销并不算很小。为了加快特征匹配速度，我们放弃常用的基于欧式距离的方式进行特征匹配，采用如公式(4)所示的基于汉明距离的方法完成匹配。可以利用汉明距离计算第一二值化特征和第二二值化特征中所包含车辆的相似度，得到高于相似度阈值的至少一对匹配成功的车辆。
[0065][0066][0067]
公式(4)中的x，y是二进制数据，dh表示汉明距离，表示异或计算。利用汉明距离的计算复杂度远低于欧几里得距离，可以减少特征匹配计算时间的同时，也进一步提升车路协同感知融合的效率。
[0068]
使用汉明距离对第一二值化特征和第二二值化特征进行相似度计算，比对半精度浮点数特征进行欧式距离计算上会节省时间。例如，在veri776数据集里，使用特征提取网络提出的1678张查询图像和9901张待匹配图像的二值化特征和半精度浮点数特征进行比对测试，测试结果显示，对比常见的2048维的半精度浮点数特征进行欧式距离计算，汉明距离可以加快72.32％；对比常见的512维半精度浮点数特征进行欧式距离计算，汉明距离可以加快13.94％。
[0069]
步骤s205，第二感知对象基于icp算法对至少一对匹配成功的车辆所对应的三维信息计算得到坐标变换矩阵；
[0070]
在一实施例中，可以从至少一对匹配成功的车辆中随机挑选一对或多对，并计算得到坐标变换矩阵；例如，若挑选一对车辆，则基于一对车辆计算坐标变换矩阵，若挑选多对车辆，则基于多对车辆计算至少一个初始变换矩阵，若至少一个初始变换矩阵中存在数值异常的变换矩阵，则剔除所述数值异常的变换矩阵，最后从剔除后的至少一个初始变换矩阵中随机选取一个变换矩阵作为坐标变换矩阵；若至少一个初始变换矩阵中不存在数值异常的变换矩阵，则随机选取一个变换矩阵作为坐标变换矩阵。
[0071]
至少一对匹配成功的车辆所对应的三维信息表示第一视野中的某一个车辆的三维信息已经与第二视野中的某一个车辆的三维信息进行了对应。例如第一视野包括车辆a，车辆a在第一视野中被检测到的一组三维包围框的八个顶点为a、b、c、d、e、f、g、h，第二视野包括车辆a，车辆a在第二视野中被检测到的一组三维包围框的八个顶点为1、2、3、4、5、6、7、8。车辆a在第一视野中八个顶点信息与车辆a在第二视野中八个顶点信息一一对应，从而再将该车辆在第一视野和第二视野所对应的八对顶点信息输入icp算法计算坐标变换矩阵。作为示例，icp算法在八对顶点中的点一一对应后计算坐标变换矩阵的流程，可将两组顶点视为两组点云，包括：(1)求解车辆在两组点云的质心：(2)求两组点云去质心坐标：(3)每点组成矩阵求均值、求解得到坐标变换矩阵。在点云不相匹配的情况下使用icp算法进行特征
融合的示意图为图5(黄色点云是车侧采集到的点云，蓝色点云是路侧采集到的点云)，而本技术是通过汉明距离计算特征的匹配度，再基于icp算法进行坐标转换，然后得到第一视野和第二视野的三维信息的融合，融合后的示意图为图6(黄色点云是车侧采集到的点云，蓝色点云是路侧采集到的点云)。
[0072]
步骤s206，第二感知对象基于坐标变换矩阵对第一视野的三维信息和第二视野的三维信息进行融合，得到融合三维信息。
[0073]
在一实施例中，将经过坐标变换矩阵转换的每个目标的三维包围框进行交并比计算，转换后三维包围框若出现重叠的计算交并比，交并比超过30％(交并比不做限定，可以取值为0％到100％)的包围框对中移除一个包围框(可根据不同方式进行移除，方式不做限定，比如根据车路两侧位置置信度大小、偏好等)，得到最终的融合结果。
[0074]
融合三维信息可以显示在第一感知对象或第二感知对象上。
[0075]
在一实施例中，车辆匹配后的融合效果图为图7(黄色包围框是车侧检测到的目标，蓝色包围框是路侧检测到的目标)。
[0076]
在一实施例中，图8为本技术实施例中提供的步骤s204、s205、s206所示的特征匹配以及特征融合的示意图。
[0077]
在一实施例中，车路两侧三维信息融合效果图为图9(黄色包围框是车侧检测到的目标，蓝色包围框是路侧检测到的目标)。
[0078]
这种融合方式无需gps定位信息接入，仅需车路两侧存在少量的共同车辆目标就可以自适应的使icp选择较好的源点云和目标点云，既可以加快车路两侧感知的目标信息融合的速度，又可以达到减少车侧盲区、助力提升交通安全的目标。
[0079]
基于同一发明构思，本实施例还提供了一种自动驾驶车路协同感知方法，该方法的解释可以参照前文，此处不再赘述，该方法包括：
[0080]
获取第二视野中至少一个车辆的图像信息和三维信息，第二视野中至少一个车辆的图像信息和三维信息与第一视野中至少一个车辆的图像信息和三维信息包括同一个车辆，第一视野中至少一个车辆的图像信息和三维信息由第一感知对象获取；
[0081]
基于车辆重识别网络对第二视野中至少一个车辆的图像信息进行特征提取，得到第二向量特征；
[0082]
基于第一视野和第二视野所包含的车辆数量的总和确定是否进行特征转换，若车辆数量的总和大于第一阈值，则基于随机超平面投影的哈希算法对第二向量特征进行转换得到第二二值化特征；
[0083]
接收第一感知对象发送的第一二值化特征和第一视野中至少一个车辆的三维信息，再对第一二值化特征和第二二值化特征进行匹配得到匹配结果，匹配结果中包括至少一对匹配成功的车辆；
[0084]
基于icp算法对至少一对匹配成功的车辆所对应的三维信息计算得到坐标变换矩阵；
[0085]
基于坐标变换矩阵对第一视野的三维信息和第二视野的三维信息进行融合，得到融合三维信息。
[0086]
基于同一发明构思，本技术实施例提供了一种电子设备，如图10所示，包括：
[0087]
处理器41；用于存储处理器41可执行指令的存储器42；其中，处理器41被配置为执
行以实现如前述提供的一种自动驾驶车路协同感知方法：第一感知对象获取第一视野中至少一个车辆的图像信息和三维信息，第二感知对象获取第二视野中至少一个车辆的图像信息和三维信息，第一视野中至少一个车辆的图像信息和三维信息与第二视野中至少一个车辆的图像信息和三维信息包括同一个车辆；第一感知对象基于车辆重识别网络对第一视野中至少一个车辆的图像信息进行特征提取，得到第一向量特征，第二感知对象基于车辆重识别网络对第二视野中至少一个车辆的图像信息进行特征提取，得到第二向量特征；第二感知对象基于第一视野和第二视野所包含的车辆数量的总和确定是否进行特征转换，若车辆数量的总和大于第一阈值，则第一感知对象基于随机超平面投影的哈希算法对第一向量特征进行转换得到第一二值化特征，第二感知对象基于随机超平面投影的哈希算法对第二向量特征进行转换得到第二二值化特征；第一感知对象将第一二值化特征和第一视野中至少一个车辆的三维信息发送到第二感知对象，第二感知对象对第一二值化特征和第二二值化特征进行匹配得到匹配结果，匹配结果中包括至少一对匹配成功的车辆；第二感知对象基于icp算法对至少一对匹配成功的车辆所对应的三维信息计算得到坐标变换矩阵；第二感知对象基于坐标变换矩阵对第一视野的三维信息和第二视野的三维信息进行融合，得到融合三维信息。基于同一发明构思，本实施例提供了一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备的处理器41执行时，使得电子设备能够执行实现如前述提供的一种自动驾驶车路协同感知方法。
[0088]
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
[0089]
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
[0090]
此外，除非权利要求中明确说明，本说明书处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
[0091]
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
[0092]
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说
明，“大约”、“近似”或“大体上”表明数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
[0093]
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
[0094]
最后，应当理解的是，本说明书中实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。