目标物的检测方法及装置、车辆、处理器以及电子设备与流程

本技术涉及自动驾驶领域，具体而言，涉及一种目标物的检测方法及装置、车辆、处理器以及电子设备。非目标技术相关技术中，深度学习技术得到了较快发展，越来越多地应用到计算机视觉等领域，作为计算机视觉的重要分支，深度学习在3d目标检测算法上也得到了大规模应用。基于激光的3d目标检测算法分为基于体素框的方法(通常把原始点云处理成规则体素框数据，然后对规整的体素框进行处理)，基于原始点云的方法(算法直接对原始点云进行处理)。基于体素框的算法典型代表为second(sparsely embedded convolutional detection)。second的算法处理流程为：首先把点云体素化，而后把体素化的点云数据送入由3d子流型稀疏卷积和3d稀疏卷积、批正则化层、激活层组成的稀疏卷积主干网络中，而后把输出的稀疏特征和对应坐标通过稀疏转密集模块，得到密集特征图。密集特征图送入后续rpn层，得到3d检测输出结果。对于简单的场景，比如高速公路场景，second算法可以取得不错效果。原因是因为在高速上，只有车辆目标，很少出现行人、自行车等目标。此外，高速绿化带比较规整，因此绿化带误检少，然而，在市区场景，交通环境变得复杂，自行车、行人频繁出现，不同路段绿化带形态各异，增加了检测难度，因此second算法经常出现绿化带误检的情况。比如，经常把十字路口的绿化带误检为一辆车。或者经常把绿化带中的路牌误检为一辆车等。针对相关技术中存在的上述问题，还未提出有效的解决方法。

背景技术：

技术实现思路

1、本技术的主要目的在于提供一种目标物的检测方法及装置、车辆、处理器以及电子设备，以解决相关技术中在较为复杂的场景中，采用second算法，经常出现绿化带误检，导致目标物的检测精度不高的技术问题。

2、根据本发明实施例的一个方面，提供了一种目标物的检测方法，包括：获取原始点云，对原始点云进行体素化处理以得到体素特征矩阵以及体素坐标矩阵，其中，体素特征矩阵中的体素特征与体素坐标矩阵中的坐标一一对应；将体素特征矩阵以及体素坐标矩阵输入至稀疏卷积主干网络，控制稀疏卷积主干网络对体素特征矩阵进行分类，并控制稀疏卷积主干网络输出目标特征，其中，目标特征为去除非目标特征后得到的特征，目标特征为目标物对应的特征；对目标特征行密集化处理，以获得密集特征图，其中，密集特征图不包含非目标对应的特征；依据密集特征图，对目标物进行检测。

3、进一步地，对原始点云进行体素化处理以得到体素特征矩阵以及体素坐标矩阵，包括：确定体素框的大小，其中，体素框的大小包括体素框的长宽高；确定原始点云的点云范围，其中，点云范围至少包括原始点云在预设空间坐标系的三个方向对应的尺寸范围，其中，预设空间坐标系是依据预设体素空间区域构建的空间坐标系；依据体素框的大小以及点云范围，确定体素特征矩阵以及体素坐标矩阵。

4、进一步地，依据体素框的大小以及点云范围，确定体素特征矩阵以及体素坐标矩阵，包括：依据体素框的大小以及原始点云对应的点云范围，将原始点云划分为多个体素块；确定未包含原始点云的空白体素块，剔除空白体素块，并得到包含有原始点云的目标体素块；确定每个目标体素块中包含的至少一个原始点云，确定至少一个原始点云在预设空间坐标系中的至少一个点云坐标；确定每个目标体素块在预设空间坐标系中的体素块坐标；依据目标体素块中的至少一个点云坐标以及体素块坐标，确定体素特征矩阵以及体素坐标矩阵。

5、进一步地，依据目标体素块中的至少一个点云坐标以及体素块坐标，确定体素特征矩阵以及体素坐标矩阵，包括：确定目标体素块内包含的至少一个点云坐标对应的平均值坐标，并将平均值坐标，确定为目标体素块对应的体素特征，并确定多个目标体素块对应的多个体素特征，依据多个体素特征确定体素特征矩阵；获取多个目标体素块在预设空间坐标系中对应的多个体素块坐标，并依据多个体素块坐标得到体素坐标矩阵。

6、进一步地，控制稀疏卷积主干网络对体素特征矩阵进行分类，包括：控制体素特征矩阵以及体素坐标矩阵依次输入至多个卷积模块中，并控制多个卷积模块依次输出第一体素特征矩阵以及第一体素坐标矩阵，以得到多个第一体素矩阵以及第一体素坐标矩阵，其中，多个第一体素矩阵以及多个第一体素矩阵坐标的维度依次减小；依据多个第一体素矩阵以及第一体素坐标矩阵，得到体素特征矩阵对应的多个新特征；控制新特征输入至稀疏卷积主干网络中的全链接层进行分类，并控制全链接层输出分类结果，其中，分类结果为非目标特征或目标特征。

7、进一步地，依据多个第一体素矩阵以及第一体素坐标矩阵，得到体素特征矩阵对应的多个新特征，包括：确定目标体素特征以及目标体素坐标，其中，目标体素特征为第一体素特征矩阵，目标体素坐标为第一体素坐标矩阵中的任意一个坐标；控制目标体素坐标依次输入至多层密集特征空间内，每当任意一个密集特征空间接收到目标体素坐标的情况下，控制密集特征空间输出多个目标稀疏特征，其中，稀疏卷积主干网络包含有多层密集特征空间；依据多个目标稀疏特征，得到新特征。

8、进一步地，依据多个目标稀疏特征，得到新特征，包括：确定目标密集特征空间对应的空间区域大小，其中，目标特征密集特征空间为多个密集特征空间中的任意一个密集特征空间；在目标密集特征空间内，以目标体素坐标为中心，以空间区域大小为框定范围，确定目标密集特征空间内存在的多个稀疏特征；计算每个密集特征空间输出多个目标稀疏特征对应的平均值，以得到多个密集特征空间对应的多个平均值，其中，密集特征空间与平均值一一对应；控制多个平均值拼接起来，并获得新特征。

9、进一步地，在将体素特征矩阵以及体素坐标矩阵输入至稀疏卷积主干网络，控制稀疏卷积主干网络对体素特征矩阵进行分类之后，该方法还包括：在分类结果为目标特征的情况下，将目标体素坐标对应的体素特征的分类真值确定为第一标记；在分类结果为非目标特征的情况下，将目标体素坐标对应的体素特征的分类真值确定为第二标记。

10、进一步地，在将体素特征矩阵以及体素坐标矩阵输入至稀疏卷积主干网络之前，该方法还包括：构建初始稀疏卷积主干网络；确定稀疏卷积主干网络用语对体素特征进行分类对应的损失函数为预设损失函数，其中，预设损失函数对应的公式为公式一，公式一为：lall＝αl3ddetection+βlsparse-feature-classification，α取值为10，β取值为1，l3ddetection为3d目标损失函数，lsparse-feature-classification为稀疏特征分类损失；通过预设损失函数训练初始稀疏卷积主干网络，以得到稀疏卷积主干网络。

11、进一步地，在目标密集特征空间内，以目标体素坐标为中心，以空间区域大小为框定范围，确定目标密集特征空间内存在的多个稀疏特征，包括：目标密集特征空间为第一层密集特征空间的情况下，以目标体素坐标为中心，以空间区域大小为框定范围，确定第一层密集特征空间内存在8个稀疏特征；目标密集特征空间为第二层密集特征空间的情况下，以目标体素坐标为中心，以空间区域大小为框定范围，确定第二层密集特征空间内存在4个稀疏特征；目标密集特征空间为第三层密集特征空间的情况下，以目标体素坐标为中心，以空间区域大小为框定范围，确定第三层密集特征空间内存在2个稀疏特征。

12、根据本发明实施例的另一方面，还提供了一种目标物的检测装置，包括：第一处理单元，用于获取原始点云，对原始点云进行体素化处理以得到体素特征矩阵以及体素坐标矩阵，其中，体素特征矩阵中的体素特征与体素坐标矩阵中的坐标一一对应；第一控制单元，用于将体素特征矩阵以及体素坐标矩阵输入至稀疏卷积主干网络，控制稀疏卷积主干网络对体素特征矩阵进行分类，并控制稀疏卷积主干网络输出目标特征，其中，目标特征为去除非目标特征后得到的特征，目标特征为目标物对应的特征；密集化处理单元，用于对目标特征行密集化处理，以获得密集特征图，其中，密集特征图不包含非目标对应的特征；检测单元，用于依据密集特征图，对目标物进行检测。

13、根据本发明实施例的另一方面，还提供了一种车辆，包括：至少一个深度相机，至少一个深度相机设置在车辆上的预设位置，目标物的检测装置，用于执行权利要求1至10中任意一项的一种目标物的检测方法。

14、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行权利要求1至10中任意一项的一种目标物的检测方法。

15、根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行权利要求1至10中任意一项的一种目标物的检测方法。

16、根据本发明实施例的另一方面，还提供了一种电子设备，包括：一个或多个处理器，存储器以及一个或多个程序，其中，一个或多个程序被存储在存储器中，并且被配置为由一个或多个处理器执行，一个或多个程序包括用于执行权利要求1至10中任意一项的一种目标物的检测方法。

17、在本发明实施例中，通过获取原始点云，对原始点云进行体素化处理以得到体素特征矩阵以及体素坐标矩阵，其中，体素特征矩阵中的体素特征与体素坐标矩阵中的坐标一一对应；将体素特征矩阵以及体素坐标矩阵输入至稀疏卷积主干网络，控制稀疏卷积主干网络对体素特征矩阵进行分类，并控制稀疏卷积主干网络输出目标特征，其中，目标特征为去除非目标特征后得到的特征，目标特征为目标物对应的特征；对目标特征行密集化处理，以获得密集特征图，其中，密集特征图不包含非目标对应的特征；依据密集特征图，对目标物进行检测，解决了相关技术中在较为复杂的场景中，采用second算法，经常出现绿化带误检，导致目标物的检测精度不高的技术问题，进而达到了通过对目标特征以及背景特征进行分类，提高了对目标物的检测效率。