目标检测的方法、装置、电子设备及存储介质与流程

1.本发明实施例涉及自动驾驶技术领域，尤其涉及一种目标检测的方法、装置、电子设备及存储介质。


背景技术：

2.随着自动驾驶技术的发展，为了确保车辆的安全性，其对于感知系统的准确率要求越来越高。相机与激光雷达作为自动驾驶汽车中应用最为广泛的感知传感器以其各自的优势在行业中仍然有着不可替代的地位。
3.由于两种传感器在不同领域各有优缺点，近些年越来越多的研究人员开始研究能够将二者优点相结合的融合检测算法，但是现有的融合检测算法都没有很好地将相机和雷达的信息融合，存在融合过程中信息丢失严重的问题，影响3d目标检测的准确率。


技术实现要素：

4.本技术提供了一种目标检测的方法、装置、电子设备及存储介质，以解决现有技术中3d目标的检测准确率不高的问题。
5.第一方面，本技术提供了一种目标检测的方法，该方法包括：获取待检测目标的激光雷达点云和目标图像，其中，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征；对目标图像进行特征提取，获取第一图像特征；根据激光雷达点云和目标图像，获取第一深度图，其中，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度；将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图；根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征；根据鸟瞰图像特征获取图像鸟瞰分割置信度；将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征；根据融合特征获取待检测目标的目标信息。
6.通过该方式，首先利用点云将图像的深度信息补全，并将图像特征转换至鸟瞰空间并提取鸟瞰空间下的语义信息即鸟瞰分割置信度，然后将鸟瞰分割置信度与点云的鸟瞰点云特征融合，这种融合方式能够充分利用图像传感器和激光雷达传感器各自的优点，并且很大程度上减少图像和点云的信息损失，从而提高3d目标的检测准确率。
7.结合第一方面，本发明第一方面的第一实施例中，在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征，包括：
将第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格，使用点云编码器对网格中每一个网格的激光雷达点云进行特征提取，获取鸟瞰点云特征。
8.通过该方式，将鸟瞰空间进行网格化处理，可以对网格矩阵中的每一个元素进行特征提取，方便后续进行数据处理。
9.结合第一方面，本发明第一方面的第二实施例中，根据激光雷达点云和目标图像，获取第一深度图，包括：将激光雷达点云和目标图像输入预构建的点云补全网络，获取第一深度图。
10.通过该方式，点云补全网络能够通过较为稀疏的激光雷达点云对目标图像进行细粒度的深度值补全，获取带有稠密深度信息的第一深度图，充分利用了两种传感器采集信息的优点获取更为全面的信息。
11.结合第一方面的第二实施例，本发明第一方面的第三实施例中，将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图，包括：对第一深度图进行降采样处理，获取与第一图像特征尺寸相同的第二深度图。
12.通过该方式，可以更加全面的保留第一深度图的结构信息，在后续的图像处理和融合中保留更多的目标信息，提高目标检测的准确率。
13.结合第一方面至第一方面的第三实施例中任一实施例，本发明第一方面的第四实施例中，根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征，具体包括：根据第二深度图中每一个像素点的像素坐标和每一个离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系的3d空间坐标；根据目标图像中的每一个像素点对应的第一图像特征，以及第二深度图中每一个离散深度对应的置信度，确定与目标图像对应的视锥特征；将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征。
14.通过该方式，根据第二深度图中每一个像素点的像素坐标和离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系下的3d空间坐标，可以从像素的层面将第二深度图转换至第二预设空间坐标系，并确定每一个像素点的3d空间坐标，有利于后续目标信息的准确定位和融合。
15.结合第一方面的第四实施例，本发明第一方面的第五实施例中，将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征，包括：将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，利用3d空间插值以及高度编码处理的方式提取出目标图像在第一预设空间坐标系下的鸟瞰空间中的图像特征，构成图像鸟瞰特征。
16.通过该方式，3d空间插值以及高度编码处理的方式可以很好的保留目标图像的图像特征，从而使目标图像在鸟瞰空间中的鸟瞰图像特征信息更加全面。
17.结合第一方面至第一方面的第三实施例中任一实施例或者第一方面的第五实施例，本发明第一方面的第六实施例中，根据鸟瞰图像特征获取图像鸟瞰分割置信度，包括：将鸟瞰图像特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
18.通过该方式，鸟瞰分割网络可以根据鸟瞰图像特征输出鸟瞰图像特征的语义分割结果，进而得到鸟瞰分割置信度。
19.第二方面，本技术提供了一种目标检测的装置，该装置包括：获取模块，用于获取待检测目标的激光雷达点云和目标图像，其中，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；特征提取模块，用于在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征；对目标图像进行特征提取，获取第一图像特征；处理模块，还用于根据激光雷达点云和目标图像，获取第一深度图，其中，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度；尺寸变换模块，用于将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图；处理模块，用于根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征；根据鸟瞰图像特征获取图像鸟瞰分割置信度；融合模块，用于将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征；处理模块，还用于根据融合特征获取待检测目标的目标信息。
20.可选的，该装置还包括：处理模块，还用于将第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格，使用点云编码器对网格中每一个网格的激光雷达点云进行特征提取，获取鸟瞰点云特征。
21.可选的，该装置还包括：处理模块，还用于将激光雷达点云和目标图像输入预构建的点云补全网络，获取第一深度图。
22.可选的，该装置还包括：尺寸变换模块，具体用于对第一深度图进行降采样处理，获取与图像特征尺寸相同的第二深度图。
23.可选的，该装置还包括：处理模块，还用于根据第二深度图中每一个像素点的像素坐标和每一个离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系的3d空间坐标；根据目标图像中的每一个像素点对应的图像特征，以及目标图像特征在每一个离散深度下的置信度，确定与目标图像对应的视锥特征；将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征。
24.可选的，该装置还包括：特征提取模块；特征提取模块，用于将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，利用3d空间插值以及高度编码处理的方式提取出目标图像在第一预设空间坐标系下的鸟瞰空间中的图像特征，构成图像鸟瞰特征。
25.可选的，该装置还包括：处理模块，还用于将鸟瞰图像特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
26.第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例的目标检测的方法的步骤。
27.第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项实施例的目标检测的方法的步骤。
附图说明
28.图1为本发明实施例提供的一种目标检测的方法流程示意图；图2为本发明提供的稠密深度图示意图；图3为本发明提供的图像的像素坐标示意图；图4本发明实施例提供的另一种目标检测的方法流程示意图；图5为本发明提供的一种目标检测的方法整体流程框图；图6为本发明实施例提供的一种目标检测的装置结构示意图；图7为本发明实施例提供一种电子设备结构示意图。
具体实施方式
29.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
31.针对背景技术中所提及的技术问题，目前主要有几种解决方法，一种是基于图像的检测算法，得益于图像信息的稠密性和丰富性，其更适合于进行像素级别的语义和实例分割类型的检测，另一种是基于点云的检测算法，其主要利用点云准确的三维空间和结构信息，故其更适合于进行三维空间的目标级别的检测。
32.现有的融合检测算法主要分为三种，第一种为以图像为主的方法：其将原始点云或点云特征投影到图像平面，然后生成带有额外信息的图像，再通过图像检测算法生成检测结果；第二种为以点云为主的方法：其首先将图像做一定的处理，然后将点云投影到图像平面上获取到对应位置的图像特征生成带有额外信息的点云，最后输入到点云检测网络中生成检测结果；第三种为以目标为主的方法，其首先基于第一个传感器（相机或雷达）获取一个预先的检测结果然后将该检测结果内部的数据通过融合第二个传感器的数据来进行优化，最终得到检测结果。然而以上三种方法都没有很好地将相机和雷达的信息融合，第一种方法中投影到图像上的点云其空间信息和结构信息会有很大的损失，第二种方法中图像信息在附着到点云上时也会有很多损失，第三种方法中只对目标区域进行融合，信息融合不彻底，非目标区域的信息完全丢失。基于此，本技术实施例提供了一种目标检测的方法，具体参见图1所示，图1为本发明实施例提供的一种目标检测的方法流程示意图，该方法步
骤包括：步骤110，获取待检测目标的激光雷达点云和目标图像。
33.具体的，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云。目标图像和原始激光雷达点云可以使用经过标定与同步的相机与激光雷达进行采集。
34.在一个可选的例子中，例如目标图像的采集可以使用车载图像传感器，车载相机等图像传感设备，可以是一个或者多个图像传感设备，针对不同的角度可以设置不同的设备，使采集的图像信息尽可能的全面丰富，还可以选择高清摄像头或者广角摄像头等图像传感设备，具体可以根据实际需要而设置，而原始激光雷达点云可以通过车载激光雷达传感设备进行采集，在采集原始激光雷达点云之后，需将原始激光雷达点云从激光雷达坐标系转换至第一预设空间坐标系即车体坐标系，获取待检测目标的激光雷达点云，以便将激光雷达点云在车体坐标系下的鸟瞰空间中进行特征提取。
35.步骤120，在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征。
36.具体的，可以在第一预设空间坐标系即车体坐标系下使用点云编码器对激光雷达点云进行特征提取，获取点云鸟瞰特征。
37.进一步，为了方便后续特征的融合计算，可以将提取的点云特征以矩阵的形式体现，因此可以将车体坐标系下的鸟瞰空间进行网格化处理。
38.可选的，在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征，包括：将第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格，使用点云编码器对网格中每一个网格的激光雷达点云进行特征提取，获取鸟瞰点云特征。
39.具体的，在一个可选的例子中，例如在车体坐标系下将鸟瞰空间划分为的均匀网格，并使用点云编码器对每一个网格内的激光雷达点云进行特征提取，从而得到鸟瞰空间下的点云特征,其中为鸟瞰空间下长度方向的网格个数，为鸟瞰空间下宽度方向的网格个数，为特征的维度。如此一来，将鸟瞰空间进行网格化处理，可以对网格矩阵中的每一个元素进行特征提取，也方便后续进行点云特征和图像特征进行融合处理。
40.步骤130，对目标图像进行特征提取，获取第一图像特征。
41.具体的，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度。可以利用图像特征提取工具对目标图像进行特征提取，得到图像特征。
42.在一个可选的例子中，可以利用图像编码器对目标图像进行特征提取，得到目标图像的图像特征即第一图像特征，图像特征可以表示为，其中，表示第一图像特征的高度，表示第一图像特征的宽度，表示图像特征的维度。
43.步骤140，根据激光雷达点云和目标图像，获取第一深度图。
44.具体的，将激光雷达点云和目标输入到点云补全网络中，利用激光雷达点云对图
像的深度值进行补全，获取稠密的深度图即第一深度图。
45.在一个可选的例子中，将激光雷达点云和目标图像输入到点云补全网络中，得到带有置信度的稠密深度图，可以表示为,即第一深度图，其中，第一深度图为一个尺寸为的矩阵，为第一深度图的高度，为第一深度图的宽度，为预先设定的离散深度值的数量。
46.稠密深度图的示意图可以如图2所示，在图2中，为10，则表示将100m的深度范围划分为10个预设的离散深度值，左侧所标置信度的数值即表示该像素位置的深度在每一个预设深度位置的可能性。
47.步骤150，将第一深度图进行尺寸变换，获取与目标图像特征尺寸相同的第二深度图。
48.具体的，在将目标图像提取出第一图像特征时，会对第一图像特征进行降维处理，一般为4倍或者8倍，而第一深度图通过目标图像获取，其尺寸与目标图像相同，因此，需要将第一深度图进行尺寸变换，变换为与第一图像特征尺寸相同的第二深度图，才能准确的获取第二深度图在第二预设空间坐标系下的每一个像素点对应的空间坐标，进而后续与第一图像特征进行数据处理。
49.在一个可选的例子中，将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图，可以将步骤140中获取的稠密深度图进行尺寸变换处理，获取与步骤130中提取的第一图像特征尺寸相同的第二深度图，表示为，其中，表示第一图像特征的高度，表示第一图像特征的宽度，为预先设定的离散深度值的数量。
50.步骤160，根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征。
51.具体的，获取第二深度图中每一个像素点的像素坐标，例如，如图3所示，在(x,y)坐标系下，可以定义第二深度图中左上角第一个位置的像素坐标为，则向右一个位置的像素坐标为，由像素坐标向下一个位置的像素坐标为，以此类推，然后根据第二深度图中每一个像素点的像素坐标和每一个离散深度，以及每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，在第二预设空间坐标系下进行处理，获取第二预设空间坐标系下的3d空间坐标和视锥特征，获取在第一预设空间坐标系下的鸟瞰图像特征。
52.可选的，根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征，具体包括如图4所示的方法步骤：步骤410，根据第二深度图中每一个像素点的像素坐标和每一个离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系的3d空间坐标。
53.具体的，在一个可选的例子中，根据第二深度图中每一个像素点的像素坐标和每一个离散深度，利用相机的内参矩阵的逆矩阵，将第二深度图转换至第二预设空间坐标系，即3d空间坐标系，获取在3d空间坐标系下的3d空间坐标，具体可以用如下公式表示：（公式一）其中，为图像中每一个像素点的像素坐标，为离散深度的编号，为相机内参矩阵的逆矩阵，为第个预设的离散深度值。矩阵即为每一个像素点在每一个预设深度下转换到相机3d坐标系后的3d空间坐标，其为一个的矩阵，其中，表示第一图像特征的高度，表示第一图像特征的宽度，为预先设定的离散深度值的数量，因为第二深度图与第一图像特征尺寸相同，因此，第一图像特征的高度和宽度分别为第二深度图的高度和宽度。
54.步骤420，根据目标图像中的每一个像素点对应的第一图像特征，以及第二深度图中每一个离散深度对应的置信度，确定与目标图像对应的视锥特征。
55.具体的，在一个可选的例子中，获取步骤130的第一图像特征中每一个像素点对应的图像特征，将尺寸变换后与图像特征尺寸相同的第二深度图转换至同一预设坐标系下，可以表示为，，其中，为图像中每一个像素点的像素坐标，为离散深度的编号，将每一个像素位置的图像特征按照该像素在每一个预设深度下的置信度进行投影，即可获取目标图像对应的视锥特征，具体可以用如下公式表示：（公式二）其中，为图像中每一个像素点的像素坐标，为离散深度的编号，通过可以获取该像素在第个编号下深度的置信度，为像素位置的图像特征，为步骤150中获取的第二深度图，为图像的视锥特征，其矩阵为，是将每一个像素位置的图像特征按照该像素在每一个预设深度下的置信度进行投影的结果，其中，表示第一图像特征的高度，表示第一图像特征的宽度，为预先设定的离散深度值的数量，表示图像特征的维度。
56.步骤430，将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征。
57.在一个可选的例子中，将步骤410中获取的3d空间坐标和步骤420中获取的视锥特征通过标定的外部参数转换至第一预设空间坐标系即车体坐标系，获取车体坐标
系下鸟瞰空间中的鸟瞰图像特征，其中，表示鸟瞰空间下长度方向的网格个数，表示鸟瞰空间下宽度方向的网格个数，表示图像特征的维度。
58.步骤170，根据鸟瞰图像特征获取图像鸟瞰分割置信度。
59.具体的，将鸟瞰图像特征输入至预构建的网络，获取带有置信度的语义分割结果，即为图像鸟瞰分割置信度。
60.在一个可选的例子中，例如可以将步骤430中获取的鸟瞰图像特征输入至预构建的网络，获取鸟瞰图像特征的图像鸟瞰分割置信度，其中，表示鸟瞰空间下长度方向的网格个数，表示鸟瞰空间下宽度方向的网格个数，为待检测物体的类别数，多出的一个通道为背景类，背景类用来表示不需要检测的物体或环境背景，矩阵中的每一个元素即代表该位置的物体属于某一类别的置信度。
61.步骤180，将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征。
62.具体的，在获取到图像的鸟瞰分割置信度之后，为了更全面的获取待检测目标的信息，可以将鸟瞰点云特征进行融合获取融合后的特征。
63.在一个可选的例子中，例如可以将步骤120中获取的鸟瞰点云特征和图像的鸟瞰分割置信度进行融合，可以看出和都为步骤120中划分为均匀网格的鸟瞰空间下的矩阵，因此可以进行叠加处理，获取融合特征，其中，表示鸟瞰空间下长度方向的网格个数，表示鸟瞰空间下宽度方向的网格个数，为待检测物体的类别数，为特征的维度，多出的一个通道为背景类，这样可以把非检测目标的物体放入背景类中。
64.步骤190，根据融合特征获取待检测目标的目标信息。
65.具体的，将步骤180中获取的融合特征输入到预构建的点云检测网络中，根据图像与点云的融合特征，获取待检测目标的目标信息，其中，目标信息可以包括但不限于：目标的中心点坐标、长宽高、朝向角以及目标的分类信息。
66.在点云检测网络的训练过程中，损失函数可以为输出的目标信息与目标信息真值之间的差异。目标信息真值可以通过标注的3d框直接获取，通过神经网络的梯度反传来更新整个网络的学习参数，以此来优化损失函数使其不断变小最终使整个网络达到收敛状态。
67.通过该方式，首先利用点云将图像的深度信息补全，并将图像特征转换至鸟瞰空间并提取鸟瞰空间下的语义信息即鸟瞰分割置信度，然后将鸟瞰分割置信度与点云的鸟瞰点云特征融合，这种融合方式能够充分利用图像传感器和激光雷达传感器各自的优点，并且很大程度上减少图像和点云的信息损失，从而提高3d目标的检测准确率。
68.可选的，根据激光雷达点云和目标图像，获取第一深度图，包括：将激光雷达点云和目标图像输入预构建的点云补全网络，获取第一深度图。
69.具体的，首先将激光雷达点云投影在对应的目标图像上，以获取目标图像激光雷达点云对应像素的深度值，但是因为激光雷达点云较为稀疏，因此只有一部分像素能够通过点云确定真实的深度值，因此点云补全网络可以利用目标图像本身结构化的信息，根据部分像素真实的深度值，将图像中其他像素的深度值进行补全，以获取目标图像中全面的深度信息，并且输出带有稠密深度信息的第一深度图。
70.在点云补全网络的训练过程中，损失函数可以为点云补全网络的输出与图像的深度真值之间的差异，图像深度真值则可通过激光雷达点云投影到图像获得，但是由于单帧激光雷达较为稀疏，需要通过多帧叠加来获得稠密的深度真值，具体方法为：对于静态物体可利用动态载波相位差分技术（real time kinematic，rtk）的定位信息将前后多帧雷达点云经过坐标转换后进行叠加，而对于动态物体可利用标注的三维信息将同一物体的点云进行叠加。
71.通过该方式，点云补全网络能够通过较为稀疏的激光雷达点云对目标图像进行细粒度的深度值补全，获取带有稠密深度信息的第一深度图，充分利用了两种传感器采集信息的优点获取更为全面的信息。
72.可选的，将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图，包括：对第一深度图进行降采样处理，获取与第一图像特征尺寸相同的第二深度图。
73.具体的，可以采用降采样的方式进行处理，对第一深度图进行尺寸变换处理。
74.在一个可选的例子中，例如可以将第一深度图进行4倍降采样，即将第一深度图每一个的像素变为1个像素，这样处理比其他处理方式可以更加全面的保留第一深度图的结构信息，在后续的图像处理和融合中保留更多的目标信息，提高目标检测的准确率。
75.可选的，将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征，包括：将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，利用3d空间插值以及高度编码处理的方式提取出目标图像在第一预设空间坐标系下的鸟瞰空间中的图像特征，构成图像鸟瞰特征。
76.具体的，在一个可选的例子中，在将3d空间坐标和视锥特征分别转换到车体坐标系下后，可以利用3d空间插值以及高度编码处理的方式，提取出车体坐标系下的鸟瞰空间中划分的网格的每一个网格中心点的图像特征，构成鸟瞰图像特征，其中，表示鸟瞰空间下长度方向的网格个数，表示鸟瞰空间下宽度方向的网格个数，表示图像特征的维度。需要说明的是，网格中心点是一种可选的提取特征的位置，在实际操作中，可以提取网格中任意位置的图像特征，具体根据实际情况而定即可。
77.通过该方式，3d空间插值以及高度编码处理的方式可以很好的保留目标图像的图像特征，从而目标图像在鸟瞰空间中的鸟瞰图像特征信息更加全面。
78.可选的，根据鸟瞰图像特征获取图像鸟瞰分割置信度，包括：将鸟瞰图像特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
79.具体的，可以将鸟瞰特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
80.在一个可选的例子中，例如可以将步骤430中获取的图像鸟瞰特征输入到鸟瞰分割网络中得到带有置信度的鸟瞰语义分割结果其中，表示鸟瞰空间下长度方向的网格个数，表示鸟瞰空间下宽度方向的网格个数，为待检测物体的类别数，多出的一个通道为背景类，背景类用来表示不需要检测的物体或环境背景，矩阵中的每一个元素即代表该位置的物体属于某一类别的置信度。
81.在鸟瞰分割网络的训练过程中，可以将鸟瞰分割网络的输出与鸟瞰分割真值之间的差异作为损失函数，鸟瞰分割真值可通过将标注的三维框真值直接进行鸟瞰投影得到。训练时通过神经网络的梯度反传来更新整个网络的学习参数，以此来优化损失函数使其不断变小最终使整个网络达到收敛状态。
82.通过该方式，鸟瞰分割网络可以根据鸟瞰图像特征输出鸟瞰图像特征的语义分割结果，进而得到鸟瞰分割置信度。
83.为了使本发明的方法说明更加的清楚明确，本发明还提供一种目标检测的方法流程框图，如图5所示，将原始激光雷达点云（图中未示出）通过标定与同步的外部参数转换至车体坐标系，获取激光雷达点云，因为激光雷达点云较为稀疏，所以转换至车体坐标系下的激光雷达点云为稀疏激光雷达点云，将稀疏激光雷达点云经过点云编码器进行特征提取，获取鸟瞰点云特征；获取目标图像，将目标经过图像编码器进行特征提取，获取图像特征，将激光雷达点云和目标图像输入点云补全网络，获取带有置信度的稠密深度图，然后将稠密深度图进行降采样处理，获取与图像特征尺寸相同的深度图，进而将该深度图与图像特征进行融合，经过3d空间坐标变换处理，获取目标图像的视锥特征，将视锥特征经过3d空间插值与高度编码处理，获取鸟瞰图像特征，将鸟瞰图像特征输入鸟瞰分割网络，获取图像鸟瞰分割置信度，将图像鸟瞰分割置信度与鸟瞰点云特征相融合，获取融合后的特征并输入点云检测网络，最终获取待检测目标的目标信息。
84.以上，为本技术所提供的目标检测的方法实施例，下文中则介绍说明本技术所提供的目标检测的其他实施例，具体参见如下。
85.图6为本发明实施例提供的一种目标检测的装置，该装置包括：获取模块601，用于获取待检测目标的激光雷达点云和目标图像，其中，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；特征提取模块602，用于在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征；对目标图像进行特征提取，获取第一图像特征；处理模块603，还用于根据激光雷达点云和目标图像，获取第一深度图，其中，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度；尺寸变换模块604，用于将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图；处理模块603，还用于根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获
取在第一预设空间坐标系下的鸟瞰图像特征；根据鸟瞰图像特征获取图像鸟瞰分割置信度；融合模块605，用于将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征；处理模块603，还用于根据融合特征获取待检测目标的目标信息。
86.可选的，该装置还包括：处理模块603，还用于将第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格，使用点云编码器对网格中每一个网格的激光雷达点云进行特征提取，获取鸟瞰点云特征。
87.可选的，该装置还包括：处理模块603，还用于将激光雷达点云和第一图像输入预构建的点云补全网络，获取第一深度图。
88.可选的，该装置还包括：尺寸变换模块604，具体用于对第一深度图进行降采样处理，获取与图像特征尺寸相同的第二深度图。
89.可选的，该装置还包括：处理模块603，还用于根据第二深度图中每一个像素点的像素坐标和每一个离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系的3d空间坐标；根据目标图像中的每一个像素点对应的图像特征，以及图像特征在每一个离散深度下的置信度，确定与目标图像对应的视锥特征；将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征。
90.可选的，该装置还包括：特征提取模块602，还用于将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，利用3d空间插值以及高度编码处理的方式提取出目标图像在第一预设空间坐标系下的鸟瞰空间中的图像特征，构成图像鸟瞰特征。
91.可选的，该装置还包括：处理模块603，还用于将鸟瞰图像特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
92.本发明实施例提供的目标检测的装置中各部件所执行的功能均已在上述任一方法实施例中做了详细的描述，因此这里不再赘述。
93.本发明实施例提供的一种目标检测的装置，获取待检测目标的激光雷达点云和目标图像，其中，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征；对目标图像进行特征提取，获取第一图像特征；根据激光雷达点云和目标图像，获取第一深度图，其中，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度；将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图；
根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征；根据鸟瞰图像特征获取图像鸟瞰分割置信度；将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征；根据融合特征获取待检测目标的目标信息。
94.通过该方式，首先利用点云将图像的深度信息补全，并将图像特征转换至鸟瞰空间并提取鸟瞰空间下的语义信息即鸟瞰分割置信度，然后将鸟瞰分割置信度与点云的鸟瞰点云特征融合，这种融合方式能够充分利用图像传感器和激光雷达传感器各自的优点，并且很大程度上减少图像和点云的信息损失，从而提高3d目标的检测准确率。
95.如图7所示，本技术实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信。
96.存储器113，用于存放计算机程序；在本技术一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的目标检测的方法，包括：获取待检测目标的激光雷达点云和目标图像，其中，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征；对目标图像进行特征提取，获取第一图像特征；根据激光雷达点云和目标图像，获取第一深度图，其中，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度；将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图；根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征；根据鸟瞰图像特征获取图像鸟瞰分割置信度；将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征；根据融合特征获取待检测目标的目标信息。
97.可选的，在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征，包括：将第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格，使用点云编码器对网格中每一个网格的激光雷达点云进行特征提取，获取鸟瞰点云特征。
98.可选的，根据激光雷达点云和目标图像，获取第一深度图，包括：将激光雷达点云和目标图像输入预构建的点云补全网络，获取第一深度图。
99.可选的，将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图，包括：对第一深度图进行降采样处理，获取与第一图像特征尺寸相同的第二深度图。
100.可选的，根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征，具体包括：根据第二深度图中每一个像素点的像素坐标和每一个离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系的3d空间坐标；根据目标图像中的每一个像素点对应的第一图像特征，以及第二深度图中每一个离散深度对应的置信度，确定与目标图像对应的视锥特征；将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征。
101.可选的，将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征，包括：将3d空间坐标和视锥特征分别转换到第一预设空间坐标系下，利用3d空间插值以及高度编码处理的方式提取出目标图像在第一预设空间坐标系下的鸟瞰空间中的图像特征，构成图像鸟瞰特征。
102.可选的，根据鸟瞰图像特征获取图像鸟瞰分割置信度，包括：将鸟瞰图像特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
103.本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述任意一个方法实施例提供的目标检测的方法的步骤。
104.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
105.以上仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。