目标检测方法、装置、设备及存储介质与流程

本技术涉及智能驾驶，尤其涉及一种目标检测方法、装置、设备及存储介质。

背景技术：

1、前视目标检测及速度估计是辅助驾驶的基础功能，目前，纯视觉的前视3d目标检测及速度估计方法主要是基于双阶段模型的图像检测方案。

2、在基于双阶段模型的图像检测方案中，由2d特征到bev(鸟瞰视角)特征的转换耗时过大，且深度分布估计不合理，导致整体的3d目标检测流程效率低下，综上，现有的目标检测技术方案存在检测效率低下的技术问题。

技术实现思路

1、本技术的主要目的在于提供一种目标检测方法、装置、设备及存储介质，旨在解决相关技术中，使用双阶段模型的图像检测方案中的处理耗时过大，导致检测效率低下的技术问题。

2、为实现上述目的，本技术实施例提供了一种目标检测方法，所述方法包括：

3、在接收到摄像头拍摄的多帧拍摄图像后，对各个所述拍摄图像进行处理，得到多个第一处理图像，其中，所述第一处理图像为对所述拍摄图像的近景bev特征图和远景bev特征图进行融合后得到的图像；

4、将多个所述第一处理图像进行特征融合，得到第一融合图像；

5、对所述第一融合图像进行特征提取处理，确定所述拍摄图像中各个特征点在bev坐标系下的位置。

6、在本技术的一种可能的实施方式中，所述对各个所述拍摄图像进行处理，得到多个第一处理图像的步骤，包括：

7、将每一所述拍摄图像拆分为近处检测图像和远处检测图像；

8、对所述近处检测图像和所述远处检测图像进行特征提取，得到近景bev特征图和远景bev特征图；

9、针对每一所述拍摄图像，对所述近景bev特征图和所述远景bev特征图进行特征融合，得到多个第一处理图像。

10、在本技术的一种可能的实施方式中，所述针对每一所述拍摄图像，对所述近景bev特征图和所述远景bev特征图进行特征融合，得到多个第一处理图像的步骤，包括：

11、针对每一所述拍摄图像，对所述近景bev特征图和所述远景bev特征图进行拼接，得到多个第一特征图像；

12、对多个所述第一特征图像进行卷积操作，得到多个第一处理图像。

13、在本技术的一种可能的实施方式中，所述对所述近处检测图像和所述远处检测图像进行特征提取，得到近景bev特征图和远景bev特征图的步骤，包括：

14、获取所述近处检测图像和所述远处检测图像中各个特征点的图像特征矩阵、深度估计矩阵以及前景分割矩阵；

15、将所述深度估计矩阵与所述前景分割矩阵相乘，得到第一矩阵乘积；

16、将所述图像特征矩阵与所述第一矩阵乘积相乘，得到体素特征矩阵；

17、将大于预设置信度阈值的所述第一矩阵乘积对应的体素特征矩阵投影至bev坐标系，得到近景bev特征图和远景bev特征图。

18、在本技术的一种可能的实施方式中，所述将大于预设置信度阈值的所述第一矩阵乘积对应的体素特征矩阵投影至bev坐标系，得到近景bev特征图和远景bev特征图的步骤之前，包括：

19、根据所述体素特征矩阵的深度值以及前景掩膜，从多个所述体素特征矩阵中筛选出有效元素矩阵；

20、所述将大于预设置信度阈值的所述第一矩阵乘积对应的体素特征矩阵投影至bev坐标系，得到近景bev特征图和远景bev特征图的步骤，包括：

21、将大于预设置信度阈值的所述第一矩阵乘积对应的有效元素矩阵投影至bev坐标系，得到近景bev特征图和远景bev特征图。

22、在本技术的一种可能的实施方式中，所述获取所述近处检测图像和所述远处检测图像中各个特征点的图像特征矩阵、深度估计矩阵以及前景分割矩阵的步骤之前，包括：

23、将所述近处检测图像和所述远处检测图像中的点云投影到特征图坐标系下，得到各特征点对应的深度序列；

24、通过sigmoid算法对各深度序列进行计算，得到多个深度值，其中，各个所述深度序列均对应多个深度值；

25、对各个所述特征点对应的多个深度值进行特征转换，生成深度估计矩阵。

26、在本技术的一种可能的实施方式中，所述对所述第一融合图像进行特征提取处理，确定所述拍摄图像中各个特征点在bev坐标系下的位置的步骤，包括：

27、基于所述第一融合图像中各个特征点，将bev坐标系划分为多个深度段；

28、计算所述特征点与所述深度段匹配的第一概率；

29、基于所述第一概率，确定所述拍摄图像中各个特征点在bev坐标系下的位置。

30、本技术还提供一种目标检测装置，所述目标检测装置包括：

31、处理模块，用于在接收到摄像头拍摄的多帧拍摄图像后，对各个所述拍摄图像进行处理，得到多个第一处理图像，其中，所述第一处理图像为对所述拍摄图像的近景bev特征图和远景bev特征图进行融合后得到的图像；

32、特征融合模块，用于将多个所述第一处理图像进行特征融合，得到第一融合图像；

33、第一确定模块，用于对所述第一融合图像进行特征提取处理，确定所述拍摄图像中各个特征点在bev坐标系下的位置。

34、和/或者，所述目标检测装置还包括：拆分模块，用于将每一所述拍摄图像拆分为近处检测图像和远处检测图像；特征提取模块，用于对所述近处检测图像和所述远处检测图像进行特征提取，得到近景bev特征图和远景bev特征图；融合模块，用于针对每一所述拍摄图像，对所述近景bev特征图和所述远景bev特征图进行特征融合，得到多个第一处理图像；

35、和/或者，所述融合模块包括：拼接模块，用于针对每一所述拍摄图像，对所述近景bev特征图和所述远景bev特征图进行拼接，得到多个第一特征图像；卷积操作模块，用于对多个所述第一特征图像进行卷积操作，得到多个第一处理图像；

36、和/或者，所述特征提取模块包括：获取模块，用于获取所述近处检测图像和所述远处检测图像中各个特征点的图像特征矩阵、深度估计矩阵以及前景分割矩阵；第一计算模块，用于将所述深度估计矩阵与所述前景分割矩阵相乘，得到第一矩阵乘积；第二计算模块，用于将所述图像特征矩阵与所述第一矩阵乘积相乘，得到体素特征矩阵；第一投影模块，用于将大于预设置信度阈值的所述第一矩阵乘积对应的体素特征矩阵投影至bev坐标系，得到近景bev特征图和远景bev特征图；筛选模块，用于根据所述体素特征矩阵的深度值以及前景掩膜，从多个所述体素特征矩阵中筛选出有效元素矩阵；第二投影模块，用于将所述近处检测图像和所述远处检测图像中的点云投影到特征图坐标系下，得到各特征点对应的深度序列；第三计算模块，用于通过sigmoid算法对各深度序列进行计算，得到多个深度值，其中，各个所述深度序列均对应多个深度值；转换模块，用于对各个所述特征点对应的多个深度值进行特征转换，生成深度估计矩阵；

37、和/或者，所述目标检测装置还包括：划分模块，用于基于所述第一融合图像中各个特征点，将bev坐标系划分为多个深度段；第四计算模块，用于计算所述特征点与所述深度段匹配的第一概率；第二确定模块，用于基于所述第一概率，确定所述拍摄图像中各个特征点在bev坐标系下的位置。

38、本技术还提供一种目标检测设备，所述目标检测设备为实体节点设备，所述目标检测设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述目标检测方法的程序，所述目标检测方法的程序被处理器执行时可实现如上述所述目标检测方法的步骤。

39、为实现上述目的，还提供一种存储介质，所述存储介质上存储有目标检测程序，所述目标检测程序被处理器执行时实现上述任一所述的目标检测方法的步骤。

40、本技术提供了一种目标检测方法、装置、设备及存储介质，与相关技术中，使用双阶段模型的图像检测方案的处理耗时过大，导致检测效率低下相比，在本技术中，通过接收摄像头拍摄的多个拍摄图像，并提取拍摄图像中的近景bev特征图以及远景bev特征图，在检测目标之前即实现图像特征级别的融合，融合方法简单迅速，在得到第一处理图像之后，将多个第一融合图像进行特征融合，进而，对特征融合后得到的第一融合图像进行特征提取，即可得到拍摄图像中各个特征点的目标位置，在一个拍摄图像中，待检测的一个或多个特征点，可能包括了近处和远处的目标特征，所以，在单帧的图像特征融合阶段提取近景bev特征图和远景bev特征图进行融合，提高了目标检测的准确度，同时也减少了后续将图像映射至bev坐标系的网络计算量，也即，降低了2d特征到bev(鸟瞰视角)特征的转换耗时，精简了整体的处理步骤，进而，提升了目标检测效率。