目标检测方法、装置、计算机设备和存储介质与流程

本申请涉及视觉感知，特别是涉及一种目标检测方法、装置、计算机设备和存储介质。

背景技术：

1、车辆自动驾驶需识别车辆周围环境，以避免自动驾驶中的车辆与周围物体发生碰撞，产生危险。

2、目前，识别车辆周围环境常采用二维目标检测方法，但仅能获取周围环境的二维特征，无法准确获得周围环境的三维场景，因此，存在目标检测准确性较低的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高目标检测准确性的目标检测方法、装置、计算机设备和存储介质。

2、第一方面，本申请提供了一种目标检测方法。所述方法包括：

3、获取目标区域的二维图像以及三维信息，将所述二维图像输入训练后的特征提取模型中，输出特征提取后的图像；

4、对所述特征提取后的图像进行切片处理，得到切片特征图；

5、基于训练后的三维特征提取模型，对所述切片特征图和所述三维信息进行处理，得到查询矩阵、键向量矩阵和值向量矩阵；

6、利用所述查询矩阵、所述键向量矩阵和所述值向量矩阵，获取所述目标区域的三维特征信息；

7、根据所述特征提取后的图像、所述三维特征信息和训练后的三维目标检测模型，获取所述目标区域的三维检测结果。

8、在其中一个实施例中，所述三维信息包括所述目标区域中的目标对象的三维尺寸信息以及所述目标对象的朝向信息，其中，所述朝向信息指的是所述目标对象的运行方向与设定三维坐标系中设定轴的夹角。

9、在其中一个实施例中，所述特征提取模型的训练过程，包括：

10、获取样本二维图像，对所述样本二维图像上的样本目标进行标注；

11、利用第一预设损失函数、标注结果和所述样本二维图像对初始特征提取模型进行训练，得到训练后的特征提取模型，所述第一预设损失函数包括第一分类损失函数、第一边界框回归损失函数或者第一置信度损失函数中的至少一种。

12、在其中一个实施例中，所述利用第一预设损失函数、标注结果和所述样本二维图像对初始特征提取模型进行训练，包括：

13、在标注结果为所述样本目标存在遮挡或者超过图像边界的情况下，对所述样本目标和相应标注结果进行清洗，得到清洗后的标注结果；

14、利用第一预设损失函数、所述清洗后的标注结果和所述样本二维图像对初始特征提取模型进行训练。

15、在其中一个实施例中，所述获取目标区域的二维图像，包括：

16、获取目标区域的初始二维图像，对所述初始二维图像进行图像增强处理，得到二维图像，所述图像增强处理包括图像平移、图像旋转、图像亮度变换或者图像混合变换中的至少一种处理方式。

17、在其中一个实施例中，所述利用所述查询矩阵、所述键向量矩阵和所述值向量矩阵，获取所述目标区域的三维特征信息，包括：

18、将所述查询矩阵和所述键向量矩阵相乘，得到的乘积结果除以所述键向量矩阵的向量维度，得到第一结果；

19、对所述第一结果进行分类函数运算，得到第二结果，将所述第二结果乘以所述值向量矩阵，得到所述目标区域的三维特征信息。

20、第二方面，本申请还提供了一种目标检测装置。所述装置包括：

21、特征提取模块，用于获取目标区域的二维图像以及三维信息，将所述二维图像输入训练后的特征提取模型中，输出特征提取后的图像；

22、切片处理模块，用于对所述特征提取后的图像进行切片处理，得到切片特征图；

23、矩阵获取模块，用于基于训练后的三维特征提取模型，对所述切片特征图和所述三维信息进行处理，得到查询矩阵、键向量矩阵和值向量矩阵；

24、特征信息获取模块，用于利用所述查询矩阵、所述键向量矩阵和所述值向量矩阵，获取所述目标区域的三维特征信息；

25、目标检测模块，用于根据所述特征提取后的图像、所述三维特征信息和训练后的三维目标检测模型，获取所述目标区域的三维检测结果。

26、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的步骤。

27、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。

28、第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。

29、上述目标检测方法、装置、计算机设备和存储介质，通过获取目标区域的二维图像以及三维信息，将二维图像输入训练后的特征提取模型中，输出特征提取后的图像，对特征提取后的图像进行切片处理，得到切片特征图，基于训练后的三维特征提取模型，对切片特征图和三维信息进行处理，得到查询矩阵、键向量矩阵和值向量矩阵，利用查询矩阵、键向量矩阵和值向量矩阵，获取目标区域的三维特征信息，根据特征提取后的图像、三维特征信息和训练后的三维目标检测模型，获取目标区域的三维检测结果。相比于传统技术中目标检测存在无法准确获得目标区域的三维场景的问题而言，本申请通过获取目标区域的二维图像和三维信息，依次经过训练后的特征提取模型、训练后的三维特征提取模型和训练后的三维目标检测模型，最终获得目标区域的三维检测结果，能够保证获取到的三维检测结果的准确性。

技术特征：

1.一种目标检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述三维信息包括所述目标区域中的目标对象的三维尺寸信息以及所述目标对象的朝向信息，其中，所述朝向信息指的是所述目标对象的运行方向与设定三维坐标系中设定轴的夹角。

3.根据权利要求1所述的方法，其特征在于，所述特征提取模型的训练过程，包括：

4.根据权利要求3所述的方法，其特征在于，所述利用第一预设损失函数、标注结果和所述样本二维图像对初始特征提取模型进行训练，包括：

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述获取目标区域的二维图像，包括：

6.根据权利要求1至4任意一项所述的方法，其特征在于，所述利用所述查询矩阵、所述键向量矩阵和所述值向量矩阵，获取所述目标区域的三维特征信息，包括：

7.一种目标检测装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种目标检测方法、装置、计算机设备和存储介质。所述方法包括：获取目标区域的二维图像以及三维信息，将所述二维图像输入训练后的特征提取模型中，输出特征提取后的图像；对所述特征提取后的图像进行切片处理，得到切片特征图；基于训练后的三维特征提取模型，对所述切片特征图和所述三维信息进行处理，得到查询矩阵、键向量矩阵和值向量矩阵；利用所述查询矩阵、所述键向量矩阵和所述值向量矩阵，获取所述目标区域的三维特征信息；根据所述特征提取后的图像、所述三维特征信息和训练后的三维目标检测模型，获取所述目标区域的三维检测结果。采用本方法能够提高目标检测准确性。

技术研发人员：石俊杰,师帅,叶楠,薛剑鸣
受保护的技术使用者：一汽解放汽车有限公司
技术研发日：
技术公布日：2024/1/15