检测框确定方法、装置、电子设备和存储介质与流程

本公开涉及图像处理，尤其涉及一种检测框确定方法、装置、电子设备和存储介质。

背景技术：

1、三维目标检测的检测精度较高，在自动驾驶等多个领域被广泛应用。其中，基于单目相机的3d检测技术由于成本较低和便于推广使用，在自动驾驶领域中得到应用。

2、相关技术中，基于单目相机的3d检测中，需要基于单个相机的图像结合相机的标定，预测得到行人、机动车、非机动车等目标的三维检测框。其中，由于3d检测任务的高复杂性，在单目相机3d检测算法中需要运用神经网络，并依赖神经网络强大的特征提取能力，提升单目3d检测的精度。同时，神经网络的预测精度与模型的大小息息相关，并且当模型更大时的网络准确度会更高。基于此，大多数基于神经网络的单目相机3d检测方法会将神经网络设计的十分复杂，以追求更高的精度。但是，复杂度高的神经网络存在太多人为控制的因素，无法实现端到端的训练并推广使用，且复杂的神经网络需要消耗更大的内存和带宽，对硬件要求较高。

技术实现思路

1、本公开提供一种检测框确定方法、装置、电子设备和存储介质，以至少解决相关技术中神经网络复杂度高，无法实现端到端的训练与推广，内存和带宽消耗较大的问题。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供一种检测框确定方法，包括：

3、采用全卷积神经网络中的轻量化神经网络shuffnet对输入图像进行特征提取，获取所述输入图像对应的特征集合；

4、采用所述全卷积神经网络中的特征金字塔对所述特征集合进行多尺寸特征提取，得到至少一个特征子集；

5、采用所述全卷积神经网络中的共享检测头对所述至少一个特征子集中任一特征子集进行特征检测，输出所述输入图像对应的3d目标检测框集合。

6、可选的，在所述输出所述输入图像对应的3d目标检测框集合之前，还包括：

7、获取所述输入图像对应的初始3d目标检测框集合；

8、获取所述初始3d目标检测框集合中任一初始3d目标检测框与中心位置的距离信息，其中，所述中心位置为所述输入图像的中心位置；

9、获取所述任一初始3d目标检测框对应的类别信息；

10、根据所述距离信息和所述类别信息，确定所述任一初始3d目标检测框对应的分数；

11、在所述分数大于分数阈值的情况下，将所述任一初始3d目标检测框添加至3d目标检测框集合。

12、可选的，所述输出所述输入图像对应的3d目标检测框集合，包括：

13、根据所述输入图像对应的3d目标检测框集合中至少一个3d目标检测框的分数，输出所述3d目标检测框集合。

14、可选的，所述采用所述全卷积神经网络中的特征金字塔模型对所述特征集合进行多尺寸特征提取，得到至少一个特征子集，包括：

15、获取所述全卷积神经网络中的特征金字塔模型对应的至少一个检测层，其中，不同的检测层用于预测不同尺寸的目标；

16、按照所述至少一个检测层对应的检测顺序，对所述特征集合进行多尺寸特征提取，得到至少一个特征子集。

17、可选的，所述全卷积神经网络为浮点网络模型，所述方法还包括：

18、对所述浮点网络模型进行网络参数微调，得到微调后的浮点网络模型；

19、和/或

20、将所述浮点网络模型中的浮点算子转化为量化算子，得到量化网络模型。

21、可选的，所述共享检测头包括至少一个共享卷积层和至少一个子检测头，其中，不同的子检测头用于回归不同尺寸的目标。

22、可选的，所述方法还包括：

23、获取所述全卷积神经网络中包括的至少一个算子；

24、获取当前硬件平台对应的性能参数；

25、在所述至少一个算子中任一算子对应的算子执行要求和所述性能参数不匹配的情况下，接收针对所述任一算子的更改指令；

26、响应于所述更改指令，对所述任一算子进行更改，以使更改后的任一算子对应的算子执行要求和所述性能参数匹配。

27、根据本公开实施例的第二方面，提供一种检测框确定装置，包括：

28、第一特征提取模块，用于采用全卷积神经网络中的轻量化神经网络shuffnet对输入图像进行特征提取，获取所述输入图像对应的特征集合；

29、第二特征提取模块，用于采用所述全卷积神经网络中的特征金字塔对所述特征集合进行多尺寸特征提取，得到至少一个特征子集；

30、输出模块，用于采用所述全卷积神经网络中的共享检测头对所述至少一个特征子集中任一特征子集进行特征检测，输出所述输入图像对应的3d目标检测框集合。

31、根据本公开实施例的第三方面，提供一种电子设备，包括：

32、处理器；

33、用于存储所述处理器可执行指令的存储器；

34、其中，所述处理器被配置为执行所述指令，以实现前述一方面中任一项所述的检测框确定方法。

35、根据本申请的第四方面，提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述一方面中任一项所述的检测框确定方法。

36、根据本申请的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述一方面中任一项所述的方法。

37、本公开的实施例提供的技术方案至少带来以下有益效果：

38、在一些或者相关实施例中，通过采用全卷积神经网络中的轻量化神经网络shuffnet对输入图像进行特征提取，获取输入图像对应的特征集合；采用全卷积神经网络中的特征金字塔对特征集合进行多尺寸特征提取，得到至少一个特征子集；采用全卷积神经网络中的共享检测头对至少一个特征子集中任一特征子集进行特征检测，输出输入图像对应的3d目标检测框集合。因此，本申请中的全卷积神经网络采用轻量化神经网络shuffnet，从而降低了网络复杂度，缓解了内存和带宽的压力，降低了对部署硬件的要求，适用范围广。同时，本申请中采用端到端的检测框确定方法，从而可以实现端到端的训练，并将全卷积神经网络进行推广使用。

39、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种检测框确定方法，包括：

2.根据权利要求1所述的方法，其中，在所述输出所述输入图像对应的3d目标检测框集合之前，还包括：

3.根据权利要求2所述的方法，其中，所述输出所述输入图像对应的3d目标检测框集合，包括：

4.根据权利要求1所述的方法，其中，所述采用所述全卷积神经网络中的特征金字塔模型对所述特征集合进行多尺寸特征提取，得到至少一个特征子集，包括：

5.根据权利要求1所述的方法，其中，所述方法还包括：

6.根据权利要求1所述的方法，其中，所述共享检测头包括至少一个共享卷积层和至少一个子检测头，其中，不同的子检测头用于回归不同尺寸的目标。

7.根据权利要求1所述的方法，其中，所述方法还包括：

8.一种检测框确定装置，包括：

9.一种电子设备，其特征在于，包括：

10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的检测框确定方法。

技术总结
本公开涉及图像处理技术领域，尤其涉及一种检测框确定方法、装置、电子设备和存储介质。其中，该检测框确定方法，包括：采用全卷积神经网络中的轻量化神经网络shuffnet对输入图像进行特征提取，获取输入图像对应的特征集合；采用全卷积神经网络中的特征金字塔对特征集合进行多尺寸特征提取，得到至少一个特征子集；采用全卷积神经网络中的共享检测头对至少一个特征子集中任一特征子集进行特征检测，输出输入图像对应的3D目标检测框集合。采用本公开降低网络复杂度，缓解内存和带宽的压力，降低对部署硬件的要求，适用范围广。

技术研发人员：刘建伟
受保护的技术使用者：爱芯元智半导体（上海）有限公司
技术研发日：
技术公布日：2024/1/12