障碍物检测方法、系统、设备及存储介质与流程

本技术涉及图像识别，尤其涉及一种障碍物检测方法、系统、设备及存储介质。

背景技术：

1、环境感知是自动驾驶系统的基础与核心，而通用障碍物检测的有效检测又关乎到自动驾驶系统的安全性，通用障碍物可以包括行人、车辆、栏杆指示牌等。

2、目前基于视觉的障碍物检测通常是基于目标检测及图像语义分割算法实现的，其中，目标检测算法中需要识别的目标是人为设定限制的，仅识别需要检测的物体，图像语义分割算法是根据图像内容对指定目标进行像素标记，指定目标也是人为设定限制的，仅标注需要检测的物体。因此，目标检测及图像语义分割算法只能够给出特定标签类别的障碍物信息，无法检测标签类别外的障碍物，通用性较低。

技术实现思路

1、有鉴于此，本技术提供一种障碍物检测方法、系统、设备及存储介质，旨在提升障碍物检测方法的通用性，解决现有障碍物检测方法无法检测标签类别外的障碍物，通用性较低的技术问题。

2、本技术提供一种障碍物检测方法、系统、设备及存存储介质，所述障碍物检测方法包括以下步骤：

3、提取目标图像的深层特征图；

4、对所述深层特征图进行多任务学习，得到所述目标图像的深度图和语义分割图；

5、基于所述深度图和所述语义分割图进行障碍物检测，确定所述目标图像中的障碍物。

6、在本技术的一种可能的实施方式中，所述对所述深层特征图进行多任务学习，得到所述目标图像的深度图和语义分割图的步骤，包括：

7、将所述深层特征图作为多任务学习网络的第一层网络的输入，利用所述深层特征图分别进行深度任务的学习和语义分割任务的学习，生成深度特征图和语义分割特征图；

8、将所述深度特征图和所述语义分割特征图作为所述多任务学习网络的下一层网络的输入，对所述深度特征图和所述语义分割特征图进行特征融合，得到第一融合特征图和第二融合特征图；

9、利用所述第一融合特征图进行深度任务的学习，重新生成深度特征图；

10、利用所述第二融合特征图进行语义分割任务的学习，重新生成语义分割特征图；

11、返回执行步骤：将所述深度特征图和所述语义分割特征图作为所述多任务学习网络的下一层网络的输入，对所述深度特征图和所述语义分割特征图进行特征融合，得到第一融合特征图和第二融合特征图，直至得到所述多任务学习网络的最后一层网络输出的深度图和语义分割图。

12、在本技术的一种可能的实施方式中，所述对所述深度特征图和所述语义分割特征图进行特征融合，得到第一融合特征图和第二融合特征图的步骤，包括：

13、基于自注意力机制，对所述深度特征图和所述语义分割特征图进行类间特征加强，得到第一类间特征图和第二类间特征图，对所述深度特征图和所述语义分割特征图分别进行类内特征加强，得到第一类内特征图和第二类内特征图；

14、将所述第一类间特征图和所述第一类内特征图基于通道维度进行拼接，对拼接得到的特征图进行卷积处理，得到第一融合特征图；

15、将所述第二类间特征图和所述第二类内特征图基于通道维度进行拼接，对拼接得到的特征图进行卷积处理，得到第二融合特征图。

16、在本技术的一种可能的实施方式中，在所述多任务学习网络的最后一层网络中，所述利用所述第一融合特征图进行深度任务的学习，重新生成深度特征图的步骤之后，还包括：

17、对所述深度特征图进行卷积处理，得到单通道的深度特征图；

18、对所述单通道的深度特征图进行映射处理，得到每一深度点的映射值；

19、基于所述每一深度点的映射值和预设的最大距离，计算得到所述每一深5度点的深度值，并对所述单通道的深度特征图进行更新，得到深度图。

20、在本技术的一种可能的实施方式中，在所述多任务学习网络的最后一层网络中，利用所述第二融合特征图进行语义分割任务的学习，重新生成语义分割特征图的步骤之后，还包括：基于所述语义分割特征图，通过argmax函数生成语义分割图。

21、在本技术的一种可能的实施方式中，所述语义分割图中的类别标签包括天空、地面和背景，所述基于所述深度图和所述语义分割图进行障碍物检测，确定所述目标图像中的障碍物的步骤，包括：5根据所述语义分割图，过滤去除所述深度图中归属于天空、地面和背景的深度点；

22、将所述深度图中剩余的深度点投影到空间，生成3d障碍物。

23、本技术还提供一种障碍物检测系统，所述系统包括：0特征提取模块，用于提取目标图像的深层特征图；

24、多任务学习模块，用于对所述深层特征图进行多任务学习，得到所述目标图像的深度图和语义分割图；

25、障碍物目标识别模块，用于基于所述深度图和所述语义分割图进行障碍物检测，确定所述目标图像中的障碍物。

26、

27、在本技术的一种可能的实施方式中，所述多任务学习模块包括多任务学习网络，所述多任务学习网络包括第一层网络、多个中间层网络和最后一层网络，其中，所述第一层网络包括深度解码器和分割解码器，所述第一层网

28、络中的深度解码器利用所述深层特征图进行深度任务的学习，生成深度特征0图，所述第一层网络中分割解码器利用所述深层特征图进行语义分割任务的学习，生成语义分割特征图；所述中间层网络和所述最后一层网络均包括特征融合单元、深度解码器和分割解码器，所述中间层网络和所述最后一层网络的特征融合单元对所述深度特征图和所述语义分割特征图进行特征融合，得到第一融合特征图和第二融合特征图，所述中间层网络和所述最后一层网络的的深度解码器利用所述第一融合特征图进行深度任务的学习，重新生成深度特征图，所述中间层网络和所述最后一层网络的的分割解码器利用所述第二融合特征图进行语义分割任务的学习，重新生成语义分割特征图，将所述最后一层网络的深度解码器生成的深度特征图作为深度图，将所述最后一层网络的分割解码器生成的语义分割特征图作为语义分割图；

29、和/或者所述特征融合单元用于具体实现：基于自注意力机制，对所述深度特征图和所述语义分割特征图进行类间特征加强，得到第一类间特征图和第二类间特征图，对所述深度特征图和所述语义分割特征图分别进行类内特征加强，得到第一类内特征图和第二类内特征图；将所述第一类间特征图和所述第一类内特征图基于通道维度进行拼接，对拼接得到的特征图进行卷积处理，得到第一融合特征图；将所述第二类间特征图和所述第二类内特征图基于通道维度进行拼接，对拼接得到的特征图进行卷积处理，得到第二融合特征图；

30、和/或者所述最后一层网络还包括深度输出单元，所述深度输出单元用于具体实现：对所述深度特征图进行卷积处理，得到单通道的深度特征图；对所述单通道的深度特征图进行映射处理，得到每一深度点的映射值；基于所述每一深度点的映射值和预设的最大距离，计算得到所述每一深度点的深度值，并对所述单通道的深度特征图进行更新，得到深度图；

31、和/或者所述最后一层网络还包括语义分割输出单元，所述语义分割输出单元用于具体实现：基于所述语义分割特征图，通过argmax函数生成语义分割图；

32、和/或者所述语义分割图中的类别标签包括天空、地面和背景，所述障碍物目标识别模块包括：过滤单元，用于根据所述语义分割图，过滤去除所述深度图中归属于天空、地面和背景的深度点；投影单元，用于将所述深度图中剩余的深度点投影到空间，生成3d障碍物；

33、和/或者，所述语义分割图中的类别标签还包括行人、非机动车和机动车。

34、可选地，所述深度解码器和所述分割解码器的结构均为卷积块与双线性差值交叉设置。

35、本技术还提供一种障碍物检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的障碍物检测程序，所述障碍物检测程序配置为实现如上所述的障碍物检测方法的步骤。

36、本技术还提供一种存储介质，所述存储介质上存储有障碍物检测程序，所述障碍物检测程序被处理器执行时实现如上所述的障碍物检测方法的步骤。

37、本技术提供一种障碍物检测方法、系统、设备及存储介质，与现有技术中，基于目标检测及图像语义分割算法的障碍物检测方法无法检测标签类别外的障碍物，通用性较低相比，在本技术中，提取目标图像的深层特征图；对所述深层特征图进行多任务学习，得到所述目标图像的深度图和语义分割图；基于所述深度图和所述语义分割图进行障碍物检测，确定所述目标图像中的障碍物。在本技术中，深度图表征了目标图像中所有物体的深度，将深度图和语义分割图结合，在给出目标图像中每个像素类别的同时可以构建目标图像中所有物体的3d形状，进而识别检测得到目标图像中所有的障碍物，不存在无法识别检测的障碍物，提升了障碍物检测方法的通用性。