基于红外特征挖掘及跨模态融合的深度补全方法

本发明涉及一种基于红外特征挖掘及跨模态融合的深度补全方法，属于深度补全。

背景技术：

1、在自动驾驶系统中，场景深度信息的获取至关重要，目前大多数系统利用激光雷达向场景中投射激光束，并收集回波以获得3d点云。然而，即使是高端激光雷达采集的3d点云依然高度稀疏，并且在反射、投射、超出工作距离范围的区域完全无法获取点云。因此，对稀疏3d点云在二维空间中投影得到的深度图进行补全是自动驾驶系统工作的重要一环。

2、鉴于稀疏点云缺失的场景信息过多，因此需要利用其他模态的信息以引导深度补全，目前常用的方法是可见光图像引导深度补全。然而，受限于成像原理，可见光相机无法很好兼顾高光与暗部场景信息。而红外相机通过捕捉物体发出的热辐射而非可见光进行成像，因此在夜间无隔离带会车，晨昏或日落逆光行驶，进出隧道等光照对比强烈的场景中能够更好地保留高光与暗部的结构信息。

3、此外，可见光相机成像质量受光照条件变化的影响较大。可见光图像的结构信息淹没在海量噪声中，这可能会使得可见光引导的深度补全效果受到相应的影响，不具备很好的鲁棒性。而红外相机的全天候性较好，在低照度下也能保证成像质量，提供充分的场景信息。

4、因此，需要一种基于红外特征挖掘及跨模态融合的深度补全方法以解决上述问题。

技术实现思路

1、发明目的：针对现有技术所存在的问题，本发明提供一种基于红外特征挖掘及跨模态融合的深度补全方法。

2、一种基于红外特征挖掘及跨模态融合的深度补全方法，包括以下步骤：

3、步骤一、利用红外相机采集红外图像，利用激光雷达采集稀疏深度图；

4、步骤二、构建深度补全网络，所述深度补全网络包括红外自适应边缘增强及特征提取模块、红外分支编码器、深度分支编码器、解码器和跨模态特征立体扩散模块，

5、所述红外自适应边缘增强及特征提取模块包括边缘增强模块和特征提取模块，所述边缘增强模块包括降噪模块、roberts算子和canny算子，所述降噪模块用于对所述红外图像中的噪声进行过滤，得到降噪红外图像，roberts算子和canny算子分别检测所述降噪红外图像的图像边缘，得到roberts图像边缘和canny图像边缘；

6、所述红外图像、roberts图像边缘和canny图像边缘连接后输入所述特征提取模块，得到边缘增强红外图像，所述特征提取模块由一个卷积层和四个残差块组成；

7、所述稀疏深度图输入所述深度分支编码器，得到深度图编码；

8、所述红外自适应边缘增强及特征提取模块用于对所述红外图像进行处理得到红外图像深层特征，所述红外图像深层特征输入所述红外分支编码器，得到红外图像编码；

9、所述深度图编码和红外图像编码连接后输入所述解码器，得到预补全深度图；

10、所述预补全深度图和红外图像深层特征共同组成立体卷积层输入所述跨模态特征立体扩散模块；

11、所述跨模态特征立体扩散模块用于对所述预补全的深度图和红外图像深层特征进行融合，得到稠密深度图；

12、步骤三、输出稠密深度图。

13、更进一步的，步骤二中所述降噪模块为高斯滤波器。

14、更进一步的，步骤二中所述边缘增强模块还包括sobel算子，sobel算子用于确定canny算子中的高低阈值。

15、更进一步的，sobel算子用于确定canny算子中的高低阈值包括以下步骤：

16、步步骤21、通过sobel算子计算像素i处水平和竖直方向上的梯度和，对于每个像素，根据其在x和y方向上的梯度分量，根据下式计算出其梯度幅值：

17、，

18、式中，和为像素i处水平和竖直方向上的梯度；

19、步骤22、求得所有像素的梯度幅值后，根据下式计算得到高阈值和低阈值：

20、，

21、式中，high和low分别为高阈值和低阈值，m和n分别为x方向和y方向的像素数量，为常数。

22、更进一步的，步骤二中roberts算子水平和垂直方向的算子dx和dy通过下式表示：

23、。

24、更进一步的，步骤二中roberts算子检测所述降噪红外图像的图像边缘，具体为：将roberts算子水平和垂直方向的算子分别作为两个卷积的卷积核，对所述降噪红外图像进行卷积，再求取平均值后得到图像边缘。

25、更进一步的，步骤二中roberts算子检测所述降噪红外图像的图像边缘还包括滤波步骤：利用butterworth低通滤波器对得到的图像边缘进行滤波。

26、更进一步的，步骤二中残差块的输出与输入尺寸保持一致。

27、更进一步的，步骤二中所述跨模态特征立体扩散模块包括特征扩散模块，所述特征扩散模块为卷积空间传播网络cspn。

28、更进一步的，所述立体卷积层包括依次连接的红外图像深层特征、深度图z、图x和图y，深度图z通过将预补全的深度图投影到相机视角变为二维灰度图得到，利用灰度值的大小代表该像素对应的三维空间中的一点距离相机的远近，红外图像深层特征、深度图z、图x和图y的长宽相同，图x和图y与深度图z相互对应，并通过下式表示：

29、，

30、式中，、、和为相机的内参，为预补全深度图中的点的坐标，是点在相机的像素平面上对应的坐标。

31、有益效果：本发明的基于红外特征挖掘及跨模态融合的深度补全方法针对红外图像低对比、低纹理的特点，提出了红外自适应边缘增强与特征提取模块，为补全网络提供更多特征，有助于稀疏深度图像中物体边缘补全的准确性。针对低分辨率红外图像引导高精度点云补全的问题，提出了跨模态特征立体融合模块，加强了跨模态特征融合型性能，能够平滑的填补缺失的深度区域。

技术特征：

1.一种基于红外特征挖掘及跨模态融合的深度补全方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于红外特征挖掘及跨模态融合的深度补全方法，其特征在于，步骤二中所述降噪模块为高斯滤波器。

3.如权利要求1所述的基于红外特征挖掘及跨模态融合的深度补全方法，其特征在于，步骤二中所述边缘增强模块还包括sobel算子，sobel算子用于确定canny算子中的高低阈值。

4.如权利要求3所述的基于红外特征挖掘及跨模态融合的深度补全方法，其特征在于，sobel算子用于确定canny算子中的高低阈值包括以下步骤：

5.如权利要求1所述的基于红外特征挖掘及跨模态融合的深度补全方法，其特征在于，

6.如权利要求1所述的基于红外特征挖掘及跨模态融合的深度补全方法，其特征在于，步骤二中roberts算子检测所述降噪红外图像的图像边缘，具体为：将roberts算子水平和垂直方向的算子分别作为两个卷积的卷积核，对所述降噪红外图像进行卷积，再求取平均值后得到图像边缘。

7.如权利要求6所述的基于红外特征挖掘及跨模态融合的深度补全方法，其特征在于，步骤二中roberts算子检测所述降噪红外图像的图像边缘还包括滤波步骤：利用butterworth低通滤波器对得到的图像边缘进行滤波。

8.如权利要求1所述的基于红外特征挖掘及跨模态融合的深度补全方法，其特征在于，步骤二中残差块的输出与输入尺寸保持一致。

9.如权利要求1所述的基于红外特征挖掘及跨模态融合的深度补全方法，其特征在于，步骤二中所述跨模态特征立体扩散模块包括特征扩散模块，所述特征扩散模块为卷积空间传播网络cspn。

10.如权利要求1所述的基于红外特征挖掘及跨模态融合的深度补全方法，其特征在于，所述立体卷积层包括依次连接的红外图像深层特征、深度图z、图x和图y，深度图z通过将预补全的深度图投影到相机视角变为二维灰度图得到，利用灰度值的大小代表该像素对应的三维空间中的一点距离相机的远近，红外图像深层特征、深度图z、图x和图y的长宽相同，图x和图y与深度图z相互对应，并通过下式表示：

技术总结
本发明公开了一种基于红外特征挖掘及跨模态融合的深度补全方法，包括如下步骤：采集红外图像和稀疏深度图，在现有KBnet网络的基础上，增加红外自适应边缘增强及特征提取模块和跨模态特征立体扩散模块。本发明的基于红外特征挖掘及跨模态融合的深度补全方法针对红外图像低对比、低纹理的特点，提出了红外自适应边缘增强与特征提取模块，为补全网络提供更多特征，有助于稀疏深度图像中物体边缘补全的准确性。针对低分辨率红外图像引导高精度点云补全的问题，提出了跨模态特征立体融合模块，加强了跨模态特征融合型性能，能够平滑的填补缺失的深度区域。

技术研发人员：张毅,卢熙来,陈霄宇,韩静,张权
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/12/30