一种对高分辨率图像敏感的单目绝对深度估计方法

本发明涉及图像估计领域，特别是指一种对高分辨率图像敏感的单目绝对深度估计方法。

背景技术：

1、深度估计被广泛运用于环境感知、场景理解、三维重建等领域，且在其中起到了关键作用。基于视觉的深度估计分为单目和多目的深度估计。单目深度估计相较于多目深度估计具有成本低、安装简易、数据获取容易等优点，是更具备挑战性和发展潜力的研究方向。目前主流的单目深度估计方法分为监督学习方法和自监督学习方法。基于监督学习的方法获取大量准确的深度真值是一个极大的挑战。因此，基于自监督学习的模型更接近于实际应用。但是，缺乏数据的数量和多样性是单目深度估计方法的一个棘手的问题，这会降低模型的泛化能力，并且自监督的单目深度估计存在固有的尺度模糊问题。同时，大多数将多帧图片作为输入的方法，对于含有动态物体、遮蔽、静止场景的深度估计效果较差。

2、目前，通过深度学习估计单目深度的方法大多对小数据集的泛化性差，对于高分辨数据的深度预测结果提升不大，并且大多无法恢复出绝对深度。

技术实现思路

1、本发明的主要目的在于克服现有技术中的上述缺陷，提出一种对高分辨率图像敏感的单目绝对深度估计方法，能够提升高分辨率相机下自监督单目深度估计的预测精度并预测出绝对深度，克服现有算法需要获取庞大数据集来进行自监督训练的缺点，并且对于含有动态物体、遮蔽、相机静止的应用场景有较强的适应性。

2、本发明采用如下技术方案：

3、一种对高分辨率图像敏感的单目绝对深度估计方法，包括：

4、在自监督单目绝对深度估计网络中输入单目图像序列/双目图像对，所述自监督单目绝对深度估计网络包括数据水平拼接模块，新型跳跃连接和深度解码器模块以及绝对尺度恢复模块；

5、输入图像通过数据水平拼接模块进行数据增强，利用重投影损失和多尺度像素平滑损失，构成自监督训练网络；

6、利用新型跳跃连接和深度解码器模块提取高分辨率特征，每一帧数据经过新型跳跃连接和深度解码器模块输出对应帧的相对深度图；

7、相对深度图通过绝对尺度恢复模块进行尺度恢复，得到含有绝对尺度的绝对深度图。

8、具体地，

9、所述数据水平拼接模块是将两对双目的输入图像进行部分地拼接，拼接方式由拼接率和相应的均匀概率确定；通过垂直拼接另一个输入图像中具有一定比例的区域来重构出新的输入图像，并随机垂直翻转这两个部分，得到拼接后的图像和拼接后垂直翻转的图像。

10、具体地，所述新型跳跃连接和深度解码器模块，其中新型跳跃连接结构由三种不同类型的节点组成；分别为特征提取节点，第一特征融合节点，第二特征融合节点，其中特征提取节点由残差块组成；第一特征融合节点具有3×3卷积运算；第二特征融合节点由全连接层和1×1卷积层组成；视差由深度网络decoder进行解码，该块包含3×3卷积和sigmoid激活函数；通过密集跳跃连接，解码器中的每个节点都得到最终聚集特征图、中间聚集特征图和来自编码器的原始特征图。

11、具体地，所述绝对尺度恢复模块，具体包括：

12、计算曲面法线，为输入图像中的每个像素确定一个曲面法线；所有像素点需要投影到3d空间中，公式如下：

13、d(pi,j)pi,j＝kpi,j

14、其中，pi,j是表示具有一个齐次坐标的二维空间中第i行第j列的像素，pi,j是对应的三维空间中的点，d指的是对应点的深度，k为相机内参；

15、对于每个像素点使用8邻点规则确定其周围的平面，其8个邻点被分成4对，构成4个曲面，生成4个曲面法线，其公式如下：

16、

17、其中，lx,y指的是l(pi,j)第x对的第y个元素，l为曲面法线序号；点pi,j的最终归一化曲面法线由四个估计法线归一化和平均得到：

18、

19、计算的摄像机高度为：

20、

21、其中，是相机高度的矢量投影；

22、绝对深度尺度恢复的尺度系数f的计算公式为：

23、

24、其中，hreal为真实的相机高度，绝对深度尺度恢复的尺度系数f即为相对深度图转化为绝对深度图的比例系数；得到尺度系数f后，实现相对尺度深度图到绝对尺度深度图的转换

25、由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

26、本发明提供了一种对高分辨率图像敏感的单目绝对深度估计方法；将双目输入的图像通过数据水平拼接模块在垂直方向上进行拼接，在小数据集上训练的模型有更高的泛化能力和更高的预测精度；将图像输入模型，通过新型跳跃连接和深度解码器模块，提升深度估计在高分辨率下的敏感性，得到归一化的相对深度图；将相对深度图通过绝对尺度恢复模块得到具有真实深度的绝对尺度深度图。本发明方法改善了单目深度估计的尺度模糊、高分辨率精度提升小、小数据集泛化性差的问题。

技术特征：

1.一种对高分辨率图像敏感的单目绝对深度估计方法，其特征在于，包括：

2.根据权利要求1所述的一种对高分辨率图像敏感的单目绝对深度估计方法，其特征在于，

3.根据权利要求1所述的一种对高分辨率图像敏感的单目绝对深度估计方法，其特征在于，所述新型跳跃连接和深度解码器模块，其中新型跳跃连接结构由三种不同类型的节点组成；分别为特征提取节点，第一特征融合节点，第二特征融合节点，其中特征提取节点由残差块组成；第一特征融合节点具有3×3卷积运算；第二特征融合节点由全连接层和1×1卷积层组成；视差由深度网络decoder进行解码，该块包含3×3卷积和sigmoid激活函数；通过密集跳跃连接，解码器中的每个节点都得到最终聚集特征图、中间聚集特征图和来自编码器的原始特征图。

4.根据权利要求1所述的一种对高分辨率图像敏感的单目绝对深度估计方法，其特征在于，所述绝对尺度恢复模块，具体包括：

技术总结
本发明提出一种对高分辨率图像敏感的单目绝对深度估计方法，将双目输入的图像通过数据水平拼接模块在垂直方向上进行拼接，在小数据集上训练的模型有更高的泛化能力和更高的预测精度；将图像输入模型，通过新型跳跃连接和深度解码器模块，提升深度估计在高分辨率下的敏感性，得到归一化的相对深度图；将相对深度图通过绝对尺度恢复模块得到具有真实深度的绝对尺度深度图。本发明方法改善了单目深度估计的尺度模糊、高分辨率精度提升小、小数据集泛化性差的问题，并且对于含有动态物体、遮蔽、相机静止的应用场景有较强的适应性。

技术研发人员：张陈涛,周煜全,邓连钧,陶金,张建寰,徐周毅
受保护的技术使用者：厦门大学
技术研发日：
技术公布日：2024/1/13