单目偏振视觉深度估计方法、装置、设备及介质

本发明主要涉及到智能导航，尤其是一种单目偏振视觉深度估计方法、装置、设备及介质。

背景技术：

1、近年来，计算机视觉与人工智能领域取得了显著进展，深度估计作为关键任务之一，对机器人自主导航与智能感知等应用领域具有重要意义。传统的深度估计方法主要依赖于双目立体视觉、结构光、激光雷达等技术，这些方法在某些特定场景中存在局限性。例如，在低纹理区域或场景视觉歧义下，传统方法的深度估计精度会大幅降低。偏振信息不仅可以捕捉到物体表面的光学特性，如表面法线和反射属性，还可以提供丰富的几何信息，这对于提高深度估计的精度和鲁棒性具有较大潜力。

2、针对传统深度估计与定位的上述问题，国内外有很多研究在深度估计算法上进行了有关先验设计的工作。例如，有人提出利用法线去通过后端优化约束深度估计。然而这些方法受先验条件以及数据集的约束很大，只能在特定实验条件下实现对低纹理区域的深度估计进行矫正，且无法解决场景视觉歧义情况的错误深度估计问题，

技术实现思路

1、针对现有技术存在的技术问题，为了解决现阶段单目深度估计算法在低纹理区域或视觉歧义场景下深度估计精度大幅降低的问题，提高传统单目深度估计算法的鲁棒性，本发明提出一种单目偏振视觉深度估计方法、装置、设备及介质。

2、为实现上述目的，本发明采用的技术方案如下：

3、一方面，本发明提供一种单目偏振视觉深度估计方法，包括：

4、对偏振图像进行预处理，包括对偏振图像进行去噪与去马赛克处理，获取偏振图像的偏振信息；对偏振图像中各像素点的像素位置的方向信息融合编码；

5、将所述偏振图像的预处理结果输入非法线指导的深度估计网络中，所述非法线指导的深度估计网络采用swin-transformer进行特征提取，采用的解码器为newcrf网络，由非法线指导的深度估计网络输出非法线指导的深度；

6、将所述偏振图像的预处理结果输入场景级法线指导的深度估计网络中生成场景级法线，并用图像分割网络与对象级偏振法线估计物理模型构建损失函数，以加速网络收敛，最后通过引入法线距离建立了表面法线与深度的逐像素计算关系模型，将生成的场景级法线转化为场景级法线指导的深度；

7、将场景级法线指导的深度、非法线指导的深度通过残差连接与注意力机制优化的时序卷积门进行融合优化，得到偏振图像最终的深度信息。

8、另一方面，本发明提供一种单目偏振视觉深度估计装置，包括：

9、输入预处理模块，用于对偏振图像进行预处理，包括对偏振图像进行去噪与去马赛克处理，获取偏振图像的偏振信息；对偏振图像中各像素点的像素位置的方向信息融合编码；

10、非法线指导的深度估计网络模块，用于将所述偏振图像的预处理结果输入非法线指导的深度估计网络中，所述非法线指导的深度估计网络采用swin-transformer进行特征提取，采用的解码器为newcrf网络，由非法线指导的深度估计网络输出非法线指导的深度；

11、场景级法线指导的深度估计网络模块，用于将所述偏振图像的预处理结果输入场景级法线指导的深度估计网络中生成场景级法线，并用图像分割网络与对象级偏振法线估计物理模型构建损失函数，以加速网络收敛，最后通过引入法线距离建立了表面法线与深度的逐像素计算关系模型，将生成的场景级法线转化为场景级法线指导的深度；

12、深度联合优化模块，用于将场景级法线指导的深度、非法线指导的深度通过残差连接与注意力机制优化的时序卷积门进行融合优化，得到偏振图像最终的深度信息。

13、另一方面，本发明提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述单目偏振视觉深度估计方法的步骤。

14、另一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述单目偏振视觉深度估计方法的步骤。

15、另一方面，本发明提供一种计算机程序产品，所述计算机程序产品存储在计算机可读存储介质上，并且包括计算机指令，所述计算机指令在由处理器运行时使得计算机设备实现上述单目偏振视觉深度估计方法的步骤。

16、相比现有技术，本发明的技术效果：

17、本发明设计了一种偏振图像预处理方法，将偏振信息与像素位置的方向信息结合编码，包括对偏振图像进行去噪与去马赛克处理，获取偏振图像的偏振信息，包括入射光强、偏振度以及偏振角；对偏振图像中各像素点的像素位置的方向信息融合编码。将偏振信息与像素位置的方向信息融合的表示方法，可表征更全面，更准确的场景偏振信息。

18、本发明将所述偏振图像的预处理结果输入场景级法线指导的深度估计网络中生成场景级法线，并用图像分割网络与对象级偏振法线估计物理模型构建损失函数，以加速网络收敛，最后通过引入法线距离建立了表面法线与深度的逐像素计算关系模型，将生成的场景级法线转化为场景级法线指导的深度。本发明克服了偏振指导对象级与场景级法线的融合问题，合理地融合了偏振信息对对象级法线估计与场景级法线的引导作用，并联合优化场景级法线指导的深度与非法线指导的深度，进而实现了对深度估计更全面地约束。

19、本发明缓解了传统单目深度估计方法在低纹理区域和视觉歧义场景中的深度估计精度差的问题，巧妙地将偏振视觉信息与传统单目深度估计方法相结合，利用偏振信息对法线和深度估计的约束作用，显著提升了传统单目深度估计方法在低纹理区域和视觉歧义场景中的深度估计精度。

技术特征：

1.单目偏振视觉深度估计方法，其特征在于，包括：

2.根据权利要求1所述的单目偏振视觉深度估计方法，其特征在于，所述偏振图像的偏振信息包括入射光强、偏振度以及偏振角，其中考虑到法线方向存在正负90°与正负180°模糊度，将与共同编码以表示偏振图像的偏振信息中新的偏振角，其中表示偏振图像的原始偏振角。

3.根据权利要求2所述的单目偏振视觉深度估计方法，其特征在于，对偏振图像中各像素点的像素位置的方向信息融合编码，包括：通过相机内参矩阵将偏振图像中的每个像素点的坐标转换为相机坐标系下的三维坐标，然后对各像素点对应的相机坐标系下的三维坐标进行归一化，得到每个像素点对应的视线方向，即从相机光心指向像素点的单位方向向量。

4.根据权利要求1或2或3所述的单目偏振视觉深度估计方法，用图像分割网络与对象级偏振法线估计物理模型构建损失函数，包括：

5.根据权利要求4所述的单目偏振视觉深度估计方法，其特征在于，构建损失函数如下：

6.根据权利要求4所述的单目偏振视觉深度估计方法，其特征在于，和均取值0.5。

7.根据权利要求5或6所述的单目偏振视觉深度估计方法，其特征在于，通过引入法线距离建立了表面法线与深度的逐像素计算关系模型，包括：设为相机坐标系下一三维点，为三维点在图像坐标系下的二维投影点，表面法线定义为从三维点出发垂直于其表面切平面的向量，三维点的表面切平面到相机坐标系原点的距离定义为法线距离：

8.单目偏振视觉深度估计装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，处理器执行计算机程序时实现如权利要求1所述单目偏振视觉深度估计方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如权利要求1所述单目偏振视觉深度估计方法的步骤。

技术总结
本发明属于智能导航技术领域，提出了一种单目偏振视觉深度估计方法、装置、设备及介质，通过对偏振图像进行预处理，获得偏振信息与像素位置的方向信息融合的表示方法。构建非法线指导的深度估计网络用于输出偏振图像的非法线指导的深度。构建场景级法线指导的深度估计网络生成偏振图像的场景级法线，并用图像分割网络与对象级偏振法线估计物理模型构建损失函数，以加速网络收敛，最后通过引入法线距离建立了表面法线与深度的逐像素计算关系模型，将生成的场景级法线转化为场景级法线指导的深度。将场景级法线指导的深度、非法线指导的深度通进行融合优化，得到偏振图像最终的深度信息。本发明可有效提升单目深度估计的鲁棒性。

技术研发人员：范晨,史哲丞,张礼廉,张国超,何晓峰
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2025/2/20