一种基于波前编码的双目立体视觉三维重建系统和方法

本发明属于计算机视觉，具体涉及一种基于波前编码的双目立体视觉三维重建系统和方法。

背景技术：

1、传统立体成像系统在成像体积和信噪比之间需要进行权衡，因为光圈的大小对这两个变量的影响相互冲突。光圈越小，成像体积就越小，但信噪比会降低；而光圈越大，成像体积就越大，但信噪比会提高。如果要获得清晰的图像特征，就需要确保相机的景深足够大以覆盖整个体积。同时光圈面积的缩小将降低到达传感器的通光亮。所以，在光线环境受限的情况下难以获得大体积、高质量和高分辨率的立体三维重建图像。

2、此外，深度学习算法和图像处理技术可以通过训练模型来学习图像的特征和模式，从而提高图像的清晰度和减少噪声的影响。但它们是对于成像系统获得图像的优化，优化结果受到中间图像质量的限制。而处于不同深度的物体在同一图像中模糊程度不同，这样的图像难以恢复到所需的清晰水平。

3、相比之下，波前编码技术联合光学成像阶段和数字处理阶段，具体表现为利用相位板对波前信息进行编码调制，使其在聚焦平面附近离焦不敏感，从而图像传感器能够采集到一系列具有均匀模糊和近似点扩散函数的中间图像；然后利用解码技术对中间图像进行处理，获得清晰的高分辨率图像。这种方法可以在不改变光圈尺寸的前提下扩大成像系统景深和提高成像系统的分辨率。

4、因此，本发明设计的基于波前编码的双目立体视觉的三维重建系统，可以在不同场景和光照条件下实现大景深、高分辨的成像。此外，它提高了双目立体视觉系统的深度感知精度，具有较好的鲁棒性，能够在机器视觉、自动驾驶、机器人导航等领域被广泛应用。

技术实现思路

1、本发明的目的是提供一种基于波前编码的双目立体视觉三维重建系统和方法，以扩大景深范围，提高深度感知精度，改善立体成像系统在弱光线等复杂环境下难以重建三维成像的问题。

2、本发明提供的基于波前编码的双目立体视觉的三维重建系统，包括：两个相同的编码相机、一个调节架及计算机处理系统；其中：

3、所述编码相机，由自由曲面相位板和光学成像系统、图像传感器三部分组成；其中，自由曲面相位板放置在光学成像系统的入瞳位置，构成编码光学镜头；编码光学镜头和图像传感器的相对位置通过螺纹调节和固定，使光学镜头成像在图像传感器上；所述自由曲面相位板对待观测物体的光场进行编码，经过编码光学镜头得到编码图像；图像传感器将采集到的编码图像传输到计算机处理系统中，供后续处理使用；

4、所述两个编码相机固定在调节架上，调节调节架使两个编码相机光轴相互平行，使用编码相机采集两幅具有视差的编码图像，用于双目立体视觉的三维重建；

5、所述的计算机处理系统，用于驱动两个编码相机进行编码图像的采集，并且通过其中的解码网络对左右两幅编码图像进行解码，获得清晰的纹理图像；再根据解码图像计算深度信息，实现三维重建。

6、根据上述基于波前编码的双目立体视觉的三维重建系统，本发明还提供基于波前编码的双目立体视觉的三维重建方法，具体步骤为：

7、步骤一、组装编码相机。主要包括自由曲面相位板的设计；

8、自由曲面相位板可以通过联合光学数字平台和编程软件进行参数优化，优化目标为一定景深范围内的离焦一致性。得到相位板最优参数后，进行编码相机的组装。具体为在相机入瞳处使用固定装置固定自由曲面相位板，使用蒙特卡罗模拟得到加工误差和装配公差。

9、步骤二、输入左右清晰图像对，训练双目编码相机的解码网络。具体步骤为：

10、(1)首先，建立编码相机点扩散函数的数学模型

11、编码相机中引入相位板，因此相移由离焦相移和相位板引入的相移两部分组成。通过建立视差相关的点扩散函数数学模型，对仿真的不同视差的点扩散函数进行旋转、缩放、加噪声等处理以增强网络的鲁棒性，并获得点扩散函数数据集，为下一步的清晰图像编码做准备。

12、(2)输入左右清晰图像对，利用仿真点扩散函数进行编码

13、给定左右清晰图像数据集作为输入。然后，从上一步中制作的点扩散函数数据集中随机挑选一些点扩散函数和清晰图像卷积，并随机添加加性高斯噪声，获得编码图像。

14、(3)对编码图像解码，训练网络参数

15、使用这些包含噪声的编码图像，训练解码网络。可选地，利用深度学习方法如生成对抗网络中的生成器生成解码图像，通过最小化重建纹理图像和真实清晰图像之间的差距优化网络参数。

16、步骤三、拍摄左右编码图像，进行三维重建。具体步骤为：

17、(1)首先，生成并采集编码图像

18、将双目编码相机放置于某一场景下拍摄，经过编码光学镜头和图像传感器依次生成、采集编码图像。

19、(2)进行编码相机标定

20、准备标定板，确保标定板的特征点(如角点、圆心等)清晰可见，并且标定板在不同位置和姿态下都能够被相机拍摄到。拍摄标定图像。在不同位置和姿态下，使用编码相机拍摄一定数量的标定图像，并确保标定板的各个特征点在图像中都有足够的数量和分布，以便后续标定计算。利用训练好的解码网络对标定图像解码，使用图像处理算法如harris角点检测、sift、surf等提取解码图像特征点并匹配，以获取标定板的图像坐标。使用相机标定算法，如zhang’s方法、tsai’s方法、bouguet’s方法等，根据标定图像中的特征点和已知的标定板尺寸，计算出相机的内部参数，包括相机焦距、主点位置、畸变系数等。根据标定板在三维空间中的坐标和对应的图像坐标，使用三维重建算法如三角测量、直接线性变换(dlt)等，计算出相机外部参数即在三维空间中的位置和姿态。使用标定结果对标定图像进行重投影，即将三维空间中的标定板坐标投影到标定图像上，然后计算投影点与对应图像点之间的误差，以验证标定结果的精度和可靠性。

21、(3)提取解码图像特征点

22、采用诸如harris、sift、surf等特征点检测算法，对左右两幅解码图像中的每个像素进行检测，得到具有代表性的特征点集合。使用诸如基于距离的匹配、基于相似性度量的匹配、基于投影的匹配等特征匹配方法将左右两幅图像中的特征点进行匹配，以便后续的立体匹配和三维重建。对匹配后的特征点进行筛选，去除误匹配点和无用点，保留能够进行精确三维重建的点。

23、(4)进行立体匹配

24、进行立体校正后，确定图像对中的一幅图像为参考图像，另一幅作为待匹配图像。在参考图像对中选取图像特征，在待匹配的图像中找到与参考图像相对应的图像特征，确定图像对中对应特征的相对位置。

25、(5)获取拍摄对象的深度信息

26、通过获取左右两个图像对的视差图，结合已知的摄像机相对位置和内外参数，利用三角测量法恢复出所拍摄场景的深度信息。

27、(6)进行三维空间点重建

28、对所有特征点进行三角测量，得到每个特征点的三维坐标，从而重建出整个场景的三维点云。对三维点云进行后处理，包括去除误匹配点、填补空洞、平滑处理等，以提高重建结果的质量。

29、本发明通过波前编码技术，设计自由曲面相位板，以立体对形式插入双目相机光瞳处组装为编码相机。结合视差相关的点扩散函数数据集训练深度学习解码网络，实现基于波前编码的双目立体成像；利用得到的清晰解码图像对进行三维重建，扩展了立体成像系统景深，提高了双目立体视觉系统的深度感知精度。

30、本发明成功地解决了传统立体成像系统在成像体积和信噪比之间需要进行权衡的问题。通过将波前编码技术用于双目成像系统，在保持孔径大小条件下避免了弱光环境下的成像限制，有利于在不同场景和光照条件下实现大景深、高分辨的成像。本发明能够广泛应用于各种领域的立体成像系统中，例如虚拟增强现实、视觉导航和无人系统、医学图像获取和手术辅助等。