一种基于普通数码相机的单位姿多像面三维重建方法与流程

本发明涉及一种基于普通数码相机的三维重建方法，特别是使用了单个位姿多成像面交叠的方式提取深度区域，以进行三维重建，应用于计算机视觉领域。

背景技术：

三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是计算机环境下对其进行处理、操作和分析其性质的基础。常用的三维重建方法大都包含图像获取、摄像机标定、特征提取等步骤。近年来三维计算机视觉的应用从传统工业领域逐渐走向生活、娱乐、服务等，比如ar/vr，slam，自动驾驶等都离不开三维视觉的技术。

目前三维重建根据相机的不同，有单目重建、双目重建、rgbd相机重建三种。对于单目重建，主要有离线重建和在线重建两大类，对于离线重建，最经典的是sfm重建，sfm算法是一种基于各种收集到的无序图片进行三维重建的离线算法；对于在线重建主要有渐进式重建和直接式重建，渐进式重建利用下一时刻的图像不断融合之前的三维信息，主要的算法有remode算法。对于双目重建，主要利用左右相机得到的两幅校正图像，运用找到左右图片的匹配点，然后根据三角测量原理恢复出环境的三维信息，目前比较流行的算法有：sgbm算法、bm算法。对于rgbd重建，根据地图形式的不同，存在两大种不同的建图方式，第一种方式，先估算相机的位姿，将rgbd数据转换为点云，然后进行拼接，最后得到一个由离散点形成的点云地图。另一种方式，如果希望知道地图上的障碍物并在地图上导航，也可通过体素建立占据网格地图。基于rgbd相机的三维重建，有很多成熟的算法，主要有kinectfusion、dynamicfusion、elasticfusion、fusion4d、volumndeform等。

技术实现要素：

本发明使用普通数码相机作为数据采集设备，其特点是应用广泛、生活中常见。本发明所解决的问题是三维重建从理论应用到日常数码相机甚至是手机相机的使用上，并解决三维重建所需数据来源的相机条件及数据采集方式的复杂性。进而提供一种人人可用的简易重建方式，也可用于三维建模、深度探测等领域。

本发明的解决方案是：1)提出普通数码相机一次性标定方式。2)提出一整套单位姿、多像面三维重建系统流程。

本发明为实现上诉解决方案，及其方法步骤如下所示：

1.对相机进行标定：通过对标定场景进行多像面拍摄，并结合双目视觉进行标定；

2.数据采集：对目标场景进行多像面拍摄获的不同对焦平面图像集；

3.确定对焦平面：通过清晰度评价函数获的每一像面图片的最佳对焦区域；

4.标记图生成及优化：融合对焦区域获得标记图，使用形态学处理进行优化；

5.生成重建图：根据标记图生成去深度图，并进行三维重建。

附图说明

说明书附图图1是本发明的系统架构图。

说明书附图图2是相机成像模型。空间物体点object反射的光经过透镜，投射到点v0处所在的成像面上，当相机位置不变时，移动成像平面到v，点object变成以iv为圆心的光斑圆。

说明书附图图3是双目视觉中的两个相机。为了便于计算，我们如图建立世界坐标，其中x表示水平方向，y表示竖直方向，z表示深度方向。v为object对焦清晰时像距，左右两个图片分别为左右相机光传感器。object在左右两个相机照片上分别坐标为(xl,y)和(xr,y)。

具体实施方案

下面结合附图对方法的实施作进一步的详细描述：

1.参照说明书附图图1，首先通过相机标定获得深度及相机成像平面之间的距离映射关系。固定相机位姿，连续变化成像元件位置，通过对目标场景进行拍摄，获得一系列不同对焦平面的图片。通过点扩展函数提取每个图层中最佳对焦平面位置，融合成为标记图。根据标记图和相机标定得到的映射关系，可以得到深度图；根据标记图和图像集得到去深度图。建立两者之间的联系，进行三维重建。

2.在进行正式实验前，我们需要对相机进行标定，以得到相机对物理空间及像空间的映射关系。首先需要固定好相机及两个待测量的、不同深度的目标物体object1和object2位置。使用相机分别对两个目标在不同聚焦平面拍摄，得到的一系列图片，选取图片上目标所在区域，使用清晰度评价函数，计算出最佳聚焦平面位置，即对焦环旋转角度。由此我们可以得到两个目标物体的像平面位置，在最佳对焦深度用双目方法进行测距，从而可以得到真实空间位置与当下相机状态的映射关系；

参照说明书附图图2，当空间物体点object反射的光线通过光圈半径为ro的圆形光圈进入透镜，光束在像空间汇聚到点i0上，其所在的像平面位置为v0。现在在像空间内取任一深度v处，图像传感器处于此处时，空间内的物体点object在该处的传感器上呈现一个半径大小为rv的正圆，其圆心为过点o和i0所在直线与v处像平面交于点iv。我们可以证明，说明书附图图2中，oo1与oo2相等，且等于光圈半径大小，由相似关系可知iviv1和iviv2相等，我们可以推论出o为圆心的透镜平面相似于iv为圆心的光斑圆，因此光斑为一个正圆；

建立均值模糊核模型作为失焦模糊模型：

其中iv(x,y)为成像平面在v处的图片，为成像平面在v0处的object所在深度z-object呈现的清晰图像，★为卷积，rv(x,y)为一个光斑同样大小的圆形均值滤波器。用表示评价函数清晰度的函数，将它表示为一个关于v的方程，用来表示图片的清晰程度：

根据清晰度评价函数我们从得到的这些图片中计算出目标物体在每张图片中的清晰度，通过作图可得到其对应的最佳相机对焦环位置。像平面与对焦环位置关系为：

参考说明书附图图3，根据双目视觉原理，我们得到空间中任意点坐标：

由此可以得到在同一坐标系下目标obj1和obj2的空间坐标(x1,y1,z1)和(x2,y2,z2)，及两者对应的焦距v0和vt，结合两者对应的对焦环位置s0和st，进而可完善得到映射方程ui。

3.固定相机位置后，旋转相机对焦环并对目标场景进行连续拍摄，对同一目标物体可以得到一组对pi,si,pi表示第i张图片，si表示对应的对焦环位置(或对焦环相对于初始位置的旋转角度)。由此我们可以得到一系列同一位姿、同一相机参数。建立标记图如下，其中为第i张图在点(x,y)处的清晰程度：

然后使用形态学开闭操作进行降噪处理。

4.根据标记图和映射关系可以得到深度图d(x,y)：

并且结合标记图和输入的连续图集可以得到去深度图f(x,y)。

5.根据已经得到的深度图d(x,y)、去深度图f(x,y)，获取到三维空间中所需要的三维坐标及对应颜色值，进行三维重建，得到最终所需要的重建结果。这种重建方式只需在相机出厂时完成标定工作，而在后续拍摄过程中不需要再次标定，在计算机视觉领域可用于定点拍摄进行三维重建，及通过相机、手机进行环境深度探测等。