一种动态虚拟相机三维成像方法

本发明涉及机器视觉领域，尤其是涉及一种动态虚拟相机三维成像方法。

背景技术：

1、三维视觉成像作为实现目标重建与场景感知的重要途径，在机器人导航、汽车智能驾驶、空天遥感观测等领域得到广泛应用。传统的视觉系统大多依赖两台或多台相机采集的多个不同视角的图像进行三维立体重建，或者利用相机与结构光投影器对目标场景进行主动成像和三维重建。但是，双目或多目立体视觉三维成像技术要求较大和物理尺寸和布置空间；而结构光三维成像技术的视场范围、分辨率以及效率受到投影器性能和编码策略的影响。尤其在较远工作距离条件下，两类技术的三维重建精度都会显著降低，限制着其在许多实际场景中的应用。

2、以下现有技术给出几种典型的三维视觉成像技术解决方案：

3、一种单相机结合二维码测量玻璃板不平度的方法cn110276808b，通过单台相机和二维码阵列建立二维图像和三维空间的关系，从而恢复玻璃板的表面形貌并计算其不平整度。这类方法依赖二维码阵列的先验信息，会给系统布置和实施过程增加工作量，而且难以应用在更加复杂的非结构化场景。

4、一种柔性化三维视觉引导的机器人对位系统及方法cn114248086b，利用投影仪向工件投射编码结构光，再通过工业相机拍摄工件表面的结构光图案，从而得到工件表面形状和位置姿态等信息。这类方法难以兼顾视场范围和空间分辨率，作用距离也比较有限，而且无法获取整个视场范围内的纹理信息。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供的一种大范围、高精度、高效率的动态虚拟相机三维成像方法。

2、本发明的目的可以通过以下技术方案来实现：

3、一种动态虚拟相机三维成像方法，方法采用动态虚拟相机三维成像系统，系统包括相机(1)、相机(1)的镜头侧的旋转双棱镜装置(2)和光学测距装置(3)，旋转双棱镜装置(2)包括第一旋转棱镜(21)、第二旋转棱镜(22)以及旋转棱镜各自的旋转驱动机构和支撑机构，旋转驱动机构调整旋转双棱镜装置(2)绕光轴方向的角度，相机(1)和旋转双棱镜装置(2)之间装有分光器件(4)，分光器件(4)的分光面与系统光轴成预配置的角度，分光器件(4)保证光学测距装置(3)的发射光束偏转到光轴方向上，并且保证相机(1)将通过旋转双棱镜装置(2)之后的外界光线捕获并成像；

4、基于上述系统，方法包括以下步骤：

5、s1、调整动态虚拟相机三维成像系统的位姿和角度，并基于调整后的动态虚拟相机三维成像系统建立工作坐标系，标定相机光心位置，以及相机(1)到分光器件(4)的距离与光学测距装置(3)到分光器件(4)的距离之差；

6、s2、通过控制旋转双棱镜装置(2)的运动规律改变相机(1)的成像视轴指向，在旋转双棱镜装置(2)达到预期位置时触发相机(1)采集该视角下目标场景的图像信息，所述预期位置为多个，获得多个不同视角的图像，并结合动态虚拟相机立体匹配算法和三角测量原理恢复公共视场区域内的三维信息，得到多视角三维重建结果；

7、s3、触发相机(1)采集该视角下目标场景的图像信息时，记录光学测距装置(3)提供的距离信息，并基于旋转双棱镜装置(2)达到预期位置时的双棱镜转角组合计算三维坐标，生成与不同的视角一一对应的三维光学基准点集；

8、s4、通过比较光学基准点集与对应的多视角三维重建结果，得到一系列目标点的三维重建误差分布情况，结合数值拟合方法建立三维重建误差模型，修正全局范围内的三维重建信息，得到修正后的三维图像。

9、进一步地，s1的具体步骤包括：

10、s11、沿着光轴方向依次布置相机(1)、分光器件(4)和旋转双棱镜装置(2)，保证相机(1)的成像视场不被遮挡，调整光学测距装置(3)的位姿和角度，使其发射光束经过分光器件(4)反射之后垂直进入旋转双棱镜装置(2)；

11、s12、调整后，根据右手定则建立动态虚拟相机三维成像系统的工作坐标系o-xyz，原点o固定于相机光心位置，z轴与相机视轴方向重合，x轴和y轴均与z轴正交，其正方向分别为水平向右和垂直向下；

12、s13、利用相机(1)透过分光器件(4)和旋转双棱镜装置(2)采集靶标图像，在工作坐标系下结合靶标的几何约束重建其三维信息，获取靶标点沿着相机视轴指向的光程长度，同时利用光学测距装置(3)透过旋转双棱镜装置(2)测量靶标距离，计算相机(1)到分光器件(4)的距离与光学测距装置(2)到分光器件(4)的距离之差，所述距离之差与靶标距离和靶标点沿着相机视轴指向的光程长度之差相等。

13、进一步地，s2的具体步骤包括：

14、s2、通过控制旋转双棱镜装置(2)的运动规律改变相机(1)的成像视轴指向，在旋转双棱镜装置(2)达到预期位置时触发相机(1)采集该视角下目标场景的图像信息，所述预期位置为多个，获得多个不同视角的图像，并结合动态虚拟相机立体匹配算法和三角测量原理恢复公共视场区域内的三维信息，得到多视角三维重建结果.

15、s21、控制旋转双棱镜装置(2)的运动规律，使旋转双棱镜装置(2)的两片楔形旋转棱镜的转角参数依次到达一系列预期位置组合，所述预期位置组合作为双棱镜转角组合，每当旋转双棱镜装置(2)到达一个预期位置时，触发相机(1)采集该视角下目标场景的图像信息，获得多个不同视角的图像；

16、s22、将旋转双棱镜装置(2)的转角参数代入矢量折射定律，推导相机成像视轴指向的运动规律，其成像过程等效为一台以系统光轴为中心运动的动态虚拟相机，得到动态虚拟相机的光心位置变化规律，确定动态虚拟相机的视轴指向和光心位置，结合相机(1)的光心位置o以及相机(1)的初始视轴指向以及动态虚拟相机的光心位置和视轴指向，建立动态虚拟相机相对于相机(1)的旋转矩阵和平移向量；

17、s23、利用动态虚拟相机在不同的双棱镜转角组合下形成的相对位姿关系，结合旋转矩阵和平移向量，建立多个不同视角的图像之间的对极几何关系，得到基础矩阵，在确定基础矩阵的基础上计算多个不同视角的图像之间的约束关系，再结合区域图像匹配算法，建立任意目标点在多个不同视角的图像内产生的同名像点匹配关系；

18、s24、结合动态虚拟相机的光心位置变化规律和同名像点匹配关系，利用三角测量原理构造目标点的三维坐标解算方程，得到目标点的三维坐标，基于目标点的三维坐标，从多个不同视角的图像重建得到公共视场范围内所有同名像点对应的三维目标点云，所述三维目标点云为多视角三维重建结果。

19、进一步地，s3的具体步骤包括：

20、s31、触发相机(1)采集目标场景的图像信息时，记录光学测距装置(3)提供的距离信息，结合相机(1)到分光器件(4)的距离与光学测距装置(3)到分光器件(4)的距离之差，计算每个视角下从相机光心位置到目标点的总光程；

21、s32、结合每个视角对应的双棱镜转角组合，按照步骤s22所述的方法确定动态虚拟相机的视轴指向，由此计算动态虚拟相机的俯仰角和方位角；

22、s33、根据光学测距装置(3)得到的距离信息和双棱镜运动产生的动态虚拟相机的俯仰角和方位角，确定每个视角下相机视轴指向在目标场景内对应的目标点，基于不同视角下的目标点，建立多视角三维重建的光学基准点集。

23、进一步地，s4的具体步骤包括：

24、s41、根据每个成像视角下二维图像坐标与三维目标位置的映射关系，从三维目标点云中提取每幅图像的像素主点对应的三维目标点，构成目标点云子集；

25、s42、对比目标点云子集和光学基准点集中每组对应点的重建坐标和基准坐标，分别得到三维成像系统在x、y和z方向上的重建误差，再通过多项式拟合方法建立x向、y向和z向重建误差的数学模型；

26、s43、利用步骤s42建立的三维重建误差模型，对三维目标点云中每个目标点的三维坐标逐一进行修正，得到其修正后的三维目标信息；

27、s44、结合多视角二维图像与三维点云之间的映射关系，给每个经过修正的三维目标信息的目标点赋予相应的强度信息，得到修正后的三维图像。

28、进一步地，所述双棱镜转角组合为4个，分别为(0°,0°)、(180°,180°)、(90°,90°)和(270°,270°)。

29、进一步地，所述旋转矩阵为：

30、

31、其中，表示根据旋转轴线和旋转角度计算旋转矩阵的罗德里格斯公式，a0为相机的初始视轴指向，a5为动态虚拟相机的视轴，k表示不同的成像视角。

32、进一步地，所述基础矩阵为：

33、

34、其中，k1和k2为任意两种不同的双棱镜转角组合，aint表示相机的内参矩阵，为两种动态虚拟相机位姿之间的相对旋转矩阵，为两者相对平移向量对应的斜对称矩阵。

35、进一步地，所述俯仰角和方位角为：

36、

37、

38、其中，x,y和z分别表示x,y和z三个方向上的单位向量，a5为动态虚拟相机的视轴，k表示不同的成像视角，ρ为俯仰角，为方位角。

39、进一步地，所述不同视角下的目标点为：

40、

41、其中，d′为从相机光心位置到目标点的总光程，l表示每个视角下相机视轴指向在成像系统内部经历的总光程，ρ为俯仰角，为方位角，k表示不同的成像视角。

42、与现有技术相比，本发明具有以下优点：

43、1.本发明在单台相机基础上引入旋转双棱镜装置和光学测距装置，利用旋转双棱镜装置的视轴及光束偏转作用实现多视角三维重建与精密光学测距的融合，具有紧凑的系统结构和灵活的实施方式，可以满足大范围、高精度、高效率、多模式的三维信息获取需求。

44、2.本发明利用旋转双棱镜装置改变相机成像视轴指向，仅用单台相机即可采集目标场景的多视角高分辨率图像序列，同时结合动态虚拟相机模型建立多个不同视角的图像的立体匹配和三维重建方法，可以大幅提升三维成像的视场范围、空间分辨率和运算效率等性能指标。

45、3.本发明提出光学测距装置与相机、旋转双棱镜装置的同轴布局方案，在采集多个不同视角的图像的同时也可主动探测视距信息，并且结合双棱镜转角信息构建高精度光学基准，可以分别在硬件和软件层面实现被动图像与主动视距的多模态信息获取与融合，在保证系统集成性的同时提升三维成像的信息可靠性。

46、4.本发明结合多视角三维重建和主动光学基准生成方法，实时获取动态虚拟相机三维重建误差数据，以此建立不同方向的重建误差拟合模型，实现三维重建信息的在线修正，既可以克服远距离条件下视觉测量精度显著下降的问题，又不会过多增加信息采集和处理的运算时间。