一种MR混合摄影相机的标定方法和系统与流程

一种mr混合摄影相机的标定方法和系统
技术领域
1.本发明涉及相机标定技术领域，更具体的说是涉及一种mr混合摄影相机的标定方法和系统。


背景技术：

2.在当代，虚拟现实摄影得到了越来越广泛的应用，借助于虚拟拍摄，我们可以显著降低拍摄成本，甚至可以实现拍摄虚拟物体与真实世界的交互。
3.虚拟现实摄影中，mr混合摄影技术较vr、ar技术展现出诸多优势，越来越成为摄影技术发展主流，在mr混合摄影技术中，需同时的把物理世界中的事物和虚拟世界的事物同时拍摄，这就需对物理相机和虚拟相机进行校准，
4.目前，一般是将tracker固定在相机的上面，手动测量两者之间的相对距离，并据此推算出虚拟相机和物理相机之间的初始偏移量，然后在拍摄的过程中对这个偏移量的六个自由度进行微调，以达到虚拟相机的画面和物理相机的画面对齐的状态。此方案精度较低，而且需要在系统运行时进一步的微调，过程较为繁琐。
5.因此，如何提供一种标定方法，提高虚拟相机和物理相机的校准效率及精度，使物理相机和虚拟相机高度重合是本领域技术人员亟需解决的问题。


技术实现要素：

6.有鉴于此，本发明提供了一种mr混合摄影相机的标定方法和系统，
7.为了实现上述目的，本发明采用如下技术方案：
8.一方面，本发明公开了一种mr混合摄影相机的标定方法，其特征在于，包括：
9.s1、获取多对物理相机中的像素坐标及对应的虚拟相机坐标系中的坐标；
10.s2、根据所述多对物理相机中的像素坐标及对应的虚拟坐标系中的坐标，求解矩阵g；
11.s3、分解所述矩阵g，得到旋转矩阵、位移向量及内参矩阵；
12.s4、根据所述旋转矩阵、位移向量及内参矩阵设置虚拟相机的位姿和内参。
13.优选的，s1中，利用定位基站和跟踪器获取所述多对物理相机中的像素坐标及对应的虚拟相机坐标系中的坐标，所述跟踪器有两个。
14.优选的，所述定位基站的数量由跟踪的物理空间大小确定。
15.优选的，s1中，获取步骤包括：
16.s11、根据所述定位基站建立世界坐标系，所述跟踪器一作为三维世界中的点，所述跟踪器二作为虚拟相机，且与所述物理相机保持位置固定不变；
17.s12、根据所述世界坐标系，得到所述虚拟相机坐标系；
18.s13、将所述跟踪器一在所述世界坐标系中的坐标，转换到所述虚拟坐标系中的坐标；
19.s14、通过物理相机，得到所述跟踪器一的像素坐标。
20.s15、移动所述跟踪器一，重复步骤s11-s14，得到多对所述物理相机中的像素坐标及对应的虚拟坐标系中的坐标。
21.优选的，所述多对物理相机中的像素坐标及对应的虚拟相机坐标系中的坐标至少有6对。
22.另一方面，本发明公开了一种执行权利要求1-5任一所述的一种mr混合摄影相机的标定方法的mr混合摄影相机的标定系统，其特征在于，包括：
23.数据获取模块，用于获取多对物理相机中的像素坐标及对应的虚拟相机坐标系中的坐标；
24.数据处理模块，用于根据多对所述物理相机中的像素坐标及对应的虚拟相机坐标系中的坐标求解旋转矩阵、位移向量及内参矩阵；
25.虚拟相机参数更新模块，用于根据所述旋转矩阵、位移向量及内参矩阵设置虚拟相机位姿和内参。
26.优选的，所述数据获取模块包括定位基站和两个跟踪器，所述定位基站的数量由跟踪的物理空间大小确定。
27.经由上述的技术方案可知，与现有技术相比，本发明公开的标定方法和系统，能够得到物理相机的位姿和内参，并设置虚拟相机，使其具有和物理相机一致的位姿和内参，以提高虚拟相机和物理相机的校准效率及精度，从而使虚拟相机的坐标系与物理相机坐标系重合，虚拟相机中的像与在物理相机中的像重合，以达到两个相机拍摄的画面充分对齐，拍摄的像完美的嵌合在一起的效果。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
29.图1附图为本发明提供的mr混合摄影相机的标定方法流程图；
30.图2附图为本发明提供的标定中，各部分位置示意图；
31.图3附图为本发明提供的标定数据获取流程图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.本发明实施例公开了一种mr混合摄影相机的标定方法和系统，通过本发明公开的标定方法和系统，能够使虚拟相机的坐标系与物理相机坐标系重合，虚拟相机中的像与在物理相机中的像重合，从而使两个相机拍摄的画面充分对齐，拍摄的像完美的嵌合在一起，达到栩栩如生的效果。
34.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实
施方式对本发明作进一步详细的说明。
35.一方面，本发明公开了一种mr混合摄影相机的标定方法，其特征在于，包括如下步骤：(如图1)
36.s1、获取多对物理相机中的像素坐标及对应的虚拟相机坐标系中的坐标；
37.本发明中，满足一定精度的所有的室内定位系统都可以用于坐标数据的获取，在一种实施例中，利用比较便宜常见的vr定位系统，即基于lighthouse室内定位系统实现mr混合摄影相机的标定，
38.具体的，lighthouse室内定位系统需要的设备包括：定位基站和跟踪器一和跟踪器二，本发明实施例中，使用tracker1和tracker2作为跟踪器，
39.其中，定位基站数量的根据需要跟踪的物理空间大小，从2个到4个不等；另外两个tracker，用于mr相机标定，具体的，将tracker1作为定位器，也可以理解为下面算法中三维世界中的点，tracker2作为虚拟相机，固定到物理相机上面，在整个标定流程中，要始终保证这两者的位置(旋转及位移)是固定不变的，如图2；
40.然后，利用定位基站建立世界坐标系，并根据世界坐标系，建立虚拟相机的虚拟坐标系，此时，虚拟相机实际上为htc tracker，该系统会提供每一个连接到基站的tracker的位姿，包括世界坐标和世界旋转，
41.进一步，数据获取流程如图3所示，
42.打开htc vive系统，获取到定位tracker1的位置坐标(这里不用管旋转，我们将其作为一个三维世界中的点来看待)，即世界坐标系中的坐标，进一步，将作为定位器的tracker位置由htc vive系统自动换算到虚拟相机坐标系下，得到该定位器在虚拟坐标系中的坐标；
43.同时打开物理相机，拍摄一张包括定位tracker1的物理图片，获得该物理tracker1在图片中的像素坐标，即该定位器在物理相机中的像素坐标；该像素坐标通过物理相机的二维像素坐标系获得，具体的，该坐标系以物理相机拍摄到的画面左上角为坐标原点，向右为x轴正方向，想下为y轴正方向；
44.通过上述步骤，便可得到一组定位tracker的虚拟三维坐标到二维像素坐标的映射关系，然后，移动定位跟踪器，改变其位置，使其均匀分布于图片中，从而重复上述步骤，以获得足够多的点对(保证6对以上)，
45.s2、根据所述多对物理相机中的像素坐标及对应的虚拟坐标系中的坐标，求解矩阵g；
46.若使虚拟相机的像和物理相机的像重合，就需要某个三维世界的点在虚拟相机坐标系下的表示在经过位姿变换后应与在物理相机坐标系下的表示重合，即对应关系如下：
47.pi＝gpm48.其中，pi＝[xi,yi]
t
，定义为物理相机下的tracker的像素的坐标，
[0049]
pm＝[xm,ym,zm]
t
，定义为三维世界的tracker的坐标在虚拟相机坐标系下的表示；
[0050]
根据上述对应关系及步骤1获得的多个点对组合可解出矩阵g；
[0051]
具体的，使虚拟相机的像和物理相机的像重合，涉及到两个步骤，一是刚体的位姿，包括位移和旋转，另一个是虚拟相机内参的设定；
[0052]
而刚体的位移和旋转，是由一个旋转矩阵r和位移向量t构成，由此得到刚体的位
姿可用如下公式表示：
[0053][0054]
对于相机内参，是根据小孔成像原理得到相机的内参矩阵进而把一个点从三维坐标(相机坐标系下)投影到像素坐标系下，因此，可得到如下公式：
[0055][0056]
其中，内参矩阵可以进一步的表示为齐次形式：
[0057][0058]
由上分析，可得g＝t
proj
t
pose
；
[0059]
进一步，可得pi＝t
proj
t
pose
pm，已知pm是三维世界的tracker的坐标在虚拟相机坐标系下的表示；我们假定虚拟相机坐标系为a，tracker的世界坐标系为pw，根据数学定义，tracker在虚拟相机坐标系下的坐标pm＝a-1
pw，
[0060]
由此，有pi＝t
proj
t
pose
a-1
pw，
[0061]
而本技术的目的是找到虚拟相机坐标系偏移到物理相机坐标系下的偏移矩阵t
pose
,因此也就有pi＝t
proj
(at
pose-1
)-1
pw，
[0062]
综上也就是说，根据t
pose
可以得到物理相机坐标系at
pose-1
，有了物理相机坐标系，我们就可以把tracker先从世界坐标系pw转换到物理相机坐标系下，然后再应用投影变换，得到像素上的点！
[0063]
具体的，矩阵g为：
[0064][0065]
在一个实施例中，g的一个3*4矩阵为：
[0066]
[[247.6831，410.4999，0.00088，-2130.42580]，
[0067]
[1.4157488351899853e-05，142.9999，-247.6826，-8431.482037271988]，
[0068]
[5.8509535853e-07，0.999999，1.8749893022852892e-06，-6.999949]]
[0069]
可见，矩阵g实际上是相机内参矩阵k与旋转矩阵r构成的3x3矩阵以及相机内参矩阵k与位移向量t构成的3x1向量，拼接而构成的一个3x4矩阵，即g＝[kr|kt]，
[0070]
也就是说，矩阵g包含12个未知量，根据公式pi＝gpm，每个点对可以得到两个独立的方程，
[0071]
若矩阵g的表示为：
[0072]
[0073]
则每个点对得到的两个独立的方程为：
[0074]
xi(g
31
xm+g
32
ym+g
33
zm+g
34
)＝g
11
xm+g
12
ym+g
13
zm+g
14
[0075]
yi(g
31
xm+g
32
ym+g
33
zm+g
34
)＝g
21
xm+g
22
ym+g
23
zm+g
24
[0076]
如上，因此需要至少6组数据点对，可将矩阵g的全部未知量求出。
[0077]
s3、分解所述矩阵g，得到旋转矩阵、位移向量及内参矩阵；
[0078]
矩阵g的前三列是矩阵乘法kr的结果，k的形式为上三角阵，将矩阵g的前三列进行rq分解，得到的第一个矩阵是3x3的上三角矩阵，符合内参矩阵k的构型，第二个矩阵自然就是旋转矩阵r了，g的最后一列是矩阵乘法kt的结果，得到k后，将k的逆左乘g的最后一列就得出了位移向量t。
[0079]
s4、根据所述旋转矩阵、位移向量及内参矩阵设置虚拟相机位姿和内参。
[0080]
将这个r和t应用到虚拟相机的位姿，可以将其偏移到物理相机的位姿，这也就达到了虚拟相机的坐标系与物理相机坐标系重合的目的；
[0081]
将内参矩阵k应用到虚拟相机上，可以使得定位tracker在虚拟相机中的像与在物理相机中的像完全重合。
[0082]
另一方面，本发明实施例公开了一种mr混合摄影相机的标定方法的mr混合摄影相机的标定系统，其特征在于，包括：
[0083]
数据获取模块，用于获取多对物理相机中的像素坐标及对应的虚拟相机坐标系中的坐标；其中，数据获取模块包括定位基站和两个跟踪器，所述定位基站的数量由跟踪的物理空间大小确定。
[0084]
数据处理模块，用于根据多对所述物理相机中的像素坐标及对应的虚拟相机坐标系中的坐标求解旋转矩阵、位移向量及内参矩阵；
[0085]
虚拟相机参数更新模块，用于根据所述旋转矩阵、位移向量及内参矩阵设置虚拟相机位姿和内参。
[0086]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0087]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。