专利名称：一种基于图像重投影的视图合成方法
技术领域：
本发明涉及基于图像的绘制技术领域，具体来讲，涉及一种基于图像重投 影的视图合成方法。 .
背景技术：
基于图像的绘制(image based rendering, IBR)是近十年来新兴的一 门学科。它 能够利用一系列已知的参考图像合成新视点的虚拟视图。与传统的基于三维模 型的绘制(3D Model-Based Rendering, MBR)技术相比，它具有不需要复杂的3维 场景建模、绘制速度快、对计算机要求不高等优点。但是单纯利用己知图像合 成虚拟视图，所需处理的图像数据是非常庞大的，例如IBR中的光场绘制技术。 而近几年发展起来的图像重投影技术由于引入了摄像机内、外部参数以及深度 信息，降低了处理的数据量、加快了绘制速度，是IBR中比较有发展前途的一门 技术。
图像重投影是指通过对任意视点的参考图像(reference image)进行投影来产 生新的图像。由于图像重投影能够改变已生成的图像的视线方向，因此它在多 视点图像的实时渲染、视图变形(view morphing)、图像拼接(image mosaic)等领 域得到了应用。目前多数文献讨论一般情况下的图像重投影，处理起来比较复 杂。如2007年International Symposium on Intelligent Signal Processing and Communication Systems会议论文集中"ARBITRARY VIEW GENERATION BASED ON DIBR" —文公开的视图合成方法。由于在实际应用中很多情况下摄 像机只绕光心旋转，例如视频监控设备及某些云台设备的摄像机通常只绕光心 旋转，因此研究这类情况的视图合成具有重要的现实意义。
发明内容
本发明的目的在于降低现有技术的复杂性，提供一种基于图像重投影的视 图合成方法，该方法适用于摄像机绕光心旋转时虚拟视图的合成。
为了达到上述发明目的，本发明基于图像重投影的视图合成方法包括以下步骤
(1) 、两台摄像机在不同视点拍摄同一场景得到两幅参考图像；
(2) 、利用第一幅参考图像对应的摄像机内部参数矩阵和目标图像的旋转 矩阵计算出从第一幅参考图像到目标图像的单应矩阵；
(3) 、利用单应矩阵将第一幅参考图像投影到目标图像，从而合成目标图 像的一部分；
(4) 、确定遍历第二幅参考图像像素的顺序；
(5) 、根据步骤(4)确定的遍历顺序遍历第二幅参考图像的像素，利用 三维图像变换方程组将这些像素投影到目标图像，得到目标图像的剩余部分， 合成了目标图像，即摄像机绕光心旋转的虚拟视图。
作为进一步的改进，步骤(5)所述的将第二幅参考图像的像素点投影到目 标图像，如果该像素点被投影到了步骤(3)所合成的目标图像部分的区域，则 对投影像素点不作任何处理，否则将第二幅参考图像中的该像素点值拷贝到投 影像素点。 '
本发明的特点是将目标视图分为两部分来合成，其中一部分的合成最大限 度地利用了单应矩阵的优良性质，提高了合成视图的质量。同时，另一部分的 合成采用了二维图像变换技术生成目标图像的剩余部分，从而实现了摄像机绕 光心旋转的虚拟视图的合成。
图1是本发明一具体实施方式
的参考图像与目标图像的投影关系示意图2是图l所示第一副参考图像到目标图像的视图合成过程示意图；.
图3是图2所示第二副参考图像到目标图像的视图合成过程示意图4是图3所示目标图像的空洞填补示意图。
具体实施例方式
为更好地理解本发明，下面结合具体实施方式
对本发明进行更为详细描述。 在以下的描述中，当已有的现有技术的详细描述也许会淡化本发明的主题内容
时，这些描述在这儿将被忽略。
图1是本发明一具体实施方式
的参考图像与目标图像的投影关系示意图。 在本实施例中，两台摄像机在不同视点拍摄同一场景得到两幅参考图像14、 15，光心分别为C4和Cs，第一幅参考图像I4对应的摄像机内部参数矩阵为K4，
旋转矩阵为R4;第二幅参考图像15的内部参数矩阵为K5，旋转矩阵为R5。在 本实施例中，两幅参考图像的分辨率都为1024*768。要合成的目标图像I,是第
一幅参考图像I4绕其光心C4旋转所得到的图像，其一次转动角为^，旋转轴为
r轴。U为场景中的一点，其规范化齐次坐标为[J^^2^lf ，在第二幅参考图 像Is及目标图像I,中的对应像素点分别为u、 u,，像素点ii对应的深度值为'A。
在本实施例中，本发明的第(2)步的具体步骤为 (■21)、计算目标图像I,的旋转矩阵R^;
R。=
cos^ 0 —sin^
0 1 0 sin^ 0 cos^
(22)、在本实施例中，第一幅参考图像l4的像素图像坐标系采用的是x'oy， 而最后得到的目标图像I,的像素图像坐标系采用的是加》因此需要计算从x^到 x'oy的坐标变换矩阵T。。,，在本实施例中，变换矩阵T。。.为
T =
10 0 . 0 -1 767 0 0 1
(23)、禾U用第一幅参考图像l4对应的摄像机内部参数矩阵K4、目标图像 I,的旋转矩阵&以及坐标变换矩阵T。。,，计算出从第一幅参考图像14到目标图 像I,的单应矩阵M。
M = T 乂R。K:T
图2是图1所示第一副参考图像到目标图像的视图合成过程示意图。 在本实施例中，如图2所示，木发明的步骤(3)所述的利用单应矩阵将第 一幅参考图像投影到目标图像，从而合成目标图像的一部分，采用逆向映射的
方法，以避免产生空洞，具体歩骤为
(31)、将第一幅参考图像I4的顶点坐标与单应矩阵M相乘，得到顶点在目 标图像I沖的投影的集合Verts,，该集合Verts,为点集；
(32) 、根据集合Verts,以及目标图像I,的边界计算第一幅参考图像l4在目标 图像l中的投影构成封闭的多边形区域Polygon;
(33) 、按行扫描多边形区域Polygon，利用单应矩阵M计算其中的每一个 点在第一幅参考图像I4中的对应点，将该对应点对应的像素拷贝到多边形区域 Polygon中对应点的位置，从而将第一幅参考图像投影14到目标图像1,中，合成 目标图像^的一部分，即目标图像I,中多边形区域Polygoii的那部分图像。
图3是图2所示第二副参考图像到目标图像的视图合成过程示意图。 在本实施例中，如图3所示，本发明的第(4)歩所述的确定遍历第二幅参 考图像像素的顺序的具体步骤为
(41) 、计算第一幅参考图像l4光心C4在第二幅参考图像Is中的投影e， e
(42) 、根据投影e的坐标将第二幅参考图像Is划分成若干个区域。由^ 的正负确定遍历每一个区域中的像素的顺序。若^>0则该极点为正极点，应按 照朝向投影e的方向处理第二幅参考图像Is中的像素；反之，则按照远离投影e 的方向处理第二幅参考图像15中的像素。
在本实施例中，如图3所示，本发明的歩骤(5)所述的根据歩骤(4)确 定的遍历顺序遍历第二幅参考图像的像素点，利用三维图像变换方程组将这些 像素点投影到目标图像，得到目标图像的剩余部分，合成了目标图像，即摄像 机绕光心旋转的虚拟视图的具体步骤为
(51)、根据歩骤(41) 、 (42)确定的遍历顺序遍历第二幅参考图像15 划分出的各区域中的每一个像素点u，利用二维图像变换方程组，即
<formula>formula see original document page 7</formula>
将这些像素投影到目标图像I,中，从而得到投影像素点ii,。其中，z,是将投影
像素点n,变为规范化齐次坐标的比例因子；
(52)、采用"跳栅栏"算法计算投影像素点u,是否在区域目标图像I,中 的多边形区域Polygon夕卜。若在，则将第二幅参考图像Is中的像素点ii的像素 值拷贝到投影像素点u,，否则不作任何操作，这样就得到了目标图像I,的剩余
部分，合成了目标图像I,，即摄像机绕光心旋转的虚拟视图。 图4是图3所示目标图像的空洞填补示意图。
如图4所示，在本实施例中，还对目标图像15中的多边形区域Polygon外 的区域，即目标图像中15步骤(3)所合成的目标图像部分以外区域进行空洞填 补，得到最终的目标图像15。具体步骤如下
(a) 、对于空洞中的一点p，搜索离p最近的上下左右四个相邻像素点p,、 P"、 Prf;
(b) 、分别计算出像素点p,、 p,、 p 、 pa到点p的距离d,、 d,、 du、 dw采
用式(l)计算点p的像素值的估计值Ep;
EP = (V(p/)/d, + V(p》/A + V(pM)/d + V(p》/drf) / (1/d, + + + l/d》 (1)
其中，vo表示取点的像数值
(c) 、用歩骤(b)得到的估计值Ep来填充空洞点p;
(d) 、若目标图像中还有空洞点，则转(a);否则停止。
尽管上面对本发明说明性的具体实施方式
进行了描述，但应当清楚，本发 明不限于具体实施方式
的范围，对本技术领域的普通技术人员来讲，只要各种 变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而 易见的， 一切利用本发明构思的发明创造均在保护之列。
权利要求
1、一种基于图像重投影的视图合成方法，其特征在于包括以下步骤(1)、两台摄像机在不同视点拍摄同一场景得到两幅参考图像；(2)、利用第一幅参考图像对应的摄像机内部参数矩阵和目标图像的旋转矩阵计算出从第一幅参考图像到目标图像的单应矩阵；(3)、利用单应矩阵将第一幅参考图像投影到目标图像，从而合成目标图像的一部分；(4)、确定遍历第二幅参考图像像素的顺序；(5)、根据步骤(4)确定的遍历顺序遍历第二幅参考图像的像素点，利用三维图像变换方程组将这些像素点投影到目标图像，得到目标图像的剩余部分，合成了目标图像，即摄像机绕光心旋转的虚拟视图。
2、 根据权利要求l所述的基于图像重投影的视图合成方法，其特征在于， 步骤(3)所述的利用单应矩阵将第一幅参考图像投影到目标图像，从而合成目 标图像的一部分的具体步骤为(31) 、将第一幅参考图像的顶点坐标与单应矩阵相乘，得到顶点在目标 图像中的投影的集合； (32) 、根据顶点在目标图像中的投影的集合以及目标图像的边界计算第 一幅参考图像在目标图像中的投影构成封闭的多边形区域；(33) 、按行扫描多边形区域，利用单应矩阵计算其中的每一个点在第一 幅参考图像中的对应点，将该对应点对应的像素拷贝到多边形区域中对应点的 位置，从而将第一幅参考图像投影到目标图像中，合成目标图像的一部分。
3、 根据权利要求l所述的基于图像重投影的视图合成方法，其特征在于， 步骤(5)所述的将第二幅参考图像的像素点投影到目标图像，如果该像素点被 投影到了步骤(3)所合成的目标图像部分的区域，则对投影像素点不作任何处 理，否则将第二幅参考图像中的该像素点值拷贝到投影像素点。
4、 根据权利要求l所述的基于图像重投影的视图合成方法，其特征在于， 还包括以下步骤(6) 、对目标图像中步骤(3)所合成的目标图像部分以外区域进行空洞填补。
5、 根据权利要求4所述的基于图像重投影的视图合成方法，其特征在于， 所述的空洞填补为(a) 、对于空洞中的一点，搜索离它最近的上下左右四个相邻像素点；(b) 、分别计算(a)中四个相邻像素点的像素值与它们到该空洞点的距离的 比值，求这四个比值之和；用这个和除以四个相邻像素点的距离的倒数之和， 便得到该空洞点的像素的估计值；(C )、用步骤(b)得到的估计值来填充该空洞点；(d)、若目标图像中还有空洞点，则转(a);否则停止。
6、 根据权利要求3所述的基于图像重投影的视图合成方法，其特征在于， 所述的判断像该像素点是否被投影到了步骤(3)所合成的目标图像部分的区域，采用的是"跳栅栏"算法。
全文摘要
本发明公开了一种基于图像重投影的视图合成方法，该方法适用于摄像机绕光心旋转时虚拟视图的合成。本发明用两台摄像机在不同视点拍摄同一场景得到两幅参考图像，首先利用单应矩阵及一幅参考图像合成目标图像的一部分，然后利用三维图像变换技术，根据另一幅参考图像生成目标图像的剩余部分，得到目标图像。本发明的特点是将目标视图分为两部分来合成，其中一部分的合成最大限度地利用了单应矩阵的优良性质，提高了合成视图的质量。同时，另一部分的合成采用了三维图像变换技术生成目标图像的剩余部分，从而实现了摄像机绕光心旋转的虚拟视图的合成。
文档编号G06T15/10GK101383051SQ20081004618
公开日2009年3月11日 申请日期2008年9月27日 优先权日2008年9月27日
发明者然 刘, 张小云, 刚 杨 申请人:四川虹微技术有限公司