一种虚拟视点的全景特写拼接系统及其方法
【技术领域】
[0001] 本发明涉及一种虚拟视点的全景特写拼接系统及其方法。
【背景技术】
[0002] 随着数码摄像机越来越普遍，越来越多的用户能够体验数码产品，自动图像数字 处理技术也成为技术研究人员探索的热潮；红眼消除和颜色校正两个很流行的图像处理方 法已经被纳入商业软件程序包，主要被摄影学家应用；另一个很普遍的应用就是图像拼接 技术，即从有相同场景的多个有重叠部分的图像中产生一个高质量的全景图像。
[0003] 从计算机的发明到现在，经过几十年的时间，信息技术已经从无到有，数字化信息 已经渗透到人类生活密切相关的各个领域，人类正向高度信息化的社会迈进；长期以来，人 们一直追求直观，简单而且有效的信息传递方式，这就促使了多媒体技术的高速发展，成 为了信息技术中热点研究方向之一；据研究，人们仅有不到20%的信息是通过视觉以外的 途径获得的，视觉信息的重要性不言而喻；图像是视觉信息中最重要的一类，其技术研究重 点主要是使自然景物的表征更加逼真和清晰。
[0004] 图像可以将表达的信息用最直白的形式展现出来，同时含有比文字更丰富的内 容，因此它已经成为人们交流的主要工具，人们接触到的信息几乎都是以图像的形式呈现 的；但是图像在放大，变换和特写以及3D投影时，会受到各种因素的干扰，从而使得图像在 虚拟位置的图像的质量下降，图像细节模糊，不能达到高标准高质量的图像要求，不能根据 用户设定得到局部的超高清图像，因此需要使用某种技术来改善图像放大融合质量，提高 图像可视效果。
[0005] 国内外对于虚拟视频的研究始于上世纪90年代，国际方面，比较有影响力的是日 本名古屋大学的基于光线空间的自由视点电视（FTV Free Viewpoint Television)系统、 斯坦福大学的Light Field系统、德国HHI研究所的基于模型的自由视点视频方案、三菱 MERL实验室的面向存储和传输的交互式自由视点视频系统，欧洲的3DTV计划；此外，微软、 卡内基梅隆大学等也在多视点系统实现上开展了广泛的工作。
[0006] 国内的研究机构对多视点视频技术的研究也取得了一定的成就，清华大学较早 地展开了自由视点视频技术的研究，主要包括在光场处理和交互式多视点视频上的研究； 宁波大学提出了包括光线空间数据压缩和插值、多视点视频编码，多视点视频颜色校正、 Wyner-ziv编码等方面的一系列算法。
[0007] 视点绘制技术作为多视点视频技术中的关键技术，不断有新的算法提出；Mori等 人提出了先由参考视点绘制出虚拟视点深度图，再反向映射的算法，该算法能够获得良好 的主观质量和PSNR。
[0008] S. Zinger等人在Mori所提算法的基础上进一步提出了通过对在深度图进行滤 波，比较滤波前后的变化区域找到不可靠区域，并对其反向映射的算法，该算法较Mori所 提的算法在PSNR和图像轮廓边缘上均有提升，但这两种方案均需要将全图映射多次，计 算量大，耗时长；Kwan-Jung Oh等提出一种填补空洞的方法，在区分出前景背景的基础上， 用空洞周围的背景点来填补空洞。这种方法局限于只能填补小洞；P.Merkle等人提出了 对图像分块处理的算法，其算法有较好的PSNR性能，但轮廓边缘的效果不如前两种算法； Ya-Mei Feng等人提出了不对称参考视点的算法，其算法能够很大程度上减少数据量，并 获得高质量的图像，但在遮挡情况复杂的环境下可靠性不够；Karsten MUller和Aljoscha Smolic等人提出的算法中，使用分层视频（leveled depth video，LDV)能够减少传输的数 据量，并且通过边缘提取能够有效去除伪影现象，但分层视频需要预处理，降低了实时性， 而且其边缘检测的方法将一部分可靠区域划分到了不可靠区域中，增加了额外的开销。
【发明内容】
[0009] 本发明的目的在于克服现有技术的不足，提供一种虚拟视点的全景特写拼接系统 及其方法，有效的处理全景拼接中虚拟视点的位置、图像信息、单应矩阵、图像融合等问题， 保证拼接之后的图像质量。
[0010] 本发明的目的是通过以下技术方案来实现的：一种虚拟视点的全景特写拼接系 统，包括全景相机和图像拼接模块；所述的全景相机为带有深度传感器的全景相机；全景 相机的输出端与图像拼接模块连接；所述的图像拼接模块包括全景相机内外参数计算单 元、映射矩阵计算单元、图像放大融合单元和图像空洞填补单元；
[0011] 所述的全景相机内外参数计算单元用于求出全景相机的内外参数；
[0012] 所述的映射矩阵计算单元用于根据用户特写要求，设定虚拟相机的外参，并计算 得到全景相机与虚拟相机的单应变换关系矩阵；
[0013] 所述的图像放大融合单元用于进行图像融合和放大，得到感兴趣区域高质量的聚 焦融合图像；
[0014] 所述的图像空洞填补单元用于填补融合图像的空洞，得到不损失原始图像信息的 无缝高质量融合图像。
[0015] -种虚拟视点的全景特写拼接方法，包括以下步骤：
[0016] S1.以全景相机拍摄的图像作为基准图，并通过安装在相机上的深度传感器获取 图像深度信息，根据相机标定求出全景相机内外参数，即全景成像平面的内外参数；
[0017] S2.根据用户特写要求，确定虚拟相机的外参，即虚拟成像平面的外参数，并计算 得到全景相机与虚拟相机的单应变换关系矩阵，来确立全景成像平面和虚拟成像平面的图 像映射关系；
[0018] S3.用户选定感兴趣区域，根据单应变换关系矩阵，对图像进行放大融合，得到感 兴趣区域高质量的聚焦融合图像；
[0019] S4.采用双线性插值法填补融合图像的空洞，得到不损失原始图像信息的无缝高 质量融合图像
[0020] 所述的步骤S1包括以下子步骤：
[0021] S11.利用相机成像原理，得出三维坐标中实际物体的坐标Aw(xw，y w，zw)T与全景成 像平面物体成像的坐标（u，v)T的变换关系：
[0023] 式中，z。表示在全景成像平面中实际物体坐标的Z轴分量，M i为全景相机的内参 数，M2S全景相机的外参数；
[0024] S12.利用拍摄带有确定标定版信息的图像进行相机标定，求出全景相机的内外 参数吣和Μ 2。
[0025] 所述的步骤S2包括以下子步骤：
[0026] S21.三维坐标中实际物体的坐标为Aw(xw，y w，zw)T，设该实际物体在全景成像平面 上的坐标为（u，v)T，设该实际物体在虚拟成像平面上的坐标为（u'，ν' )τ，则：
[0029] 式中，ζ。表示在全景成像平面中实际物体坐标的Ζ轴分量，M i为全景相机的内参 数，M2S全景相机的外参数；z'。表示在虚拟成像平面中实际物体坐标的Z轴分量，M' ! 为虚拟相机的内参数，M' 2为虚拟相机的外参数；
[0030] S22.设全景成像平面与虚拟成像平面的单应变换关系矩阵为H，则可知：
[0032] 结合步骤S21中的到的两个公式，可以得到单应变换关系矩阵为Η的表达式：
[0034] 式中，MjPM2在步骤S1中已经求得，IT 1实际上与M i相同，根据用户特写要求， 设定虚拟相机外参数M' 2，即可以求出全景成像平面与虚拟成像平面的单应变换关系矩阵 Η
为投影深度比，深度信息由安装在全景相机上的深度传感器在拍摄基准图时获取。
[0035] 所述的步骤S3包括以下子步骤：
[0036] S31.用户选定感兴趣区域；
[0037] S32.根据步骤