一种利用图像修补的自由视点合成方法
【技术领域】
[0001] 本发明涉及自由视点合成技术，具体是一种利用基于样例的图像补全来修补缺失 区域的自由视点合成算法。
【背景技术】
[0002] 3D视频技术最近越来越受到关注，给人们带来了更加真实的3D观看体验。传统的 立体成像设备分别给左右眼提供不同的视频流以此来产生深度的感觉，这要求观看者在固 定的视点上观看。但是实际情况是，越来越多的观看者想从不同的视点上观看视频，这使得 自由视点合成技术越来越被人所重视。这种技术中场景信号是通过一系列不同视点的摄像 机同步获得的即视频信号，是由一系列序列不同摄像机拍摄视频序列组成的。这种技术被 广泛的用在自由视点视频中，在应用中用户可以自由的选择视点而不受视频视角的限制。 目前商业广播系统还不能支持多视频信号的处理和传输，而且在接受端计算合成虚拟视频 也是非常低效的。为了解决这一问题研宄者提出了不同的编码方法和虚拟视频合成方法并 被证明是有效的。
[0003] -种最直接的自由视点合成技术是用多个视点的图像来合成，但是这需要很大的 传输带宽，很多应用采用这种技术会很不现实。另一种可选方案是采用单张图像以及对应 的深度图像来合成，这种技术可以大大减少传输带宽以及摄像机的个数，极大的减少成本。 随着性能良好又便宜的深度摄像机例如微软的KINECT的出现，使得单张图片的视点合成 成为可能。
【发明内容】
[0004] 为了避免现有技术存在的上述不足，本发明提供一种利用图像修补的自由视点合 成方法，其在视点合成过程中利用基于样例的图像修补技术来修补缺失区域，以提升合成 图像的质量，满足观看者从不同的视点上观看视频的需求。
[0005] 本发明提供的利用图像修补的自由视点合成方法，包括以下步骤：
[0006] 1)、利用三维扭曲（3Dwrap)将已有的纹理图像和深度图像投影到合成视点中，出 现前景遮挡导致的一定空洞；
[0007] 2)、采用以空洞的一边来计算优先级的改进Criminisi算法自动修补空洞区域， 该算法包含：
[0008] (21).提取待修复空洞（修复区域）的修补边缘，利用OSTU最大类间距方法将深 度图像边界的深度值分为两类，取深度低的一类当做靠近背景的修补边缘；
[0009] (22).计算以修补边缘上的每一点为中心的各图像块的优先级，取优先级最大的 图像块作为待修复块，设P点为修补边缘上的点，优先级公式为：P(P) =C(p)XD(p) *T(p) 其中，C(p)是置信项，D(p)是数据项，T(p)是深度块平滑程度项；
[0010] (23).将深度图像运用OSTU最大类间距的方法聚成大于深度阈值Dth的高深度值 A类和不大于深度阈值Dth的低深度值B类，从图像已知区域中减去超出深度阈值Dth的区 域得到的搜索区域；然后，在该搜索区域内搜索与待修复块最近似的图像块作为最佳匹配 块；
[0011] (24).以搜索到的最佳匹配块作为模板对待修复空洞进行修复；并更新置信度 值；
[0012]重复执行步骤（21)至步骤（24)，直至待修复空洞均完成修复。
[0013] 上述步骤（22)中，所述深度块平滑程度项T(p)以下式表示：
【主权项】
1. 一种利用图像修补的自由视点合成方法，包括w下步骤： 1) .利用=维扭曲将已有的纹理图像和深度图像投影到合成视点中，出现前景遮挡导 致的一定空洞； 2) .采用W空洞的一边来计算优先级的改进himinisi算法自动修补空洞区域，该算 法包括： (21) .提取待修复空洞的修补边缘，利用OSTU最大类间距方法将深度图像边界的深度 值分为两类，取深度低那一类当做靠近背景的修补边缘； (22) .计算W修补边缘上的每一点为中屯、的各图像块的优先级，取优先级最大的图像 块作为待修复块，设P点为修补边缘上的点，优先级公式如下；P(P) =C(p)XD(p) -T(p)其 中，C(p)是置信项，D(p)是数据项，T(p)是深度块平滑程度的项； (23) .将深度图像运用OSTU最大类间距的方法聚成大于深度阔值Dth的高深度值A类 和不大于深度阔值Dth的低深度值B类，从图像已知区域中减去超出深度阔值D th的区域得 到的捜索区域；然后，在该捜索区域内捜索与待修复块最近似的图像块作为最佳匹配块； (24) . W捜索到的最佳匹配块作为模板对待修复空洞进行修复；并更新置信度值； 重复执行步骤（21)至步骤（24)，直至待修复空洞均完成修复。
2. 如权利要求1所述的方法，其特征是，步骤（22)中所述深度块平滑程度的项T(p) W 下式表示：
其中，IZpl表示Wp点为中屯、的块的面积，也就是块内像素数目；Zm为块内深度的均值。
3. 如权利要求1或2所述的方法，其特征是，步骤似）中所述深度阔值Dth如下式定 义：
其中，Wp是优先级最高的块，|Z(p)|为Wp的像素数目，Zq(p)为块Wp内在像素q上 的深度值，|Zq(p)〉MA|qG WpH 〇|为块内深度值大于Ma的数目，Rth为设定比例阔值； 深度阔值Dth根据块内像素高于M A的比例有两种不同的值，如果块内像素高于M A的比 例超过了设定比例阔值Rth，选择平均值或者Ma的较小值来作为深度阔值Dth;而当块内高深 度值高于Ma的比例低，用M A来作为深度阔值D th。
4. 如权利要求3所述的方法，其特征是，其中所述的D th取值范围R th到1，所述设定比 例阔值Rth取值范围0到1。
5. 如权利要求4所述的方法，其特征是，所述的设定比例阔值R th为0. 2。
【专利摘要】本发明涉及一种利用图像修补的自由视点合成方法，包括步骤：1).利用三维扭曲将已有的图像投影到合成视点中，出现前景遮挡导致的一定空洞；2).采用以空洞的一边来计算优先级的改进Criminisi算法自动修补空洞区域；根据视点合成的遮挡区域主要来自于背景的先验知识，通过OSTU最大类间距聚类法来提取修补边缘的背景部分，并将对应的深度信息集成到优先级计算中，进一步提高强结构点的优先级；并且利用块的深度信息计算自适应阈值来限制搜索区域，使得匹配块尽量来自于背景区域，通过这些策略提升了最后的合成质量。本方法与常见算法的实验结果比较，在芭蕾的主观合成效果和客观指标方面均有明显提升。
【IPC分类】H04N13-00
【公开号】CN104601972
【申请号】CN201410785491
【发明人】袁春, 伍云, 陈龙
【申请人】清华大学深圳研究生院
【公开日】2015年5月6日
【申请日】2014年12月17日