用于三维视频流的边缘形状加强的方法及设备的制作方法
【专利摘要】本发明涉及一种用于三维视频流的边缘形状加强的方法及设备。描述了用于三维视频内容中边缘校正的方法，所述视频内容包括至少一个原始视图图像和至少一个深度或视差图，该方法包括以下步骤：-检测至少一个原始视图图像中的边缘，以获得原始边缘；-根据所述深度或视差图扭曲所述原始边缘；-校正所述改变的边缘，以获得校正的边缘。
【专利说明】用于三维视频流的边缘形状加强的方法及设备
【技术领域】
[0001] 本发明涉及边缘形状加强的方法及设备，用于三维视频流的基于深度图像渲染的 视觉增强。
【背景技术】
[0002] 3D显示技术的最新进展连同许多对3DTV成功的技术挑战一起到来。已经提出了 多种多样的用于高效编码、传输和渲染的技术。由于对可用于发送多个视图的数据速率的 约束，只有少数几个原始视图可以以其深度输送，而其它中间视图是利用基于深度图像的 渲染（DIBR)技术从可用的视图及其深度生成的。通常，两个或三个视图以及它们对应的深 度用来渲染中间视图。任何DIBR技术的目标都是在虚拟视图中实现高视觉质量。当深度 由于估计或测量误差、量化和/或有损压缩而不准确时，这是个具有挑战性的任务。
[0003] 几乎所有视图合成技术都在两阶段中操作：首先，原始视图被扭曲（warp)并融合 到一起，以生成中间视图；然后，通过各种修补方法来恢复中间视图中缺失的区域。每个像 素的新位置取决于它的深度和相机参数。深度的小误差可能会造成像素最终位置的大的变 化。视图合成的第二阶段被称为孔填充或修补。
[0004] 最典型的情况是在两个原始视图（即对应深度图附带的左和右视图）之间生成中 间视图。
[0005] 令％和t是具有对应深度Dp&的两个输入视图，其中深度被量化为8位的整 数。令2"和&分别是最近和最远的深度。最常见的设置是具有相机焦距f的水平相机设 置，其中bp被分别是左相机和右相机的位置。通常，称为相机基线。令Vm为将
【权利要求】
1. 一种用于三维视频内容的图像的边缘校正的方法，所述视频内容包括至少一个原始 视图图像和至少一个深度或视差图，该方法包括以下步骤： 检测所述至少一个原始视图图像中的边缘，以获得原始边缘； 根据所述深度或视差图扭曲所述原始边缘； 检测由所述扭曲处理改变的扭曲边缘集合； 校正所述改变的边缘，以获得校正的边缘。
2. 如权利要求1所述的方法，其中检测所述扭曲边缘集合的所述步骤包括通过以下步 骤进行的边缘形状匹配的步骤： 比较一条原始边缘的形状与对应扭曲边缘的形状，并且确定扭曲边缘中相对于所述原 始边缘的变形。
3. 如权利要求2所述的方法，其中所述确定变形包括： 计算参考边缘点，如扭曲边缘和原始边缘的水平坐标和垂直坐标的质心，或者如扭曲 边缘和原始边缘的水平坐标和垂直坐标的中值； 相对于对应的参考点表达原始边缘和扭曲边缘的坐标，以获得被参考的边缘点； 通过取扭曲前后被参考的边缘点的坐标之间的差，为边缘的每个点计算扭曲误差。
4. 如权利要求1所述的方法，其中检测扭曲边缘集合的所述步骤包括通过以下步骤对 扭曲边缘坐标进行异常检测的步骤： 通过计算扭曲前后边缘的水平梯度和/或垂直梯度的差，对扭曲前后边缘轨迹的形状 进行比较，以寻找扭曲前后边缘梯度的异常、突然的修改； 所述水平梯度或垂直梯度分别表示所述边缘轨迹的水平坐标和垂直坐标的增量。
5. 如权利要求4所述的方法，其中，如果扭曲边缘看起来在所考虑的边缘点周围断开， 则所述梯度的修改被认为是异常、突然的修改。
6. 如权利要求2或3所述的方法，其中校正所述改变的边缘的所述步骤包括通过从扭 曲边缘减去边缘误差来校正扭曲边缘的形状，以加强原始边缘的形状。
7. 如权利要求6所述的方法，其中所述校正只应用到其整体误差高于阈值的那些边 缘。
8. 如权利要求1所述的方法，其中扭曲原始边缘的步骤是根据以下至少一个因素对检 测到的边缘的子集执行的： 要在整个校正处理中实现的质量标准，优选为视觉对象的具体特性或视觉质量或几何 特性或特定于应用的约束； 边缘的几何特性（优选为朝向、线性度、曲率、长度）； 基于边缘的位置（优选为3D空间中的位置、与相机视点的接近度）。
9. 如权利要求4或5所述的方法，其中校正所述改变的边缘的所述步骤包括通过对边 缘轨迹中已经被识别为异常的那些部分进行平滑处理来校正边缘。
10. 如权利要求9所述的方法，其中该方法包括使用平滑滤波器或均值滤波器或非线 性中值滤波器用于所述校正。
11. 如权利要求1至5中任何一项所述的方法，其中校正所述改变的边缘的所述步骤包 括通过根据原始边缘到前一边缘像素或者其邻域的梯度校正扭曲梯度的异常值，来修改改 变的边缘的像素位置。
12. 如权利要求11所述的方法，其中递归地应用所述通过参考的像素识别和像素校 正。
13. 如权利要求1至5中任何一项所述的方法，其中校正所述改变的边缘的所述步骤包 括确定在扭曲边缘附近的原始边缘的梯度值的函数。
14. 如权利要求13所述的方法，其中所述原始边缘的梯度值的函数取决于与扭曲边缘 的点相邻的、具有在所述点中计算出的梯度的像素的坐标之和。
15. 如权利要求1所述的方法，其中校正的边缘被包含在扭曲视图图像中，所述扭曲视 图图像是通过根据深度或视差图扭曲至少一个原始视图而获得的。
16. 如权利要求15所述的方法，还包括边缘加强步骤，其中位于与扭曲边缘对应的原 始边缘附近的像素的更多值混合在所述扭曲视图中所述校正的边缘附近。
17. 如前面权利要求1-16中任何一项所述的方法，还包括在三维视频内容的另一原始 视图图像中检测边缘的步骤，以获得在所述另一视图中检测到的边缘，其中： 检测被扭曲处理改变的扭曲边缘集合的步骤包括匹配所述扭曲边缘与在所述另一视 图中检测到的边缘，用于个别化它们与三维视频内容的相同边缘的对应性，以及通过比较 所述扭曲边缘与所述另一视图中检测到的边缘来测量通过扭曲处理产生的改变，以及 校正所述改变的边缘的步骤依赖于在所述另一视图中检测到的所述边缘并依赖于所 述测量。
18. -种用于三维视频内容的图像的边缘校正的方法，所述视频内容包括至少两个原 始视图图像和至少两个深度或视差图，该方法包括： 对所述至少两个原始视图中的一个执行如权利要求1至16中任何一项所述的方法； 对所述至少两个原始视图中的另一个执行如权利要求1至16中任何一项所述的方 法； 其中所述方法是一个接一个连续地并且彼此独立地对所述原始视图执行的。
19. 一种用于三维视频内容的图像的边缘校正的方法，所述视频内容包括至少两个原 始视图图像和至少两个深度或视差图，该方法包括： 对所述至少两个原始视图中的一个执行如权利要求1至16中任何一项所述的方法； 对另一个原始视图中还没有在前一步骤期间被校正的边缘执行如权利要求1至16中 任何一项所述的方法。
20. -种用于三维视频内容的图像的边缘校正的方法，所述视频内容包括至少两个原 始视图图像和至少两个深度或视差图，该方法包括： 确定所述三维视频内容中哪些边缘可以通过对所述两个原始视图图像都应用如权利 要求1至16中任何一项所述的方法来校正；及 对在之前步骤中确定的边缘应用如权利要求1至16中任何一项所述的方法。
21. 如权利要求1所述的方法，还包括步骤： 确定所述扭曲边缘在对应深度图中的深度； 通过利用边缘像素的深度值和视差值间的关系，计算由扭曲处理对所述扭曲边缘造成 的相对于原始边缘的移位； 测量由扭曲处理产生的相对于所述原始边缘的移位误差； 基于所述移位误差和所述移位，确定边缘的正确移位值； 通过利用边缘像素的深度值和视差值间的关系，确定所述改变的边缘的正确深度值。
22. 如权利要求21所述的方法，其中邻接像素的深度是通过使用深度插值算法来插值 的。
23. 根据权利要求1所述的方法，还包括通过在所述视频内容的图像上应用所述校正 的边缘以获得所述三维视频内容的校正的图像的步骤。
24. -种用于评估深度图质量的方法，所述深度图对应于与三维视频内容相关的原始 视图，所述方法包括： 对关于所述三维视频内容的原始视图图像的边缘应用如权利要求2或3所述的方法， 以分别获得对应的边缘变形和扭曲误差，以及 对根据所述深度图扭曲的所述边缘产生的所述变形或扭曲误差分别求和。
25. -种用于评估深度图质量的方法，所述深度图对应于与三维视频内容相关的原始 视图，所述方法包括： 对关于所述三维视频内容的原始视图的边缘应用如权利要求4或5所述的方法，以获 得扭曲如后边缘对应的水平梯度差和/或垂直梯度差，及 对根据所述深度图扭曲的所述边缘产生的所述梯度差的绝对值求和。
26. 如权利要求23或24所述的方法，其中通过取决于对应边缘长度的权重因子加权总 计值。
27. -种包括计算机程序代码装置的计算机程序，当所述程序在计算机上运行时，所述 计算机程序代码装置适于执行权利要求1至26所述全部步骤。
28. -种其上记录程序的计算机可读介质，所述计算机可读介质包括当所述程序在计 算机上运行时适于执行如权利要求1至26所述全部步骤的计算机程序代码装置。
29. -种视频处理装置，包括： 输入装置，适于接收至少一个原始视图图像和至少一个深度或视差图，及 图像处理装置，适于执行如权利要求1至23中任何一项所述的方法。
30. -种适于重构三维视频内容的系统，包括如权利要求29所述的视频处理装置。
31. -种适于生成三维视频内容的系统，包括如权利要求29所述的视频处理装置
32. -种视频质量评估装置，包括： 输入装置，能够接收至少一个原始视图图像和至少一个深度或视差图，及 图像处理装置，能够执行如权利要求24至26中任何一项所述的方法。
【文档编号】H04N17/00GK104519348SQ201410513891
【公开日】2015年4月15日 申请日期:2014年9月29日 优先权日:2013年9月30日
【发明者】M·格兰齐托, M·卢森特福特, A·巴苏, G·巴洛卡, M·S·法瑞德 申请人:西斯维尔科技有限公司