用于恢复空间运动矢量的装置和方法
【专利摘要】用于恢复空间运动矢量的装置和方法。讨论了一种用于恢复运动矢量以对接收到的视频流执行错误隐藏的装置，该装置包括：第一选择单元，其从位于丢失的片上方的第一片选择第一运动矢量，并且从位于所丢失的片下方的第二片选择第二运动矢量；第二选择单元，其确定与第一运动矢量正交的至少一个第一正交运动矢量，并且确定与第二运动矢量正交的至少一个第二正交运动矢量；以及恢复单元，其使用有效的运动矢量的加权平均来计算所丢失的片中包括的丢失的运动矢量，其中，有效的运动矢量包括第一运动矢量、第二运动矢量、第一正交运动矢量以及第二正交运动矢量中的至少一个。
【专利说明】用于恢复空间运动矢量的装置和方法
【技术领域】
[0001] 本发明涉及一种用于恢复接收到的视频流的空间运动矢量的装置和方法。
【背景技术】
[0002] 移动装置正变得更加普遍和复杂。结果，这些装置的无线通信方面正变得越来越 重要。同时，在可用性和质量方面对视频需求也在上升。高清晰度（HD)视频是用于满足现 今视频需求的选择的标准。然而，HD视频的特征在于高数据速率。使用H. 264压缩的HD 视频能够经由802. 11无线网络进行无线流式传输。然而，这样的无线网络易于出现分组丢 失，这导致视频的感知质量下降。因此，重要的是执行错误隐藏（errorconcealment)以便 改善下降的视频的视觉质量。
【发明内容】
[0003] 因此，本发明旨在提供一种用于恢复接收到的视频流的空间运动矢量的装置和方 法，所述装置和方法基本上消除了由于相关技术的局限性和缺点而导致的一个或更多个问 题。
[0004] 本发明的一个方面旨在提供一种用于恢复接收到的视频流的空间运动矢量的装 置和方法，所述装置和方法对接收到的视频流执行错误隐藏。
[0005] 除了本发明的前述目标之外，将在下面描述本发明的其它特征和优点，所述特征 和优点将由本领域的技术人员从下面的描述清楚地理解。
[0006] 除本发明的前述特征和效果之外，能够从本发明的实施方式以新的方式解释其它 特征和效果。
[0007] 本发明的附加的优点和特征将在下面的描述中部分地阐述，并且对于研究了以下 部分的本领域普通技术人员将变得显而易见，或者可以从本发明的实践中习得。本发明的 目的和其它优点可以通过在撰写的说明书及其权利要求书以及附图中所特别地指出的结 构来实现和获得。
[0008] 为了实现这些和其它优点并且依照本发明的目的，如在本文中所体现和广泛地描 述的那样，一种用于恢复运动矢量以对接收到的视频流执行错误隐藏的方法，该方法包括 以下步骤：第一步骤，从位于丢失的片上方的第一片选择第一运动矢量，并且从位于所述 丢失的片下方的第二片选择第二运动矢量；第二步骤，确定与所述第一运动矢量正交的至 少一个第一正交运动矢量，并且确定与所述第二运动矢量正交的至少一个第二正交运动矢 量；以及第三步骤，使用有效的运动矢量的加权平均来计算包含在所述丢失的片中的丢失 的运动矢量，其中，所述有效的运动矢量包括所述第一运动矢量、所述第二运动矢量、所述 第一正交运动矢量以及所述第二正交运动矢量中的至少一个。
[0009] 在本发明的另一方面，一种用于恢复运动矢量以对接收到的视频流执行错误隐藏 的装置，该装置包括：第一选择单元，该第一选择单元从位于丢失的片上方的第一片选择第 一运动矢量，并且从位于所述丢失的片下方的第二片选择第二运动矢量；第二选择单元，该 第二选择单元确定与所述第一运动矢量正交的至少一个第一正交运动矢量，并且确定与所 述第二运动矢量正交的至少一个第二正交运动矢量；以及恢复单元，该恢复单元使用有效 的运动矢量的加权平均来计算包括在所述丢失的片中包括的丢失的运动矢量，其中，所述 有效的运动矢量包括所述第一运动矢量、所述第二运动矢量、所述第一正交运动矢量以及 所述第二正交运动矢量中的至少一个。
[0010] 应当理解，本发明的前面的通用描述和以下详细描述两者都是示例性的和说明性 的，并且旨在提供对如所要求保护的本发明的进一步解释。
【专利附图】
【附图说明】
[0011] 附图被包括在本说明书中以提供对本发明的进一步理解，并结合到本说明书中且 构成本说明书的一部分，附图示出了本发明的实施方式，且与说明书一起用于解释本发明 的原理。在图中：
[0012] 图1例示了根据本发明的用于恢复运动矢量的方法的实施方式；
[0013] 图2例示了第一运动矢量和第二运动矢量相对于丢失的宏块的位置和距离；
[0014] 图3例示了被用于经由反距离加权来估计丢失的运动矢量的值的第一运动矢量、 第二运动矢量以及它们的相邻的运动矢量；
[0015] 图4例示了运动矢量相对于距离的空间关系；
[0016] 图5例示了 1080pHD测试视频的规范；
[0017] 图6例示了范围从-1到+1的莫氏（Moran's)I值的直方图；
[0018] 图7例示了根据本发明的用于恢复运动矢量的装置的实施方式；
[0019] 图8A和图8B例示了在原始帧与由于网络分组丢失而具有缺失的片信息的损坏帧 之间的比较；
[0020] 图9A至图9E例示了与已有的EC技术的比较；
[0021] 图10A至图10F例示了具有使用CMVR而隐藏的5个丢失场景的6个测试视频的 测量结果；
[0022] 图11例示了针对六个测试视频对默认方法和CMVR使用恢复的MV的隐藏MB的百 分比分布；
[0023] 图12A至图12C例示了针对用默认方法和CMVR两者隐藏的Med2的3int情况在 原始帧与已损坏帧之间的比较。
【具体实施方式】
[0024] 在下文中，将参照附图详细地描述根据本发明的用于恢复运动矢量的装置和方 法。
[0025] 基于宏块（MB)候选系统的本发明提供了称作加权最近有效（WeightedNearest Valid)MV平均（WNVMVA)的新的运动矢量（MV)恢复技术。WNVMVA被提出来补充MV侯选 (即，均值MV、中值MV、最后MV以及零MV技术）的默认集合。默认技术和新的技术的组合 将被称为竞争性运动矢量恢复（CMVR)。
[0026] WNVMVA的目标在于通过仅使用在空间上最接近于丢失的MV的有效的MV(S卩，仅 正确地接收到并解码的MV)来利用在MV之中的空间关系。相比之下，MV由于帧内编码或 分组丢失而可能是无效的。在空间上最接近的有效的MV被用来估计丢失的MV。所估计的MV由于未能准确地表示MV的空间特性而被从WNVMVA排除。因此，通过仅分析有效的MV， 有可能暴露MV之中的更准确的空间关系。
[0027] 图1例示了根据本发明的用于恢复运动矢量的方法的实施方式。
[0028] 如图1中所看到的，在操作1100中，根据本发明的用于恢复运动矢量的方法选择 第一MV和第二MV。
[0029] 针对丢失的片中的每个MB，本发明首先从位于上方的片选择一个有效的MV(第一 MV)并且从位于下方的片选择另一个有效的MV(第二MV)。这在图2中示出。
[0030] 图2例示了第一运动矢量和第二运动矢量相对于丢失的宏块的位置和距离。如图 2中所看到的，基于正确地接收到并解码的片的可用性来做出选择。例如，如果位于丢失的 片上方的片是帧中的第一片并且该片也丢失了，则仅考虑底部的有效MV。顶部的有效MV将 被称为MV1并且底部的有效MV将被称作MV2,它们在垂直方向上在空间上最接近于丢失的 MV。在MV1的位置和MV2的位置与丢失的MB之间的距离分别是dl和d2。注意，假定丢失 的MB与MV1的MB之间的MB的MV不是有效的（并且对于MV2的MB同样如此），这是因为 这些MB丢失或者被帧内编码并因此不存在这些MB的MV。
[0031] 水平方向上的对应有效的MV在已经历了分组丢失的H. 264视频的背景下通常是 不可用的。这是因为丢失的视觉信息在整个帧延伸。当H. 264视频损坏时，片的一部分、整 个片或多个片丢失。然而，一些丢失的片区可以在帧中间开始或结束，这将导致一些水平地 可用的有效MV。但是这种可用性将被限于仅为丢失的MB的总数目的一小部分-在丢失的 片的顶部的行和底部的行中的那些。例如，HD视频中的标准帧包含8个片并且每个片由8 或9行MB构成。如果这些片中的一个在中间帧中开始或者结束，则仅一行中MB的约一半 MB(少于一片中全部MB的10% )将具有水平相邻的有效MV。因此，一般而言，从丢失的MB 的角度看，水平方向上存在很少的可用的有效MV。
[0032] 如图1中所看到的，在操作1200中，根据本发明的用于恢复运动矢量的方法选择 第一正交MV和第二正交MV。
[0033] 在建立了MV1和MV2后，确定MV1和MV2的相应的正交相邻有效MV(S卩，第一正交 MV和第二正交MV)(如果有的话）。在图3中例示了这个过程。
[0034] 图3例示了被用来经由反距离加权（IDW)来估计丢失的运动矢量的值的第一运动 矢量、第二运动矢量以及它们相邻的运动矢量。
[0035] 如图3中所看到的，MV1的最接近的有效的相邻MV是左侧相邻的MV1L、右侧相邻 的MV1R、以及顶部邻居的MV1T。类似地，MV2的最接近的有效的相邻MV是左侧相邻的MV2L、 右侧相邻的MV2R、以及底部相邻的MV2B。再次，可能存在于MV1或MV2与其最接近的有效的 相邻MV之间的任何MV被认为是无效的，这是因为它们被帧内编码或丢失。可以单独地基 于MV1和MV2来估计所丢失的MB的MV。然而，MV1和MV2的正交相邻的有效MV提供在更 准确地估计丢失的MV时有用的互补的空间依赖性信息。通过不仅考虑MV1和MV2而且考 虑它们的邻居，估计所丢失的MV的过程更表示MV的空间特性。此外，左邻居和右邻居特别 地说明水平空间依赖性。这个选择补偿了水平地邻接所丢失的MV的有效的MV的不存在。
[0036] 如图1中所看到的，在操作1300中，根据本发明的用于恢复运动矢量的方法使用 有效的MV来恢复丢失的MV。
[0037] 然后使用MV1和MV2以及它们有效的正交邻居来计算对所丢失的MV的估计。这 经由反距离加权（IDW)来执行，所述反距离加权（IDW)是使用已知点的加权平均来估计未 知点的值的内插技术。每个有效的MV的权重与该MV与未知MV之间的距离成反比。这个 反比关系基于如下假设：更靠近在一起的MV比离彼此更远的MV是更加空间相关的。在图 4中可看到这个概念的简单图形图示，图4是具有重叠MV的视频帧的放大后的部分。如从 图4可以看到的，MV越靠近就越展示出越大的相似性，并且越远离就展示出越大的不一致 性。因此，正确地解码的MV与丢失的MV之间的距离越短，对丢失的MV的估计的影响越大。
[0038] 用于本发明的对有效的MV的选择还能够通过测量在它们之中的空间自相关而在 数学上进行分析。空间自相关基于有效的MV的值和它们在帧中的相对位置在统计上测量 它们在空间上是多么相关的。目标在于在有效的MV之中实现正的依赖性，这将不仅证明它 们的选择，而且证明IDW公式。为了执行空间自相关统计，采用了莫氏I(Moran'sI)，其是 其值范围从_1(完全分散）到+1(完全相关）的索引。零值指示随机空间关系。莫氏I被 定义为下面的等式。
【权利要求】
1. 一种用于恢复运动矢量w对接收到的视频流执行错误隐藏的方法，该方法包括w下 步骤： 第一步骤，从位于丢失的片上方的第一片选择第一运动矢量，并且从位于所述丢失的 片下方的第二片选择第二运动矢量； 第二步骤，确定与所述第一运动矢量正交的至少一个第一正交运动矢量，并且确定与 所述第二运动矢量正交的至少一个第二正交运动矢量；W及 第H步骤，使用有效的运动矢量的加权平均来计算所述丢失的片中包括的丢失的运动 矢量， 其中，所述有效的运动矢量包括所述第一运动矢量、所述第二运动矢量、所述第一正交 运动矢量W及所述第二正交运动矢量中的至少一个。
2. 根据权利要求1所述的方法，其中，所述第H步骤使用反距离加权IDW来计算所述丢 失的运动矢量，所述IDW是使用所述有效的运动矢量的加权平均来估计所述丢失的运动矢 量的内插法，每个有效的运动矢量的权重与每个有效的运动矢量和所述丢失的运动矢量之 间的距离成反比。
3. 根据权利要求2所述的方法，其中，所述丢失的运动矢量如在下式中所表示的那样 计算
其中，Wi是所述权重，并且MVi是每个有效的运动矢量。
4. 根据权利要求1所述的方法，其中，所述第一步骤选择在空间上最接近所述丢失的 运动矢量的所述第一运动矢量，并且选择在空间上最接近所述丢失的运动矢量的所述第二 运动矢量。
5. 根据权利要求1所述的方法，所述第二步骤将第一左侧运动矢量、第一顶部运动矢 量W及第一右侧运动矢量中的至少一个确定为所述第一正交运动矢量，并且将第二左侧运 动矢量、第二底部运动矢量W及第二右侧运动矢量中的至少一个确定为所述第二正交运动 矢量， 其中，所述第一左侧运动矢量最接近所述第一运动矢量的左侧，所述第一顶部运动矢 量最接近所述第一运动矢量的顶侧，所述第一右侧运动矢量最接近所述第一运动矢量的右 侦所述第二左侧运动矢量最接近所述第二运动矢量的左侧，所述第二底部运动矢量最接 近所述第二运动矢量的底侧，所述第二右侧运动矢量最接近所述第二运动矢量的右侧。
6. -种用于恢复运动矢量W对接收到的视频流执行错误隐藏的装置，该装置包括： 第一选择单元，该第一选择单元从位于丢失的片上方的第一片选择第一运动矢量，并 且从位于所述丢失的片下方的第二片选择第二运动矢量； 第二选择单元，该第二选择单元确定与所述第一运动矢量正交的至少一个第一正交运 动矢量，并且确定与所述第二运动矢量正交的至少一个第二正交运动矢量；W及 恢复单元，该恢复单元使用有效的运动矢量的加权平均来计算所述丢失的片中包括的 丢失的运动矢量， 其中，所述有效的运动矢量包括所述第一运动矢量、所述第二运动矢量、所述第一正交 运动矢量W及所述第二正交运动矢量中的至少一个。
7. 根据权利要求6所述的装置，其中，所述恢复单元使用反距离加权IDW来计算所述丢 失的运动矢量，所述IDW是使用所述有效的运动矢量的加权平均来估计所述丢失的运动矢 量的内插法，每个有效的运动矢量的权重与每个有效的运动矢量和所述丢失的运动矢量之 间的距离成反比。
8. 根据权利要求7所述的装置，其中，所述丢失的运动矢量如在下式中所表示的那样 计算：
其中，Wi是所述权重，并且MVi是每个有效的运动矢量。
9. 根据权利要求6所述的装置，其中，所述第一选择单元选择在空间上最接近所述丢 失的运动矢量的所述第一运动矢量，并且选择在空间上最接近所述丢失的运动矢量的所述 第二运动矢量。
10. 根据权利要求6所述的装置，其中，所述第二选择单元将第一左侧运动矢量、第一 顶部运动矢量W及第一右侧运动矢量中的至少一个确定为所述第一正交运动矢量，并且将 第二左侧运动矢量、第二底部运动矢量W及第二右侧运动矢量中的至少一个确定为所述第 二正交运动矢量， 其中，所述第一左侧运动矢量最接近所述第一运动矢量的左侧，所述第一顶部运动矢 量最接近所述第一运动矢量的顶侧，所述第一右侧运动矢量最接近所述第一运动矢量的右 侦所述第二左侧运动矢量最接近所述第二运动矢量的左侧，所述第二底部运动矢量最接 近所述第二运动矢量的底侧，所述第二右侧运动矢量最接近所述第二运动矢量的右侧。
【文档编号】H04N19/139GK104427348SQ201410453839
【公开日】2015年3月18日 申请日期:2014年9月5日 优先权日:2013年9月6日
【发明者】K·噶提穆, B·李, 李泰旭, 金彰坤 申请人:乐金显示有限公司