一种搜索窗自适应的运动补偿重构方法

本发明涉及图像通信，具体为一种搜索窗自适应的运动补偿重构方法。

背景技术：

1、随着无线物联网技术的发展，人或机器可以随时随地获得各类环境信息。信息的表达由原本的文字和声音转向了更为生动形象的图像和视频。目前，传感数据流量正在呈现爆发性增长，迫切需要提升多媒体信号的实时通信能力。分块压缩感知(bcs)理论证明，如果信号是稀疏的或者在其变换域中稀疏，那么它可以由远低于奈奎斯特采样定理要求的采样点数量重构恢复。bcs技术在采样的过程中就完成了压缩，减少了编码端的计算资源浪费。对于视频编解码系统，由于视频的信号量庞大，bcs技术能降低编码端计算复杂度的特性对其更具有重要意义。

2、目前视频压缩感知技术主要是基于分布式视频压缩感知(dcvs)系统，该系统将视频序列划分为多个帧数相同的图像组(gop)，每帧图像再划分为大小相同的非重叠块，从而有效降低视频压缩感知的计算复杂度。在dcvs系统的编码端，关键帧采用高采样率，非关键帧采用低采样率；在解码端，非关键帧利用关键帧提供的边信息辅助重构可以提高其恢复质量。如何获取高质量边信息、提高非关键帧的恢复质量是视频压缩感知技术的难点。帧间多假设预测算法是现有研究中性能较好的非关键帧重构算法，近年来提出了很多算法对其进行优化，例如提高假设集质量、优化假设权重等。然而，现有优化算法中假设集的搜索窗口是大小经验固定的正方形区域，搜索范围过小会降低加假设集质量；范围过大，大量的块匹配运算会增加解码时间。为此，有必要寻找一种根据视频序列中不同位置的运动变化趋势自适应确定搜索窗口范围的方法。

技术实现思路

1、本发明要解决的技术问题是：如何自适应地确定搜索窗口的范围，减少非必要的块匹配运算，同时提升假设集质量。

2、为解决上述问题，本发明的技术方案是提出一种搜索窗自适应的运动补偿重构方法，包括以下步骤：

3、步骤1、输入当前重构帧的测量值，前向关键帧、前向相邻帧，前向相邻帧与关键帧之间的运动向量，前向相邻帧为关键帧时，运动向量初始化为0；

4、步骤2、采用bcs-spl算法初步帧内重构当前帧，获取帧序号i；

5、步骤3、判断当前重构帧是否与关键帧相邻；

6、其中步骤3包括以下具体步骤：

7、步骤3.1.0、当前帧重构帧和关键帧相邻，即i＝1，执行以下步骤；

8、步骤3.1.1、采用块匹配(bm)方法计算当前帧和关键帧之间的运动向量；

9、步骤3.1.2、以当前帧中的每个非重叠块的坐标和运动向量在关键帧中确定每个非重叠块所对应的匹配块；

10、步骤3.2、当前帧重构帧和关键帧不相邻，即i≠1，执行以下步骤：

11、步骤3.2.1、采用光流法快速计算当前帧和前向相邻帧之间的运动向量；

12、步骤3.2.2、根据每个非重叠块的坐标和光流法求得的运动向量，在相邻帧中确定对应的匹配块；

13、步骤3.2.3、计算前向相邻帧中匹配块所覆盖的非重叠块与当前重构块的欧几里得距离，找到其中与当前重构块相似度最高的非重叠块；

14、步骤3.2.4、在低延迟框架下，前向帧已经重构完成，可知前向相邻帧中的每个非重叠块相对关键帧的运动向量，由相邻帧中的匹配块坐标和该运动向量在关键帧中确定当前帧中每个非重叠块所对应的匹配块；

15、步骤4、以关键帧中的匹配块为中心构建假设集搜索窗口，根据匹配块和当前重构块的相对位置关系自适应地确定一个符合运动变化的矩形搜索窗口，在搜索窗口中搜寻假设集和最优匹配块，根据每个非重叠块的坐标和其在关键帧中对应的最优匹配块，可以确定两帧之间的运动向量；

16、步骤5、输出当前帧的所有非重叠块在关键帧中的假设集和相对关键帧的运动向量，

17、，在所述步骤3.2.1中，所述的关流法能够快速确定相邻两帧之间的运动向量，令第i帧中的第n个块与与前向相邻帧之间的帧间运动向量为mvi，n，传统的帧间多假设算法先使用bm方法进行运动估计，寻找最优匹配块，再以最优匹配块为中心构造搜索窗口，大量的块匹配算法会增加解码端的运行时间，且在低延迟框架下，随着非关键帧与关键帧的时域距离增加，bm方法难以获得准确的运动向量。

18、优选地，所述在步骤3.2.1～3.2.4阶段中使用光流法快速计算相邻非关键帧的运动向量，并确定相邻非关键帧中的匹配块；计算非关键帧中的匹配块所覆盖的非重叠块与当前重构块的欧几里得距离，确定相似度最高非重叠块；联合上述非重叠块到关键帧的运动向量和光流法计算的得到的运动向量确定关键帧中的匹配块，该匹配块即为搜索窗口的中心块位置。

19、优选地，所述在步骤4阶段根据根据关键帧中的匹配块和当前重构块的相对位置关系自适应地确定一个矩形搜索窗口，位置关系用向量表示，其中xi，n表示当前重构块，表示关键帧对应匹配块，u和v分别是该向量的水平分量和竖直分量，第n个块在关键帧中的搜索窗口中心位置确定后，水平方向向外扩展wx，n个像素数，竖直方向向外扩展wy，n个像素数构建一个矩形搜索窗口，wx，n和u的关系如下所述，每个块的运动向量的水平分量绝对值为|u1|，|u2|，…，|un|，为将搜索窗口的大小控制在合理的范围内，令wx的范围为[wx，min，wx，max]，其中wx，min＝max[5，min|un|]1≤n≤n，即wx的下限为的最小水平分量和5中的较大值，上限为水平分量均值的两倍，根据公式wx，n＝α(|un|-min|un|)+wx min将|u1|，|u2|，|u3|，…，|un|线性映射到wx的区间中得到对应的wx，n，其中系数wy，n求解方法与wx，n相同。

20、优选地，所述在步骤4阶段搜索窗口构建好后，在其中逐像素搜寻假设集和最优匹配块，根据每个非重叠块的坐标和其在关键帧中对应的最优匹配块，可以确定两帧之间的运动向量，该运动向量作为下一个非关键帧重构的输入。

21、本发明所提方法不同于现有的基于帧间多假设预测的算法，假设集的搜索窗口根据帧间的运动变化趋势确定其覆盖范围和位置，利用了光流法快速确定相邻非关键帧之间运动向量，包括寻找前向相邻非关键帧中的匹配块、关键帧的匹配块、构建搜索窗口、计算当前帧与关键帧之间的运动向量等步骤。在确定关键帧中的匹配块阶段，联合帧间运动向量和相邻帧与关键帧之间的运动信息来确定关键帧中的匹配块。相邻非关键帧之间的运动向量由光流法求得，相邻帧与关键帧之间的运动信息是输入信息。光流法计算速度快，相对块匹配法计算帧间运动向量有效降低解码端计算时间。在构建搜索窗口阶段，根据水平方向和竖直方向的运动变化趋势自适应地确定搜索窗口的范围，构建了一个矩形搜索窗口，有效提高了假设集的质量，同时减少了非必要的块匹配运算。综合上述改进，本发明所提方法在不同运动程度的视频序列下均能获得良好的恢复质量，具有较好的通用性。

技术特征：

1.一种搜索窗自适应的运动补偿重构方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种搜索窗自适应的运动补偿重构方法，其特征在于，所述在步骤3.2.1～3.2.4阶段中使用光流法快速计算相邻非关键帧的运动向量，并确定相邻非关键帧中的匹配块；计算非关键帧中的匹配块所覆盖的非重叠块与当前重构块的欧几里得距离，确定相似度最高非重叠块；联合上述非重叠块到关键帧的运动向量和光流法计算的得到的运动向量确定关键帧中的匹配块，该匹配块即为搜索窗口的中心块位置。

3.如权利要求1所述的一种搜索窗自适应的运动补偿重构方法，其特征在于，所述在步骤4阶段根据根据关键帧中的匹配块和当前重构块的相对位置关系自适应地确定一个矩形搜索窗口，位置关系用向量表示，其中xi，n表示当前重构块，表示关键帧对应匹配块，u和v分别是该向量的水平分量和竖直分量，第n个块在关键帧中的搜索窗口中心位置确定后，水平方向向外扩展wx，n个像素数，竖直方向向外扩展wy，n个像素数构建一个矩形搜索窗口，wx，n和u的关系如下所述，每个块的运动向量的水平分量绝对值为|u1|，|u2|，…，|un|，为将搜索窗口的大小控制在合理的范围内，令wx的范围为[wx，min，wx，max]，其中wx，min＝max[5，min|un|] 1≤n≤n，即wx的下限为的最小水平分量和5中的较大值，上限为水平分量均值的两倍，根据公式wx，n＝α(|un|-min|un|)+wxmin将|u1|，|u2|，|u3|，…，|un|线性映射到wx的区间中得到对应的wx，n，其中系数wy，n求解方法与wx，n相同。

4.如权利要求1所述的一种搜索窗自适应的运动补偿重构方法，其特征在于，所述在步骤4阶段搜索窗口构建好后，在其中逐像素搜寻假设集和最优匹配块，根据每个非重叠块的坐标和其在关键帧中对应的最优匹配块，可以确定两帧之间的运动向量，该运动向量作为下一个非关键帧重构的输入。

技术总结
本发明提出一种搜索窗自适应的运动补偿重构方法，首先根据当前帧的测量值采用分块压缩感知‑平滑投影Landweber(BCS‑SPL)算法初步帧内重构当前帧。然后，判断当前帧是否与关键帧相邻，在关键帧中确定与当前帧中每个非重叠块对应的匹配块：若与关键帧相邻，使用块匹配法在关键帧中确定匹配块；若与关键帧不相邻，采用光流法获取相邻非关键帧之间的运动向量，再联合前向相邻非关键帧与关键帧之间的运动信息在关键帧中确定匹配块。最后，由当前重构块与关键帧中匹配块的相对位置关系，自适应地确定一个符合运动变化的矩形搜索窗口。在低延迟框架下，本发明所提方法能够有效提升非关键帧的恢复质量，同时减少非必要的块匹配运算。

技术研发人员：刘浩,孙仁慧,魏国林,戎行之,黄震,廖荣生,胡敏
受保护的技术使用者：东华大学
技术研发日：
技术公布日：2024/1/15