一种多假设预测的压缩感知视频处理方法与流程

本发明涉及压缩感知视频技术领域，尤其涉及一种多假设分块视频压缩感知结合平滑滤波实现图像重构技术。

背景技术：

目前，cs(压缩感知)已通过集成压缩和感测而革新了信号采样和处理系统。对于从不同方面研究用于视频的cs的应用，称为压缩视频感知(cvs)。在编码器处，输入视频帧被分组为由关键帧和多个非关键帧组成的图像组。

传统框架中使用mpeg/h.264编码对关键帧进行编码，cs测量矩阵来感测非关键帧，并使用从相邻重构的关键帧生成的边信息来重构关键帧。这个框架的缺点是仍然需要复杂的mpeg/h.264编码。在其后的改进中，cs测量应用于关键帧和非关键帧。使用用于稀疏重建的梯度投影(gpsr)来重构关键帧，并且将使用从解码的关键帧产生的边信息来重构非关键帧。

随着技术的不断进步，为了减轻巨大的计算和存储器负担，l.gan提出了一种基于块与块之间具有独立性的cs假设(bcs)用于2d图像，do等使用珍贵解码帧中的相邻块来表示当前帧中的块，以提高边信息的准确度，并开发了残差重建方法。s.mun扩展了gan的bcs，并在最近的变换域中进行重建，特征在于高度方向分解。这些方法被称为单假设运动补偿(sh-mc)方案，其具有一些缺点。在编码器处，由于运动估计搜索，除了增加编码器侧的计算复杂度之外，还施加了发送块运动矢量的传输开销。此外，sh-mc隐含地假设在视频帧中发生的运动是均匀的块平移模型。由于这个假设不总是成立，所以块伪影出现在恢复的帧中。

为了解决这些问题，e.taramel等人提出了一种用于将多假设运动补偿(mh-mc)合并到bcs中的策略，并将平滑滤波landweber用于视频重建(mh-bcs-spl)，其通过找到搜索窗口中所有块或假设的线性组合来寻找更多精准假设。mh-mc技术以解码器处更复杂的代价来提高恢复性能。其后又提出基于弹性网络使用mh和sh重建组合方案，其以与tikhonov正则化重建相比更复杂的代价实现可接受的性能。之后又出现如假设集合更新和动态参考帧选择算法。测量域和像素域中连续部署mh预测的方法，以开发两级mh重建方案，并且rli等呈现空时量化和运动对准重建以改善性能的cvs系统等等。但是，仍然有一些问题需要解决，因为释放了编码器的计算负担，我们可以通过简单算法得到边信息(si)，但非关键帧重构处理不能利用粗略预测有效地执行。

技术实现要素：

基于背景技术存在的技术问题，本发明目的之一在于提供一种新的基于多假设预测的分布式图像压缩感知视频图像处理框架，其中计算三个侧面信息候选以选择改进传统的mh预测算法，在解端利用双向估算计算出候选边信息，并引进新算法计算相关系数，选取关键边信息，恢复非关键帧。

一种多假设预测的压缩感知视频处理方法，所述处理方法的结构框架包括编码端和解码端；在所述编码端，为提高视频重建质量，并根据实时性要求，视频序列帧被分为关键帧和非关键帧，每两帧构成一个图像组(gop，groupofpicture)，即gop等于2。通常奇数帧为关键帧，偶数帧为非关键帧。根据压缩感知理论，关键帧和非关键帧均通过测量矩阵φ获得测量值，不同的是，关键帧的测量率高，非关键帧的测量率低；在所述解码端，关键帧经过基于块平滑投影的landweber(bcsspl)重建算法进行解码，然后经过多假设预测算法和残差重建后，得到重建后的关键帧并存储；非关键帧进行残差重建后，与根据关键帧产生的边信息一起联合解码，得到重建后的非关键帧。最后，将解码后的关键帧和非关键帧按照帧顺序整合成视频序列并输出。

优选的，所述边信息根据已解码的相邻关键帧经过多假设预测mh算法求得。

多假设预测mh算法的方法步骤如下：

(1)运用双向运动估算计算出三个候选边信息sii(i＝0,1,2)；

(2)分别计算非关键帧与三个候选边信息的相关系数，选取相关性最高si信息。

(3)在图像重构时，在测量域，利用si信息的多假设预测生成一种信号残差，并计算假设的最佳线性组合，用改进的多尺度分块压缩感知ms-bcs-spl技术重构图像。

优选的，根据加权正则化tikhonov矩阵计算假设最佳线性组合。

一种多假设预测的压缩感知视频处理方法应用于视频图像处理。

与现有技术相比，本发明具有的有益效果在于：

本发明中提出的一种基于mh预测的新的分布式压缩视频感测框架，可以在低复杂度编码器处捕获和压缩视频，并且在解码器处有效地重建视频。所提出的框架可以通过mh预测和bime估计初始边信息。根据相关系数选择边信息，并用于恢复非关键帧。实验模拟结果表明，本发明所提出的框架可以提供比原始的mh-bcs-spl算法更好的重建质量。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明提出的一种多假设预测的压缩感知视频处理方法的的cvs编解码器的框图；

图2为一种多假设预测的压缩感知视频处理方法基于多预测假设生成边信息框图；

图3为akiyo序列的非关键帧采用两种算法在不同采样速率下得出的psnr平均值；

图4为coastguard序列的非关键帧采用两种算法在不同采样速率下得出的psnr平均值；

图5为foreman序列的非关键帧采用两种算法在不同采样速率下得出的psnr平均值；

图6为stefan序列的非关键帧采用两种算法在不同采样速率下得出的psnr平均值。

具体实施方式

下面结合具体实施例对本发明作进一步解说。

在传统mh-bc-spl结构中，压缩感测通过使用维度m×n的一些基底φ测量维度n的信号x的投影来组合信号捕获和维数降低，其中m<<n。测量向量y被获得为：

y＝φx(1)

其中x∈rⁿ,y∈r^m。如果在一些变换基ψ中x足够稀疏，则通过y优化重构x，如下：

其中ψ和φ充分不相干，m足够大。

压缩采样率定义为r＝m/n。

通常，φ是随机矩阵，使得它与任何选择的ψ不相干。在实际应用中，大多数自然信号在任何变换基ψ中都不是真正稀疏的。

然后，x的重构问题的可以由公式(2)变化为对于边界的等式：

为了解决公式(3)中的松弛重建的问题，l.gan提出了一种通过密集的φ去除x的全局采样，并且用块对角测量矩阵来代替的一种基于块的cs(bcs)算法。当对于每个块使用相同的φb时，φ可采取块对角线形式如下：

可以以逐块的方式yi＝φbxi重写公式(1)，其中xi是图像的块i。φb是大小为mb×b²的测量矩阵，bcs算法的测量速率为rb＝mb/b²。

在本发明中，我们将使用改进bcs-spl进行图形恢复重建。

1、基于多预测假设分布式压缩感知的视频编解码器结构框架

如图1所示，虚线左边代表编码端，右边代表解码端。在编码端分拆分视频流，分块关键帧与非关键帧。

让x1表示关键帧。在解码器处关键帧的图像重构的方法是：

(1)采用基于平滑投影landweber的分块cs图像重构方法(bcs-spl)对关键帧x1进行图像初始重构；

(2)通过对图像关键帧的测量值y1初始重构图像，通过多假设性预测获得预测帧

(3)关于多假设预测生成x1与之间信号残差

(4)因为测量值y1可以简单通过关键帧信息x1与其测量矩阵φ1的行向量內积获得，将残差信号r1映射到测量基中得到测量值d1：

运用基于平滑投影landweber的分块cs图像重构方法(bcs-spl)算法重建测量值d1得到初始残差信号

关键帧x1可以通过预测帧与初始残差信号残差信号r1近似表示

令x2表示非关键帧，它可以由关键帧x1产生的边信息进行解码。

如图2所示，由多假设预测mh算法得出边信息si，则非关键帧残差信号r2与非关键帧x2及边信息si的关系是：

d2＝φ2r2＝φ2(x2-si)＝y2-φ2·si(6)

其中，φ2和y2分别表示非关键帧x2的测量矩阵与测量值。

同理，在运用bcs-spl算法重建测量值d2到重建的残差边信息

非关键帧x2可由边信息与残差边信息重建：

2、运用多预测假设在测量域估计边信息

如图1中所示，非关键帧的图像重构质量极大地依赖于生成的边信息的质量。为了充分利用两个连续关键帧和非关键帧之间的相似性，提出的基于测量域中的mh的边信息生成算法如图2所示。

令和在时间域上相邻的两个重构的关键帧，sn是非关键帧，算法如下：

(1)通过双向运动估算(bime)得出初始边信息si。

(2)由初始边信息si与测量出的非关键帧sn做多预测假设，得出边信息si0

(3)同理，由初始边信息si与关键帧和分别做多预测假设得出边信息si1和si2.。

(4)由获得的三个候选边信息sii(i＝0,1,2)分别与非关键帧sn计算其相似性，选出相似性最高的sii负责重构非关键帧。

(5)采用相关系数函数r(y1,y2)来表示两帧之间的相关性，函数如下所示：

其中y1和y2是分块测量的不同块的测量向量，n是测量向量的长度。

3、对于运用边信息si做多假设预测重构非关键帧步骤，做如下详细解答。

(1)令x表示原始图像，表示预测图像。则关于x与之间的残差信号r可以表示为

(2)在测量域，残差信号r可由公式计算出。

(3)通过一种图像压缩感知重建算法r(d,φ)，由公式得出近似重构图像因此重构图像恢复质量在很大层度上依赖于预测图像的精准度。

预测与原始图像最相似的图像相似度的问题可以表示为：

其中p(xref)是相邻的关键帧或通过运动估计生成的边信息。

由于原始图像在解码器处未知，我们用近似来替换x，并且可以(8)可以重写为

近似图像可以转换到测量域并且计算为：

由于测量值y在解码器处可以测得，因此我们可以提高预测的准确度。等式(10)可以通过多假设预测来求解。

需要预测的每个块被认为是关键帧中的边信息或多个关键帧种块的最佳线性组合，记为

其中其中ω是最优线性组合系数，是由所有候选块组成的矩b²×mb阵，m是假设预测块的总数，中列向量是每个假设预测块的列表示，将(10)代入(9)并得到:

其中是惩罚项，λ是拉格朗日参数。γ是对角矩阵表示为：

h1，...，hk是的的列元素。对于每个块，则ω可以通过通常的tikhonov解直接计算：

通过将(13)代入(11)，可以获得预测块最后，将所有预测块与边信息si放在一起重建非关键帧。

验证实验：为了评估本发明提出的新框架及算法，在http://trace.eas.asu.edu/yuv/网站中做具有qcif格式的标准测试视频序列检测实验。

关键帧的采样率为0.7，非关键帧的采样率为0.1至0.5；本实验中每个图像块b大小为16×16，参考帧相对应得图像搜索区域：空间窗口大小w(图像块及其周围)±15个像素范围内。

使用本发明所提出的算法和原始mh-bcs-spl算法，针对四个序列(即akiyo，coastguard，foreman和stefan)的不同采样速率测出平均psnr性能的平均值，结果见表1。

表1.采用平均psnr(db)描述的不同采样率下的非关键帧重构质量

(单位：db).

结论：表1中的数据描述了不同采样率下不同视频的非关键帧重建质量。本发明提出的算法和mh-bcs-spl算法相比，重建质量有0.3-1db的提高。对于运动平缓的akiyo序列和运动不太剧烈的coastguard序列，本发明提出的算法提高了1db左右；对运动剧烈的foreman和stefan序列，本发明提出的算法提高0.3db左右。

从图3-6中可以看出我们的改进mh-bcs-spl框架在整个测试范围内提供更好的图像重建质量。对于具有快速或复杂运动的序列，例如coastguard和foreman序列，我们所提出的方法显示出显着的性能增益；对于具有低运动的akiyo序列，性能也所提高。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。