一种结合卷积神经网络的HEVC帧内编码压缩性能优化研究的制作方法

本发明涉及图像通信领域中的视频编码技术问题，尤其是涉及一种结合卷积神经网络的hevc帧内编码压缩性能优化研究。

背景技术：

近年来，智能移动终端的普及使得人们对视频分辨率的要求越来越高。在此背景下，新一代高效视频编码标准h.265/hevc(highefficiencyvideocoding)应运而生。h.265/hevc包含最新的视频编码技术，其具有比以往标准更加出色的性能，相较于h.264/avc在同等编码质量下能节省50％左右的码率。现今，应用于卫星、智能家居等领域的高清数字电影的拍摄，均采用帧内编码方式进行压缩，hevc帧内编码的应用日益广泛，受终端设备编解码方式和其固定的带宽限制，迫切需要我们在视频帧内压缩标准上进一步实现视频高性能压缩。为实现高质量视频压缩传送，结合下采减少视频传输数据量再进行质量提升的超分辨率重建工作也越来越多并取得一定成效。并且随着深度学习在计算机视觉领域取得的巨大成就，用于hevc编解码后处理的深度学习方法很多。但是，结合卷积神经网络的压缩性能优化研究较少，并且不能避免繁杂的压缩编码数据处理过程。因此本发明期望通过一种将下采样、编解码、上采样和质量增强等环节集成于一体的端对端压缩性能优化方法，较好的提高hevc帧内编码压缩效率。

目前学术界关于采用空域分辨率变换去除编码视频空间冗余以此提升图像和视频压缩效率及采用卷积神经网络改善重建图像和视频质量的研究已有很多。georgisg提出首先对原始视频先进行高斯卷积模糊，然后对其进行二倍下采样获得低分辨率视频，将低分辨率视频进行编码得到码流，在解码端对码流进行解码，然后对解码视频采用一种低复杂度的超分辨率重建算法l-seabi使其恢复到原始的尺寸，该方法改善了重建视频质量并且减少了计算时间。chenh采用一种基于块自适应下采样和超分辨率重建的方法来改善低码率段图像编码质量。dongj通过找到空域下采样和视频编码引起失真的最优下采样比，实现低码率段视频最优压缩性能。taow在针对图像压缩jpeg和jpeg2000标准上提出一种将下采、编码、上采集成于一体的端对端压缩性能优化方法，较好的改善压缩编码数据处理过程。

技术实现要素：

针对高性能视频压缩编码标准hevc压缩效率和性能还可以提高，进一步研究解决高效视频压缩的问题，本文发明提出一种结合卷积神经网络的hevc帧内编码压缩性能优化研究，在合理的时间复杂度范围内，尽可能控制视频传输数据量和提高重建视频质量并且使压缩编码数据处理过程集成于一体。

本发明的基本思想是在控制时间复杂度的前提下，充分去除视频空间冗余、改善重建视频质量和集成压缩数据处理过程来达到高效视频压缩的目的。在视频编码前，采用构建好的空域下采样网络dwscnn(downsamplingcnn)将原始视频进行空域下采样成原视频1/4大小的低分辨率视频，对得到的低空间分辨率视频进行hevc编解码，将解码视频采用双三次插值恢复到原始尺寸，最后采用构建的质量增强网络ppcnn(postprocessingcnn)对低质分辨率视频进行质量增强。

本发明针对h.265/hevc标准提出了一种结合卷积神经网络的hevc帧内编码压缩性能优化研究，在视频编码前，采用训练好的空域下采样网络dwscnn的最佳模型去除视频空间冗余信息并保留较多的原视频高频信息，对得到的低空间分辨率视频进行hevc帧内编解码，将解码视频采用双三次插值恢复到原始空间分辨率，最后采用训练好的质量增强网络ppcnn最佳模型对低质分辨率视频进行质量增强，改善重建视频质量，以此得到结合卷积神经网络的压缩性能优化研究。具体主要包括以下过程步骤：

(1)构建一种基于卷积神经网络的空域下采样网络dwscnn(downsamplingcnn)，在降低视频分辨率的同时尽可能地捕捉原始视频的结构纹理和细节信息；

(2)在编码前将原始视频进行空域下采样成原视频1/4大小的低分辨率视频，其中空域下采样方法为dwscnn下采样；

(3)将低分辨率视频经h.265/hevc编码，编码采用帧内编码方式，得到压缩后的视频码流，对视频码流经h.265/hevc解码后得到解码视频；

(4)对解码的低分辨率视频经空域上采后，视频恢复到原始尺寸大小，其中空域上采为双三次上采样；

(5)构建一种基于卷积神经网络的质量增强网络ppcnn(postprocessingcnn)，其能增强恢复到原始空间分辨率的降质视频序列的质量。

本发明的上述技术方案中，所述的结合卷积神经网络的hevc帧内编码压缩性能优化研究，采用下采样、编解码、上采样和质量增强等环节的压缩框架，有效去除了视频空间冗余、减少视频传输码率并增强重建视频质量。

本发明的上述技术方案中，所述的结合卷积神经网络的hevc帧内编码压缩性能优化研究，空域下采样方法为dwscnn下采样，降低视频空间冗余的同时，利用深度学习的优势较好地提取了原始视频结构纹理和细节信息。

本发明的上述技术方案中，所述的结合卷积神经网络的hevc帧内编码压缩性能优化研究，对恢复到原始空间分辨率的降质视频序列采用一个后处理网络ppcnn改善质量，ppcnn对降质视频帧进一步特征增强和去噪，得到的重建视频质量较高。

本发明的上述技术方案中，所述的结合卷积神经网络的hevc帧内编码压缩性能优化研究，当训练出下采样网络dwscnn和质量增强网络ppcnn的最佳模型后，可将hevc压缩过程的下采、编解码、上采和质量增强集成于一体，较好的提高hevc压缩编码性能同时，改善压缩编码数据处理过程。

根据本发明的上述方法可以编制执行上述一种结合卷积神经网络的hevc帧内编码压缩性能优化研究。

本发明是基于以下思路分析而完成的：

首先构建一种基于卷积神经网络的空域下采样网络dwscnn(downsamplingcnn)。其一共有8个卷积层，前6个卷积核分别紧跟一个参数化修正线性单元(prelu)作为非线性激活函数，用于对帧内编码特征提取；第7个卷积层用于增强特征映射，提取更能表达重建图像的特征；为确保输入视频帧和重建残差大小一致，需要在尺寸下采前采用残差学习，残差学习的引入加快网络收敛，进一步获得图像高频信息；第8个卷积层步长为2实现空间分辨率的降低。8个卷积层使得在本研究应用场景下，框架结构取得较快的收敛速度和最高的质量重建。dwscnn能保留更加丰富的视频结构特征和高频信息。在编码前，采用训练好的dwscnn将原始视频进行空域下采样为原视频1/4大小的低分辨率视频。低分辨率视频经hevc帧内编解码后得到解码视频。

解码视频通过双三次上采恢复到原始大小。恢复到原始空间分辨率大小的低质视频通过构建的基于卷积神经网络的质量增强网络ppcnn(postprocessingcnn)进行质量提升。ppcnn基于一种非常深的网络vdsr提出，其依旧是一个20层的全卷积网络，前19个卷积核分别紧跟一个参数化修正线性单元(prelu)作为非线性激活函数，用于对帧内编码特征提取；第20个卷积层用于增强特征映射，完成图像的重建；为了加速收敛和解决消失梯度问题，采用残差学习。ppcnn进一步增强视频特征，使得重建低质视频质量得到改善。

训练出下采样网络dwscnn和质量增强网络ppcnn的最佳模型后，可将hevc压缩过程的下采、编解码和上采及质量增强集成于一体，较好的提高hevc压缩编码性能同时，改善压缩编码数据处理过程。

实验结果表明，本发明的视频压缩性能优化研究在低码率段能达到更优的压缩性能，使得重建视频保留更多细节信息，获得更优的质量提升。

附图说明

图1结合卷积神经网络的hevc帧内编码压缩性能优化研究框架；

图2下采卷积神经网络(dwscnn)框图；

图3质量增强卷积神经网络(ppcnn)框图。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

本发明的结合卷积神经网络的hevc帧内编码压缩性能优化研究，与h.265/hevc标准测试模型hm16.0的帧内编码方法比较过程如下：

1.同时打开两个算法的程序，配置文件为encoder_intra_main.cfg，h.265/hevc标准量化步长(qp)和本发明算法量化步长(qp)均选取35，37，42，45，47，51；

2.编码的对象为标准测试视频序列：akiyo_cif，bowing_cif，mobisode2_416×240，racehorses_416×240，crew_704×576，racehorses_832×480；

3.利用hm16.0标准方法对视频序列在h.265/hevc方式下进行视频编解码并记录编码时的码率及峰值信噪比psnr；

4.将视频采用训练好的dwscnn最佳模型下采样为低空间分辨率视频；

5.利用hm16.0标准方法对低空间分辨率视频序列在h.265/hevc方式下进行视频编解码并记录编码时的码率；

6.将编解码后的低分辨率视频进行双三次上采恢复到原始空间分辨率；

7.把恢复到原始大小的低质视频序列采用量化段内训练好的对应ppcnn最佳模型进行质量增强，并得到此时视频序列的psnr值；

8.实验结果如表1所示，统计显示，低码率段本发明方法率失真性能超过h.265/hevc。

表1本发明方法与h.265/hevc标准码率和psnr的比较