一种基于分层采样的参考帧压缩方法
【技术领域】
[0001] 本发明涉及计算机视觉与数字图像处理领域，特别涉及一种基于分层采样的参考 帧压缩方法。
【背景技术】
[0002] 当前伴随着大量编码新技术的引入，超高清视频编码技术取得了长足的发展，编 码效率大大提高。新一代视频编码标准HEVC支持更加灵活的树状块划分结构、多参考帧帧 间预测和更大的运动搜索范围，引入这些新技术，实现了编码效率提升的同时，也毫无疑问 地对编码器或者解码器的片内存储空间和片内外数据交互带宽提出了更高的要求。与此同 时，片内外交互数据量的增加也加大了在硬件上视频编码的能量损耗。伴随着手机等移动 终端设备在生活中的大量使用，实时编码和解码超分辨视频已成为未来的发展趋势，而编 码过程所需的内存和带宽宽带数据传输已成为控制系统功耗损失的关键因素，尤其是对移 动设备电池续航能力的影响显得尤为重要。
[0003] 为了减小由于片内外数据交互带宽的增加造成的功耗损失，目前针对超高清视频 编码提出了一系列的改进方法。其中最具代表性的方法便是参考帧压缩技术。参考帧压缩 技术是指在参考帧被存入DRAM之前对其进行压缩，减少在Cashe中压缩当前帧进行运动估 计时所需的从DRAM中读取参考帧的数据量。之前具有代表性的参考帧压缩方法以基于定 压缩率模型为主，即对参考帧图像按照指定的压缩率和指定的传输带宽进行统一压缩，这 种强制的压缩模式可能造成部分参考帧信息的损失，或者是对一些仍具压缩潜能的图像信 息压缩不足。对此提出的基于可变压缩率的参考帧压缩方案是在无损的前提下尽可能压缩 图像模块，使得参考帧平均的压缩率得以提高。但是该模式采用的全搜索的运动估计模式 仍会占用大量的带宽和消耗更多的能量。
[0004] 以上【背景技术】内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不 必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日 已经公开的情况下，上述【背景技术】不应当用于评价本申请的新颖性和创造性。
【发明内容】
[0005] 本发明的目的在于提出一种基于分层采样的参考帧压缩方法，以解决上述现有技 术存在的数据交互占用带宽过多、消耗能量过大的技术问题。
[0006] 为此，本发明提出一种基于分层采样的参考帧压缩方法，如下步骤:Al.获取原始 参考帧图像fc和数据传输的限定带宽B。洫2.计算当前层η的参考帧缩略图f(n-l)所需 的传输带宽B ;A3.带宽判断，若所述传输带宽B小于所述限定带宽B。，则结束参考帧压缩； 否则，对所述参考帧缩略图f (n-1)进行亚采样得到亚采样图像f (η)，进一步对所述亚采样 图像f (η)上采样得到上采样图像f'（η)，计算所述上采样图像f'（η)与所述参考帧缩略图 f(n-l)的采样误差Dif (η) ;Α4.对所述采样误差Dif (η)进行压缩编码，实现对所述采样误 差Dif (η)的压缩，并分层保存，然后回到步骤Α2进行下一层η+1的相应处理；所述η为自 然数。
[0007] 优选地，本发明还可以具有如下技术特征：
[0008] 所述传输带宽B通过当前层图像大小和运动估计时的搜索范围进行计算得到。
[0009] 所述传输带宽B的计算方法如下：
[0011] 其中，Widthf^P Height fW分别表示所述亚采样图像f (η)的宽和高，Sr x 和Sry*别表示全搜索运动估计模式的搜索范围的长和宽，每层的残差的Bit表示为
[0012] 所述步骤A3中，采用迭代亚采样建立信息子层和计算采样残差，通过所述信息子 层得到亚采样子层图像，然后利用所述亚采样子层图像和所述采样残差来计算带宽。
[0013] 所述步骤A3中的亚采样具体为将所述参考帧缩略图f(n-l)横纵均变为1/2得到 f (η) 〇
[0014] 采用对像素点隔行隔列抽取的方法进行亚采样。
[0015] 所述步骤A3中的上采样为将所述亚采样图像f (η)的横纵均变为原来的2倍，使 所述上采样图像f'（η)恢复至所述参考帧缩略图f(n-l)的大小。
[0016] 所述步骤A3中的上采样还利用最邻近插值算法或双线性插值算法实现图像像素 的增加，以保证图像的光滑性。
[0017] 所述步骤A4中的所述压缩编码为有损或无损方式的定长码或不定长码编码方 法。
[0018] 所述步骤A4中的所述压缩编码为稀疏信息编码方法，构造如下稀疏模型：
[0019] min I IXI 10 st. Y = DX，
[0020] 通过贪婪算法或者将目标函数转化进行稀疏分解，再根据具有自适应能力的最大 似然法或最优方向法构造完备字典，从而实现残差信息的稀疏编码；
[0021] 其中，D为基函数字典，X为稀疏表示向量，Y为待处理信号。
[0022] 本发明与现有技术对比的有益效果包括：通过对参考帧缩略图先亚采样再上采 样，从而计算出上采样图像与参考帧缩略图的采样误差并进行编码，使得本方法能提供更 加有效的自适应压缩效果，压缩效率更高，并且算法的灵活性和对应用平台的适应性非常 强。
【附图说明】
[0023] 图1是本发明一个【具体实施方式】的流程图。
【具体实施方式】
[0024] 本发明的发明构思可简述如下：
[0025] 在参考帧被存入DRAM之前对其进行压缩率可控的有损参考帧压缩，压缩方法采 用迭代亚采样，即对上一级的亚采样原图再次进行亚采样，保证其满足片内外交互数据量 的约束。对于亚采样成像进行上采样，计算其与上一层亚采样原图的残差，对采样误差进行 压缩编码，通过分析这些稀疏分布图像的分布特征，实现其有效的表征。通过计算当前层数 据传输所需带宽，与限定的带宽比较，判断是继续迭代亚采样还是停止参考帧编码，从而保 证了片内外数据交互量在最坏情况下都能满足系统资源和编码性能需求。整个分层压缩的 控制方法，对于超清视频编码来说，能够节约片内存储空间和降低编码功耗，将使得未来移 动终端的超清视频编解码的各个研究领域广泛受益。
[0026] 本发明的优势包括：1、对降采样后再上采样恢复的图像与原分辨率图像的差进行 编码，而无需对降采样后的图像进行编码；II、编码的方式不限定为DPCM，可采用有损、无 损或稀疏表示的方式；III、本发明的方法并不必须以4:1或16:1来进行下采样，下采样的 比例可以为非整数；IV、降采样的层数和比例可由DRAM的大小、图像大小和运动估计的搜 索范围动态决定。以上使得本发明能提供更加有效的自适应压缩效果，压缩效率更高，并且 算法的灵活性和对应用平台的适应性更强。
[0027] 关于本发明中"片内外"含义的说明：处理器在视频编码过程中，压缩一帧图片在 处理器内部进行，而压缩进行的帧间预测所需的参考帧信息保存在内存中，此时需要处理 器内部和内存之间进行信息交换，此处的"片内外"可以理解为处理器内部和外部内存。
[0028] 下面结合【具体实施方式】并对照附图1对本发明作进一步详细说明。应该强调的 是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
[0029] 如图1所述，本实施例的基于分层采样的参考帧压缩方法包括如下步骤:Al.获取 原始参考帧图像fc (即输入的原始图像）和数据传输的限定带宽所述获取可为摄像机、 照相机等拍摄方式，也可为计算机读取文件方式，对此并不局限。
[0030] A2.计算当前层η的参考帧缩略图f (n-1)所需的传输带宽B。
[0031] A3.带宽判断及采样误差计算：若所述传输带宽B小于所述限定带宽B。，则结束参 考帧压缩；否则，对所述参考帧缩略图f (n-1)进行亚采样得到亚采样图像f (η)，进一步对 所述亚采样图像f (η)上采样得到上采样图像f'（η)，计算所述上采样图像f'（η)与所述参 考帧缩略图f (n-1)的采样误差Dif (η)。
[0032] Α4.对所述采样误差Dif (η)进行压缩编码，实现对所述采样误差Dif (η)的压缩， 并分层保存，然后回到步骤Α2进行下一层η+1的相应处理；所述η为自然数。通过对采样 误差Dif (η)进行压缩，可有效去除其中的冗余信息，从而可在进行视频编码器编码时，有 效减少片内外交互数据。
[0033] 以下是对前述实施例的进一步详细的说明，需说明的是，下面所述的具体方法 (如隔行抽样，双线性插值算等）都仅为