专利名称：基于感兴趣区域的低码率空域增强层编解码方法
技术领域：
本发明属于可伸縮视频编码领域，特别针对安防监控的特殊需求，是基于 当前可伸缩视频编解码技术之上的针对感兴趣区域的空域增强层编解码算 法。
背景技术：
随着人们对安全需求的日益增加、安全防护的使用成本与其产生的效益 拉开距离，市场提出了行业、企业大范围、远距离监控的需求，如银行跨地 区联网监控、全国城市重点地区联网监控等。由于模拟监控存在着使用范围 小、信号易衰减等弊端，通过网络将图像进行远程传输的集中监控方式应运 而生。
科技的飞速发展使得当今各种无线网络日趋普遍，3G、 B3G移动通信在技 术上己经成熟。高清晰、全嵌入式、支持各种无线、有线接入方式的移动无 线视频监控成为新一代的视频监控系统的发展方向。同时监控终端的移动化、 小型化一直是视频监控用户的追求。手机、PDA、便携电脑等均往智能型终端 方向发展，成为重要的监控终端载体。视频监控传输网络的多样性(例如宽 带网、ADSU WiFi等)和客户终端的显示分辨率、计算能力等各种差异，对 视频编码提出了可分级码流的切实要求。其中空域可分级能够适应各种不同 分辨率的监控终端，是可分级码流的必备性质之一。
由于网络带宽具有不定性的特点，移动无线视频监控需要传输低码率且 高品质的视频流；而且考虑到安防监控的特殊性某些应用中需要针对某个
区域进行特殊编码。所以在空域分级编码基础上，结合感兴趣区域编码技术， 实现基于区域的低码率空域增强层编码算法是当前应用领域迫切需要解决的
问题。感兴趣区域的英文为Region Of Interest,可简称为ROI。
空间分辨率可调算法早在MPEG-2、 MPEG-4协议中就有实现，后来在SVC (Scalable Video Coding可伸縮视频编码)中得到了更深一层的发展。SVC 同时利用了单层分辨率视频流的帧间冗余信息和多层分辨率视频流的层间冗 余信息，与多码流视频编码技术相比，很大程度上提高了视频压縮比。但是 编码高分辨率的视频所增加的码率对于移动无线视频监控和带宽不定的无线 网而言，所需要传输的比特负担仍然很重。
SVC中运用了ESS技术(参见JulienReichel， H. S. ， Mathias Wien， /w'M 5bahyWe KzVe。 Ue〗 《in/oi"t KzVe。 T謂f 。/，/7^Ti/潛 77Z/-7 r6FGi7" J/eeti/7g 2006: Hangzhou， China.)，实现了不同分辨 率视频流的内容允许不完全一样的功能低分辨率的视频通过下采样从高分 辨的视频中获得，其内容可以和高分辨视频完全相同或是其中的一部分。虽 然此技术减小了低分辨率的视频码流，实现了不同分辨率内容相异的特点。 但是由于低分辨率的码流本身所占的比特数相对高分辨率而言很少，所以并 没有为窄带网络(或带宽不定网络)减轻负担，而且也没有体现出安防监控 中需要针对某区域特殊编码的特点。
发明内容
本发明所要解决的技术问题是针对空域增强层编码需要传输大量比特的 问题，结合感兴趣区域的编码方法，提供基于感兴趣区域的一种低码率空域 增强层编码方法，以减小空域增强层码率，保证空域增强层感兴趣区域视频
信息的质量。
本发明解决其技术问题采用的技术方案是从基本层载入感兴趣区域信 息，并根据感兴趣区域信息对增强层的原始输入图像进行剪切，对剪切后得 到的感兴趣区域编码。
而且，按帧编码时，编每一帧包括以下步骤，
步骤一，首先从基本层载入该帧的感兴趣区域信息，即感兴趣区域的起始 宏块号和终止宏块号，由此判断该帧中每个宏块是否属于感兴趣区域范围， 如果是则确定该宏块属于该帧的增强层编码内容；
步骤二，在编码该帧的基本层后编码该帧的增强层，首先判断该帧每个 宏块是否属于步骤一中确定的增强层编码内容，若不属于则跳过，若属于则 编码；
步骤三，该帧的感兴趣区域信息写入编码输出码流，供解码使用。
而且，在步骤二编码过程中做层内帧间预测时，其参考图像是本层帧前重
构的感兴趣区域部分和对应基本层重构的上采样后非感兴趣区域部分相结合
的图像。
而且，在步骤一中，通过感兴趣区域信息确定空域增强层的编码内容具 体步骤是，
定义变量BeginRoi—mb和EndRoi—mb分别记载感兴趣区域的起始宏块号 和终止宏块号；通过载入基本层的感兴趣区域信息，初始化变量BeginRoijnb 和EndR0i_mb这两个变量，并写入图像头信息的码流扩展位中。
而且，编码该帧的增强层时，按照从上到下、从左到右的顺序依此读入该 帧的宏块信息，依次判断当前读入宏块是否属于步骤一中确定的增强层编码内容感兴趣区域内的宏块。
本发明还提供了相应的基于感兴趣区域的低码率空域增强层解码方法， 解码增强层前先解基本层，得到低分辨率的完整图像，再时根据用户需要进 行增强层增强，
若用户只需看高分辨率的感兴趣区域图像，对增强层直接解码即可；若 用户需要看高分辨率的全景时，则对增强层解码，并将基本层的非感兴趣区 域进行上采样，与解码后的增强层拼接成一副完整的高分辨图像。
而且，解码增强层编码码流的具体操作步骤为，
若用户只看感兴趣区域的高分辨率图像，那么将基本层解码图像的缓存 队列内容写入输出码流即可；若用户需要看高分辨率的全景，那么在增强层 的解码图像放入输出码流之前，将解码后的基本层上采样，采样得到的基本 层的非感兴趣区域图像放入基本层解码并上采样后的图像缓存队列中，并将 其与增强层图像相融合，最后将成功合成的增强层图像写入增强层的输出码 流。
本发明实现了基于感兴趣区域的低码率空域增强层编码的功能；保证空域 增强层感兴趣区域视频信息的质量不变的同时，大大减小了空域增强层编码 后传输的比特数；与普通方法相比，在空域增强层码率相同的情况下，感兴 趣区域亮度分量的PSNR值提高1. 5-4db左右。
图1是本发明的编码原理示意图。
图2是本发明的解码原理示意图。
图3是本发明实施例的编码流程图。
图4是本发明实施例的解码流程图。
图5是本发明的空域增强层感兴趣区域的性能曲线图。
具体实施例方式
本发明提供的是基于感兴趣区域的低码率空域增强层编码方法，所述空 域增强层是基于可伸縮视频编解码标准的，本发明简称为增强层。这种方法 从基本层载入感兴趣区域信息，并根据感兴趣区域信息对增强层的原始输入 图像进行剪切，对剪切后得到的感兴趣区域编码。针对安防监控的特殊需求， 本发明从增强层提取感兴趣区域进行编码，而忽略其它非关键区域的图像， 从而减小空域增强层码率，保证空域增强层感兴趣区域视频信息的质量。那 么结合现有技术的普通编码方式，完整的图像编码过程原理参见附图1:输入 图像，分别进行基本层编码和增强层编码，基本层按普通方式编码，增强层 经剪切出感兴趣区域后进行编码，基本层编码和增强层的感兴趣区域编码之 间具有层间预测机制。基本层编码结果和增强层的感兴趣区域编码结果共同 构成即将传输的压縮码流。
在视频编解码技术领域中，图像信息总是由很多帧数据组成，因此处理时 总是按帧进行顺序处理。采用空域分级编码技术处理的图像信息，每帧数据 含有基本层和增强层，基本层包含有感兴趣区域信息。按帧编码时，可以通 过对每一帧的判断来实现对增强层的原始输入图像进行剪切，编每一帧包括 以下步骤，
步骤一，首先从基本层载入该帧的感兴趣区域信息，即感兴趣区域的起始 宏块号和终止宏块号，由此判断该帧中每个宏块是否属于感兴趣区域范围， 如果是则确定该宏块属于该帧的增强层编码内容；
步骤二，在编码该帧的基本层后编码该帧的增强层，首先判断该帧每个宏 块是否属于步骤一中确定的增强层编码内容，若不属于则跳过，若属于则编 码；
本发明实施例中，通过感兴趣区域信息确定空域增强层的编码内容具体步 骤可以采用定义变量，定义变量BeginRoi—mb和EndRoi—mb分别记载感兴趣 区域的起始宏块号和终止宏块号；通过载入基本层的感兴趣区域信息，初始 化变量BeginRoi一mb和EndRoi—mb这两个变量，比较该帧中每个宏块的宏块 号和这两个变量确定的范围，即可判断某宏块是否属于步骤一中确定的增强 层编码内容。由于一帧的增强层内包括多个宏块，也可以设定编码宏块的顺 序，编码该帧的增强层时，按照从上到下、从左到右的顺序依此读入该帧的 宏块信息，依次判断当前读入宏块是否属于步骤一中确定的增强层编码内容 感兴趣区域内的宏块。为了节省编码后的传输码流，在步骤二编码过程中做 层内帧间预测时，其参考图像是本层帧前重构的感兴趣区域部分和对应基本 层重构的上采样后非感兴趣区域部分相结合的图像。
步骤三，该帧的感兴趣区域信息写入编码输出码流，供解码使用。本发明 实施例中，初始化变量BeginRoi—mb和EndRoijnb这两个变量后，写入图像 头信息的码流扩展位中，以供解码使用。
本发明提供具体实施例的编码流程以便实施，参见图3:编图像中的每一 帧时，首先载入ROI信息，并且载入此帧的所有层(Layer)的信息到 邻cOriginalPicBufferlXayerID]，其中即cOriginalPicBuffer数组用来记 录每一层的帧信息，LayerID表示层号。当此LayerID有效的时候，判断此层 是不是基本层，如果是(10=0)则按照普通方法编基本层的视频图像；若不是
则按照本方法的增强层编码方式编码，之后进行10++调节层号继续判断。增 强层编码方式是从上到下、从左到右的顺序依此读入图像的宏块信息，然
后判断该宏块(slice)是不是ROI内的宏块，若是则编码，并将编码后信息写 入码流；若不是则跳过此宏块读入下一个宏块信息。利用增强层的重构图像 和基本层的重构图像，以帧间预测、层间预测以及帧内预测相结合的方法进 行编码。并且在增强层ROI宏块的编码过程中，做层内的帧间预测时，其参 考图像是本层帧前的重构ROI图像和对应基本层的重构并上采样后的非ROI 图像相结合的图像。最后将基本层和增强层编码后生成的压縮码流写入输出 码流。进行编码for循环，当图像的所有帧都编完后(Picture结束)即可写 入输出码流，结束编码。
本发明还给出了与基于感兴趣区域的低码率空域增强层编码方法相应的 解码方法解码增强层前先解基本层，得到低分辨率的完整图像，再根据用 户需要选择是否进行增强层增强，
若用户只需看高分辨率的感兴趣区域图像，对增强层直接解码即可；若 用户需要看高分辨率的全景时，则对增强层增强，增强层解码并将基本层的 非感兴趣区域进行上采样，上采样结果与解码后的增强层拼接成一副完整的 高分辨图像。
结合现有技术的普通编码方式，完整的压縮码流解码过程原理参见附图 2:通过网络传输到接收点的压縮码流，按普通方式解码基本层，而增强层码 流解码得到感兴趣区域图像，基本层解码和增强层的感兴趣区域解码之间具 有层间预测机制。基本层解码结果和感兴趣区域图像组合得出解码图像。
本发明实施例中，解码增强层编码码流的具体操作步骤为，
首先解出基本层和增强层的解码图像，分别放入基本层解码图像的缓存
队列(本发明实施例命名为baseLayerBufferList)和增强层解码图像的缓存 队列(本发明实施例命名为enhLayerBufferList)中；
若用户只看感兴趣区域的高分辨率图像，那么将baseLayerBufferList 内容写入输出码流即可；若用户需要看高分辨率的全景，那么在增强层的解 码图像放入输出码流之前，将解码后的基本层上采样，采样得到的基本层的 非感兴趣区域图像放入基本层解码并上采样后的图像缓存队列(本发明实施 例命名为baseLayerUpsampleList)中，并将其与增强层图像相融合，最后将 成功合成的增强层图像写入增强层的输出码流。
本发明提供具体实施例的解码流程以便实施，参见图4:解每一帧时，首 先从接收到的码流中提取和检查某一个处理单元的NAL信息(处理单元信息)， 并且初始化各种参数。然后判断NAL类型。如果NAL类型是 NAL—UNIT_CODED_SLICE或NAL—UNIT_C0DED—SLICE_IDR，那么表示此单元属于 基本层的帧，则按照普通方法解码，并放入baseLayerBufferList (基本层重 构图像的缓存队列)中；如果是NALJJNIT—CODED_SLICE_SCALABL或 NAL_UNIT_C0DED—SLICE—SCALABLE—IDR，那么表示此单元属于增强层的帧，则 直接按照解增强层的方法解码，并放入enhLayerBufferList (增强层重构图 像的缓存队列)中；如果是其它类型，则直接按照国际标准的原始方法编码 即可。处理完一个处理单元后，进行解码器F0R循环，直到该帧内的处理单 元都处理完成。若用户只看感兴趣区域的高分辨率图像，那么将增强层的解 码图像写入输出码流即可；若用户需要看高分辨率的全景，那么在增强层的 解码图像放入输出队列之前，将解码后的基本层(baseLayerBufferList内的
图像)上采样，放入baseLayerUpsampleList (基本层重构并上采样的图像缓 存队列)中，并将采样后的非ROI部分与增强层图像相融合，最后将成功合 成的增强层图像写入增强层的输出文件。
为了方便说明本发明的优点，现举出本发明的实验测试为例本发明的 实验测试是基于JSVM—7 software (参见Jerome Vieron， M. W. , Heiko Schwarz
iV z^ ifeeOV^. 2006: Klagenfurt， Austria.)之上的。实验用的某序列相
关性能指标为码率^15hz (帧/秒)；图片组大小=1 (帧)、1帧间隔帧数=16
(帧)。图片为352X288大小。如图5所示比较原始方法的性能曲线和本 方法的性能曲线。在空域增强层码率(单位为kbps)相同的情况下，本算法 的感兴趣区域PSNR-Y(亮度信号的峰值信号与噪声比，单位为db)值比原始方 法提高了 1.5-4db左右。即在感兴趣区域PSNR-Y相同的情况下，大大减小了 空域增强层使用的码率。
权利要求
1. 基于感兴趣区域的低码率空域增强层编码方法，其特征是从基本层载入感兴趣区域信息，并根据感兴趣区域信息对增强层的原始输入图像进行剪切，对剪切后得到的感兴趣区域编码。
2. 根据权利要求1所述的低码率空域增强层编码方法，其特征是按帧 编码时，编每一帧包括以下步骤，步骤一，首先从基本层载入该帧的感兴趣区域信息，即感兴趣区域的起 始宏块号和终止宏块号，由此判断该帧中每个宏块是否属于感兴趣区域范围， 如果是则确定该宏块属于该帧的增强层编码内容；步骤二，在编码该帧的基本层后编码该帧的增强层，首先判断该帧每个 宏块是否属于步骤一中确定的增强层编码内容，若不属于则跳过，若属于则 编码；步骤三，该帧的感兴趣区域信息写入编码输出码流，供解码使用。
3. 根据权利要求2所述的低码率空域增强层编码方法，其特征是在步骤二编码过程中做层内帧间预测时，其参考图像是本层帧前重构的感兴趣区 域部分和对应基本层重构的上采样后非感兴趣区域部分相结合的图像。
4.根据权利要求2所述的低码率空域增强层编码方法，其特征是在步骤一中，通过感兴趣区域信息确定空域增强层的编码内容具体步骤是，定义变量BeginRoi_mb和EndRoi_mb分别记载感兴趣区域的起始宏块号 和终止宏块号；通过载入基本层的感兴趣区域信息，初始化变量BeginRoijnb 和EndRoi—mb这两个变量，并写入图像头信息的码流扩展位中。
5. 根据权利要求2所述的低码率空域增强层编码方法，其特征是编码 该帧的增强层时，按照从上到下、从左到右的顺序依此读入该帧的宏块信息， 依次判断当前读入宏块是否属于步骤一中确定的增强层编码内容感兴趣区域 内的宏块。
6. 基于感兴趣区域的低码率空域增强层解码方法，其特征是解码增强 层前先解基本层，得到低分辨率的完整图像，再根据用户需要选择是否进行 增强层增强，若用户只需看高分辨率的感兴趣区域图像，对增强层直接解码即可；若 用户需要看高分辨率的全景时，则对增强层增强，增强层解码并将基本层的 非感兴趣区域进行上采样，上采样结果与解码后的增强层拼接成一副完整的 高分辨图像。
7.根据权利要求6所述的低码率空域增强层解码方法，其特征是解码 增强层编码码流的具体操作步骤为，首先解出基本层和增强层的解码图像，分别放入基本层解码图像的缓存 队列和增强层解码图像的缓存队列中；若用户只看感兴趣区域的高分辨率图像，那么将基本层解码图像的缓存队列内容写入输出码流即可；若用户需要看高分辨率的全景，那么在增强层 的解码图像放入输出码流之前，将解码后的基本层上采样，采样得到的基本 层的非感兴趣区域图像放入基本层解码并上采样后的图像缓存队列中，并将 其与增强层图像相融合，最后将成功合成的增强层图像写入增强层的输出码 流。
全文摘要
本发明涉及一种基于感兴趣区域的低码率空域增强层编解码方法，编码方法是从基本层载入感兴趣区域信息，并根据感兴趣区域信息对增强层的原始输入图像进行剪切，对剪切后得到的感兴趣区域编码。本发明实现了基于感兴趣区域的低码率空域增强层编码的功能，在保证空域增强层感兴趣区域视频信息的质量不变的同时，大大减小了空域增强层编码后传输的比特数，尤其适合于安防监控的传输需求。
文档编号H04N7/26GK101383962SQ200710053159
公开日2009年3月11日 申请日期2007年9月7日 优先权日2007年9月7日
发明者琼 刘, 洋 夏, 王啟军, 胡瑞敏, 路依莎 申请人:武汉大学