基于感兴趣区域的空间可分级编码装置及其方法
【专利摘要】本发明公开了基于感兴趣区域的空间可分级编码装置及其方法，通过分别对输入的图像序列进行处理得到不划分感兴趣区域的基本层图像和只包含ROI部分的增强层图像，并对两者进行独立编码和译码，最后将基本层图像恢复至原始大小后与译码后的增强层译码图像复合得到最终图像序列，有效地保证视频流畅和ROI质量。
【专利说明】
基于感兴趣区域的空间可分级编码装置及其方法
技术领域
[0001]本发明涉及图像处理技术领域，具体涉及一种基于感兴趣区域的空间可分级编码装置及其方法。
【背景技术】
[0002]在视频监控场景中，客户对不同区域的关注度是不一样的，对其中比较感兴趣的区域(ROI ,reg1n of interest)需要较高的图像质量。因此在视频编码中会采用更高的质量因子来对ROI进行高质量的编码。例如，交通视频监控对于车牌清晰度有很高要求，所以图像内含车牌的区域质量较高，其他部分质量差一些。为保证ROI的视频质量和非ROI的视频质量有差异，一般采用不同的编码质量因子对ROI和非ROI进行量化编码。但是其主观效果一般，且对码字的节约效果有限，实际中信道的状态会受多种因素影响导致视频流无法全部传输到终端客户，此时ROI区域即便采用更高的质量进行编码也无法保障客户端视频接收的流畅。
[0003]为了解决信道的状态会受多种因素影响导致视频流无法全部传输到终端客户的问题，可伸缩编码技术应用而生。空间可伸缩编码包括基本层和增强层，基本层一般为小分辨率图像，结合增强层后可输出大分辨率图像。在带宽受限时，可只传输小分辨率图像;在带宽状态较好时，可传输大分辨率图像。
【发明内容】
[0004]针对现有技术的不足，本发明旨在提供一种感兴趣区域的空间可分级编码装置及其方法，采用空间可分级编码技术对ROI区域进行编码，有效地保证视频流畅和ROI质量。
[0005]为了实现上述目的，本发明采用如下技术方案:
[0006]基于感兴趣区域的空间可分级编码装置，包括发送端和接收端;其中，
[0007]所述发送端包括图像输入设备、图像采样处理器、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块;其中，所述图像输入设备、图像采样处理器、基本层图像编码器依次电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接；
[0008]所述接收端包括有基本层图像译码器、增强层图像译码器、另一图像采样处理器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器、另一图像采样处理器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备;所述基本层图像译码器还直接电性连接于所述图像输出设备。
[0009]利用上述基于感兴趣区域的空间可分级编码装置的基于感兴趣区域的空间可分级编码方法，包括如下步骤:
[0010]SI在发送端，原始图像通过图像输入设备输入；
[0011]S2利用图像采样处理器对所述原始图像进行下采样，得到的下采样图像作为基本层的图像；另外，利用图像感兴趣区域划分处理器对原始图像进行感兴趣区域划分处理并划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像；
[0012]S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码；
[0013]S4当信道条件受限，发送端仅将基本层图像编码器输出的基本层编码数据通过发送模块发送至接收端，当信道条件允许，发送端则将基本层图像编码器和增强层图像编码器输出的基本层编码数据和增强层编码数据均通过发送模块发送至所述接收端；
[0014]S5当接收端通过接收模块仅接收到基本层编码数据，则采用基本层图像译码器进行译码得到基本层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后直接输出到所述图像输出设备；当接收端通过接收模块接收到基本层编码数据和增强层编码数据，则采用基本层图像译码器和增强层图像译码器分别进行译码得到基本层译码图像和增强层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后利用图像复合处理器将增强层译码图像替换所述上采样图像中与之位置对应的部分，得到复合译码图像并输出至图像输出设备。
[0015]需要说明的是，步骤S2中，增强层只包含ROI部分的图像，只包含一层增强层，所述增强层的大小为ROI大小。
[0016]需要说明的是，步骤S3中，对增强层的图像进行编码时，采用跨层预测，即基本层译码图像按比例放大后作为增强层参考图像；当当前的增强层图像为非关键帧时，采用同层预测，将前一帧得到的复合译码图像作为增强层参考图像。
[0017]需要说明的是，步骤S3中，对增强层图像进行编码时，在增强层的候选MV中增加基本层对应位置8X8块的MV作为候选项，并参考该MV来去除层间冗余的运动信息，此时原来的候选MV顺序不变。
[0018]本发明的有益效果在于:
[0019]1、本发明结合ROI技术和空间可分级编码技术，既能保证ROI区域质量，又能保证视频流畅。
[0020]2、在最终的复合步骤中，基本层图像恢复到了原始大小，将增强层的ROI部分图像替换基本层图像上与之对应的位置上，则ROI区域有更高分辨率，非ROI区域有较低的分辨率，且主观效果过渡比较自然。
[0021]3、在信道条件受限时，增强层编码数据可丢弃，此时接收端接收的编码数据可恢复低分辨率图像。
【附图说明】
[0022]图1为本发明的装置硬件结构连接示意图；
[0023]图2为本发明的方法实施流程图；
[0024]图3为本发明实施例中原始图像序列的示意图；
[0025]图4为本发明实施例中基本层图像的示意图；
[0026]图5为本发明实施例中增强层图像的示意图。
【具体实施方式】
[0027]以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
[0028]如图1所示，基于感兴趣区域的空间可分级编码装置，包括发送端和接收端;其中，
[0029]所述发送端包括图像输入设备、图像采样处理器、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块;其中，所述图像输入设备、图像采样处理器、基本层图像编码器依次电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接；
[0030]所述接收端包括有基本层图像译码器、增强层图像译码器、另一图像采样处理器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器、另一图像采样处理器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备;所述基本层图像译码器还直接电性连接于所述图像输出设备。
[0031]如图2所示，利用上述基于感兴趣区域的空间可分级编码装置的基于感兴趣区域的空间可分级编码方法，包括如下步骤:
[0032]SI在发送端，原始图像通过图像输入设备输入；
[0033]S2利用图像采样处理器对所述原始图像进行下采样，得到的下采样图像作为基本层的图像；另外，利用图像感兴趣区域划分处理器对原始图像进行感兴趣区域划分处理并划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像；
[0034]S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码；
[0035]S4当信道条件受限，发送端仅将基本层图像编码器输出的基本层编码数据通过发送模块发送至接收端，当信道条件允许，发送端则将基本层图像编码器和增强层图像编码器输出的基本层编码数据和增强层编码数据均通过发送模块发送至所述接收端；
[0036]S5当接收端通过接收模块仅接收到基本层编码数据，则采用基本层图像译码器进行译码得到基本层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后直接输出到所述图像输出设备；当接收端通过接收模块接收到基本层编码数据和增强层编码数据，则采用基本层图像译码器和增强层图像译码器分别进行译码得到基本层译码图像和增强层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后利用图像复合处理器将增强层译码图像替换所述上采样图像中与之位置对应的部分，得到复合译码图像并输出至图像输出设备。
[0037]需要说明的是，步骤S2中，增强层只包含ROI部分的图像，只包含一层增强层，所述增强层的大小为ROI大小。
[0038]需要说明的是，步骤S3中，对增强层的图像进行编码时，采用跨层预测，即基本层译码图像按比例放大后作为增强层参考图像；当当前的增强层图像为非关键帧时，采用同层预测，将前一帧得到的复合译码图像作为增强层参考图像。
[0039]需要说明的是，步骤S3中，对增强层图像进行编码时，在增强层的候选MV中增加基本层对应位置8X8块的MV作为候选项，并参考该MV来去除层间冗余的运动信息，此时原来的候选MV顺序不变。
[0040]实施例一
[0041 ] I)输入原始图像序列，如图3所示，图像分辨率为1920 X 1080，感兴趣区域为图3所示的车牌部分。
[0042]2)基本层图像为输入图像的下采样图像，如图4所示，其分辨率为960X540，对基本层图像进行编码。在基本层图像中，不区分ROI和非ROI区域；
[0043]3)增强层图像为只包含输入图像的ROI部分的图像，如图5所示，只包含一层增强层，对增强层图像进行编码，此时增强层图像的大小为ROI部分的大小。编码时可采用跨层预测，即基本层图像按比例放大后做增强层参考图像;同时在非关键帧(key frame)也可采用同层预测。增强层在MV候选项中增加基本层对应位置8X8块的MV作为候选项，即可参考基本层MV来去除层间冗余的运动信息;此时原来的候选MV顺序不变。
[0044]在各空间分辨率层的基础上进行正常编码，有各自独立的编码参数如图像大小、运动信息、变换参数、量化参数等。
[0045]传输图像序列。根据传输信道实际状态，增强层的编码可选择传输(信道条件允许，如带宽达不到阈值)，也可以选择不传输(信道条件受限，如带宽达到阈值要求)。
[0046]4)当只接收到基本层图像编码后的编码数据，则只对基本层图像的编码数据进行译码，得到的译码图像分辨率为960X540，且基本层图像不区分ROI和非ROI区域。对基本层译码图像进行上采样，得到分辨率为1920X 1080(原始大小)的上采样图像，然后直接输出。
[0047]当接收到的编码数据中除了基本层图像编码后的编码数据还包括增强层图像编码后的编码数据，则分别进行译码得到基本层译码图像和增强层译码图像。然后对基本层译码图像进行上采样，得到分辨率为1920X 1080(原始大小)的上采样图像。
[0048]5)将译码得到的增强层译码图像替换上采样图像中对应位置的数据，得到最终复合译码图像并输出。
[0049]对于本领域的技术人员来说，可以根据以上的技术方案和构思，作出各种相应的改变和变形，而所有的这些改变和变形都应该包括在本发明权利要求的保护范围之内。
【主权项】
1.基于感兴趣区域的空间可分级编码装置，其特征在于，包括发送端和接收端;其中， 所述发送端包括图像输入设备、图像采样处理器、图像感兴趣区域划分处理器、基本层图像编码器、增强层图像编码器和发送模块;其中，所述图像输入设备、图像采样处理器、基本层图像编码器依次电性连接，所述图像输入设备与图像感兴趣区域划分处理器、增强层图像编码器依次电性连接； 所述接收端包括有基本层图像译码器、增强层图像译码器、另一图像采样处理器、图像复合处理器、图像输出设备和接收模块，所述接收模块、基本层图像译码器、另一图像采样处理器和图像复合处理器依次电性连接，而所述接收模块、增强层图像译码器和图像复合处理器依次电性连接，所述图像复合处理器电性连接于图像输出设备;所述基本层图像译码器还直接电性连接于所述图像输出设备。2.—种利用权利要求1所述基于感兴趣区域的空间可分级编码装置的基于感兴趣区域的空间可分级编码方法，其特征在于，包括如下步骤: SI在发送端，原始图像通过图像输入设备输入； S2利用图像采样处理器对所述原始图像进行下采样，得到的下采样图像作为基本层的图像；另外，利用图像感兴趣区域划分处理器对原始图像进行感兴趣区域划分处理并划分为ROI部分和非ROI部分，所述ROI部分的图像作为增强层的图像； S3利用基本层图像编码器对所述基本层的图像进行独立编码，另外利用增强层图像编码器对所述增强层的图像进行独立编码； S4当信道条件受限，发送端仅将基本层图像编码器输出的基本层编码数据通过发送模块发送至接收端，当信道条件允许，发送端则将基本层图像编码器和增强层图像编码器输出的基本层编码数据和增强层编码数据均通过发送模块发送至所述接收端； S5当接收端通过接收模块仅接收到基本层编码数据，则采用基本层图像译码器进行译码得到基本层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后直接输出到所述图像输出设备；当接收端通过接收模块接收到基本层编码数据和增强层编码数据，则采用基本层图像译码器和增强层图像译码器分别进行译码得到基本层译码图像和增强层译码图像，并将基本层图像译码器输出的译码图像采用另一图像采样处理器进行上采样得到上采样图像，然后利用图像复合处理器将增强层译码图像替换所述上采样图像中与之位置对应的部分，得到复合译码图像并输出至图像输出设备。3.根据权利要求2所述的方法，其特征在于，步骤S2中，增强层只包含ROI部分的图像，只包含一层增强层，所述增强层的大小为ROI大小。4.根据权利要求2所述的方法，其特征在于，步骤S3中，对增强层的图像进行编码时，采用跨层预测，即基本层译码图像按比例放大后作为增强层参考图像；当当前的增强层图像为非关键帧时，采用同层预测，将前一帧得到的复合译码图像作为增强层参考图像。5.根据权利要求2所述的方法，其特征在于，步骤S3中，对增强层图像进行编码时，在增强层的候选MV中增加基本层对应位置8X8块的MV作为候选项，并参考该MV来去除层间冗余的运动信息，此时原来的候选MV顺序不变。
【文档编号】H04N19/167GK106060554SQ201610599605
【公开日】2016年10月26日
【申请日】2016年7月26日 公开号201610599605.6, CN 106060554 A, CN 106060554A, CN 201610599605, CN-A-106060554, CN106060554 A, CN106060554A, CN201610599605, CN201610599605.6
【发明人】陈朝武, 郅晨, 董骞, 余子龙, 欧阳甸, 闫雪, 邢培银, 马莉
【申请人】公安部第一研究所, 北京中盾安全技术开发公司