专利名称：一种视频编解码体系结构的制作方法
技术领域：
本发明涉及一种视频编解码体系结构，属于多媒体通信领域。
技术背景视频监控技术正在沿着数字化、网络化、智能化的方向发展。视频编解码技 术是视频监控的实现基础和关键技术，视频监控在不断发展的同时，对应用于安 防领域的视频编解码技术的要求也在不断提高。但目前国内外还没有专门针对视 频监控应用的音视频压縮编码标准，现有的国际信源编码标准如MPEG-2、 MPEG-4、 H. 264等无法完全满足安防的特殊需求。目前视频监控设备种类繁多，采用的视频压缩传输标准以及传输协议不统一， 行业用户采用了不同开发商的产品而只能构成一个个信息孤岛，难以互连成更大 规模的网络。采用统一的音视频编解码标准是不同系统互通的基础，制定面向安 防的自主音视频标准AVS-S将是实现标准统一的最好途径之一，对于规范安防视 频监控核心技术、推动安防监控产业的健康可持续性发展具有非常重要的意义。 发明内容本发明的目的是提供一种视频序列编解码体系结构，该体系结构通过对感兴 趣区域编解码和/或在不同光照条件下的对视频源的编解码，并且包括增强视频 序列图像信息安全性的编解码，既保证感兴趣区域图像质量的问题，又适应不同 光照条件和天气状况下的图像编码问题，以及编码信息的安全性问题。实现本发明目的采用的技术方案是: 一种视频编解码体系结构包括对感兴趣 区域编解码和/或在不同光照条件下的对视频源的编解码，并且包括增强视频序列图像信息安全性的编解码。所述对感兴趣区域的编解码包括以下歩骤 (2-1)以计算机可读格式提供数字图像数据，包括关于像素的数值和坐标的数 据；(2-2)选择输入数字图像的感兴趣区域、背景区域和过渡带区域，该输入数字图像是从输入视频中去除了时域冗余而得到的帧图像； (2-3)根据至少三个优先级对输入数字图像数据进行优先级划分，划分方法为:对输入的视频或图像数据根据用户信息或者其它区域分割算法，确定感兴趣区 域、过渡带区域和背景区域的坐标范围，感兴趣区域的数字图像数据比感兴趣 区域以外区域的数字图像数据具有更高的优先级，或者感兴趣区域的数字图像 数据和过渡带区域的数字图像数据具备相同的优先级，过渡带区域的数字图像 数据比背景区域的数字图像数据具有更高的优先级；感兴趣区域内部的数字图 像数据以宏块为单位，优先级高低相间，其中感兴趣区域内部的优先级高低相 间指的是包括但不限于采用小块相间的方法，即区域中每个小块的优先级与相 邻的纵向和横向的小块的不同，但与斜向上的小块相同；(2-4)按照优先级的设定，分别对各个区域的预测变换后的数据进行分级量化， 不同区域的量化系数的选择依照优先级进行，并对变换后的图像数据进行量化 操作，变换方法包括离散余弦变换和小波变换；对于不同区域的量化系数的选 择依照优先级进行的方法为量化系数的等级总数和优先级的等级总数相等， 量化系数的顺序从高到低排列，优先级的顺序从低到高排列，并且两个集合---一对应；或者量化系数的顺序从低到高排列，优先级的顺序从高到低排列，并 且两个集合一一对应；然后可按照一般的视频/图像编码系统对数字信号进行编 解码，包含运动估计单元、预测单元、变换单元、量化单元、熵编码单元等， 其中在量化单元需根据步骤(3)产生的量化值对各个区域的数据进行分级量化； (2-5)在输出码流中记录感兴趣区域的位置信息、过渡带宽度信息以及各个区 域的优先级数据。所述在不同光照条件下的对视频源的编解码包括以下步骤 (3-1)通过时间的触发设定，将19: 00到次闩7: OO设置为夜间序列编解码方 式，将7: 00到19: OO设置为白天序列编解码方式，或者判断变换编解码后的系数统计分布来进行选择，当变换域码率大于一个事先设定的值时就采用夜间序列编解码方式，其他变换域码率值则用白天序列编解码方式；(3-2)白天序列编解码方式通过将编解码出来的码流在现有视频编解码标准基 础之上进行编解码，用来编解码白天场景(即光线较好时)图象；夜间序列编 解码方式根据离散余弦变换后系数的特性以及人眼视觉特性将系数块矩阵划分 为若干个频带，频带代表不同大小的系数频率，也代表不同类型的系数频率， 对不同频带分别采用不同的量化参数进行标量量化。所述通过利用脆弱性水印技术增强视频图像序列的安全性，主要包括水印的 嵌入和水印的提取两个步骤，其中通过对分块离散余弦变换DCT系数中幅值最大 的AC系数进行修改,来实现水印的嵌入，嵌入水印的算法歩骤如下(4-l)将图像进行8X8分±央，然后对每块进行DCT变换，经过JPEG量化表量化， 得到分块的DC和AC系数；(4-2)采取{-1， 1}伪随机序列作为嵌入的水印信息，生成的水印长度L=ImgW* ImgH/64，其中，ImgW表示图像宽度，ImgH表示图像高度；(4-3)对于图像中的每一块，找到AC系数中的最大幅值的位置，并记录下来，用 于嵌入水印信息，即每一块最多嵌入伪随机序列中的一比特，嵌入水印时，针对 不同特性的块嵌入不同强度的水印信息。 以下是水印嵌入式子F' (i,j) =F(i，j) +a 'W(i) (1) 其中W(i)是生成的水印信息，d是一个比例因子，根据块特性的不同而自适 应调整大小，这里将其与AC系数的方差以及块的平均亮度联系起来。根据人眼视 觉特性，如果对比较暗及平滑区域的块修改AC系数，结果将影响块的结构，人眼 容易识别出来。综合考虑算法的不可感知性和鲁棒性，a根据块的方差和所要嵌 入位置AC系数的大小动态选取a =0. 5* log[F(i, 1)* var(F(i， 2 : 64))] 如果a <0，就令a =0，因为如果a 〈0，就表示此块可能是比较暗的平滑区域， 就不嵌入水印。相应地，对于活动性比较强的块，对应的值就很大，嵌入的水印信 息强度就会大一些；所述水印的提取，根据水印嵌入的算法,对嵌有水印的图像进行8X8 DCT变 换，然后量化，提取AC系数幅值最大的值F" (i， j)，利用相关性计算 T =lnEF" (i, j)*W(i) (3) 当T〉Tg,我们就可以判断该图像含有水印信息，Tg可以根据实验获得，由于 输出响应的峰值比较高，Tg的选择有很大的冗余度。 本发明具有以下优点l.采用基于区域的编码技术，可根据用户对图像不同区域的不同感兴趣程 度，灵活控制这些图像区域的编码质量，对感兴趣区域(如人脸、车牌、车型等)采用高精度图像编码方式；对非感兴趣区域(如背景区域)采用低精度图像编码 方式能够满足由于安防监控的特殊性，某些应用中需要对某个特殊区域进行特殊 编码的需求；2. 采用全天候信号编码技术，可以在不同的光照条件下对安防监控的视频源 进行编码时，都能够具有比较稳定的编码效率。3. 采用安全性技术，可以利用脆弱性水印技术增强视频图像序列的安全性；4. 本编解码体系结构通过采用以上技术，既能实现编码技术对现有视频编码 标准的改进，又可以满足安防监控应用对视频编码的特殊要求。
图1为视频序列编码体系结构的示意框图。 图2为区域划分示意图。图3为采用分频带量化算法的8x8块频带分割示意图。 图4为DCT域水印嵌入流程图。
具体实施方式
一种视频序列编解码体系结构，该体系结构包括对感兴趣区域编解码和/或 在不同光照条件下的对视频源的编解码，并且包括增强视频序列图像信息安全性 的编解码，如图l所示。对感兴趣区域(ROI)编解码包括以下步骤(1) 以计算机可读格式提供数字图像数据，包括关于像素的数值和坐标的数据；(2) 选择输入的视频或数字图像的感兴趣区域、背景区域和过渡带区域，该输 入的视频或数字图像是从输入视频中去除了时域冗余而得到的帧图像。对输入 的视频或图像数据根据用户信息或者其它区域分割算法，确定感兴趣区域、过 渡带区域和背景区域的坐斷范围。 一般说来，三个部分中，最外的是背景区域， 最内的是感兴趣区域，居中的是过渡带区域，过渡带区域连接背景区域和感兴 趣区域，区域划分如图2所示。(3) 根据至少三个优先级对输入的视频或数字图像数据进行优先级划分，划分 方法为对输入的视频或图像数据根据用户信息或者其它区域分割算法，确定感 兴趣区域、过渡带区域和背景区域的坐标范围，感兴趣区域的视频或数字图像数 据比感兴趣区域以外区域的视频或数字图像数据具有更高的优先级，或者感兴趣 区域的视频或数字图像数据和过渡带区域的视频或数字图像数据具备相同的优先级，过渡带区域的视频或数字图像数据比背景区域的视频或数字图像数据具有 更高的优先级；感兴趣区域内部的数字图像数据以宏块为单位，优先级高低相间， 其中感兴趣区域内部的优先级高低相间指的是包括但不限于采用小块相间的方 法，即使区域中每个小块的优先级与相邻的纵向和橫向的小块的不同，但与斜向 上的小块相同。设背景区域的优先级参数为IMP1，设过渡带区域的优先级参数 为IMP2，感兴趣区域的优先级参数为頂P3和[MP4，其中頂P 1 = 1; ( I )IMP1《頂P2 (II)頂P2《頂P3 (III)頂P3《IMP4; (IV)式(II)取小于符号时，过渡带区域编码质量优于背景区域编码质量；取等 于符号时，过渡带区域编码质量等于背景区域编码质量。式(III)取小于符号时，感兴趣区域编码质量优于过渡带区域编码质量；取 等于符号时，感兴趣区域编码质量等于过渡带区域编码质量。式(IV)取小于符号时，感兴趣区域内部存在两种不同的优先级；取等于符 号时，感兴趣区域内部优先级一致。(4)按照优先级的设定，分别对各个区域的预测变换后的数据进行分级量化，不同区域的量化系数的选择依照优先级进行，并对变换后的图像数据进行量化操作，变换方法包括离散余弦变换和小波变换；对于不同区域的量化系数的选 择依照优先级进行的方法为量化系数的等级总数和优先级的等级总数相等， 量化系数的顺序从高到低排列，优先级的顺序从低到高排列，并且两个集合一 一对应；或者量化系数的顺序从低到高排列，优先级的顺序从高到低排列，并 且两个集合一一对应。其中由于在接口输入中每帧初始量化值在编码器中已经确定，所以背景区 域的量化值QP1为已知；过渡带的量化值QP2，感兴趣区域中深色宏块的量化 值QP3和白色宏块的量化值QP4通过下述方法计算得到QP3定义为QP3 = QP1/IMP3，其中IMP3为已知的量，因此QP3也间接 的为已知量。QP4定义为QP4 = QP1/IMP4，其中IMP4为已知的量，因此QP4也间接的为已知量。QP2定义为QP2=(QP1-QP3)* dis/(width+l)+ QP3，其中，dis为过渡带区 域宏块到感兴趣区域边界的距离，width为过渡带区域的宽度。然后可按照一般的视频/图像编解码系统对数字信号进行编解码，包含运动 估计单元、预测单元、变换单元、量化单元、熵编码单元等，其中在量化单元需根据歩骤(3)产生的量化值对各个区域的数据进行分级量化；(5)在输出码流中记录感兴趣区域的位置信息、过渡带宽度信息以及各个区的优先级数据。在不同光照条件下的对视频源的编解码包括以下步骤(1) 通过时间的触发设定，将19: 00到次闩7: 00设置为夜间序列编码方式， 将7: 00到19: OO设置为白天序列编码方式，或者判断变换编码后的系数统计 分布来进行选择，当变换域码率大于一个事先设定的值时就采用夜间序列编码 方式，其他变换域码率值则用白天序列编码方式；(2) 白天序列编码方式通过将编码出来的码流在现有视频编码标准基础之上进 行编解码，用来编码白天场景(即光线较好时)图象；夜间序列编码方式夜间监 控序列相对于白天序列具有较多的高频噪点，编码后码率仍然比较大，根据离散 余弦变换后系数的特性以及人眼视觉特性将系数块矩阵划分为若干个频带，频带 代表不同大小的系数频率，也代表不同类型的系数频率。现有AVS标准中变换 系数块大小为8x8。如图3所示8x8块分为两个频带区域，对他们分别采用不同 的量化参数进行标量量化。设灰色块区域的量化参数为QPl,白色区域量化参数 为QP2，则令QP2二QPl+8。这样可以有效的减少量化后高频端的非零数，从而降 低编码比特率，并且有效的保存了视觉敏感信息。通过利用脆弱性水印技术增强视频图像序列的安全性，采用对量化后的DCT 域进行数字水印的嵌入,可以降低算法复杂度，以满足实时性要求。如图4所示为 一种现有的DCT域水印嵌入流程图，其具体实施原理及歩骤为经过DCT变换 得到量化后的各系数，对于交流系数而自'，它表示图像的变化情况，幅值最大的位 置，意味着此位置所含的信息量最多,对应于空域块中的主要结构信息。通过大量 实验发现，经过多种攻击以后，此位置的值仍然是幅值最大，由此可见幅值最大的 位置具有良好的鲁棒性。根据这个特点，如果把水印加在这个位置，再根据人眼视觉特性，在保证水印具有一定不可感知性的条件下，选择合适的水印强度，将两者 结合起来可能会使水印有比较好的鲁棒性。通过对分块DCT系数中幅值最大的AC系数进行修改，来实现水印的嵌入。嵌 入水印的算法歩骤如下(1) 将图像进行8X8分块，然后对每块进行DCT变换，经过JPEG量化表量化， 得到分块的DC和AC系数；(2) 采取{_1， 1}伪随机序列作为嵌入的水印信息，生成的水印长度L=ImgW* ImgH/64，其中，ImgW表示图像宽度，ImgH表示图像高度；(3) 对于图像中的每一块，找到AC系数中的最大幅值的位置，并记录下来，用 于嵌入水印信息。即每一块最多嵌入伪随机序列中的一比特。嵌入水印时，针对 不同特性的块嵌入不同强度的水印信息。以下是水印嵌入式子F' (i,j) =F(i,j) +a .W(i) (1)这里采取了 cox的扩频通信原理[l],其中W(i)是生成的水印信息，a是一个 比例因子，根据块特性的不同而自适应调整大小，这里将其与AC系数的方差以及 块的平均亮度联系起来。根据人眼视觉特性，如果对比较暗及平滑区域的块修改 AC系数，结果将影响块的结构，人眼容易识别出来。综合考虑算法的不可感知性 和鲁棒性，a根据块的方差和所要嵌入位置AC系数的大小动态选取 a =0. 5* log[F(i, 1)* var(F(i， 2 : 64))]如果a 〈0,就令a =0，因为如果a 〈0，就表示此块可能是比较暗的平滑区域， 就不嵌入水印。相应地，对于活动性比较强的块,对应的值就很大，嵌入的水印信 息强度就会大一些。水印的提取的具体实现方法根据水印嵌入的准则，对嵌有水印的图像进行8X8 DCT变换，然后量化，提取 AC系数幅值最大的值F" (i， j)，利用相关性计算 T =lnEF〃 (i， j)*W(i) (3) 当T〉Tg，我们就可以判断该图像含有水印信息。其中，Tg可以根据实验获得。 由于输出响应的峰值比较高，Tg的选择有很大的冗余度。
权利要求
1.一种视频编解码体系结构，其特征在于该体系结构包括对感兴趣区域的编解码和/或在不同光照条件下的对视频源的编解码，并且包括增强视频序列图像信息安全性的编解码。
2. 根据权利1要求所述的一种视频编解码体系结构，其特征在于对感兴趣区 域的编解码包括以下歩骤(2-1)以计算机可读格式提供数字图像数据，包括关于像素的数值和坐标的数 据；(2-2)选择输入数字图像的感兴趣区域、背景区域和过渡带区域，该输入数字 图像是从输入视频中去除了时域冗余而得到的帧图像；(2-3)根据至少三个优先级对输入数字图像数据进行优先级划分，划分方法为 对输入的视频或图像数据根据用户信息或者其它区域分割算法，确定感兴趣区 域、过渡带区域和背景区域的坐标范围，感兴趣区域的数据比感兴趣区域以外 区域的数据具有更高的优先级，或者感兴趣区域数据和过渡带区域的像数据具 备相同的优先级，过渡带区域的数据比背景区域的数据具有更高的优先级；感 兴趣区域内部的数据以宏块为单位，优先级高低相间，其中感兴趣区域内部的 优先级高低相间指的是包括但不限于采用小块相间的方法，即区域中每个小块 的优先级与相邻的纵向和横向的小块的不同，但与斜向上的小块相同； (2-4)按照优先级的设定，分别对各个区域的预测变换后的数据进行分级量化， 不同区域的量化系数的选择依照优先级进行，并对变换后的图像数据进行量化 操作，变换方法包括离散余弦变换和小波变换；对于不同区域的量化系数的选 择依照优先级进行的方法为量化系数的等级总数和优先级的等级总数相等， 量化系数的顺序从高到低排列，优先级的顺序从低到高排列，并且两个集合一 一对应；或者量化系数的顺序从低到高排列，优先级的顺序从高到低排列，并 且两个集合一一对应；然后可按照一般的视频/图像编码系统对数字信号进行编 码，包含运动估计单元、预测单元、变换单元、量化单元、熵编码单元等，其 中在量化单元需根据步骤(2-3)产生的量化值对各个区域的数据进行分级量化: (2-5)在输出码流中记录感兴趣区域的位置信息、过渡带宽度信息以及各个区 域的优先级数据。
3. 根据权利要求1所述的一种视频编解码体系结构，其特征在于在不同光照条 件下的对视频源的编解码包括以下歩骤(3-1)通过时间的触发设定，将19: OO到次闩7: OO设置为夜间序列编码方式， 将7: 00到19: OO设置为白天序列编码方式，或者判断变换编码后的系数统计 分布来进行选择，当变换域码率大于一个事先设定的值时就采用夜间序列编码 方式，其他变换域码率值则用白天序列编码方式；(3-2)白天序列编解码方式通过将编解码出来的码流在现有视频编解码标准基 础之上进行编解码，用来编解码白天场景图象；夜间序列编解码方式根据离散余 弦变换后系数的特性以及人眼视觉特性将系数块矩阵划分为若干个频带，频带代 表不同大小的系数频率，也代表不同类型的系数频率，对不同频带分别采用不同 的量化参数进行标量量化。
4. 根据权利要求1所述的一种视频编解码体系结构，其特征在于通过利用脆弱 性水印技术增强视频图像序列的安全性，包括水印的嵌入和水印的提取，其中通 过对分块DCT系数中幅值最大的AC系数进行修改，来实现水印的嵌入，嵌入水 印的算法歩骤如下(4-l)将图像进行8X8分块,然后对每块进行DCT变换，经过JPEG量化表量化， 得到分块的DC和AC系数；(4-2)采取{-1， 1H为随机序列作为嵌入的水印信息，生成的水印长度L=ImgW* ImgH/64,其中，ImgW表示图像宽度，ImgH表示图像高度；(4-3)对于图像中的每一块，找到AC系数中的最大幅值的位置，并记录用于嵌入 水印信息，即每--块最多嵌入伪随机序列中的一比特，嵌入水印时，针对不同特 性的块嵌入不同强度的水印信息；水印嵌入式子为F' (i， j) =F(i， j) +a .W(i) (1)，其中W(i)是生成的水印信息，a是一个比例因子，a根据块的方差和所要 嵌入位置AC系数的大小动态选取a=0. 5* log[F(i, 1)* var(F(i,2 :64))]，如 果a〈0,就令a^;所述水印的提取，根据水印嵌入的算法，对嵌有水印的图像进 行8X8 DCT变换，然后量化，提取AC系数幅值最大的值F" (i， j)，利用相关性计 算T =ln!]F〃 (i， j)*W(i)。
全文摘要
本发明公开了一种视频编解码体系结构，该体系结构包括对感兴趣区域编解码和/或在不同光照条件下的对视频源的编解码，并且包括增强视频序列图像信息安全性的编解码。通过对图像不同区域的不同感兴趣程度，灵活控制不同区域的编码质量。根据不同的光线和不同的天气条件下，采用不同的量化、变换、熵编码方法，支持全天候的编码。通过利用脆弱性水印技术增强视频图像序列的安全性。本视频编解码体系结构既解决了传统编码方式的不足，又保证感兴趣区域图像质量的问题，适应不同光照条件和天气状况下的图像编码问题，以及编码信息的安全性问题。
文档编号H04N7/26GK101309410SQ20081004832
公开日2008年11月19日 申请日期2008年7月8日 优先权日2008年7月8日
发明者琼 刘, 明 李, 牟晓弦, 胡瑞敏 申请人:武汉大学