专利名称：基于视觉潜在注意力目标区域的jpeg2000图像编解码方法
基于视觉潜在注意力目标区域的JPEG2000图像编解码方法技术领域
本发明属于图像编解码领域，是一种新颖的基于视觉潜在注意力目标区域的 JPEG2000图像编解码方法。
背景技术：
随着Internet、电信网、移动通信等技术的逐渐融合，日益剧增的hternet和宽 带无线数字媒体业务需求，极大的推动了可伸缩信息压缩及其可靠性传输的理论和应用研 究。已有大量实验证明，人眼在浏览一幅图像时，其注视点会因潜在目标区域的注意力强弱 而产生视注意力分配的先后顺序，即因注意力引起的一种注视点跳跃的过程。同时，由于人 眼视觉的非均勻采样生理机制，使得人类对注视点区域与非主视点区域，亦即对不同注意 力目标区域的视觉采样疏密程度是不同的。从静态图像压缩技术的典型代表——JPEG2000 技术来看，其图像压缩算法仅是将用户设定的码率均勻分配给每一个图像片(Tile块)，并 没有考虑到图像中内容注意力的差别，无法根据图像内容视觉注意力大小分配码率。这使 得其所重构的图像无法适应人类视觉对不同注意力目标区域分配不同注意力的特征。换句 话说，即传统JPEG2000技术实现的图像编码算法对图像区域选择单一且无法自动给出区 域码率预分配系数；不能很好的体现人类视觉感知的层次性。同时，在终端多样、网络异构 以及网络带宽有限的情况下，也无法根据图像内容的视觉注意力程度优先传输相应的图像 内容。针对上述问题，如何在图像编解码算法中引入图像内容自适应编码机制成为了业界 的研究重点。发明内容
基于上述背景，本发明目的旨在提出一种符合人类视觉感知机制，基于视觉潜在 注意力目标区域的JPEG2000图像编解码算法，使得用户在各种网络环境下，尽可能优先的 观看图像中较为显著、更加注意的目标区域。本发明的基本思想是人类视觉对图像中所 示现的各个目标的关注度是不同的。图像编解码方法中应反映图像中各个目标被注意的程 度，亦即应根据各目标区域注意力的大小分配不同的码率。
为使图像压缩后更加符合视觉感知特性，该方法图像编码前先根据视觉潜在注意 力目标区域提取技术，按照不同的潜在注意力目标区域将图像划分为若干个Tile块；并对 这些Tile块按其视觉注意力系数大小预先分配相应的目标码率；而后经过量化，自适应小 波变换，位平面编码与算术编码器的码字重置机制及基于潜在注意力目标区域质量层码率 控制技术形成码流，随后组织码流与打包生成JPEG2000文件完成图像压缩。在浏览时，实 施与上述对应的逆过程进行图像解压缩。最终实现本发明图像编解码方法。
为了实现上述任务，本发明采用的技术解决方案是
基于视觉潜在注意力目标区域的JPEG2000图像编解码方法，其特征在于，该方法 包括下述步骤
1)建立了基于视觉潜在注意力目标区域的JPEG2000图像编解码技术系统架构； 通过视觉潜在注意力目标区域提取技术，计算视觉显著性注意力图，并对输入图像进行视 觉潜在注意力目标区域分割，从而得到图像中若干个潜在注意力目标区域及其注意力系 数，并在原始图像R、G、B三个图像分量中，划分为若干个对应的具有相同注意力系数的 Tile 块；
2)根据用户给定的压缩目标码率，并通过计算各Tile块间注意力系数比值，实现 对每个Tile块的目标码率预分配；
3)根据视觉潜在注意力目标区域划分的Tile块经过DC位移、分量变换、自适应小 波变换以及量化，得到每个Tile块在各级分辨率下量化后的小波系数；
4)通过基于视觉潜在注意力目标区域的Tile块小波系数区域索引技术，实现 Tile块在各级分辨率下的I^recinct索引结构；
5)通过位平面编码以及算术编码重置技术，实现对I^recinct进行编码，记录候选 失真度与编码码字长度；最后将编码结果、候选失真度以及对应的码字长度一起输出至下 一过程；
6)通过构造I^recinct质量层和基于I^recinct质量层的码率控制技术，并根据步 骤2)中预分配的目标码率、步骤4)中区域索引数组、各质量层码字长度，实施I^recinct质 量层码率控制形成截断码流以及打包，实现基于潜在注意力目标区域的图像编码；
7)依上述步骤的逆过程进行，即可获得按用户要求码率实现的基于视觉潜在注意 力目标区域的图像解码与重构，从而获得反映视觉潜在注意力的重构图像。
所述视觉潜在注意力目标区域提取技术是指，根据自底向上视觉注意力空域计算 模型，获得输入图像的视觉显著性注意力系数图；提取得到输入图像的若干个潜在注意力 目标区域。由此，实现与输入图像R、G、B三个图像分量对应的若干个潜在注意力目标区域 图像的Tile块划分，以及与这些Tile块对应的注意力系数。其具体步骤如下
1)利用自底向上视觉注意力空域计算模型，即利用图像自身的灰度、颜色以及方 向特征在不同空间分辨率下的层间差异，计算出输入图像的视觉显著注意力系数幻在显著注意力图中找具有最大系数的位置。从该注意力位置反向找到引起该位 置注意力系数最大的特征层通道，即灰度、红蓝色对、蓝黄色对以及4个方向(0度、45度、90 度和135度)特征对应的某一特征通道；
3)以该通道中最大注意力系数对应像素点为中心按4邻域进行区域增长，直到边 界点系数值小于最大值的10%后停止；属于此区域的点置标记为1，不属于此区域的点置 标记为0，由此得到一个二值模板，从而实现第一个Tile块的分割；
4)再将显著注意力图中由步骤2)得到的第一个Tile块所对应区域的注意力系数 都置为0，从而得到新的显著注意力5)在新图中找与步骤2、相比的第二大注意力系数的位置，再重复步骤2、实现第 二个Tile块的分割；
6)重复上述步骤直到显著注意力图中注意力系数小于预先设定的阈值时，停止 Tile块划分;
7)最后将剩余图像区域作为一个Tile块处理。
8)划分后的各Tile块图像在其R、G、B三个分量中都具有相同的划分和相同的注意力系数。
所述Tile块的目标码率预分配的依据为，根据用户给定的压缩目标码率，并通过 计算各Tile块间注意力系数比值，实现对每个Tile块的目标码率预分配。其具体步骤如 下
1)计算全图注意力系数平均值，对显著性注意力图中所有像素点的注意力值Si, j 求和并除以全图的像素总数W*H得到全图注意力系数平均值孓；
权利要求
1.基于视觉潜在注意力目标区域的JPEG2000图像编解码方法，其特征在于，该方法包 括下述步骤1)建立了基于视觉潜在注意力目标区域的JPEG2000图像编解码技术系统架构；通过 视觉潜在注意力目标区域提取技术，计算视觉显著性注意力图，并对输入图像进行视觉潜 在注意力目标区域分割，从而得到图像中若干个潜在注意力目标区域及其注意力系数，并 在原始图像R、G、B三个图像分量中，划分为若干个对应的具有相同注意力系数的Tile块；2)根据用户给定的压缩目标码率，并通过计算各Tile块间注意力系数比值，实现对每 个Tile块的目标码率预分配；3)根据视觉潜在注意力目标区域划分的Tile块经过DC位移、分量变换、自适应小波变 换以及量化，得到每个Tile块在各级分辨率下量化后的小波系数；4)通过基于视觉潜在注意力目标区域的Tile块小波系数区域索引技术，实现Tile块 在各级分辨率下的I^recinct索引结构；5)通过位平面编码以及算术编码重置技术，实现对I^recinct进行编码，记录候选失真 度与编码码字长度；最后将编码结果、候选失真度以及对应的码字长度一起输出至下一过 程；6)通过构造I^ecinct质量层和基于I^recinct质量层的码率控制技术，并根据步骤2) 中预分配的目标码率、步骤4)中区域索引数组、各质量层码字长度，实施Inrecinct质量层 码率控制形成截断码流以及打包，实现基于潜在注意力目标区域的图像编码；7)依上述步骤的逆过程进行，即可获得按用户要求码率实现的基于视觉潜在注意力目 标区域的图像解码与重构，从而获得反映视觉潜在注意力的重构图像。
2.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法， 其特征在于，所述视觉潜在注意力目标区域提取技术具体步骤如下1)利用自底向上视觉注意力空域计算模型，获得输入图像的视觉显著性注意力系数图；2)在显著性注意力图中找具有最大系数的位置，从该注意力位置反向找到引起该位置 注意力系数最大的特征层通道；3)以该通道中最大注意力系数对应像素点为中心，并按四邻域进行区域增长，直到边 界点系数值小于最大值的10%后停止；属于此区域的点置标记为1，不属于此区域的点置 标记为0，由此得到一个二值模板，从而实现第一个Tile块的分割；4)再将显著性注意力图中由步骤幻得到的第一个Tile块所对应区域的注意力系数都 置为0，从而得到新的显著注意力图；5)在新图中找与步骤幻相比的第二大注意力系数的位置，再重复步骤幻实现第二个 Tile块的分割；6)重复上述步骤直到显著性注意力图中注意力系数小于预先设定的阈值时，停止 Tile块划分;7)最后将剩余图像区域作为一个Tile块处理；8)划分后的各Tile块图像在其R、G、B三个分量中都具有相同的划分和相同的注意力 系数。
3.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法，其特征在于，所述Tile块的目标码率预分配的依据为，根据用户给定的压缩目标码率，并 通过计算各Tile块间注意力系数比值，实现对每个Tile块的目标码率预分配，其具体步骤 如下1)计算全图注意力系数平均值，对显著性注意力图中所有像素点的注意力值Siij求和 并除以全图的像素总数W*H得到全图注意力系数平均值孓；-J2 nsij ZS= J—，... /WH⑴式中，Su为图像中每个像素的注意力系数，W为图像宽度方向像素个数，H为图像高度 方向像素个数；2)计算每个Tile块的注意力系数比值Wi，由下式得到 k.M= φ zG[l, ΛΠ(2)式中，&为每个Tile块注意力平均系数，即该块中所有像素点的注意力值之和并除以 该区域像素总个数，i e [1，N]，N为Tile块的个数，孓为全图注意力系数平均值；3)各个Tile块的目标码率预分配由下式得到L·^式中，R为用户给定的目标码率，Wi为第i个Tile块的注意力系数比值。
4.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法， 其特征在于，所述自适应小波变换技术为利用JPEG2000所支持的小波滤波器进行离散小 波变换，达到降低数据之间的相关性便于编码；所述量化为自适应选择量化步长降低小波 变换系数精度，实现图像压缩。
5.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方 法，其特征在于，所述建立基于视觉潜在注意力目标区域的Tile块小波系数区域索引技术 为，设计索引数组建立潜在注意力目标区域在各级分辨率下小波系数的区域集合对应关 系，以及各个Tile块按照注意力系数大小顺序关系，从而形成Tile块各级分辨率系数的 Precinct索引集合以及码率分配索引顺序。
6.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法， 其特征在于，所述位平面编码以及算术编码重置技术为，按照码率分配索引顺序，优先对注 意力系数大的I^recinct系数集合进行位平面编码以及算术编码；同时算术编码器每完成 一次编码就复位一次，以便依次记录每个I^recint中的编码码流以及候选失真度。
7.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法， 其特征在于，所述通过构造I^ecinct质量层和基于I^ecinct质量层的码率控制技术分别 是指，Precinct质量层是指根据各级分辨率系数编码后所属ft~ecinct索引关系，建立与每 个I^recinct对应的可重构相同质量的码流集合和失真度集合；基于I^recinct质量层的码 率控制技术是指在不同码率情况下根据已计算出的目标码率预分配结果，按照码率分配索 引顺序和基于I^recinct质量层的码率控制曲线对每个I^ecinct质量层分配以不同的质量 码率，最终使得不同I^recinct的码流分配到不同质量的码率。
全文摘要
本发明实现了一种有效地基于视觉潜在注意力目标区域的JPEG2000图像编解码方法。该方法图像编码前先根据视觉潜在注意力目标区域提取技术，将图像依据不同注意力的潜在目标区域划分为若干个Tile块并预先分配相应的目标码率；而后经过量化，自适应小波变换，位平面编码与算术编码器码字重置机制及基于潜在注意力目标区域质量层码率控制，进行码流组织、打包，实现图像压缩。在浏览时，实施与上述对应的逆过程进行图像解压缩实现本发明图像编解码。在网络带宽不足时，则可牺牲部分潜在注意力较小目标区域的码率为代价，换取人们更关注的目标区域的图像重构质量，同时兼具质量以及基于潜在注意力目标区域的内容联合可伸缩的高效图像编解码技术。
文档编号H04N7/26GK102036073SQ20101059765
公开日2011年4月27日 申请日期2010年12月21日 优先权日2010年12月21日
发明者李策, 薛建儒, 郑南宁 申请人:西安交通大学