一种图像动态范围增强的方法与流程

文档序号:13209832阅读:348来源:国知局

本发明涉及显示技术领域,特别是涉及一种图像动态范围增强的方法。



背景技术:

图像的动态范围定义为图像中最亮与最暗的像素值之比。人眼可观察的动态范围高达10000:1,然而目前广泛应用的数字成像设备和显示设备的动态范围有限,约为100:1~300:1。在日常生活中使用普通相机等成像设备拍摄图片时,由于成像设备的动态范围有限,导致拍摄得到的图片在过亮的区域可能会产生过曝光,在较暗的区域可能会产生欠曝光。因此根据拍摄得到的图片无法还原真实场景。高动态范围图像(highdynamicrangeimage)动态范围大、细节丰富,能够带来更好的视觉体验。

利用高动态范围图像成像技术,可以得到高动态图像。高动态图像的获取可以通过硬件和软件两种方法,硬件方法包括使用多个成像设备或是专业的hdri成像设备。软件方法通常是基于多曝光融合技术,多曝光融合技术采用多幅不同曝光的图像合成高动态图像。此技术基于不同曝光度的图像能捕获场景的不同的动态范围信息,将不同曝光度的信息相结合,就能形成一幅包含整个动态范围信息的高质量图片。

基于上述软件的方法通常面临两方面的问题:(1)由于全局相机的运动,在合成时需要配准,配准不准确时会产生模糊问题。(2)在拍摄场景的不同动态范围的图像时,当场景中存在运动的物体时,最终合成的图像会产生混淆。

当前高端显示设备大都支持hdr功能,利用高动态范围成像技术,可以得到高动态图像。根据以上分析,高动态图像的合成面临仪器价格昂贵,技术不够成熟等众多困难,内容的普及速度无法跟上设备的更新换代,为了解决这一难题,现有技术提出了通过另外一种方法来实现对普通的图像进行增强,具体为,将原始图像通过暗通道去雾算法,能够对普通的视频图像进行增强,提高普通片源的画质,从而达到在观看普通片源时,也能够得到类似hdr片源的播放体验。然而,此种通过暗通道去雾算法对所有图像统一进行增强,造成有些图像通过暗通道去雾算法增强后反而效果不佳,例如没有雾的图像或者某些特殊的图像。



技术实现要素:

本发明实施例所要解决的技术问题在于,提供一种图像动态范围增强的方法。可使图像动态范围增强效果较好。

为了解决上述技术问题,本发明实施例提供了一种图像动态范围增强的方法,包括:

提供一原始图像;

提取所述原始图像中间区域的暗通道图像中像素值大于或等于第一像素阈值的第一比例;

判断所述第一比例是否大于或等于第一比例阈值;

如果为是,则提取所述原始图像的暗通道图像当中r通道、g通道、b通道的像素值均大于或等于第二像素阈值的第二比例;

判断所述第二比例是否大于或等于第二比例阈值;

如果为否,则基于第一配置方式对所述原始图像进行增强;

如果所述第二比例大于或等于所述第二比例阈值或者所述第一比例是小于所述第一比例阈值,则基于第二配置方式对所述原始图像进行增强。

在本发明一实施例中,所述第一配置方式通过暗通道去雾算法实现。

在本发明一实施例中,所述第二配置方式通过限制对比度自适应直方图均衡化算法实现。

在本发明一实施例中,所述限制对比度自适应直方图均衡化算法的其中一个参数为块尺寸,所述限制对比度自适应直方图均衡化算法将所述原始图像分割成多个块时每个块的块尺寸相同。

在本发明一实施例中,所述限制对比度自适应直方图均衡化算法的其中一个参数为第一剪切高度,所述第一剪切高度的一个参数为第一剪切比例cliprα,所述第一剪切比例clipα的计算公式为:

cliprα=a-(1-average/255.0)*(1-cont/255.0)

其中,a是常数,a的范围为1.0-3.0;average代表的是所述原始图像的光照强度;cont代表所述原始图像的对比度。

在本发明一实施例中,所述第一剪切高度clip的计算公式为:

clip=cliprα*(n1*n2)/(upper-lower)

其中,n1*n2代表所述原始图像分块后的块包括的像素总数;所述upper代表整幅所述原始图像的灰度值的最大值,所述lower代表整幅所述原始图像的灰度值的最小值。

在本发明一实施例中,所述限制对比度自适应直方图均衡化算法的其中一个参数为第二剪切高度,所述第二剪切高度cut的计算公式如下:

其中,所述m和n代表所述原始图像分块后其长度和宽度上的像素数目,所述level代表的是灰度级;所述α代表第二剪切比例,为常数。

在本发明一实施例中,所述第一比例阈值范围为0.3-0.9;或者,所述第二比例阈值范围为0.02-0.1。

在本发明一实施例中,所述第一比例fdarkrate的计算公式如下:

其中,dark(i,j)表示的是所述原始图像中间区域的暗通道图像,m代表所述原始图像中间区域的长度上的像素数目,n代表所述原始图像中间区域的宽度上的像素数目;k代表所述第一像素阈值;其中,暗通道图像的像素值jdark的表达公式为:

其中,i表示所述原始图像;ic表示i的某一个颜色通道,ic(y)表示所述原始图像当中单个像素点的某一个颜色通道的值;ω(x)是以像素点x为中心的一个滤波窗口区域,窗口的大小为常数。

在本发明一实施例中,所述第二比例的num1的表达公式如下:

其中,分子表示所述原始图像的r、g、b三个颜色通道的像素值均大于所述第二像素阈值g的像素数量,分母为所述原始图像的像素总数。

实施本发明实施例,具有如下有益效果:

由于所述图像动态范围增强的方法包括:提取原始图像中间区域的暗通道图像中像素值大于或等于第一像素阈值的第一比例;判断所述第一比例是否大于或等于第一比例阈值;如果为是,则提取所述原始图像的暗通道图像当中r通道、g通道、b通道的像素值均大于或等于第二像素阈值的第二比例;判断所述第二比例是否大于或等于第二比例阈值;如果为否,则基于第一配置方式对所述原始图像进行增强;如果所述第二比例大于或等于第二比例阈值或者所述第一比例是小于第一比例阈值,则基于第二配置方式对所述原始图像进行增强。从而通过对原始图像进行分类,对不同类别的原始采用不同的配置方式进行处理,从而对各种原始图像都能增强,且增强效果较好,增强后的图像动态范围较好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一实施例图像动态范围增强的方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,术语“第一”、“第二”和“第三”等是用于区别不同的对象,而并非用于描述特定的顺序。

本发明实施例提供一种图像动态范围增强的方法,请参见图1,包括:

s110:提供一原始图像;

在本实施例中,该原始图像为将需要增强的图像,该原始图像的大小、动态范围不做限定。

s120:提取所述原始图像中间区域的暗通道图像中像素值大于或等于第一像素阈值的第一比例;

在室外无雾图像非天空区域的一个小区域(patch)中,某些像素点处的rgb三通道中至少有一个颜色通道具有极低的值。在雾存在的情况下,雾的浓度与图像的暗通道的像素值成正比,同时雾的浓度与图像的景深成正比,与图像的透射率成反比。因此可以根据图像的暗通道图像估计图像的透射率用于去雾。

由于人眼观察图像时主要关注的是图像的中间区域,从而,可以根据原始图像中间区域的暗通道图像估计图像的透射率用于去雾。在本实施例中,通过原始图像计算获得对应的暗通道图像计算过程如下:首先对图像的rgb三个颜色通道图像分别进行最小值滤波,再选取滤波后的三通道图像中同一位置的像素最小值作为暗通道图像的像素值,表达式如下:

其中,i表示输入图像;ic表示i的某一个颜色通道,ic(y)表示输入图像当中单个像素点的某一个颜色通道的值;ω(x)是以像素点x为中心的一个滤波窗口区域,窗口的大小设置为常数,在此处窗口的大小设置为15*15,即滤波半径为7;jdark为图像i的暗通道图像,也即为像素值。从而同样可以得到原始图像的中间区域对应的暗通道图像,从而可以得到原始图像的中间区域对应的暗通道图像的像素值。

在本实施例中,所述第一像素阈值的范围为60-120,例如为60、70、80、90、100、110、120等,在本实施例中,所述第一像素阈值为90。在本实施例中,提取中间区域的暗通道图像中像素值大于或等于90的第一比例,该第一比例的记为fdarkrate,具体的表达式如下:

其中,dark(i,j)表示的是原始图像中间区域的暗通道图像,m代表原始图像中间区域的长度上的像素数目,n代表原始图像中间区域的宽度上的像素数目;k代表第一像素阈值,在本实施例中,k为90。

在本实施例中,所述中间区域位于原始图像的中间位置,例如可以是正中间位置,也可以是中间有点偏移的位置,例如往左偏、往右偏、往上偏、往下偏等,所述中间区域的大小可以根据用户的需求进行设定,例如所述中间区域的面积可以是所述原始图像面积的1/4,此时所述中间区域的顶边与所述原始图像的顶边的距离为原始图像宽度的1/4,所述中间区域的底边与所述原始图像的底边的距离为原始图像宽度的1/4,所述中间区域的左边与所述原始图像的左边的距离为原始图像长度的1/4,所述中间区域的右边与所述原始图像的右边的距离为原始图像长度的1/4,又例如,所述中间区域的面积还可以是所述原始图像面积1/2、1/3等。

s130:判断所述第一比例是否大于或等于第一比例阈值;

在本实施例中,所述显示装置判断所述第一比例是否大于或等于第一比例阈值,所述第一比例阈值的范围为0.3-0.9,例如为0.3、0.4、0.5、0.6、0.7、0.8、0.9等,在本实施例中,所述第一比例阈值为0.7,当所述第一比例大于或等于0.7时,所述显示装置判断所述原始图像为有雾图像;当所述第一比例小于第一比例阈值时,所述显示装置判断所述原始图像为无雾图像。

s140:如果为是,则提取所述原始图像的暗通道图像当中r通道、g通道、b通道的像素值均大于或等于第二像素阈值的第二比例;

当原始图像当中包含有大面积的白色物体等明亮区域时,例如雪山、雪地、大海等,此时原始图像中该些明亮区域对应的暗通道图像中的像素值较大,此时根据步骤s130原始图像可能会被判为有雾图像,而实际上可能不是有雾图像,从而导致上述判断原始图像为有雾图像的步骤失效,为了改善该问题,在本实施例中,原始图像明亮区域对应的暗通道图像有一个共同点是图像的r、g、b三个颜色通道的像素值均较大,因此可以通过提取原始图像的暗通道图像当中r通道、g通道、b通道的像素值均大于或等于第二像素阈值的第二比例。

具体而言,在本实施例中,所述第二像素阈值的范围为200-255,例如为200、210、220、230、240、250、255等,在本实施例中,所述第二像素阈值为240,所述第二比例num1的表达公式如下:

其中,分子表示原始图像的r、g、b三个颜色通道的像素值均大于第二像素阈值g的像素数量,其中第二像素阈值g在本实施例中卫240,分母(m*n)为原始图像的像素总数。

s150:判断所述第二比例是否大于或等于第二比例阈值;

经过大量的统计实验,在本实施例中,所述第二比例阈值范围为0.02-0.1,例如为0.02、0.03、0.04、0.05、0.06、0.07、0.08、0.09、0.1等,此时所述原始图像当中包含有大面积的白色物体等明亮区域,在本实施例中,所述第二比例阈值为0.05。

在本实施例中,当所述第二比例大于或等于第二比例阈值时,此时表示原始图像不是有雾图像,而是原始图像当中包含大面积的白色物体等明亮区域,从而不能像处理有雾图像一样处理该原始图像。当所述第二比例小于所述第二比例阈值时,结合步骤s140,可以得到该原始图像是有雾图像。

s160:如果为否,则基于第一配置方式对所述原始图像进行增强;

如果现实装置的判断结果是否,则表示所述第二比例小于第二比例阈值,且所述第一比例是大于或等于第一比例阈值,从而该原始图像为有雾图像,不是原始图像当中包含大面积的白色物体等明亮区域,从而对所述原始图像基于第一配置方式进行增强。

具体而言,在本实施例中,所述第一配置方式为通过暗通道去雾算法实现,也即对所述原始图像进行暗通道去雾算法来增强,暗通道去雾算法为本领域普通技术人员知道的算法,可以用于增强有雾的原始图像的动态范围。

s170:如果所述第二比例大于或等于所述第二比例阈值或者所述第一比例是小于所述第一比例阈值,则基于第二配置方式对所述原始图像进行增强。

在本实施例中,如果所述第二比例是大于或等于第二比例阈值,此时表示原始图像当中包含大面积的白色物体等明亮区域;或者如果所述第一比例是小于第一比例阈值,此时表示原始图像不是有雾图像,而是普通的无雾图像。针对原始图像当中包含大面积的白色物体等明亮区域,或者原始图像是普通的无雾图像,本实施例基于第二配置方式对所述原始图像进行增强。

具体而言,在本实施例中,所述第二配置方式通过限制对比度自适应直方图均衡化(clahe,contrastlimitedadaptivehistogramequalization)算法实现,clahe算法为本领域普通技术人员知道的算法,clahe算法通过对原始图像进行分块与对比度限幅,能够对上述特征的原始图像进行增强以得到较好的增强效果,可以增强上述特征的原始图像的动态范围。

在本实施例中,由于对原始图像进行了分类,第一种原始图像的第一比例大于或等于第一比例阈值,且该种原始图像的第二比例小于第二比例阈值,此时该种原始图像为有雾图像;第二种原始图像为第一比例小于所述第一比例阈值,此时所述原始图像为无雾图像,或者第一比例大于或等于所述第一比例阈值且第二比例大于或等于第二比例阈值,此时所述原始图像当中包含大面积的白色物体等明亮区域,针对第一原始图像通过第一配置方式对其进行增强,针对第二原始图像通过第二配置方式对其增强,从而针对不同特征的原始图像采用不同的增强方式,从而使原始图像增强效果较好,增强后的图像动态范围较好。

一般说来,传统的clahe算法有两个重要的参数,分别是分块的数量和直方图的剪切高度,该clahe算法对于所有的原始图像采用相同的剪切高度(默认为0.01)和分块数量(默认为8*8),容易导致原始图像经过clahe算法出现失真。

其中的一种情况是,当分块的数量是一致时,对原始图像通过clahe算法进行增强后,经过对比,原始图像的有些细节区域无法很好的进行增强。为了改善该问题,在本实施例中,本实施例对clahe算法进行改进,改进后的clahe算法不再设置分块数量而改为设置块尺寸,在本实施例中,所述块尺寸设置为64*64,当然,在本发明的其他实施例中,所述块尺寸还可以设置为其他尺寸,在对原始图像通过改进的clahe算法增强时,所述改进的clahe算法将原始图像分割成多个块时每个块的块尺寸相同,在本实施例中均为64*64,这样可以对原始图像的细节进行较好的增强。在本实施例中,改进的clahe算法设置固定的分块大小会导致原始图像无法整分,可以通过复制原始图像的边界像素,确保原始图像能被整分。

传统的clahe算法的剪切高度,在下面的描述中统称为第二剪切高度,该第二剪切高度cut的计算公式如下:

其中,所述m和n代表所述原始图像分块后其长度和宽度上的像素数目,所述level代表的是灰度级,例如8bits图像的灰阶级为256;所述α代表第二剪切比例,为人为设置的常数。

为了提高clahe算法的稳定性和自适应性,本实施例对clahe算法进行改进,改进后的clahe算法采用自适应的方法设置剪切高度(以下描述为第一剪切高度),改进后的clahe算法通过设置第一剪切高度来控制图像对比度增强的幅度,大的第一剪切高度最终得到的增强后的图像的对比度大。

通过实验发现,对于亮度较大、对比度较高的原始图像,设置的第一剪切高度越大则最终的对比度增强的效果越好,反之对于亮度较低,对比度较小的图像,应该设置小的第一剪切高度,否则容易导致原始图像过增强、噪声放大等问题。基于以上讨论,结合原始图像的对比度和亮度来合理的设置第一剪切高度,而第一剪切高度的一个关键参数为第一剪切比例,经过大量的实验统计,采用如下的计算公式设置图像的第一剪切比例cliprα可以取得较好的增强效果。

cliprα=a-(1-average/255.0)*(1-cont/255.0)

其中,a是常数,通常情况下a的范围为1.0-3.0,例如为1.0、1.5、2.0、2.5、3.0等;average代表的是原始图像的光照强度;cont代表原始图像的对比度。

在本实施例中,所述average的计算公式如下:

其中,n为原始图像在宽度方向上具有的像素数目,m为原始图像在高度方向上具有的像素数目,gray代表原始图像的灰度。

在本实施例中,所述cont代表图像的对比度,计算表达式如下:

其中,n为原始图像在宽度方向上具有的像素数目,m为原始图像在高度方向上具有的像素数目,gray代表原始图像的灰度。上面计算cont的含义为采用原始图像四邻域的差值的绝对值的和代表原始图像的对比度,像素与周围像素的差值越大,表示原始图像的对比度越大。

近年来,基于人眼视觉特性的图像处理技术越来越受到人们的关注。传统的图像处理方法通常只考虑原始图像像素的统计特性,通过改变原始图像像素的灰度分布,进行图像增强。目前对图像增强的客观评价指标很难与人眼的主观评价相一致,评价指标得分高的图像,视觉效果不一定好。因此,在进行图像处理时如果能够在充分利用图像统计特性的同时考虑人眼的视觉特性,对改善图像处理结果的主观质量和客观质量无疑是可取的。

一般说来,人眼对图像纹理细节的敏感度与它所处的背景灰度有关,对高灰度背景和低灰度背景中的纹理细节人眼敏感度较低,而对中等高亮度背景中的纹理细节敏感度较高。

根据直方图均衡化的原理,可以知道,映射曲线t与图像的累积分布函数(cdf)的关系式如下:

其中,28-1为8bit原始图像的最高灰度值,n*m为原始图像像素总数。

限制对比度,其实就是限制cdf的斜率,又因cdf是灰度直方图的积分:

cdf(i)=∫hist(i)di

由于对比度增强的幅度可定义为灰阶映射函数的斜率。根据上述表达式,可以求得灰阶映射函数的斜率为:

根据上述的推导,可以得知图像的直方图的高度对应于图像的累积分布直方图的斜率,累积直方图的斜率对应于对比度增强的幅度。

基于人眼的视觉效应,即通常情况下人比较关注图像的中等亮度的区域,所以当clahe算法对原始图像的中等亮度区域进行增强时,增强效果更为明显。因此,为了在原始图像的中等亮度区域得到最大的增强效果,则应该使原始图像的中等亮度区域直方图最高。因为clahe算法的最大的直方图高度值是第一剪切值,所以应该根据中等亮度区域的直方图的高度计算第一剪切值。clahe算法当中采用直方图的平均高度值来表示一幅原始图像的中等亮度区域直方图水平,并根据平均高度值计算最终的第一剪切高度clip,所述第一剪切高度clip的计算公式为:

clip=cliprα*(n1*n2)/(upper-lower)

其中,n1*n2代表所述原始图像分块后的块包括的像素总数;所述upper代表整幅原始图像的灰度值的最大值,所述lower代表整幅原始图像的灰度值的最小值。从而,当上述改进的clahe算法采用第一剪切高度时,可以兼顾人眼的视觉效应,也能兼顾原始图像的光照强度和对比度,采用改进的clahe算法对原始图像增强效果较好。

需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

通过上述实施例的描述,本发明具有以下优点:

由于所述图像动态范围增强的方法包括:提取原始图像中间区域的暗通道图像中像素值大于或等于第一像素阈值的第一比例;判断所述第一比例是否大于或等于第一比例阈值;如果为是,则提取所述原始图像的暗通道图像当中r通道、g通道、b通道的像素值均大于或等于第二像素阈值的第二比例;判断所述第二比例是否大于或等于第二比例阈值;如果为否,则基于第一配置方式对所述原始图像进行增强;如果所述第二比例大于或等于第二比例阈值或者所述第一比例是小于第一比例阈值,则基于第二配置方式对所述原始图像进行增强。从而通过对原始图像进行分类,对不同类别的原始采用不同的配置方式进行处理,从而对各种原始图像都能增强,且增强效果较好,增强后的图像动态范围较好。

以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1