一种图像增强的方法、装置及计算机可读存储介质与流程

文档序号:20707470发布日期:2020-05-12 16:39阅读:285来源:国知局
一种图像增强的方法、装置及计算机可读存储介质与流程

本发明涉及图像处理技术领域,具体涉及一种图像增强的方法、装置以及计算机可读存储介质。



背景技术:

随着便携式拍摄设备的日渐普及,人们很容易捕捉到图像,而由于拍摄环境或其他因素的影响,当图像清晰度较低时,尤其是将图像进行缩放或者进行传输之后,图像的边缘细节部分会变得模糊,图像的质量会进一步降低。因此,为了提高图像的质量,技术人员一般采用图像增强算法对图像进行处理。图像增强算法常见于对图像的亮度、对比度、饱和度、色调等进行调节,以增加图像的清晰度,减少图像的噪点。现如今,常见的一种图像增强方法是直方图均衡法。直方图均衡法通过调整图像的灰度输出值来提升图像的对比度。虽然直方图均衡法能够快速对图像进行增强处理,但存在灰度级别的损失,会造成图像中细节部分的损失,因此,很难对图像的细节进行增强,以至于增强效果差。



技术实现要素:

本申请实施例提供了一种图像增强的方法、装置及计算机可读存储介质,可以对图像细节进行增强以达到提高图像增强的效果。

第一方面,本申请实施例提供了一种图像增强的方法,该图像增强的方法包括:

获取待增强的图像;

提取所述图像的高频分量;

计算所述高频分量对应的像素点的平均像素值;

对所述图像中像素值大于或等于所述平均像素值的像素点进行增强处理,得到增强后的图像。

在一种可能的实现方式中,所述提取所述图像的高频分量,包括:

对所述图像进行平滑滤波处理;

计算所述图像以及滤波后的图像对应像素点的像素值的差,得到所述图像的高频分量。

在一种可能的实现方式中,所述方法还包括:

计算所述高频分量的绝对值,得到绝对高频分量;

所述计算所述高频分量对应的像素点的平均像素值,包括:

根据所述绝对高频分量以及所述绝对高频分量对应的像素点的个数,计算所述平均像素值。

在一种可能的实现方式中,所述对所述图像中像素值大于或等于所述平均像素值的像素点进行增强处理,得到增强后的图像之后,所述方法还包括:

校正第一像素点的像素值,所述第一像素点为所述高频分量对应的像素点中任一像素点。

在一种可能的实现方式中,所述校正第一像素点的像素值,包括:

获取校正系数;

根据所述校正系数和所述平均像素值计算校正值;

在所述第一像素点的像素值大于所述校正值的情况下,执行校正所述第一像素点的像素值。

在一种可能的实现方式中,所述校正第一像素点的像素值,包括:

将所述第一像素点的像素值恢复为增强前的值。

在一种可能的实现方式中,所述对所述高频分量中像素值大于或等于所述平均像素值的像素点进行增强处理,得到增强后的图像,包括:

获取增强系数;

在第二像素点对应的绝对高频分量大于或等于所述平均像素值的情况下,根据所述增强系数计算所述第二像素点增强后的像素值,所述第二像素点为所述高频分量对应的像素点中任一像素点;

在计算的所述第二像素点的像素值大于第一阈值的情况下,将所述第一阈值确实为所述第二像素点增强后的像素值;

在计算的所述第二像素点的像素值小于第二阈值的情况下,将所述第二阈值确实为所述第二像素点增强后的像素值,所述第二阈值小于所述第一阈值;

在计算的所述第二像素点的像素值大于或等于所述第二阈值,且小于或等于所述第一阈值的情况下,将计算的所述第二像素点的像素值确实为所述第二像素点增强后的像素值;

将所述图像中所述第二像素点的像素值替换为所述第二像素点增强后的像素值,得到增强后的图像。

第二方面,本申请实施例提供了一种图像增强的装置,该图像增强的装置包括:

获取单元,用于获取待增强的图像;

提取单元,用于提取所述图像的高频分量;

第一计算单元,用于计算所述高频分量对应的像素点的平均像素值;

增强单元,用于对所述图像中像素值大于或等于所述平均像素值的像素点进行增强处理,得到增强后的图像。

在一种可能的实现方式中,所述提取单元,具体用于:

对所述图像进行平滑滤波处理;

计算所述图像以及滤波后的图像对应像素点的像素值的差,得到所述图像的高频分量。

在一种可能的实现方式中,所述装置还包括:

第二计算单元,用于计算所述高频分量的绝对值,得到绝对高频分量;

在计算所述高频分量对应的像素点的平均像素值方面,所述第一计算单元,具体用于:

根据所述绝对高频分量以及所述绝对高频分量对应的像素点的个数,计算所述平均像素值。

在一种可能的实现方式中,所述装置还包括:

校正单元,用于校正第一像素点的像素值,所述第一像素点为所述高频分量对应的像素点中任一像素点。

在一种可能的实现方式中,所述校正单元,具体用于:

获取校正系数;

根据所述校正系数和所述平均像素值计算校正值;

在所述第一像素点的像素值大于所述校正值的情况下,执行校正所述第一像素点的像素值。

在一种可能的实现方式中,所述校正单元,具体用于:

将所述第一像素点的像素值恢复为增强前的值。

在一种可能的实现方式中,所述增强单元,具体用于:

获取增强系数;

在第二像素点对应的绝对高频分量大于或等于所述平均像素值的情况下,根据所述增强系数计算所述第二像素点增强后的像素值,所述第二像素点为所述高频分量对应的像素点中任一像素点;

在计算的所述第二像素点的像素值大于第一阈值的情况下,将所述第一阈值确实为所述第二像素点增强后的像素值;

在计算的所述第二像素点的像素值小于第二阈值的情况下,将所述第二阈值确实为所述第二像素点增强后的像素值,所述第二阈值小于所述第一阈值;

在计算的所述第二像素点的像素值大于或等于所述第二阈值,且小于或等于所述第一阈值的情况下,将计算的所述第二像素点的像素值确实为所述第二像素点增强后的像素值;

将所述图像中所述第二像素点的像素值替换为所述第二像素点增强后的像素值,得到增强后的图像。

第三方面,本申请实施例提供了一种电子设备,该电子设备包括输出设备、输入设备、处理器、收发器和存储器,该输出设备、输入设备、处理器、收发器和存储器相互连接。该存储器用于存储支持该终端设备执行上述第一方面和/或第一方面任一种可能的实现方式提供的方法的计算机程序,该收发器用于接收来自该装置之外的其它装置的信息以及向该装置之外的其它装置发送信息。该计算机程序包括程序指令,该处理器被配置用于调用上述程序指令,执行上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。

第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令当被处理器执行时使该处理器执行上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。

第五方面,本申请实施例提供了一种计算机程序产品,当其在计算机上运行时,使得计算机执行第一方面或第一方面的任一可能实施方式所公开的报表的生成方法。

本申请实施例在获取到待增强的图像时,提取该图像的高频分量,根据提取出的高频分量计算该高频分量对应的像素点的平均像素值,对该图像中像素值大于或等于该平均像素值的像素点进行增强处理,得到增强后的图像。由此可见,本申请的图像增强方法通过提取出图像中的高频分量,按照高频分量计算出图像对应的自适应增强阈值,使用该阈值来判断图像中需要增强处理的细节部分,并对该部分细节进行增强,得到增强后的图像,本申请提供的图像增强的方法能够通过增强图像的细节部分来提高图像整体画面的清晰度,提高了图像增强的效果。

附图说明

为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像增强的方法的系统架构示意图;

图2是本发明实施例提供的一种图像增强的方法的流程的示意图;

图3是本申请实施例提供的一种线性滤波读取数据流的示意图;

图4是本申请实施例提供的另一种图像增强的方法的流程的示意图;

图5是本申请实施例提供的又一种图像增强的效果对比示意图;

图6a是本申请实施例提供的一种图像增强方法的应用场景图;

图6b是本申请实施例提供的一种图像增强方法的应用场景图;

图6c是本申请实施例提供的一种图像增强方法的应用场景图;

图6d是本申请实施例提供的一种图像增强方法的应用场景图;

图6e是本申请实施例提供的一种图像增强方法的应用场景图;

图7是本申请实施例提供的一种图像增强方法的另一应用场景图;

图8是本申请实施例提供的一种会议细节图像增强的效果对比示意图;

图9a是本申请实施例提供的另一种图像增强的整体效果对比示意图;

图9b是本申请实施例提供的又一种图像增强的整体效果对比示意图;

图10是本申请实施例提供的一种图像增强的装置的结构示意图;

图11是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

为了更好地理解本申请实施例提供的一种图像增强的方法、装置及计算机可读存储介质,下面先对本申请实施例使用的系统架构进行描述。请参见图1,是本申请提供的一种图像增强的方法的系统架构示意图。如图1所示,该系统架构可以包括用户使用的电子设备,该电子设备上可以安装一个或多个应用程序。其中,上述应用程序可以对图像、视频进行增强处理,以提高图像或者视频中的图像的清晰度,为用户带来更好的视觉效果与观看体验。其中,图像增强是有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量。上述电子设备可以通过获取到的图像,如通过互联网接收其他电子设备发送的图像,将接收到的图像进行增强处理,即增强图像中的细节部分,得到增强后的图像,显示在电子设备所包含的输出设备上(如屏幕),也可以将增强后的图像通过互联网发送给其他设备。可以理解的是,对图像进行处理的电子设备可以是图像的发送方,也可以是图像的接收方,还可以是发送方的电子设备将图像进行增强后发送至接收方的电子设备,接收方的电子设备接收到图像后进一步进行增强处理,将增强后的图像输出。上述电子设备可以包括但不限于:服务器、台式电脑、膝上计算机、智能手机、平板电脑、以及台式电脑等等。用户可以根据实际的使用场景调用相应的应用客户端执行该图像增强的方法。例如,可以在需要开视频会议的应用程序客户端上执行该图像增强的方法,使得视频的画质和清晰度得到提升,提升视频接收方的视觉体验。

请参见图2,图2是本发明实施例提供的一种图像增强的方法的流程的示意图,上述方法可以包括:

201、获取待增强的图像。

具体地,在对图像增强之前,获取待增强的图像,其中,获取待增强的图像的方式可以是从本地获取存储的图像,也可以是接收到其他电子设备发送的图像,还可以是从获取到的视频中截取到的一帧或者多帧图像,其中,对于图像和视频中包含的图像的尺寸大小不做限定,可以为任意尺寸的图像和包含任意尺寸图像的视频。本申请实施例的方法可以对视频的每一帧进行增强处理,从而达到提高视频清晰度的效果。

202、提取上述图像的高频分量。

具体地,提取图像的高频分量可以是先对图像进行平滑滤波的处理,得到滤波后的图像,用原有的图像对于滤波后的图像进行做差运算,得到图像的高频分量,相当于将待增强的图像中每一个像素值分别与滤波后的图像中对应像素点的像素值分别做差,得到上述高频分量。本申请中对图像的像素值进行运算处理,可以是对rgb图像中r、g、b三个通道分别进行处理,也可以是对yuv图像中y、u、v三个分量分别进行处理。其中,对图像进行平滑滤波处理可以使用线性滤波如均值滤波、高斯滤波、方框滤波等,也可以使用非线性滤波如中值滤波、双边滤波等等,本申请对滤波的方式不做限定。使用上述滤波的方式对待增强图像的单通道或者多通道进行滤波处理,得到模糊的图像,使用原始的图像减去模糊的图像,得到上述高频分量。其中,src(i)为待增强的图像,blur(i)为经过平滑滤波后得到的模糊的图像,因此,上述高频分量可以是mask(i)=src(i)-blur(i)。其中,这里的高频分量也是提取出的图像掩膜(mask),可以理解的是,本申请提出的图像增强的方法是对图像中的细节部分进行增强,图像的高频分量对应着图像变化剧烈的部分,也就是图像的边缘(轮廓)或者细节部分,因此,对上述高频分量的处理,得到所需要的增强后的图像。

在一种可能的实现方式中,本申请以高斯滤波为例进行讲解,高斯滤波是一种线性平滑滤波,适用于消除高斯噪声,广泛应用于图像处理的减噪过程。其中,高斯滤波是对整个图像进行加权平均的过程,滤波后的每一个像素点对应的像素值都由是其本身的像素值和邻域内的其他像素值经过加权平均后得到。其具体过程是:用一个模板(或称卷积核)去对图像中的每一个像素进行扫描,用卷积核和对应像素点的像素值的加权平均值替代该卷积核中心像素点对应图像上像素点的值,来得到高斯滤波的图像,即将上述待增强的图像与预设的高斯核进行卷积操作,得到滤波后的图像。其中,高斯核(高斯卷积核)可以通过高斯函数计算得到,高斯核可以是3x3的矩阵,也可以是5x5的矩阵,这里不做限定,技术人员可以根据实际应用场景的需要选取不同的卷积核。

进一步地,将计算得到的卷积核作为固定的模板,做卷积运算,其中,本申请可以采用单指令流多数据流(singleinstructionmultipledata,simd)对卷积运算进行加速,单指令流多数据流(simd)是一种采用一个控制器来控制多个处理器,同时对一组数据中的每一个分别执行相同的操作从而实现空间上的并行性的技术。请一并参阅图3,图3是本申请实施例提供的一种线性滤波读取数据流的示意图,如图3所示,包含一个图像和一个3×3的卷积核,其中卷积核的矩阵位于图像的上方,在传统做卷积的读取数据的时候,如图3所示,是分别将卷积核中的a与图像中像素点a对应的值相乘,卷积核中的b与图像中像素点b对应的值相乘,卷积核中的c与图像中像素点c对应的值相乘…即每一点与自身对应的权重相乘,并求平均,得到中心点对应的像素值,即图像中像素点e对应的值。可以理解的是,在读取数据的时候,读取一个值,做一次运算。

而本申请实施例中,一次性读取与卷积核中一个值对应的n个值进行运算,即一次性读取n个数据做运算,得到n个对应的结果,n为大于1的整数,一般取8或者16。举例来说,对应卷积核中的g,可以是图像中的像素点g,则按照该行从左到右的的扫描顺序,可以一次性读取n个数据,本申请实施例中n所取的是8,如图3所示,可以一次性按照图像中箭头方向读取与像素点g同一行中的8个数据(图3中的数字1-8对应的像素点),分别与卷积核中的g对应的权重分别相乘,得到8个运算结果,即与卷积核权重g出发的两个箭头对应的像素点的运算结果,在图中卷积核的9个位置的像素值都分别读取一次后,可以得到8个卷积后的结果。相比传统在读取数据的时候,读取一个值,做一次运算,本申请读取一次数据,可以做n次运算,将处理的效率提升到了原有的n倍。进一步地,由于图像的宽高不一定是8的整数倍,对于除已经被运算以外的其他没被卷积运算的像素值可以采用传统读取数据的方式进行读取与运算。可以理解的是,对于线性滤波的方法,如均值滤波、高斯滤波等方式具有一个固定的卷积核,因此,对于具有固定卷积核的滤波方式同样适用。

进一步地,高斯核中的权重大多为小于1的浮点数,如矩阵(1)所示:

由于进行浮点数运算会降低效率,因此对浮点数进行量化为整数,可以将计算得到的高斯核与2n(n是整数,这里可以是n=8或16)相乘,得到一个整数,然后再进行卷积运算,在做完卷积运算后,可以再做除法,其中,在二进制的运算中,做与2n相乘得到更好运算的卷积核,以及后续与2-n相乘(即做除法),都是二进制运算中的移位的操作,因此,采用该方法可以提升整体的计算效率。上述高斯核仅为举例,在卷积核为浮点数时,为了提高运算效率,均可采用本方法。

203、计算上述高频分量对应的像素点的平均像素值。

具体地,在得到上述图像掩膜后,为了避免人工设置参数,调参过程比较繁琐,从而使得对图像的处理变得复杂,本申请的方案并非采用一个固定的阈值,而是根据图像进行自适应的增强,因此,通过计算出的阈值对图像进行判断增强的细节部分,再进行增强。本申请实施例通过对提取出的高频分量对应的图像掩膜进行遍历,得到该图像掩膜中对应的每一个像素点的像素值以及像素点的个数,并根据得到的像素值和像素点的个数计算出阈值。其中,由于本申请通过做差的方式得到高频分量,即上述图像掩膜,因此,该图像掩膜中的像素值可能包括正值和负值。如此,在计算阈值的第一步,需要对图像掩膜中的像素值取绝对值,得到上述图像掩膜中像素点的像素值的绝对值。并且对于像素值为0的,判断出为图像中的平坦区域,即不是图像中的细节部分,需要被保留,则不需要进行增强,而对于图像中像素值非0的边缘区域,根据其绝对值的总和以及对应的像素点的个数计算平均像素值,将平均像素值作为判断是否需要增强处理的阈值。即t=m/n,其中,t是细节增强的阈值t,也是计算出的平均像素值,m为总像素值,为取上述图像掩膜中像素值的绝对值,对于大于0的像素值,不断累加其像素值,得到的总和,n为遍历时得到的绝对值大于0的像素点个数。

204、对上述图像中像素值大于或等于上述平均像素值的像素点进行增强处理,得到增强后的图像。

具体地,在得到像素平均值之后,遍历上述图像掩膜mask,对每个像素值的绝对值进行判断,在判断出大于或等于上述平均像素值(阈值)的像素值时,确定该像素值对应的像素点需要进行增强,在判断出上述像素值的绝对值小于该平均像素值时,确定该像素值对应的像素点不需要进行增强。

其中,对图像的增强可以首先获取增强系数λ,λ为控制输出的增强幅值,技术人员可以根据实际的应用场景进行主观的设置,当λ设置为0的时候,则没有增强效果,因此,取λ的值大于0即可,可以理解的是,λ的值越大,则增强效果越明显。在确定了增强系数的值之后,可以采用公式dst(i)=src(i)+λmask(i)对需要增强的像素点进行增强,上述公式中dst(i)增强后的图像,src(i)为待增强的图像,mask(i)为上述提取出的高频分量。以一个像素点的像素值来看,dst(i)为增强后的像素值,src(i)为待增强的图像对应的像素值,mask(i)为上述提取出的高频分量,即通过滤波后做差得到的像素值。需要知道的是,由于mask(i)的值可能为正也可能为负,则增强后该像素点的像素值可能超出255,也可能小于0,则在计算出该像素点的像素值大于第一阈值,即255的情况下,将该点的像素值置为255,在计算出该像素点的像素值小于第二阈值,即0的情况下,将该点的像素值置为0,若计算出该像素值在0-255之间,则将计算出的值作为该点增强后的值,处理完所有的像素点后,得到增强后的图像。

进一步地,在细节增强之后,可以对图像进行校正处理,校正由于增强带来的图像锯齿,使得图像能够在增强之后,能对部分过渡平滑的像素点进行保留,维持平滑的状态。

本申请实施例在获取到待增强的图像时,提取该图像的高频分量,根据提取出的高频分量计算该高频分量对应的像素点的平均像素值,对该图像中像素值大于或等于该平均像素值的像素点进行增强处理,得到增强后的图像。由此可见,本申请的图像增强方法通过提取出图像中的高频分量,按照高频分量计算出图像对应的自适应增强阈值,使用该阈值来判断图像中需要增强处理的细节部分,并对该部分细节进行增强,得到增强后的图像,本申请提供的图像增强的方法能够通过增强图像的细节部分来提高图像整体画面的清晰度,提高了图像增强的效果。

请参见图4,图4是本申请实施例提供的另一种图像增强的方法的流程的示意图,上述方法可以包括:

401、获取校正系数。

在一种可能的实现方式中,在对图像中的细节增强之后,图像进行锐化处理会对边缘部分进行像素值的增强,这个时候就很容易引入锯齿。从主观视觉体验上看边缘的部分具有突兀的锯齿,而“主观视觉看上去”没有突兀的锯齿的原因是像素值之间进行过渡平滑,在边缘部分补上一些像素值较小的点,形成渐变的效果。但是锐化容易对这些起到平滑作用的像素值进行增强,使得这种过渡效应消失。因此,本申请的图像增强的方法中锯齿校正部分正是为了维持这些起到平滑作用的像素值,防止因为上述增强而的处理而改变了这部分的像素值。

如此,在进行校正之前,需要先筛选出这部分像素值,这部分像素值的的阈值可以是由上述平均像素值以及校正系数来计算出的,将计算出的值作为判断是否该校正的阈值并进行判断。

402、根据上述校正系数和上述平均像素值计算校正值。

在一种可能的实现方式中,校正值s的计算方式可以是s=αt,其中,α是技术人员根据主观的视觉效果设置的校正系数,其中,α的值可以取3-8之间的任一值,可以是整数,也可以是小数,这里不做限定。例如,在本申请实施例中,可以将的α值取4,则s=4t。可以理解的是,校正值是平均像素值的4倍,当像素值大于该校正值时,则需要被校正,当像素值小于或等于该校正值时,则不需要被校正

403、在上述第一像素点的像素值大于上述校正值的情况下,执行校正上述第一像素点的像素值。

在一种可能的实现方式中,需要判断像素点对应的像素值(并非绝对值后的像素值)是否大于上述校正值,在大于上述校正值的情况下,校正该像素值,则将该像素值恢复为增强前的像素值,最后,该第一像素点输出的像素值为:dst(i)=src(i),src(i)代表原像素值,即未被增强处理时的值,也可以说待增强图像中该像素点对应的像素值。

在一种可能的实现方式中,在对图像进行处理时,有两种运算方法:

第一种是可以是先对待增强图像整体做增强处理,即根据计算得到的平均像素值进行判断,并对筛选出的像素值进行增强处理,得到增强后的图像,再根据平均像素值和校正系数获取校正值,根据校正值进行筛选需要校正的像素值,并进行校正,即恢复至增强前的像素值,得到最终增强后的图像。

第二种运算方法还可以是先根据待增强的图像计算出平均像素值以及校正值,在对一个像素值进行处理时,先根据平均像素值进行筛选,在判断出需要增强的情况下,则增强该像素值,在增强完该像素值之后,并不立即对下一个像素值进行判断,而是进一步判断该像素值是否需要被校正,在判断出需要被校正时,恢复为增强前的像素值,在判断出不需要被校正时,保留增强后的像素值。然后再进行下一个像素点的运算。本申请实施例中,采用的是第二种运算的方法,可以将一个像素值运算结束之后再进行下一个像素值的运算。

请一并参阅图5,锯齿校正的效果可以如图5所示,图5为本申请实施例提供的一种图像增强的效果对比示意图,其中,该图展示了对图像中锯齿的消除,如图5所示,该图像包括“1v1-audio”的字样,放大其中的字母“o”来看,校正前的字母“o”存在比较明显的锯齿,而在校正后的图像中,锯齿被消除,边缘变得平缓,使得边缘的部分像素点不会被过增强,避免了图像中噪声的放大,也避免了噪声的引入,对于被校正的部分,选择维持原像素值,就是维持原有的平滑度,即避免了锯齿的引入破坏整体画面主观的感受,达到了提升画面美观度的效果。可见,本申请中提供的图像增强的方法是一个端到端的处理过程,无需进行训练,并且不需要人工设置大量的参数,用计算出的平均像素值和校正值取代人工调参的过程,使用自适应的机制以及锯齿矫正使得本申请提供的图像增强的方法适用于多种不同的场合。

以第二种运算方式为例,本申请图像增强的方法的伪代码可以是:

输入:待增强的图像src,图像大小src.length,图像掩膜mask,存放输出图像的空间dst

输出:增强后的图像dst

本申请实施例在获取到待增强的图像时,提取该图像的高频分量,根据提取出的高频分量计算该高频分量对应的像素点的平均像素值,对该图像中像素值大于或等于该平均像素值的像素点进行增强处理,得到增强后的图像。由此可见,本申请的图像增强方法通过提取出图像中的高频分量,按照高频分量计算出图像对应的自适应增强阈值,使用该阈值来判断图像中需要增强处理的细节部分,并对该部分细节进行增强,得到增强后的图像,本申请提供的图像增强的方法能够通过增强图像的细节部分来提高图像整体画面的清晰度,提高了图像增强的效果。

请参阅图6a-图6e,图6a-图6e分别为本申请实施例提供的一种图像增强方法的应用场景图,如图6a所示,本申请实施例可以应用在一个电子设备上,该方法的应用包括两个部分:对图像的细节部分进行增强、对视频包含的每一帧图像进行增强,得到增强后的视频。对于图像和视频的来源可以是获取到的图像或视频,在选择了对图像进行增强后,应用该方法对待增强的像素值进行筛选、增强以及校正的操作,得到增强后的图像,如图6b所示,可以在电子设备中同时显示增强前的图像以及增强后的图像,将两者做对比显示。对于视频中每一帧进行加强,如图6c所示,在选择了对视频进行加强后,电子设备可以在显示屏中显示视频当前帧对应的图像、该视频的播放进度条,以及与该帧图像相邻的几帧对应的图像,如图6d所示,还可以在显示屏上显示该帧对应的图像在增强处理后的效果。进一步的,在对视频的增强处理完之后,可以如图6e所示,得到增强后的视频,可以对视频进行播放操作。可选的,还可以得到对处理后的视频的下载、分享等操作,例如,在实际的应用场景中,可以对腾讯视频、微视中的视频或图像进行增强。

本申请实施例在获取到待增强的图像时,提取该图像的高频分量,根据提取出的高频分量计算该高频分量对应的像素点的平均像素值,对该图像中像素值大于或等于该平均像素值的像素点进行增强处理,得到增强后的图像。由此可见,本申请的图像增强方法通过提取出图像中的高频分量,按照高频分量计算出图像对应的自适应增强阈值,使用该阈值来判断图像中需要增强处理的细节部分,并对该部分细节进行增强,得到增强后的图像,本申请提供的图像增强的方法能够通过增强图像的细节部分来提高图像整体画面的清晰度,提高了图像增强的效果。

请参阅图7,图7为本申请实施例提供的一种图像增强方法的另一应用场景图,如图7所示,在一个视频会议的场景中,在存在多方参会人的情况下,每个参会人之间通过互联网进行视频的实时传输,参会人对应的电子设备可以作为视频的发送方,也可以作为视频的接收方,可以在发送至其他参会人员之前对采集到的视频中包含的每一帧进行增强,也可以是在接收到其他参会人发送的视频后,对接收到的视频包含的图像进行增强。如图7所示,每个参会人对应的电子设备上可以进入视频会议的客户端,可以是网页客户端、应用程序客户端、小程序客户端等,在视频会议的客户端中可以显示多个参会人的视频信息,其中,参会人中的主讲人或者当前发言人的视频可以是大尺寸的,其他参会人的视频可以是小尺寸的,并且在该视频客户端中还可以包含该会议的主要内容,以及文字沟通的内容,其中参会人的视频可以是参会人主讲的视频,也可以是屏幕分享的内容,在屏幕分享时或者视频通话时对画面进行增强,能够提高用户的观看体验。请一并参阅图8,图8为本申请提供的一种会议细节图像增强的效果对比示意图,如图8所示,该图中的内容为某会议时屏幕分享的内容,上图为待增强的图像,下图为细节增强并校正后的图像。

本申请实施例在获取到待增强的图像时,提取该图像的高频分量,根据提取出的高频分量计算该高频分量对应的像素点的平均像素值,对该图像中像素值大于或等于该平均像素值的像素点进行增强处理,得到增强后的图像。由此可见,本申请的图像增强方法通过提取出图像中的高频分量,按照高频分量计算出图像对应的自适应增强阈值,使用该阈值来判断图像中需要增强处理的细节部分,并对该部分细节进行增强,得到增强后的图像,本申请提供的图像增强的方法能够通过增强图像的细节部分来提高图像整体画面的清晰度,提高了图像增强的效果。

请参阅图9a和图9b,图9a和图9b分别为本申请实施例提供的又一种图像增强的整体效果对比示意图,如图9a所示,该图像的整体增强后的效果如图9a上半部分所示;为了更为直观的观察的本申请的图像增强方法的效果,对上述待增强和处理后的图像中的文字部分分别进行放大处理,由放大之后的图像可见,本申请提供的方案可以在增强图像的细节情况下,不引入锯齿,使得增强后的图像中包含的文字更清晰可辨认。如图9b上半部分所示的图像也为两幅包含大量文字的图像,为了更好的观察增强效果,对处理前后的图像分别进行放大,如图9b中的下半部分,可以明显看见文字部分被增强的效果,提高了文字的辨识度和清晰度。

本申请实施例在获取到待增强的图像时,提取该图像的高频分量,根据提取出的高频分量计算该高频分量对应的像素点的平均像素值,对该图像中像素值大于或等于该平均像素值的像素点进行增强处理,得到增强后的图像。由此可见,本申请的图像增强方法通过提取出图像中的高频分量,按照高频分量计算出图像对应的自适应增强阈值,使用该阈值来判断图像中需要增强处理的细节部分,并对该部分细节进行增强,得到增强后的图像,本申请提供的图像增强的方法能够通过增强图像的细节部分来提高图像整体画面的清晰度,提高了图像增强的效果。

请参见图10,图10是本申请实施例提供的一种图像增强的装置1000的结构示意图。本申请实施例提供的电子设备1000包括:

获取单元1001,用于获取待增强的图像;

提取单元1002,用于提取上述图像的高频分量;

第一计算单元1003,用于计算上述高频分量对应的像素点的平均像素值;

增强单元1004,用于对上述图像中像素值大于或等于上述平均像素值的像素点进行增强处理,得到增强后的图像。

在一种可能的实现方式中,上述提取单元1002,具体用于:

对上述图像进行平滑滤波处理;

计算上述图像以及滤波后的图像对应像素点的像素值的差,得到上述图像的高频分量。

在一种可能的实现方式中,上述装置1000还包括:

第二计算单元1005,用于计算上述高频分量的绝对值,得到绝对高频分量;

在计算上述高频分量对应的像素点的平均像素值方面,上述第一计算单元1003,具体用于:

根据上述绝对高频分量以及上述绝对高频分量对应的像素点的个数,计算上述平均像素值。

在一种可能的实现方式中,上述装置1000还包括:

校正单元1006,用于校正第一像素点的像素值,上述第一像素点为上述高频分量对应的像素点中任一像素点。

在一种可能的实现方式中,上述校正单元1006,具体用于:

获取校正系数;

根据上述校正系数和上述平均像素值计算校正值;

在上述第一像素点的像素值大于上述校正值的情况下,执行校正上述第一像素点的像素值。

在一种可能的实现方式中,上述校正单元1006,具体用于:

将上述第一像素点的像素值恢复为增强前的值。

在一种可能的实现方式中,上述增强单元1004,具体用于:

获取增强系数;

在第二像素点对应的绝对高频分量大于或等于上述平均像素值的情况下,根据上述增强系数计算上述第二像素点增强后的像素值,上述第二像素点为上述高频分量对应的像素点中任一像素点;

在计算的上述第二像素点的像素值大于第一阈值的情况下,将上述第一阈值确实为上述第二像素点增强后的像素值;

在计算的上述第二像素点的像素值小于第二阈值的情况下,将上述第二阈值确实为上述第二像素点增强后的像素值,上述第二阈值小于上述第一阈值;

在计算的上述第二像素点的像素值大于或等于上述第二阈值,且小于或等于上述第一阈值的情况下,将计算的上述第二像素点的像素值确实为上述第二像素点增强后的像素值;

将上述图像中上述第二像素点的像素值替换为上述第二像素点增强后的像素值,得到增强后的图像。

有关上述获取单元1001、提取单元1002、第一计算单元1003、增强单元1004、第二计算单元1005、校正单元1006详细的描述可以直接参考上述图2至图9b所示的方法实施例中的相关描述直接得到,这里不加赘述。

本申请实施例中的图像增强的装置在获取到待增强的图像时,提取该图像的高频分量,根据提取出的高频分量计算该高频分量对应的像素点的平均像素值,对该图像中像素值大于或等于该平均像素值的像素点进行增强处理,得到增强后的图像。由此可见,本申请的图像增强方法通过提取出图像中的高频分量,按照高频分量计算出图像对应的自适应增强阈值,使用该阈值来判断图像中需要增强处理的细节部分,并对该部分细节进行增强,得到增强后的图像,本申请提供的图像增强的方法能够通过增强图像的细节部分来提高图像整体画面的清晰度,提高了图像增强的效果。

请参阅图11,图11是本发明实施例提供的一种电子设备的结构示意图。如图11所示,该电子设备1100可以包括:

一个或多个处理器1101、输入设备1102、输出设备1103、存储器1104、收发器1105。上述处理器1101、输入设备1102、输出设备1103、存储器1104、收发器1105通过总线连接。其中,输入设备1102可以包括触控屏、键盘、麦克风等,输出设备1103可以包括显示屏、音响等,收发器1105用于接收和发送数据。存储器1104用于存储计算机程序,该计算机程序包括程序指令,处理器1101用于执行存储器1104存储的程序指令,其中,处理器1101被配置用于调用程序指令执行以下步骤:

获取待增强的图像;

提取上述图像的高频分量;

计算上述高频分量对应的像素点的平均像素值;

对上述图像中像素值大于或等于上述平均像素值的像素点进行增强处理,得到增强后的图像。

在一种可能的实现方式中,上述处理器1101提取上述图像的高频分量,包括:

对上述图像进行平滑滤波处理;

计算上述图像以及滤波后的图像对应像素点的像素值的差,得到上述图像的高频分量。

在一种可能的实现方式中,上述处理器1101被配置用于调用程序指令执行以下步骤:

计算上述高频分量的绝对值,得到绝对高频分量;

上述计算上述高频分量对应的像素点的平均像素值,包括:

根据上述绝对高频分量以及上述绝对高频分量对应的像素点的个数,计算上述平均像素值。

在一种可能的实现方式中,上述处理器1101对上述图像中像素值大于或等于上述平均像素值的像素点进行增强处理,得到增强后的图像之后,处理器1101被配置用于调用程序指令执行以下步骤:

校正第一像素点的像素值,上述第一像素点为上述高频分量对应的像素点中任一像素点。

在一种可能的实现方式中,上述校正第一像素点的像素值,包括:

获取校正系数;

根据上述校正系数和上述平均像素值计算校正值;

在上述第一像素点的像素值大于上述校正值的情况下,执行校正上述第一像素点的像素值。

在一种可能的实现方式中,上述处理器1101校正第一像素点的像素值,包括:

将上述第一像素点的像素值恢复为增强前的值。

在一种可能的实现方式中,上述处理器1101对上述高频分量中像素值大于或等于上述平均像素值的像素点进行增强处理,得到增强后的图像,包括:

获取增强系数;

在第二像素点对应的绝对高频分量大于或等于上述平均像素值的情况下,根据上述增强系数计算上述第二像素点增强后的像素值,上述第二像素点为上述高频分量对应的像素点中任一像素点;

在计算的上述第二像素点的像素值大于第一阈值的情况下,将上述第一阈值确实为上述第二像素点增强后的像素值;

在计算的上述第二像素点的像素值小于第二阈值的情况下,将上述第二阈值确实为上述第二像素点增强后的像素值,上述第二阈值小于上述第一阈值;

在计算的上述第二像素点的像素值大于或等于上述第二阈值,且小于或等于上述第一阈值的情况下,将计算的上述第二像素点的像素值确实为上述第二像素点增强后的像素值;

将上述图像中上述第二像素点的像素值替换为上述第二像素点增强后的像素值,得到增强后的图像。

应当理解,在一些可行的实施方式中,上述处理器1101可以是中央处理单元(centralprocessingunit,cpu),该处理器1101还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器1104可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据。存储器1104的一部分还可以包括非易失性随机存取存储器。

具体实现中,上述电子设备1100可通过其内置的各个功能模块执行如上述图1至图9b中各个步骤所提供的实现方式,具体可参见上述各个步骤所提供的实现方式,在此不再赘述。

本申请实施例在获取到待增强的图像时,提取该图像的高频分量,根据提取出的高频分量计算该高频分量对应的像素点的平均像素值,对该图像中像素值大于或等于该平均像素值的像素点进行增强处理,得到增强后的图像。由此可见,本申请的图像增强方法通过提取出图像中的高频分量,按照高频分量计算出图像对应的自适应增强阈值,使用该阈值来判断图像中需要增强处理的细节部分,并对该部分细节进行增强,得到增强后的图像,本申请提供的图像增强的方法能够通过增强图像的细节部分来提高图像整体画面的清晰度,提高了图像增强的效果。

此外,这里需要指出的是:本申请还提供了一种计算机可读存储介质,且上述计算机可读存储介质中存储有前文提及的电子设备所执行的计算机程序,且上述计算机程序包括程序指令,当上述处理器执行上述程序指令时,能够执行前文图2到图9b所对应实施例中对上述数据验证方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。

本申请的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1