应用于CMOS图像传感器的图像画质增强和滤波方法与流程

本发明涉及到数字图像处理技术领域，特别涉及到一种应用于CMOS图像传感器的图像画质增强和滤波方法。

背景技术：

单片彩色互补型金属氧化物半导体CMOS图像传感器经过CFA(Color Filter Array)阵列感光后，将实际场景的光信号通过像素单元转化为电信号，在经过一系列的模拟电路和数字图像处理后，会不可避免得引入干扰噪声和畸变失真，导致图像质量下降，在影响视觉效果的同时，不利于后续的图像编解码和传输。因此，为了避免图像失真，真实地显示图像信息，必须对噪声图像进行降噪和增强处理。

现有技术单片传感器上集成的数字图像处理技术通常采用较为复杂的处理方法和处理架构，由于其方法复杂且占用资源较多，不利于集成。显然，现有技术单片传感器上集成的数字图像处理方法存在着方法复杂、占用资源较多且不利于集成等问题。

技术实现要素：

为解决现有技术单片传感器上集成的数字图像处理方法存在的方法复杂、占用资源较多且不利于集成等问题，本发明提出一种应用于CMOS图像传感器的图像画质增强和滤波方法。

本发明应用于CMOS图像传感器的图像画质增强和滤波方法，对图像传感器输出的原始Bayer数据进行插值处理，获得三基色RGB空间的像素值；将三基色RGB空间的像素值变换为YUV空间；对Y通道的对比度进行调节，增强图像的明暗程度；对U和V通道的饱和度进行调节，增强图像色彩鲜艳程度；然后，进行混合降噪处理，以去除图像处理带来的噪声；最后，再对Y通道进行边缘锐化处理后，输出图像后续处理数据；其中，所述三基色RGB是指红、绿、蓝三基色；所述YUV空间是指色度空间，其中，Y表示亮度，U、V表示色差。

进一步的，所述将三基色RGB空间的像素值变换为YUV空间，包括，采用下列矩阵运算将三基色RGB空间的像素值变换为YUV空间：

式中，Y为亮度；U、V为色差；a_xy表示空间转换系数；R、G、B分别为红、绿、蓝三基色。

进一步的，所述对Y通道的对比度进行调节，增强图像的明暗程度；包括以下步骤：

S101、将当前帧按各灰度级进行分段，并统计各段的像素点数量；

S102、根据像素阵列大小及灰度级，计算出当前帧单位亮度的宽度；

S103、计算各段像素数量与单位亮度的宽度比例，并计算这个比例的累积值；

S104、根据总段数计算调整斜率值K，所述调整斜率值K即为亮度宽度比例与总段数的比值；

S105、采用下式计算新直方图中各段中灰度级像素点的新值F(x,y)：

F(x,y)＝(f(x,y)-f₀)*K+g₀，

式中，F(x,y)为上式计算后的像素点新值，f(x,y)为计算前像素值，f₀为每段的初值，K为亮度宽度比例与总段数的比值，g₀为各段亮度宽度比例的累积值；

S106、重复执行步骤S105直至新直方图中各段中灰度级像素点的新值F(x,y)计算完毕，完成亮度区间的重新分布，即增强图像的明暗程度。

进一步的，所述对U和V通道的饱和度进行调节，增强图像色彩鲜艳程度；包括：

S201、设定饱和度S最小阈值Thmin和最大值Thmax；所述饱和度S最小阈值Thmin是指饱和度处于非彩色情况，所述饱和度S最大值Thmax是指饱和度处于饱和情况；

S202、如果饱和度S小于等于最小阈值Thmin或者大于等于最大值Thmax，则当前像素点的饱和度保持不变；

S203、如果饱和度S在Thmin和Thmax之间，则采用线性法调节当前像素点的饱和度，即采用下式进行调节：

M(x,y)＝λ*m(x,y)

式中，M(x,y)为上式计算后的像素点新值，m(x,y)为计算前像素值，λ为调节因子，取值范围为a≤λ≤b，a和b为设定的正常数。

进一步的，所述进行混合降噪处理，以去除图像处理带来的噪声；包括，只对当前像素点周围一维方向邻域内的4个像素进行去噪声处理，并且对亮度和色度信号采用不同的滤波方法；其中，

对亮度的滤波处理方法包括以下步骤：

S301、采集水平方向一维空间的5个像素值，以最当中的一个像素为当前像素，求出当前像素的亮度值分别与两个最近邻像素之间的差a_l和a₂，两个最近邻的亮度值分别与相应次近邻像素之间的绝对差b_l和b₂；

S302、采用下式计算当前像素的滤波强度：

a₁＝X(n)-X(n-1)

a₂＝X(n)-X(n+1)

b₁＝|X(n+1)-X(n+2)|

b₂＝|X(n-1)-X(n-2)|

式中，a₁和a₂为最近邻像素之间的差，b₁和b₂为最近邻和次近邻像素之间的绝对差，X(n)为当前像素，X(n±1)为两个最近邻的像素，X(n±2)为两个次近邻的像素。

S303、判断差值b_l和b₂是否均为0，决定对当前像素进行哪种程度的滤波处理；若差值b_l和b₂有一个为0，另一个不为0，则对当前像素进行中等强度的滤波处理；若差值b_l和b₂都不为0，则对当前像素进行最高强度的滤波处理；其余情况，对当前像素不进行滤波处理。

S304、将灰度级别{0，max_pixel}设定为三个区间，其中，max_pixel为像素最大灰度级；

S305、判断差值a_l和a₂的幅度亮化处理后范围落在灰度级别{0，max_pixel}中的哪个区间；其中，差值a_l和a₂落在灰度级别的第一区间，不论b_l或b₂是否为0，对当前像素不进行滤波处理；差值a_l和a₂落在灰度级别的第二区间，b_l或b₂有一个为0，对当前像素进行中等强度的滤波处理；差值a_l和a₂落在灰度级别的三区间，差值b_l和b₂都不为0，则对当前像素进行最高强度的滤波处理；若出现以上三种情况之外的情况，按照差值a_l和a₂落在的灰度区间判断滤波强度，而不考虑差值b_l或b₂。

S306、根据滤波强度的需要，设计不同强度的滤波器FIR，Finite Impulse Reponse，每个滤波器均三节滤波器，使用不同的脉冲响应系数，滤波器的表达式为：

C(n)＝(m₁*c(n-1)+m₂*c(n)+m₃*c(n+1))/m

式中，c(n)为计算后的像素新值；m1、m2、m3为根据需要设置的不同响应强度的取值，使当前输入像素的幅度依次衰减为原来的倍；m为m1、m2和m3之和，c(n)为当前像素；c(n±1)为两个最近邻的像素；

其中，对当前像素进行中等强度的滤波处理时，m1、m2、m3取值分别为3、10和3，对当前像素进行最高强度的滤波处理时，m1、m2、m3取值分别为5、6和5；

S307、根据步骤S303和S305的判断，分别采用S306设定的滤波器对当前像素进行滤波处理；

对色度的滤波处理方法采用加权中值滤波方法，包括以下步骤：

S401、采集水平方向一维空间的5个像素值，以最当中的一个像素为当前像素；

S402、对5个像素按照像素灰度值进行排序处理；

S403、采用排序在中间的像素和最近邻的两个像素进行处理，采用下式进行中值计算，

y(n)＝(X'(n-1)+2*X'(n)+X'(n+1))/4，

式中，y(n)为灰度值中值，X^/(n)为排序在中间的像素的灰度值，X^/(n±1)最近邻的两个像素的灰度值；

S404、采用灰度值中值y(n)代替当前像素原来的灰度值。

进一步的，所述对Y通道进行边缘锐化处理，采用基于Laplace算子的锐化掩膜方法进行处理，即输入图像s(x,y)经过Laplace算子处理的值，乘以比例因子后与输入图像s(x,y)相加，得到锐化的输出图像G(x,y)；其中，方法表达式为：

G(x,y)＝s(x,y)+λ*I(x,y)

式中，λ为锐化因子，取值范围为[0.1,0.9]，λ取值越大，锐化增强程度越大；所述Laplace算子表达式为：

针对Y通道一维空间的像素点而言，I(x,y)表达式为：

I(x,y)＝2*s(x,y)-[s(x-1,y)+s(x+1,y)]

式中，I(x,y)为Laplace处理后的图像，s(x,y)当前图像，s(x-1,y)和s(x+1,y)分别表示当前图像两侧的最邻近图像。

本发明应用于CMOS图像传感器的图像画质增强和滤波方法的有益技术效果是采用流水级设计思想，未对图像数据进行存储，只对插值后的Bayer图像数据进行了一维空间图像增强和降噪处理，其技术处理性能较好，复杂度低，利于硬件实现且占用芯片资源较少。

附图说明

附图1是发明应用于CMOS图像传感器的图像画质增强和滤波方法的步骤示意图；

附图2是本发明对Y通道的对比度进行调节的步骤示意图；

附图3是本发明对亮度的滤波处理方法的步骤示意图；

附图4是本发明对Y通道进行边缘锐化处理的流程示意图。

下面结合附图及具体实施例对本发明应用于CMOS图像传感器的图像画质增强和滤波方法作进一步的说明。

具体实施方式

以下结合附图对本发明的具体实施过程进行详细说明，以使本发明的内容更加清楚易懂。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。

附图1是发明应用于CMOS图像传感器的图像画质增强和滤波方法的步骤示意图，由图可知，本发明应用于CMOS图像传感器的图像画质增强和滤波方法，对图像传感器输出的原始Bayer数据进行插值处理，获得三基色RGB空间的像素值；将三基色RGB空间的像素值变换为YUV空间；对Y通道的对比度进行调节，增强图像的明暗程度；对U和V通道的饱和度进行调节，增强图像色彩鲜艳程度；然后，进行混合降噪处理，以去除图像处理带来的噪声；最后，再对Y通道进行边缘锐化处理后，输出图像后续处理数据；其中，所述三基色RGB是指红、绿、蓝三基色；所述YUV空间是指色度空间，其中，Y表示亮度，U、V表示色差。可见，本发明方法和架构基于YUV空间域，对图像数据进行了一维空间图像增强和降噪处理，处理性能较好，复杂度低，利于硬件实现且占用芯片资源较少。本发明的技术方案采用流水级设计思想，基于YUV空间域，对插值后的Bayer图像数据进行了一维空间图像增强和降噪处理，具体涉及：对各自独立的空间三基色进行空间转换，将RGB空间变换为YUV空间；在Y通道上用改进的直方图均衡化方法实现图像明暗程度的对比度增强调节，对U和V通道采用分段式线性调节方法实现饱和度调节；对Y通道进行不同响应强度的滤波器降噪，在UV通道进行加权中值滤波降噪，降低图像画质噪声，以满足后续处理对图像质量的需求；在Y通道上，采用基于Laplace算子的锐化掩膜进行锐化增强处理，以保证图像的细节清晰可见。

具体而言，所述将三基色RGB空间的像素值变换为YUV空间，包括，采用下列矩阵运算将三基色RGB空间的像素值变换为YUV空间：

式中，Y为亮度；U、V为色差；a_xy表示空间转换系数；R、G、B分别为红、绿、蓝三基色。RGB颜色空间是计算机中最常见的颜色空间，根据三基色原理，自然景物的彩色可以用三基色(RGB)分量来表示，三者的线性组合可以构造出各种颜色。由于RGB三分量的关联性很高，同样的数据常出现在每个分量中，可通过色度空间转换，用YUV代替RGB，其中Y表示亮度，U、V代表色差，将灰度转换成彩色的额外信息，这样就去掉了YUV之间的相关性，并可利用人眼的视觉特性，较多的舍弃彩色数据，相对完整得保留亮度数据。

附图2是本发明对Y通道的对比度进行调节的步骤示意图，由图可知，本发明所述对Y通道的对比度进行调节，增强图像的明暗程度；包括以下步骤：

S101、将当前帧按各灰度级进行分段，并统计各段的像素点数量；

S102、根据像素阵列大小及灰度级，计算出当前帧单位亮度的宽度；

S103、计算各段像素数量与单位亮度的宽度比例，并计算这个比例的累积值；

S104、根据总段数计算调整斜率值K，所述调整斜率值K即为亮度宽度比例与总段数的比值；

S105、采用下式计算新直方图中各段中灰度级像素点的新值F(x,y)：

F(x,y)＝(f(x,y)-f₀)*K+g₀，

式中，F(x,y)为上式计算后的像素点新值，f(x,y)为计算前像素值，f₀为每段的初值，K为亮度宽度比例与总段数的比值，g₀为各段亮度宽度比例的累积值；

S106、重复执行步骤S105直至新直方图中各段中灰度级像素点的新值F(x,y)计算完毕，完成亮度区间的重新分布，即增强图像的明暗程度。

可见，本发明采用改进的直方图均衡化方法进行对比度调整，即将一已知灰度概率密度分布的图像，经过某种变换，变成一幅具有均匀灰度概率密度分布的新图像，其结果是扩展了像元取值的动态范围，从而达到增强图像整体对比度的效果，即将灰度分布较密的部分进行区间拉伸，分布稀疏的部分则区间会被压缩，从而使图像对比度整体上得到较大增强。

另外，本发明所述对U和V通道的饱和度进行调节，增强图像色彩鲜艳程度；包括：

S201、设定饱和度S最小阈值Thmin和最大值Thmax；所述饱和度S最小阈值Thmin是指饱和度处于非彩色情况，所述饱和度S最大值Thmax是指饱和度处于饱和情况；

S202、如果饱和度S小于等于最小阈值Thmin或者大于等于最大值Thmax，则当前像素点的饱和度保持不变；

S203、如果饱和度S在Thmin和Thmax之间，则采用线性法调节当前像素点的饱和度，即采用下式进行调节：

M(x,y)＝λ*m(x,y)

式中，M(x,y)为上式计算后的像素点新值，m(x,y)为计算前像素值，λ为调节因子，取值范围为a≤λ≤b，a和b为设定的正常数。

附图3是本发明对亮度的滤波处理方法的步骤示意图，由图可知，本发明滤波算法通过检测当前相邻像素间幅度的变化，在尽量保存图像边缘的情况进行了噪声去除。对于YUV空间信号，为了减少芯片资源开销，采用只对当前像素点周围一维方向邻域内的4个像素进行去噪声处理，并且对亮度和色度信号采用不同的滤波方法。其中，所述进行混合降噪处理，以去除图像处理带来的噪声；包括，只对当前像素点周围一维方向邻域内的4个像素进行去噪声处理，并且对亮度和色度信号采用不同的滤波方法；其中，

对亮度的滤波处理方法包括以下步骤：

S301、采集水平方向一维空间的5个像素值，以最当中的一个像素为当前像素，求出当前像素的亮度值分别与两个最近邻像素之间的差a_l和a₂，两个最近邻的亮度值分别与相应次近邻像素之间的绝对差b_l和b₂；

S302、采用下式计算当前像素的滤波强度：

a₁＝X(n)-X(n-1)

a₂＝X(n)-X(n+1)

b₁＝|X(n+1)-X(n+2)|

b₂＝|X(n-1)-X(n-2)|

式中，a₁和a₂为最近邻像素之间的差，b₁和b₂为最近邻和次近邻像素之间的绝对差，X(n)为当前像素，X(n±1)为两个最近邻的像素，X(n±2)为两个次近邻的像素。

S303、判断差值b_l和b₂是否均为0，决定对当前像素进行哪种程度的滤波处理；若差值b_l和b₂有一个为0，另一个不为0，则对当前像素进行中等强度的滤波处理；若差值b_l和b₂都不为0，则对当前像素进行最高强度的滤波处理；其余情况，对当前像素不进行滤波处理。

S304、将灰度级别{0，max_pixel}设定为三个区间，其中，max_pixel为像素最大灰度级；

S305、判断差值a_l和a₂的幅度亮化处理后范围落在灰度级别{0，max_pixel}中的哪个区间；其中，差值a_l和a₂落在灰度级别的第一区间，不论b_l或b₂是否为0，对当前像素不进行滤波处理；差值a_l和a₂落在灰度级别的第二区间，b_l或b₂有一个为0，对当前像素进行中等强度的滤波处理；差值a_l和a₂落在灰度级别的三区间，差值b_l和b₂都不为0，则对当前像素进行最高强度的滤波处理；若出现以上三种情况之外的情况，按照差值a_l和a₂落在的灰度区间判断滤波强度，而不考虑差值b_l或b₂。

S306、根据滤波强度的需要，设计不同强度的滤波器FIR，Finite Impulse Reponse，每个滤波器均三节滤波器，使用不同的脉冲响应系数，滤波器的表达式为：

C(n)＝(m₁*c(n-1)+m₂*c(n)+m₃*c(n+1))/m

式中，c(n)为计算后的像素新值；m1、m2、m3为根据需要设置的不同响应强度的取值，使当前输入像素的幅度依次衰减为原来的倍；m为m1、m2和m3之和，c(n)为当前像素；c(n±1)为两个最近邻的像素；

其中，对当前像素进行中等强度的滤波处理时，m1、m2、m3取值分别为3、10和3，对当前像素进行最高强度的滤波处理时，m1、m2、m3取值分别为5、6和5；

S307、根据步骤S303和S305的判断，分别采用S306设定的滤波器对当前像素进行滤波处理。

对于色调成分，因为人眼对色度信号的变化不太敏感，因此，采用加权中值滤波算法。加权中值滤波是一种局部平滑滤波技术，它对脉冲干扰和椒盐噪声等随机噪声的抑制效果比较好。对色度的滤波处理方法采用加权中值滤波方法，包括以下步骤：

S401、采集水平方向一维空间的5个像素值，以最当中的一个像素为当前像素；

S402、对5个像素按照像素灰度值进行排序处理；

S403、采用排序在中间的像素和最近邻的两个像素进行处理，采用下式进行中值计算，

y(n)＝(X'(n-1)+2*X'(n)+X'(n+1))/4，

式中，y(n)为灰度值中值，X^/(n)为排序在中间的像素的灰度值，X^/(n±1)最近邻的两个像素的灰度值；

S404、采用灰度值中值y(n)代替当前像素原来的灰度值。

附图4是本发明对Y通道进行边缘锐化处理的流程示意图，由图可知，为了增强图像的边缘和细节，采用基于Laplace算子的锐化掩膜算法进行处理，该方法简单易实现，图像锐化的效果较好，由于对噪声敏感，因此在滤波降噪后进行Y通道的边缘增强处理。

所述对Y通道进行边缘锐化处理，采用基于Laplace算子的锐化掩膜方法进行处理，即输入图像s(x,y)经过Laplace算子处理的值，乘以比例因子后与输入图像s(x,y)相加，得到锐化的输出图像G(x,y)；其中，方法表达式为：

G(x,y)＝s(x,y)+λ*I(x,y)

式中，λ为锐化因子，取值范围为[0.1,0.9]，λ取值越大，锐化增强程度越大；所述Laplace算子表达式为：

针对Y通道一维空间的像素点而言，I(x,y)表达式为：

I(x,y)＝2*s(x,y)-[s(x-1,y)+s(x+1,y)]

式中，I(x,y)为Laplace处理后的图像，s(x,y)当前图像，s(x-1,y)和s(x+1,y)分别表示当前图像两侧的最邻近图像。

显然，本发明应用于CMOS图像传感器的图像画质增强和滤波方法的有益技术效果是采用流水级设计思想，未对图像数据进行存储，只对插值后的Bayer图像数据进行了一维空间图像增强和降噪处理，其技术处理性能较好，复杂度低，利于硬件实现且占用芯片资源较少。

虽然本发明已以较佳实施例披露如上，但是本发明能够以很多不同于在此描述的其它方式来实施，因此本发明不受上述公开的具体实施例的限制，任何采用本发明的方法构思和技术方案进行的各种改进，或者未经改进直接应用于其它场合的，均在本发明的保护范围之内。