基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法

基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法
【专利摘要】本发明公开了一种基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，主要解决现有技术易出现边缘模糊和拉链效应的问题。其实现步骤为：1.输入一幅色彩滤波阵列图像；2.对绿色通道作方向插值，并求绿色插值图的轮廓矩阵；3.取绿色插值图的待修正块；4.取待修正块的图像块集合及轮廓，并从集合中找出相似块，计算其权重；5.对所有相似块加权平均；6.由加权平均值修正绿色插值图的所有块；7.对红色和蓝色通道作方向插值，并求红色和蓝色插值图的轮廓矩阵；8.取红色和蓝色插值图的待修正块，重复执行步骤4-5，修正红色和蓝色插值图的所有块；9.输出全彩色图像。本发明能避免边缘模糊，抑制拉链效应和虚假颜色的产生，用于对色彩滤波阵列图像的恢复。
【专利说明】基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，具体的说是一种结合方向插值和轮廓非局部均值的色彩滤波阵列图像去马赛克方法。本发明可用于恢复单传感器芯片相机中的色彩滤波阵列图像的完整彩色信息，从而弥补由于减少相机硬件成本所带来的图像彩色信息的丢失。
【背景技术】
[0002]随着数码相机的广泛使用，其成本和体积是一个不可忽视的问题，为此现有的大部分的数码相机都采用单块电荷耦合器件CCD或互补金属氧化物半导体CMOS作为图像的采样传感器，其上面覆盖有一层按Bayer方式排列的色彩滤波阵列，这种阵列使同一个像素点只能采样三种基色，即红R，绿G，蓝B中的一种，而另外两个颜色值则需要根据其邻域信息来插值，从而得到所需要的全彩色图像，这种处理称做去马赛克。去马赛克是数码相机产品中的核心技术。
[0003]现有的色彩滤波阵列图像去马赛克方法包括最近邻复制、双线性插值、三次样条插值，目前较好的方法包括方向线性最小均方误差方法，基于非局部自相似性的去马赛克方法，及局部方向插值和非局部均值滤波去马赛克的方法。
[0004]方向线性最小均方误差去马赛克方法,是Lei Zhang在文献“Color DemosaickingVia Directional Linear Minimum Mean Square-Error Estimation.1EEE Trans, on ImageProcessing, vol.14，n0.12，pp.2167-2178，Dec.2005.” 中提出来的。该方法首先通过最小均方误差LMMSE将水平和竖直方向的颜色差值估计出来，然后通过混合方向加权得到最终的颜色差值信号，最终将各个通道的缺失像素值估计出来。这种方法由于只考虑水平和竖直方向的颜色差值估计，所以存在拉链效应及虚假色彩的现象。
[0005]基于非局部自相似性的去马赛克方法，是A.Buades在文献“Self-similaritydriven color demosaicking, IEEE Trans.1mage Processing, vol.18, n0.6, pp.1192-1202,June2009.”中提出来的。其方法首先对色彩滤波阵列图像进行粗略的插值，然后对插值后的绿色通道图像使用非局部均值迭代修复，最后通过色彩规律将RGB转化为YUV后利用中值滤波做最后的修复。这种方法通过图像的自相似性来估计像素缺失的分量，可以恢复大部分细小的结构，但在高饱和度图像边缘处仍存在模糊。
[0006]局部方向插值和非局部均值滤波去马赛克的方法，是Lei Zhang在文献“Color Demosaicking by Local Directional Interpolation and Nonlocal AdaptiveThresholding, Journal of Electronic Imaging20 (2)，023016 (Apr-Jun)，2011.” 中提出的。该方法利用图像的非局部冗余来提高图像的局部色彩恢复效果。首先，对像素缺失分量使用方向插值估计出来，然后分别对各个通道使用非局部均值滤波来提高插值结果。此方法虽然可以有效的提高滤波阵列图像的去马赛克效果，但仍然存在边缘模糊的缺点。

【发明内容】

[0007]本发明的目的在于针对上述已有技术的不足，提出一种基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，以有效抑制边缘模糊和拉链效应，提高色彩滤波阵列图像的去马赛克效果，得到高质量的全彩色图像。
[0008]本发明的具体实现步骤包括如下:
[0009]( I)输入一幅色彩滤波阵列图像I ;
[0010](2)通过方向插值法对色彩滤波阵列图像I中绿色通道缺失的像素进行估计，得到绿色通道图像的插值图像?,
[0011](3)计算绿色通道图像的插值图像0中每个像素点的轮廓值，组成图像轮廓矩阵Mg;
[0012](4)在绿色通道图像的插值图像中逐像素取一个5X5大小的图像块，作为当前待修正的图像块X ;
[0013](5)在当前待修正图像块X的中心像素的34X34大小的邻域中取所有5X5的块，组成当前待修正图像块X的图像块集合Ω ；
[0014](6)在图像轮廓矩阵中找到当前待修正块X及其图像块集合Ω中的块所对应的轮廓块；
[0015](7)计算当前待修正图像块X与其图像块集合中块之间的权重:
[0016]7a)分别计算当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d和当前待修正块X对应的轮廓块与其图像块集合Ω中每个块对应的轮廓块之间的轮廓欧式距离s ；
[0017]7b)将当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d由小到大排序，取欧氏距离小于设定阈值th = 10的块作为当前待修正块的相似块；
[0018]7c)根据所述像素欧式距离d和所述轮廓欧式距离S，计算待修正块X与每个相似块之间的权重；
[0019](8)根据步骤7c)得到的权重，采用加权平均公式对所有相似块进行加权平均，得到修正后的图像块I;
[0020](9)对绿色通道图像的插值图像0的所有图像块重复执行步骤(4)- (8)，完成对绿色通道图像的最终估计；
[0021](10)利用最终估计出的绿色通道图像，通过方向插值法，得到红色通道图像的插值图像k和蓝色通道图像的插值图像B ,
[0022](11)分别求红色通道图像的插值图像A和蓝色通道图像的插值图像i中每个像素点的轮廓值，组成红色通道插值图像的图像轮廓矩阵Mk和蓝色通道插值图像的轮廓矩阵Mb;
[0023](12)分别在红色通道图像的插值图像A和蓝色通道图像的插值图像S中逐像素取一个5X5大小的图像块，作为当前待修正的图像块X，重复执行步骤(5)- (8)，完成对红色和蓝色通道图像的最终估计；
[0024](13)输出含有绿色、红色和蓝色的全彩色图像。
[0025]本发明与现有的技术相比具有以下优点:
[0026]第一，本发明通过使用精确的方向插值方法，使得图像在纹理处的插值效果明显提高，有效的抑制了拉链效应。
[0027]第二，本发明将图像的轮廓应用到非局部加权平均公式中权重的计算上，使块之间的相似性计算更加准确，也进一步提高了像素恢复的准确性，有效抑制边缘模糊和划痕，提高色彩滤波阵列图像的去马赛克效果。
【专利附图】

【附图说明】
[0028]图1是本发明的实现流程图；
[0029]图2是本发明方法仿真使用McMaster数据库中图像的放大图；
[0030]图3是用现有技术与本发明方法对色彩阵列图像去马赛克仿真结果放大图。
【具体实施方式】
[0031]以下参照附图对本发明的具体实现及效果做进一步的详细说明。
[0032]参照图1，本发明的实施步骤如下:
[0033]步骤I，输入一幅色彩滤波阵列图像I。
[0034]本步骤输入的色彩滤波阵列图像I为Bayer模式的色彩滤波阵列图像，该图像中每个像素点仅存在红、绿、蓝三基色中的一种颜色，另外两个颜色缺失，需要采用去马赛克方法进行估计。
[0035]步骤2，对色彩滤波阵列图像I中的绿色通道图像进行方向插值。
[0036](2.1)计算以色彩滤波阵列图像I的像素点R(i，j)为中心的北、南、东、西、水平、竖直六个方向上的绿色分量值与红色分量值的颜色差值:
【权利要求】
1.一种基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，包括如下步骤: (1)输入一幅色彩滤波阵列图像I; (2)通过方向插值法对色彩滤波阵列图像I中绿色通道缺失的像素进行估计，得到绿色通道图像的插值图彳I ?,: (3)计算绿色通道图像的插值图像0中每个像素点的轮廓值，组成图像轮廓矩阵Me； (4)在绿色通道图像的插值图像?中逐像素取一个5X5大小的图像块，作为当前待修正的图像块X ; (5)在当前待修正图像块X的中心像素的34X 34大小的邻域中取所有5 X 5的块，组成当前待修正图像块X的图像块集合Ω ； (6)在图像轮廓矩阵中找到当前待修正块X及其图像块集合Ω中的块所对应的轮廓块； (7)计算当前待修正图像块X与其图像块集合中块之间的权重: 7a)分别计算当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d和当前待修正块X对应的轮廓块与其图像块集合Ω中每个块对应的轮廓块之间的轮廓欧式距离s ； 7b)将当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d由小到大排序，取欧氏距离小于设定阈值th = 10的块作为当前待修正块的相似块； 7c)根据所述像素欧式距离d和所述轮廓欧式距离S，计算待修正块X与每个相似块之间的权重； (8)根据步骤7c)得到的权重，采用加权平均公式对所有相似块进行加权平均，得到修正后的图像块戈； (9)对绿色通道图像的插值图像?的所有图像块重复执行步骤(4)-(8)，完成对绿色通道图像的最终估计； (10)利用最终估计出的绿色通道图像，通过方向插值法，得到红色通道图像的插值图像口蓝色通道图像的插值图像i ; (11)分别求红色通道图像的插值图像A和蓝色通道图像的插值图像S中每个像素点的轮廓值，组成红色通道插值图像的图像轮廓矩阵Mk和蓝色通道插值图像的轮廓矩阵Mb ； (12)分别在红色通道图像的插值图像A和蓝色通道图像的插值图像S中逐像素取一个5X5大小的图像块，作为当前待修正的图像块X，重复执行步骤(5)- (8)，完成对红色和蓝色通道图像的最终估计； (13)输出含有绿色、红色和蓝色的全彩色图像。
2.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于:步骤(2)中所述的通过方向插值法对色彩滤波阵列图像I中绿色通道缺失的像素进行估计，按如下步骤进行: (2a)计算以像素点R(i，j)为中心的北、南、东、西、水平、竖直六个方向上的绿色分量值与红色分量值的颜色差值:

3.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于:步骤(3)中所述的计算绿色通道图像的插值图像?中每个像素点的轮廓值，按如下步骤进行: (3a)以绿色通道图像的插值图像G中的像素点令/，./')为中心，取8个不同的方向ab，并计算像素点6(0')在ab方向上的轮廓值SM6[0(/,_/)]，即:
4.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于:所述步骤7a)中计算当前待修正块X与其图像块集合Ω中每个块之间的像素欧式距离d，通过如下公式计算:
5.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于:所述步骤7a)中计算当前待修正块X对应的轮廓块与其图像块集合Ω中每个块对应的轮廓块之间的轮廓欧式距离S，通过如下公式计算:
6.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于:步骤7c)所述的计算待修正块X与每个相似块之间的权重Wi，通过如下公式计算:
7.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于:步骤(8)中所述的加权平均公式如下:
8.根据权利要求1所述的基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法，其特征在于:步骤(10)所述的通过方向插值法对色彩滤波阵列图像I中蓝色通道缺失的像素和红色通道缺失的像素进行估计，按如下步骤进行: (IOa)计算以像素点G(i，j)为中心的北、南、东、西、水平、竖直六个方向上的蓝色分量值与绿色分量值的颜色差值:
【文档编号】H04N9/04GK103595980SQ201310512349
【公开日】2014年2月19日 申请日期:2013年10月25日 优先权日:2013年10月25日
【发明者】张小华, 焦李成, 张平, 马文萍, 马晶晶, 田小林, 钟桦, 白婷 申请人:西安电子科技大学