专利名称：去马赛克的方法和装置的制作方法
技术领域：
本发明涉及本发明涉及图像处理领域，尤其涉及一种去马赛克的方法和装置。
背景技术：
数码相机、笔记本、平板电脑、手机等能够拍摄数码影像的电子设备中均会使用互补金属氧化物半导体(Complementary Metal Oxide Silicon, CMOS)或者电荷稱合兀件(Charge-Coupled Device, CCD)等的图像传感器来捕获图像,所述图像传感器用于将光学影像转为数字信号。数码影像中的每个像素点通常包含红色R，绿色G和蓝色B三种分量，单片CMOS或CCD图像传感器的每个感光单元能够捕获一种具有特定波长的光，例如R、G、B中的一种。为了获得完整的包含R、G、B三种分量的图像，电子设备需要使用三片CMOS或CXD图像传感器在每个像素点处分别捕获R、G、B分量。这样增加了电子设备的成本，同时也增大了最后产品的体积。为了降低成本并且缩减产品的体积，现有技术的绝大多数的电子产品仅仅使用一片图像传感器，通过在图像传感器上设置颜色滤镜，使得CMOS或CXD图像传感器阵列上的每个点感光出不同的颜色。拜耳滤光器(Bayer filter)是常用的颜色滤镜，因而被广泛地使用于各种电子产品中。拜耳滤光器由RGB三原色滤光栅格(与图像传感器上的感光单元对应)组成，每个滤光格栅只能过滤三原色中的一种。参考
图1，示出了现有技术拜耳滤光器的图案的示意图。所述拜耳滤光器图案中，绿色滤光栅格(G)占了一半，红色(R)和蓝色(B)滤光栅格则分别占四分之一。被拜耳滤光器覆盖的单片CMOS或CCD图像传感器产生的拜耳格式的图像中，每个像素点仅仅具有R、G、B分量中的一种，以GRGR、BGBG的格式排列。现有技术在进行图像处理时需对拜耳格式的图像进行插值，以恢复每个像素点处的缺失的另外两种颜色，例如对于G像素点，需要恢复R和B两种颜色，这个过程通常被称为去马赛克(demosaicking)。现有技术中去马赛克的方法包括通过边缘算子来进行边缘检测；基于边缘算子对R、B像素点处的G进行恢复；基于恢复后的G，运用R和G的色差空间或者B和G的色差空间的双线性插值恢复G采样点处的R和B，以及R采样点处的B和B采样点处的R。之后，完成各点处缺失颜色的恢复之后，输出恢复后的图像。下面结合参考图1，对R像素点处G的恢复过程进行说明。首先，对图I的中心点(i，j)进行水平方向和垂直方向的梯度计算，具体地^ Hij j — I Gi, P1-Gi, j+11 +1 2 , J-Ri, jd j+21AVijj = IGi^ljj-Gwjj 1 + 12 ,厂民_2,厂民+2,」I其中，AHi,」为水平方向的梯度，A Vi,」为垂直方向的梯度，i为行号，j为列号，Gi,H、Ru-2等为图I中与所述行号和列号相对应的各点的值(0 255范围内的强度值)。根据水平方向的梯度A Hi,」和垂直方向的梯度AVi,j的大小恢复G，具体地
权利要求
1.一种去马赛克的方法，其特征在于，包括 获取拜耳格式图像； 对目标像素点为中心的像素阵列进行梯度提取； 基于梯度提取的结果进行权重提取，以获得像素阵列的权重系数； 基于权重系数同时对目标像素点缺失的其他两种颜色进行颜色重建； 输出图像信息。
2.如权利要求I所述的去马赛克的方法，其特征在于，所述对目标像素点为中心的像素阵列进行梯度提取的步骤包括对所述对目标像素点为中心的像素阵列进行水平方向、竖直方向、左上至右下方向和左下至右上方向的梯度提取。
3.如权利要求2所述的去马赛克的方法，其特征在于，所述对目标像素点为中心的像素阵列进行水平方向、竖直方向、左上至右下方向和左下至右上方向的梯度提取的步骤包括获得各方向上相邻行之间相同颜色分量之间的梯度变化。
4.如权利要求3所述的去马赛克的方法，其特征在于，所述获得各方向上相邻行之间相同颜色分量之间的梯度变化的步骤包括 获取各方向上相邻行之间相同颜色分量之间的差值； 基于所述差值的最大值和所述差值的最小值的差，获得各方向上相邻行之间相同颜色分量之间的梯度变化。
5.如权利要求3所述的去马赛克的方法，其特征在于，所述基于梯度提取的结果进行权重提取，以获得权重系数的步骤包括 判断梯度变化是否大于或等于第一阈值； 如果各方向上相邻行之间相同颜色分量之间的梯度变化大于第一阈值，所述权重系数为O ; 如果各方向上相邻行之间相同颜色分量之间的梯度变化小于或等于第一阈值，所述权重系数为所述第一阈值与所述梯度变化的差。
6.如权利要求I所述的去马赛克的方法，其特征在于，进行颜色重建的步骤包括 以像素阵列中目标像素点周边与待重建颜色相同的各像素点为待加权点； 获取与所述待加权点相对应的权重系数； 基于各待加权点的值与其对应的权重系数的加权平均获得待重建颜色的值。
7.如权利要求6所述的去马赛克的方法，其特征在于， 所述获取与所述待加权点相对应的权重系数的步骤包括获取与梯度相关的各向异性权重系数和与梯度无关的各向同性权重系数； 所述基于各待加权点的值与其对应的权重系数的加权平均获得待重建颜色的值的步骤包括 基于各待加权点的值与其对应的各向异性权重系数的加权平均获得待重建颜色第一值； 基于各待加权点的值与其对应的各向同性权重系数的加权平均获得待重建颜色第二值； 所述去马赛克的方法还包括判断各待加权点的权重系数的最大值是否小于第二阈值；如果各待加权点的权重系数的最大值小于所述第二阈值，待重建颜色的值为所述待重建颜色第一值和所述待重建颜色第二值的插值； 如果各待加权点的权重系数的最大值大于或等于所述第二阈值，待重建颜色的值为所述待重建颜色第一值。
8.如权利要求6所述的去马赛克的方法，其特征在于， 所述获取与所述待加权点相对应的权重系数的步骤包括基于色差原理获取与待加权点相邻的其他颜色像素点的权重系数； 所述基于各待加权点的值与其对应的权重系数的加权平均获得待重建颜色的值的步骤包括结合待加权点的值及其对应的权重系数、与待加权点相邻的其他颜色像素点的值及其对应的权重系数的加权平均，获得待重建颜色的值。
9.如权利要求I所述的去马赛克的方法，其特征在于，在进行颜色重建的步骤之后，输出图像信息的步骤之前，还包括对颜色重建后的图像进行颜色微调。
10.如权利要求9所述的去马赛克的方法，其特征在于，所述对颜色重建后的图像进行颜色微调的步骤包括 获取目标像素点颜色的值以及重建获得的其他两种颜色的值； 获得目标像素点周围相同颜色的各像素点的值与目标像素点对应颜色值的差的绝对值； 判断所述绝对值与第三阈值和第四阈值的相对大小，其中所述第三阈值大于所述第四阈值； 如果所述绝对值大于第三阈值或者所述绝对值小于第四阈值，以第一微调值对目标像素点对应颜色值进行微调； 如果所述绝对值小于或等于第三阈值并且所述绝对值大于或等于第四阈值，以第二微调值对目标像素点对应颜色值进行微调；所述第二微调值大于所述第一微调值。
11.如权利要求9所述的去马赛克的方法，其特征在于，所述对颜色重建后的图像进行颜色微调的步骤包括 获取目标像素点颜色的值以及重建获得的其他两种颜色的值； 获得目标像素点周围相同颜色的各像素点的值与目标像素点对应颜色值的差的绝对值； 判断所述绝对值在多个阈值所形成的多个阈值区间中的位置； 获取绝对值所在阈值区间所对应的微调值进行微调，其中，较大的阈值区间或者较小阈值区间所对应的微调值越小，而适中的阈值区间所对应的微调值越大。
12.如权利要求10或11所述的去马赛克的方法，其特征在于，以微调值进行微调的步骤包括获得目标像素点各颜色的值分别与目标像素点周围相同颜色的各像素点所对应的微调值的和，以获得目标像素点各颜色完成颜色微调后的值。
13.如权利要求I所述的去马赛克的方法，其特征在于，对目标像素点为中心的像素阵列进行梯度提取的步骤包括 从拜耳格式图像中获取目标像素点为中心的5X5的像素阵列； 对5X5的所述像素阵列进行梯度提取。
14.一种去马赛克的装置，其特征在于，包括图像获取单元，包括图像传感器和与其相连的拜耳滤光器，用于获取拜耳格式图像；梯度提取单元，与所述图像获取单元相连，用于对目标像素点为中心的像素阵列进行梯度提取； 权重提取单元，与所述梯度提取单元相连，用于根据梯度提取的结果进行权重提取，以获得像素阵列的权重系数； 颜色重建单元，包括两个与所述权重提取单元均相连的颜色重建器，用于根据权重系数同时对目标像素点缺失的其他两种颜色进行颜色重建； 图像输出单元，与所述颜色重建单元耦接，用于输出颜色重建后的图像信息。
15.如权利要求14所述的去马赛克的装置，其特征在于，所述梯度提取单元包括多个 梯度提取器，分别用于对所述对目标像素点为中心的像素阵列进行水平方向、竖直方向、左上至右下方向、左下至右上方向的梯度提取。
16.如权利要求15所述的去马赛克的装置，其特征在于，所述梯度提取器包括 梯度变化器，用于获得各方向上相邻行之间相同颜色分量之间的梯度变化； 梯度输出器，用于根据所述梯度变化输出梯度提取的结果。
17.如权利要求16所述的去马赛克的装置，其特征在于，所述梯度变化器包括 梯度计算器，用于获取各方向上相邻行之间相同颜色分量之间的差值； 梯度比较器，与所述梯度计算器相连，用于根据梯度计算器获得的所述差值的最大值和所述差值的最小值的差，获得各方向上相邻行之间相同颜色分量之间的梯度变化。
18.如权利要求16所述的去马赛克的装置，其特征在于， 所述权重提取单元包括第一判断器，与所述梯度提取单元相连，用于判断梯度变化是否大于或等于第一阈值； 所述权重提取单元还包括权重系数输出器，用于在各方向上相邻行之间相同颜色分量之间的梯度变化大于第一阈值时，输出O作为权重系数；在各方向上相邻行之间相同颜色分量之间的梯度变化小于或等于第一阈值时，输出所述第一阈值与所述梯度变化的差作为权重系数。
19.如权利要求14所述的去马赛克的装置，其特征在于，所述颜色重建器包括 加权点获取器，与所述图像获取单元相连，用于获取以像素阵列中目标像素点周边与待重建颜色相同的各像素点为待加权点； 权重系数获取器，与所述权重提取单元相连，用于获取与所述待加权点相对应的权重系数； 加权平均器，与所述加权点获取器和所述权重系数获取器相连，用于根据各待加权点的值与其对应的权重系数的加权平均获得待重建颜色的值。
20.如权利要求19所述的去马赛克的装置，其特征在于， 所述权重系数获取器包括用于获取待加权点与梯度相关的各向异性权重系数的第一权重系数获取器、用于获取待加权点与梯度无关的各向同性权重系数的第二权重系数获取器； 所述加权平均器包括用于根据各待加权点的值与其对应的各向异性权重系数的加权平均获得待重建颜色第一值的第一加权平均器、用于根据各待加权点的值与其对应的各向同性权重系数的加权平均获得待重建颜色第二值的第二加权平均器；所述加权平均器还包括与第一加权平均器、第二加权平均器、加权点获取器和权重提取单元相连的第二判断器，用于判断各待加权点的权重系数的最大值是否小于第二阈值；用于在所述各待加权点的权重系数的最大值小于所述第二阈值时，输出所述待重建颜色第一值和所述待重建颜色第二值的插值作为待重建颜色的值；还用于在所述各待加权点的权重系数的最大值大于或等于所述第二阈值时，输出所述待重建颜色第一值作为待重建颜色的值。
21.如权利要求19所述的去马赛克的装置，其特征在于， 所述权重系数获取器包括 用于获取待加权点与梯度相关的各向异性权重系数，还用于根据色差原理获取与待加权点相邻的其他颜色像素点的各向异性权重系数的第一权重系数获取器； 用于获取待加权点与梯度无关的各向同性权重系数，还用于根据色差原理获取与待加权点相邻的其他颜色像素点的各向同性权重系数的第二权重系数获取器； 所述加权平均器包括 用于根据各待加权点的值与其对应的各向异性权重系数，以及所述与待加权点相邻的其他颜色像素点与其对应的各向异性权重系数的加权平均获得待重建颜色第一值的第一加权平均器； 用于根据各待加权点的值与其对应的各向同性权重系数，以及所述与待加权点相邻的其他颜色像素点与其对应的各向同性权重系数的加权平均获得待重建颜色第二值的第二加权平均器； 与权重提取单元、加权点获取器、第一加权平均器和第二加权平均器相连的第二判断器，用于判断各待加权点的权重系数的最大值是否小于第二阈值；用于在所述各待加权点的权重系数的最大值小于所述第二阈值时，输出所述待重建颜色第一值和所述待重建颜色第二值的插值作为待重建颜色的值；还用于在所述各待加权点的权重系数的最大值大于或等于所述第二阈值时，输出所述待重建颜色第一值作为待重建颜色的值。
22.如权利要求14所述的去马赛克的装置，其特征在于，所述去马赛克的装置还包括颜色微调单元，与所述颜色重建单元相连，用于对颜色重建后的图像进行颜色微调。
23.如权利要求22所述的去马赛克的装置，其特征在于，所述颜色微调单元包括 目标像素点获取器，用于获取目标像素点颜色的值以及重建获得的其他两种颜色的值； 像素点计算器，与所述目标像素点获取器相连，用于获得目标像素点周围相同颜色的各像素点的值与目标像素点对应颜色值的差的绝对值； 第三判断器，与所述像素点计算器相连，用于判断所述绝对值与第三阈值和第四阈值的相对大小，用于在所述绝对值大于第三阈值或者所述绝对值小于第四阈值时，通过第一微调值对目标像素点对应颜色值进行微调；还用于在所述绝对值小于或等于第三阈值并且所述绝对值大于或等于第四阈值时，以第二微调值对目标像素点对应颜色值进行微调；其中，所述第三阈值大于所述第四阈值，所述第一微调值小于所述第二微调值。
24.如权利要求22所述的去马赛克的装置，其特征在于，所述颜色微调单元包括 目标像素点获取器，用于获取目标像素点颜色的值以及重建获得的其他两种颜色的值；像素点计算器，与所述目标像素点获取器相连，用于获得目标像素点周围相同颜色的各像素点的值与目标像素点对应颜色值的差的绝对值； 第三判断器，与所述像素点计算器相连，用于判断所述绝对值在多个阈值所形成的多个阈值区间中的位置，并获取绝对值所在阈值区间所对应的微调值进行微调，其中，较大的阈值区间或者较小阈值区间所对应的微调值越小，而适中的阈值区间所对应的微调值越大。
25.如权利要求23或24所述的去马赛克的装置，其特征在于，所述颜色微调单元还包括加法单元，用于获得目标像素点各颜色的值分别与目标像素点周围相同颜色的各像素点所对应的微调值的和，以获得目标像素点各颜色完成颜色微调后的值。
26.如权利要求14所述的去马赛克的装置，其特征在于，所述梯度提取单元包括 像素阵列获取器，与图像获取单元相连，用于获取拜耳格式图像中以目标像素点为中心的5X5的像素阵列； 梯度提取器，用于对所述5X5的像素阵列进行梯度提取。
全文摘要
一种去马赛克的方法及其装置，方法包括获取拜耳格式图像；对目标像素点为中心的像素阵列进行梯度提取；基于梯度提取的结果进行权重提取，以获得像素阵列的权重系数；基于权重系数同时对目标像素点缺失的其他两种颜色进行颜色重建；输出图像信息。装置包括图像获取单元，获取拜耳格式图像；梯度提取单元，对目标像素点为中心的像素阵列进行度提取；权重提取单元，根据梯度提取的结果进行权重提取，以获得像素阵列的权重系数；颜色重建单元，包括两个与权重提取单元均相连的颜色重建器，根据权重系数同时对目标像素点缺失的其他两种颜色进行颜色重建；图像输出单元，输出颜色重建后的图像信息。本发明可以提高图像处理的效率。
文档编号H04N1/58GK102630018SQ20121008524
公开日2012年8月8日 申请日期2012年3月27日 优先权日2012年3月27日
发明者丁文, 沙力 申请人:上海算芯微电子有限公司