图像处理装置、成像设备、方法、电子设备及存储介质与流程

1.本技术涉及计算机视觉技术领域，具体而言，本技术涉及一种图像处理装置、成像设备、方法、电子设备及存储介质。


背景技术：

2.彩色图像的每一个像素点通常包含r(red，红)、g(green，绿)、b(blue，蓝)三种通道的像素值。然而，光电传感器只能记录光的强度，无法同时采集三个通道的图像信息。本领域中，通常采用单个传感器，并在上方叠加一层cfa(color filter array，彩色滤波阵列)，使得光电传感器的每个感光位置上方的滤光片可以透过r、g、b三种颜色中的一种，而过滤掉另外两种，目前常用的cfa是拜耳滤波器(bayer filter)，因此，将得到的图像称为bayer(拜耳)图像。
3.由于每个感光位置只获取了单通道颜色值，若将bayer图像直接输出，会有明显的马赛克现象，将bayer图像恢复为rgb图像的过程叫做去马赛克。
4.现有的去马赛克方法包括基于色差或色比恒定假设的算法和基于引导滤波和残差的算法。其中，基于色差或色比恒定假设的算法在bayer图像的大部分区域能够取得较好的效果，但是对于色差或色比恒定假设不成立的区域，容易出现伪彩现象；基于引导滤波和残差的算法虽然不会受到图像区域的限制，但是其中涉及除法运算和大量乘法运算，计算复杂度高，asic(application specific integrated circuit，专用集成电路)硬件实现成本高。


技术实现要素：

5.本技术实施例提供了一种图像处理装置、成像设备、方法、电子设备及存储介质，可以解决现有技术中bayer图像去马赛克的方式计算复杂度高、asic硬件实现成本高的问题。
6.所述技术方案如下：
7.根据本技术实施例的一个方面，提供了一种图像处理装置，该装置包括：
8.通道差异值确定模块，用于确定原始图像的目标像素点的通道差异值；其中，所述通道差异值包括引导通道与待引导通道之间的平均色差值；
9.引导滤波系数确定模块，用于根据所述通道差异值以及预设的第一对应关系，确定引导滤波系数；其中，所述引导滤波系数包括色比系数和色差系数；所述第一对应关系包括所述平均色差值与所述色比系数之间的对应关系；
10.图像恢复模块，用于根据所述引导滤波系数，对所述原始图像进行所述待引导通道的恢复处理，得到目标图像。
11.根据本技术实施例的一个方面，提供了一种成像设备，该成像设备包括如上述实施例所述的图像处理装置和图像采集装置，其中，所述图像采集装置用于获取原始图像。
12.根据本技术实施例的另一个方面，提供了一种图像处理的方法，该方法包括：
13.确定原始图像的目标像素点的通道差异值；其中，所述通道差异值包括引导通道与待引导通道之间的平均色差值；
14.根据所述通道差异值以及预设的第一对应关系，确定引导滤波系数；其中，所述引导滤波系数包括色比系数和色差系数；所述第一对应关系包括所述平均色差值与所述色比系数之间的对应关系；
15.根据所述引导滤波系数，对所述原始图像进行待引导通道的恢复处理，得到目标图像。
16.根据本技术实施例的另一个方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述图像处理方法的步骤。
17.根据本技术实施例的再一个方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述图像处理方法的步骤。
18.本技术实施例提供的技术方案带来的有益效果是：
19.通过确定原始图像的目标像素点的通道差异值，并根据通道差异值以及预设的第一对应关系，确定引导滤波系数，避免了现有技术中计算引导滤波系数所需的除法和大量乘法运算，简化了计算度，大大降低了asic硬件成本，适用范围更广；同时，对于色差或色比恒定假设不成立的区域，减少了伪彩现象和拉链效应，能够改善上述区域的图像恢复效果，进而提高了目标图像的图像质量。
附图说明
20.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
21.图1为bayer图像的示意图；
22.图2为现有技术的算法流程图；
23.图3为本技术实施例提供的一种图像处理装置的结构示意图；
24.图4为本技术实施例提供的平均色差值与色比系数之间的关系的示意图；
25.图5为本技术实施例提供的第一邻域的示意图；
26.图6为本技术实施例提供的第三邻域的示意图；
27.图7为本技术实施例提供的窗口区域的示意图；
28.图8为本技术实施例提供的一种图像处理方法的流程示意图；
29.图9为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
30.下面结合本技术中的附图描述本技术的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本技术实施例的技术方案的示例性描述，对本技术实施例的技术方案不构成限制。
31.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本技术实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“a和/或b”可以实现为“a”，或者实现为“b”，或者实现为“a和b”。
32.由于bayer图像中每个像素只有单个通道的颜色值，因此，bayer图像需要经过上采样插值操作，恢复出每个通道上缺少的两个颜色值，然后将三通道颜色值合并成一幅完整的彩色rgb图像，这个bayer图像生成rgb图像的过程称为去马赛克。
33.现有技术中，常用的去马赛克方法是采用双线性插值，通过对邻域内相同颜色通道的颜色值取平均来估计缺失的颜色值，但这种只靠自身通道来恢复数据的方法去马赛克后的图像质量不高，伪彩和拉链效应严重。因此，基于色差或色比恒定假设的算法和基于引导滤波和残差的算法被提出。
34.下面对上述两种算法的原理进行具体的介绍：
35.基于色差或色比理论假设的算法：
36.假设颜色平面在一个足够小的邻域内是完美相关的，在这个局部邻域内，存在如下等式：
37.色差公式：g＝b+k-》g－b＝k
38.g＝r+j-》g－r＝j
39.色比公式：g＝m*b-》g/b＝m
40.g＝n*r-》g/r＝n
41.以中心b像素点为例，图1为bayer图像的示意图，如图1所示，图1中白色的方格表示b像素点，斜线填充的方格表示g像素点，中心b像素点的g通道值可由如下方法计算获得：
42.对于色差理论：
43.水平方向g通道值：
[0044][0045][0046][0047]
垂直方向g通道值：
[0048][0049][0050][0051]
通过颜色梯度或色差梯度，获取两方向的权重，记为wh和wv，则最终的g通道值为：
[0052][0053]
对于色比理论：
[0054]
水平方向g通道值
[0055][0056][0057][0058]
垂直方向g通道值
[0059][0060][0061][0062]
同样的，通过颜色梯度或色差梯度，获取两方向的权重，记为wh和wv，则最终的g通道值为：
[0063][0064]
在实际图像中，色差k和j、色比m和n在某些区域过度并不平缓，对锐利颜色过渡比较敏感，因此，基于色差或色比理论假设的算法表现较差。
[0065]
基于引导滤波和残差的算法：
[0066]
残差被定义为初始获取的颜色值(即真实值)与应用引导滤波器获得的估计值之间产生的差异，如这种策略的优势在于，如果所有的估计值都非常接近地面真实值，那么得到的残差将非常小，这样残差场就十分平滑。换句话说，这种方法对锐利颜色过渡不太敏感。
[0067]
图2为现有技术的算法流程图，这里以r通道为例，b通道与此类似，具体过程如下：
[0068]
(1)借助其它插值算法插值g通道，即插值r和b像素点处的颜色值用插值得到的g通道作为引导图像，定义r通道为目标图像。
[0069]
(2)以引导图像为参考，对目标图像进行引导滤波上采样，得到目标图像中所有像素的估计值引导方法如下：
[0070]
假设r和之间的关系为一元一次函数，即：那么可以列出中心像素点邻域内r像素点处的n个方程。由于方程个数大于未知数个数，方程组无解，但一般可通过最小二乘法求出a和b的最优解。令为i，r为p，求解方法如下：
[0071]
1)meani＝f
mean(i)[0072]
mean
p
＝f
mean
(p)
[0073]
corri＝f
mean
(i.*i)
[0074]
corr
ip
＝f
mean
(i.*p)
[0075]
2)vari＝corr
i-meani.*meani[0076]
cov
ip
＝corr
ip-meani.*mean
p
[0077]
3)a＝cov
ip
./(vari+∈)
[0078]
b＝mean
p-a.*meani[0079]
4)meana＝f
mean
(a)
[0080]
meanb＝f
mean
(b)
[0081]
5)q＝meana.*i+meanb[0082]
因此，将和g带入即可得到估计值
[0083][0084]
(3)对估计值进行残差插值，以补偿估计误差，得到最终的恢复图像。
[0085]
对于这n个r像素点，计算真实值与估计值的差，即可得到残差δr：
[0086][0087]
通过对残差进行线性插值，得到中间像素点处的残差插值
[0088][0089]
最终得到中心像素点的r通道恢复值
[0090][0091]
综上所述，即可完成将bayer图像上采样为rgb图像的去马赛克过程，但是引导滤波中涉及除法运算和大量乘法运算，使得asic硬件实现成本很高。
[0092]
基于色差或色比恒定假设的算法中，需要建立一系列理论假设，包括局部色比恒定(r/g和b/g恒定)、局部色差恒定(r－g和b－g恒定)、色比梯度、色差梯度等，但这些理论假设在图像的部分区域不成立，导致出现伪彩现象。
[0093]
基于引导滤波和残差的算法是将引导滤波引入去马赛克方法，并提出了残差插值(residual interpolation，ri)的概念。该算法能够取得优良的图像质量，伪彩和拉链效应等大大减少，但该算法中使用的引导滤波计算比较复杂，其中涉及除法运算和大量乘法运算，asic硬件实现成本高。
[0094]
本技术提供的图像处理装置、成像设备、方法、电子设备及存储介质，旨在解决现有技术的如上技术问题。
[0095]
下面通过对几个示例性实施方式的描述，对本技术实施例的技术方案以及本技术的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
[0096]
图3为本技术实施例提供的一种图像处理装置的结构示意图，如图3所示，该装置包括：
[0097]
通道差异值确定模块101，用于确定原始图像的目标像素点的通道差异值；其中，通道差异值包括引导通道与待引导通道之间的平均色差值。
[0098]
具体地，根据引导滤波公式p＝a*i+b，其中i为引导通道，p为待引导通道，在引导通道的像素值已知的情况下，可以通过上述引导滤波公式恢复待引导通道。
[0099]
本技术实施例中，原始图像可为待恢复的bayer图像，即原始图像中每个像素点值只包括单个通道的像素值；将原始图像中的任一像素点作为目标像素点，该目标像素点当
前所包括的颜色通道定义为引导通道，即目标像素点在引导通道上的像素值是已知的；该目标像素点缺失的颜色通道定义为待引导通道，即目标像素点在待引导通道上的像素值是缺失的。例如，目标像素点r1的引导通道为r通道，待引导通道为g通道和b通道，则目标像素点r1只包括r通道上的像素值，g通道和b通道上的像素值的缺失的。
[0100]
目标像素点的通道差异值用于表征引导通道与待引导通道之间的差异，通道差异值可以包括引导通道与待引导通道之间的平均色差值。
[0101]
其中，可以将用于表征引导通道特性的引导通道像素值，与用于表征待引导通道特性的待引导通道像素值的差值作为通道差异值；引导通道像素值可以基于目标像素点周围的通道类型与目标像素点的引导通道相同的像素点确定，待引导通道像素值可以基于目标像素点周围的通道类型与目标像素点的待引导通道相同的像素点确定。
[0102]
引导滤波系数确定模块102，用于根据通道差异值以及预设的第一对应关系，确定引导滤波系数；其中，引导滤波系数包括色比系数和色差系数；第一对应关系包括平均色差值与色比系数之间的对应关系。
[0103]
具体地，根据引导滤波公式p＝a*i+b，为计算待引导通道p的像素值，除需要已知引导通道i的像素值之外，还需要已知引导滤波系数a、b，其中a为色比系数，b为色差系数。
[0104]
基于上述引导滤波公式可知：
[0105]
当a＝0，则p＝b，此时i通道不参与计算，p通道的估计不借助与i通道之间的关系，而取决于p通道本身；
[0106]
当a＝1，则p＝i+b，引导滤波公式即为色差公式，p通道的估计借助与i通道之间的色差关系；
[0107]
当b＝0，则p＝a*i，引导滤波公式即为色比公式，p通道的估计借助与i通道之间的色比关系。
[0108]
因此，当引导通道与待引导通道之间的相关性较大时，即引导通道与待引导通道之间的平均色差值较小时，色比系数a较大，使得待引导通道的估计更多地依赖于引导通道；当引导通道与待引导通道之间的相关性较小时，即引导通道与待引导通道之间的平均色差值较大时，色比系数a较小，使得待引导通道的估计更少地依赖于引导通道。
[0109]
基于引导通道与待引导通道之间的平均色差值，和色比系数之间的第一对应关系，即可根据引导通道与待引导通道之间的平均色差值，即通道差异值，确定色比系数。其中，第一对应关系可以表示为平均色差值与色比系数之间的函数关系，也可以表示为平均色差值与色比系数之间的关系表，本技术实施例在此不做限定，本技术中，第一对应关系可以为本领域技术人员预先基于经验，通过对大量图像数据进行分析确定出。
[0110]
现有技术中通常是采用最小二乘法，计算引导滤波系数，但是该方法中涉及除法运算和大量乘法运算，计算复杂度高，asic硬件实现成本高。本技术实施例中，根据第一对应关系，确定引导滤波系数，避免了现有技术中计算引导滤波系数所需的除法和大量乘法运算，简化了计算度，大大降低了asic硬件成本，适用范围更广；同时，对于色差或色比恒定假设不成立的区域，减少了伪彩现象和拉链效应，能够改善上述区域的图像恢复效果，进而提高了恢复图像的图像质量。
[0111]
图像恢复模块103，用于根据引导滤波系数，对原始图像进行待引导通道的恢复处理，得到目标图像。
[0112]
具体地，在得到引导滤波系数之后，基于引导滤波公式，即可根据引导通道的像素值，计算待引导通道的像素值。其中，可以将r、g、b三个通道中任一通道作为待引导通道，并从另外两个通道中选取一个作为引导通道。进一步地，可以依次将r、g、b通道作为待引导通道，恢复出r、g、b通道的像素值，然后将三个通道的像素值叠加，即可将原始的bayer图像恢复为rgb图像，即目标图像。
[0113]
可选地，由于cfa配置有包括1个红光、1个蓝光和2个绿光滤波器(25％r，25％b，50％g)，因此bayer图像中在g通道有像素值的像素点占1/2，在r或b通道有像素值的像素点各占1/4。在此基础上，可以先恢复g通道，再恢复另外r、b通道两个通道，也就是说，可以先将r或b通道为引导通道，恢复得到各个像素点在g通道上的像素值；再将已恢复的g通道为引导通道，得到各个像素点在r或b通道上的像素值。
[0114]
需要说明的是，在对原始图像恢复的过程中，可以以目标像素点为单位进行处理，即依次将每个像素点作为目标像素点，计算出每个像素点在三个通道上的像素值；也可以以目标像素点的邻域区域为单位进行处理，即先恢复该邻域区域在任一通道上的像素值，再依次恢复该邻域区域在其他通道上的像素值；还可以以整幅原始图像为单位进行处理，即先恢复整个原始图像在任一通道上的像素值，再依次恢复整个原始图像在其他通道上的像素值，本技术实施例在此不做限定。
[0115]
本技术实施例中，通过确定原始图像的目标像素点的通道差异值，并根据通道差异值以及预设的第一对应关系，确定引导滤波系数，避免了现有技术中计算引导滤波系数所需的除法和大量乘法运算，简化了计算度，大大降低了asic硬件成本，适用范围更广；同时，对于色差或色比恒定假设不成立的区域，减少了伪彩现象和拉链效应，能够改善上述区域的图像恢复效果，进而提高了目标图像的图像质量。
[0116]
作为一种可选实施例，引导滤波系数确定模块102包括：
[0117]
色比系数确定子模块，用于根据通道差异值以及预设的第一对应关系，确定与通道差异值对应的色比系数；
[0118]
色差系数确定子模块，用于根据色比系数以及预设的第二对应关系，确定色差系数；其中，第二对应关系包括色比系数与色差系数之间的对应关系。
[0119]
具体地，引导滤波系数包括色比系数和色差系数，第一对应关系用于反映通道差异值与色比系数之间的关系，因此，可以根据通道差异值以及第一对应关系，确定与通道差异值对应的色比系数。
[0120]
引导滤波公式p＝a*i+b，可变形为b＝p-a*i，在引导通道像素值和待引导通道像素值已知的情况下，根据上述引导滤波公式的变形，即可根据色比系数，确定色差系数，其中，将色比系数与色差系数之间的对应关系作为第二对应关系。
[0121]
例如，将g通道作为待引导通道，将r或b通道作为引导通道，将引导通道记为i，可以根据如下公式计算色差系数b：
[0122]
b＝g_mean-a*i_mean
ꢀꢀꢀ
公式(1)
[0123]
式中，g_mean为待引导像素值，i_mean为引导像素值，a为色比系数。
[0124]
可选地，可以根据色比系数，与引导像素值与待引导像素值之比的大小关系，对色比系数进行修正。
[0125]
具体通过如下公式对色比系数进行修正：
[0126]
其中k∈[1，2]
ꢀꢀꢀ
公式(2)
[0127]
式中，k为修正系数。
[0128]
作为一种可选实施例，第一对应关系包括：平均色差查找表和/或通道差异值与色比系数之间的线性函数；
[0129]
其中，平均色差查找表中包括与通道差异值对应的色比系数。
[0130]
具体地，第一对应关系可以表示为平均色差查找表，其中，平均色差查找表可以包括通道差异值，以及与通道差异值对应的色比系数。可选地，可以通过对预设通道差异值和预设色比系数进行插值，得到平均色差查找表。
[0131]
第一对应关系还可以表示为通道差异值与色比系数之间的线性函数，其中，通道差异值与色比系数之间的线性函数可以是基于通道差异值的最大值与最小值，以及与其对应的色比系数的最大值和最小值确定的。当第一对应关系表示为线性函数时，无需借助平均色差查找表，节省了查表的资源。
[0132]
可选地，由于当平均色差值较大时，色比系数可以取较小的值；当平均色差值较小时，色比系数可以取较大的值，在此基础上，可以设置平均色差阈值thr0和thr1，当平均色差值小于thr0，色比系数取最大值a_max；当平均色差值大于thr1时，色比系数取最小值a_min。例如，a_max为1，a_min为0。
[0133]
当平均色差值在thr0和thr1之间时，可以通过平均色差查找表确定色比系数a，也可以通过平均色差与色比系数之间的线性函数确定色比系数a，其中，线性函数是通过对平均色差阈值thr0和thr1，以及色比系数最大值a_max和色比系数最小值a_min进行线性过度确定的。
[0134]
图4为本技术实施例提供的平均色差值与色比系数之间的关系的示意图，如图4所示，平均色差值diff_mean的范围为thr0至thr1，色比系数a的范围为a_min至a_max，当平均色差值小于thr0，色比系数取最大值a_max；当平均色差值大于thr1时，色比系数取最小值a_min；当平均色差值在thr0至thr1之间时，与色比系数a呈现线性关系。
[0135]
作为一种可选实施例，通道差异值确定模块101包括：
[0136]
像素点确定子模块，用于确定目标像素点的第一邻域以及确定第一邻域内的引导像素点以及待引导像素点；
[0137]
通道差异值确定子模块，用于根据引导像素点以及待引导像素点的像素值之差，确定通道差异值。
[0138]
具体地，基于目标像素点，确定目标像素点的第一邻域，其中，第一邻域可以为目标像素点为中心，以预设长度为长宽的矩形区域，例如5
×
5、7
×
7、9
×
9，本技术实施例对第一邻域的大小不做限定。
[0139]
引导通道和待引导通道是根据目标像素点确定的，将目标像素点当前所包括的颜色通道定义为引导通道，目标像素点缺失的颜色通道定义为待引导通道。第一邻域可以包括引导像素点和待引导像素点，引导像素点为通道类型为引导通道的像素点，待引导像素点为通道类型为待引导通道的像素点。
[0140]
根据第一邻域内的引导像素点的像素值，确定引导像素值；根据第一邻域内的待引导像素点的像素值，确定待引导像素值；根据引导像素值与待引导像素值之差，确定通道
差异值。
[0141]
其中，可以将第一邻域包括的引导像素点的像素值的平均值作为引导像素值，将第一邻域内的待引导像素点的像素值的平均值作为待引导像素值。例如，可以对多个引导像素点或待引导像素点的像素值直接求平均值，也可以对多个引导像素点或待引导像素点的像素值进行加权平均，本技术实施例在此不做限定。
[0142]
图5为本技术实施例提供的第一邻域的示意图，下面以图5作为示例进行说明，如图5所示，目标像素点为i，第一邻域为以i为中心的5
×
5邻域(i可以表示r或b通道)，则引导通道像素值i_mean和待引导通道像素值为g_mean可以通过如下公式计算：
[0143][0144][0145]
进而可以通过如下公式计算平均色差值diff_mean：
[0146]
diff_mean＝|i_mean-g_mean|
ꢀꢀꢀ
公式(5)
[0147]
作为一种可选实施例，图像恢复模块103包括：
[0148]
第一恢复值确定子模块，用于根据引导滤波系数，确定目标像素点在待引导通道上的第一恢复值；
[0149]
第二恢复值确定子模块，用于根据目标像素点的第一恢复值，确定目标像素点在非目标引导通道上的第二恢复值；其中，非目标引导通道为与目标像素点的通道类型不同的引导通道；
[0150]
目标图像确定子模块，用于根据目标像素点的第一恢复值和第二恢复值，确定目标图像。
[0151]
具体地，由于原始图像中的像素点只有单个通道的像素值，为恢复为rgb图像，则需要恢复每个像素点缺失的两个通道的像素值。在确定待引导通道以及引导通道之后，可以基于目标像素点在引导通道的像素值，以及引导滤波系数和引导滤波公式，计算出目标像素点在待引导通道上的像素值，即第一恢复值。此时，目标像素点在引导通道以及待引导通道上的像素值均为已知，在此基础上，可以根据目标像素点的第一恢复值，继续恢复目标像素点在非目标引导通道上的第二恢复值。
[0152]
其中，将目标像素点的通道类型作为目标引导通道，非目标引导通道为与目标引导通道的类型不同的引导通道。例如，g通道为待引导通道，目标像素点的通道类型为r通道，则非目标引导通道为b通道。
[0153]
可选地，将非目标引导通道作为新的待引导通道，基于上述实施例描述的步骤，计算出新的引导滤波系数，进而根据目标像素点的像素值或第一恢复值，计算出目标像素点在非目标引导通道上的像素值，即第二恢复值。
[0154]
例如，待引导通道为g通道，目标引导通道为r通道，非目标引导通道为b通道，则可以首先计算目标像素点在g通道上的第一恢复值。此时，目标像素点在g通道和r通道上的像素值均已知，进而可以将b通道作为新的待引导通道，同时将g通道或r通道作为引导通道，计算出目标像素点在b通道上的第二恢复值。
[0155]
可选地，根据目标像素点的第一恢复值，以及非目标引导通道与待引导通道之间的通道差异值，计算目标像素点的第二恢复值。
[0156]
例如，待引导通道为g通道，目标引导通道为r通道，非目标引导通道为b通道，则可以首先计算目标像素点在g通道上的第一恢复值，同时可以恢复原始图像中非g像素点在g通道上的像素值。在此基础上，可以根据原始图像中像素点在g通道上的像素值，确定g通道与b通道之间的通道差异值，进而计算目标像素点在b通道上的第二恢复值。
[0157]
需要说明的是，引导通道是相对于待引导通道而言的，即与待引导通道类型不同的通道类型均为引导通道。例如，当g通道为待引导通道时，则r通道和b通道均为引导通道；当r通道为待引导通道时，则g通道和b通道均为引导通道。
[0158]
在得到目标像素点的第一恢复值和第二恢复值，即获得目标像素点在r、g、b三个通道上的像素值，可以对原始图像中每个像素点均执行上述步骤，即可恢复原始图像中每个像素点在三个通道上的像素值，将原始图像中每个像素点在三个通道上的像素值叠加，就可以将原始的bayer图像恢复为rgb图像，即目标图像。
[0159]
作为一种可选实施例，第一恢复值确定子模块，包括：
[0160]
第二邻域确定单元，用于确定目标像素点的第二邻域；
[0161]
目标插值方向确定单元，用于对第二邻域内的待引导像素点进行插值，得到目标插值方向；
[0162]
第一恢复值确定单元，用于将目标插值方向对应的像素值作为目标像素点的第一恢复值。
[0163]
具体地，为进一步准确的计算目标像素点在待引导通道上的像素值，可以基于目标引导像素点，确定第二邻域；其中，第二邻域可以为目标像素点为中心，以预设长度为长宽的矩形区域，例如3
×
3、5
×
5、7
×
7，本技术实施例对第二邻域的大小不做限定，第二邻域可以包括引导像素点和待引导像素点。
[0164]
通过对第二邻域中的引导像素点进行插值，得到待引导像素点在引导通道上的像素值。将待引导像素点在引导通道上的像素值代入引导滤波公式，可以计算出待引导像素点在待引导通道上的估计值。由于待引导像素点的像素值即为待引导通道的像素值，根据待引导像素点在待引导通道上的像素值和估计值，可以确定待引导像素点的残差值。
[0165]
根据待引导像素点的残差值，计算目标像素点在至少两个方向上的残差插值，以及目标像素点在上述至少两个方向上的通道初始值。随即计算目标像素点在上述至少两个方向上的色差梯度和，并根据上述至少两个方向上的色差梯度和，确定目标插值方向，将目标插值方向对应的像素值作为目标像素点的第一恢复值。
[0166]
下面以g通道为待引导通道，以r或b通道为引导通道，记引导通道为i，作为示例进行说明。
[0167]
在图5的基础上，目标像素点i的第二邻域为以i为中心的3
×
3邻域，
[0168]
(1)通过一阶插值计算第二邻域中g像素点在i通道上的像素值：
[0169][0170]
式中，i2、i5、i0、i7为像素点i2、i5、i0、i7在i通道上的像素值，在i通道上的像素值，为像
素点g3、g4、g1、g6在i通道上的像素值；
[0171]
(2)根据引导滤波公式，对上述g像素点进行估计：
[0172][0173]
式中，为像素点g3、g4、g1、g6在g通道上的估计值；
[0174]
(3)计算上述g像素点的残差：
[0175][0176]
式中，g3、g4、g1、g6为像素点g3、g4、g1、g6在g通道上的像素值，δg3、δg4、δg1、δg6为g3、g4、g1、g6在g通道上的残差值；
[0177]
(4)计算目标像素点在水平方向和垂直方向上的残差插值：
[0178][0179]
式中，δgh为目标像素点在水平方向上的残差插值，δgv为目标像素点在垂直方向上的残差插值；
[0180]
其中，可以选取水平方向和垂直方向，也可以从上、下、左、右、左上、左下、右上、右下等选取至少两个方向进行计算，本技术实施例在此不做限定。
[0181]
(5)计算目标像素点的水平和垂直方向的g通道的初始值：
[0182][0183]
式中，为目标像素点基于引导滤波公式计算得到的在g通道上的估计值，gh为目标像素点在水平方向的g通道初始值，gv为目标像素点在垂直方向的g通道初始值。
[0184]
根据上述步骤，可以得到目标像素点第一邻域内所有非g像素点的水平和垂直方向的g通道的初始值，进而需要判断目标像素点的目标插值方向，以求得第一恢复值。
[0185]
(1)计算目标像素点的水平和垂直方向的色差梯度和；
[0186]
a.计算目标像素点第一邻域内所有非g像素点的色差值：
[0187][0188]
式中，δh(y，x)为坐标(y，x)的像素点与目标像素点在i通道与g通道在水平方向
上的色差值，δv(y，x)为坐标(y，x)的像素点与目标像素点在i通道与g通道在垂直方向上的色差值，i(y，x)为坐标(y，x)的像素点在i通道上的像素值，gh(y，x)为坐标(y，x)的像素点在水平方向的g通道初始值，gv(y，x)为坐标(y，x)的像素点在垂直方向的g通道初始值；
[0189]
b.按水平和垂直方向计算相邻两色差值的梯度值:
[0190][0191]
式中，dh(y，x)表示(y，x)位置的像素点在水平方向上i与g之间的色差梯度；δh(y，x-1)、δh(y，x+1)分别表示与(y，x)水平相邻的(y，x-1)、(y，x+1)位置上的两个像素点在水平方向上i通道像素值与g通道像素值之间的色差；
[0192]dv
(y，x)表示(y，x)位置的像素点在垂直方向上i与g之间的色差梯度；δv(y-1，x)-δv(y+1，x)分别表示与(y，x)垂直相邻的(y-1，x)、(y+1，x)位置上的两个像素点在垂直方向上i通道像素值与g通道像素值之间的色差；
[0193]
c.计算水平和垂直方向的色差梯度和：
[0194][0195]
式中，sum_dh为水平方向上的色差梯度和，sum_dv为垂直方向上的色差梯度和。
[0196]
(2)判断目标像素点的目标插值方向，进而计算目标像素点第一邻域内所有非g像素点在g通道上的像素值；
[0197]
将选择色差梯度和小的方向为目标像素点的目标插值方向，将目标插值方向对应的像素值作为在g通道上的像素值，以中心i像素点为例：
[0198][0199]
进一步地，可以将目标插值方向作为目标像素点的第一邻域内非g像素点的插值方向。
[0200]
作为一种可选实施例，第二恢复值确定子模块，包括：
[0201]
第三邻域确定单元，用于确定目标像素点的第三邻域；
[0202]
非目标通道差异值确定单元，用于根据第三邻域内的非目标引导像素点，确定非目标通道差异值；其中，非目标通道差异值包括非目标引导通道与待引导通道之间的平均色差值；
[0203]
第二恢复值确定单元，用于根据目标像素点的第一恢复值以及非目标通道差异值，确定目标像素点的第二恢复值。
[0204]
具体地，在目标像素点已经恢复了待引导通道上的像素值之后，可以同时恢复原始图像中引导像素点在待引导通道上的像素值。此时，为进一步恢复非目标引导通道，可以基于目标像素点，确定目标像素点的第三邻域，其中，第三邻域可以为目标像素点为中心，以预设长度为长宽的矩形区域，例如3
×
3、5
×
5、7
×
7，本技术实施例对第三邻域的大小不
做限定。
[0205]
基于第三邻域中非目标引导像素点，确定非目标通道差异值。其中，非目标通道差异值为非目标引导通道与待引导通道之间的平均色差值。非目标通道差异值可以通过第三邻域中非目标引导像素点在非目标引导通道与待引导通道上的像素值之差确定。
[0206]
由于非目标通道差异值反映的是待引导通道与非目标引导通道之间的差异，在目标像素点在待引导通道上的像素值已知的情况下，根据目标像素点的第一恢复值以及非目标通道差异值，可以得到目标像素点在非目标引导通道上的第二恢复值。
[0207]
图6为本技术实施例提供的第三邻域的示意图，如图6所示，目标像素点的通道类型为r通道，待引导通道为g通道，非目标待引导通道为b通道，在目标像素点的g通道的像素值恢复的前提下，为进一步恢复目标像素点在b通道上的像素值，取第三邻域为3
×
3的区域，具体步骤如下：
[0208]
(1)计算目标像素点第三邻域内非目标引导像素点的色差值：
[0209][0210]
式中，g0、g1、g2、g3为像素点b0、b1、b2、b3在g通道上的恢复值，diff0、diff1、diff2、diff3为像素点b0、b1、b2、b3在g通道和b通道之间的色差值；
[0211]
(2)计算色差均值：
[0212][0213]
(3)计算目标像素点r的在b通道上的像素值：
[0214]
b＝g+diff
avg
ꢀꢀꢀ
公式(17)
[0215]
式中，g为目标像素点r在g通道上的恢复值。
[0216]
需要说明的是，由于bayer图像中g通道对应的像素点所占的比例更大，所以本技术实施例提供的方法适用于在g通道恢复之后，继续恢复r或b通道的情况。
[0217]
相比于将r或b通道作为新的待引导通道重新进行计算，本技术实施例中，通过确定非目标通道差异值，并根据目标像素点的第一恢复值以及非目标通道差异值，确定目标像素点的第二恢复值，减小了计算的复杂度，进一步降低了asic硬件成本。
[0218]
作为一种可选实施例，本技术实施例提供一种成像设备，该设备包括上述实施例提供的图像处理装置和图像采集装置，其中，图像采集装置可以用于获取原始图像，图像采集装置可以为任意类型的图像采集器件，例如cmos图像传感器、ccd图像传感器等，本技术实施例对图像采集装置的类型不作具体限定。
[0219]
作为一种可选实施例，本技术实施例提供的图像处理方法包括以下步骤：
[0220]
对于输入的原始图像，可以采用“滑动窗口”的方式扫描图像，得到该窗口区域；例如，以垂直方向步长为1、水平方向步长为2滑动窗口，相应的，以两个像素点为单位进行滑动。当以r和b通道为引导，恢复得到各个像素点在g通道的像素值时，该目标像素点可以为该两个像素点中不包括在g通道的像素值的像素点。例如，中心两像素点包括一个r像素点(即包括r通道像素值的像素点，在此简称为r像素点)和一个g像素点(即包括g通道像素值
的像素点，在此简称为g像素点)，以上述两个像素点为中心取一个9
×
10大小的窗口区域，图7为本技术实施例提供的窗口区域的示意图，图7中黑色粗线的矩形区域为滑动窗口区域。
[0221]
另外，对于位于图像边界的像素点，在采用滑动窗扫描图像时，该窗口区域时可能超出图像区域，此时可以采样采用镜像方式，对窗口区域中落在图像边界之外的区域进行填充。
[0222]
在每个滑动窗口内，以中心两像素点(r，g)为例，对中心两像素点进行处理的步骤包括：
[0223]
(1)对g通道进行插值；
[0224]
(1.1)计算目标像素点的平均色差值；
[0225]
计算以r或b像素点为目标像素点，第一邻域大小为5
×
5的区域内所有r或b通道和g通道的均值。当以r像素点为目标像素点时，可以基于第一邻域内坐标为(2，2)，(2，4)，(2，6)，(4，2)，(4，4)，(4，6)，(6，2)，(6，4)，(6，6)的r通道的像素点，计算r通道像素值r_mean；当以b像素点为目标像素点时，可以基于第一邻域内坐标为(3，3)，(3，5)，(3，7)，(5，3)，(5，5)，(5，7)的b通道的像素点，计算b通道像素值b_mean。
[0226]
同时，可以基于第一邻域内g像素点，计算g通道像素值g_mean，进而可以计算得到r通道与g通道之间的平均色差值，或b通道与g通道之间的平均色差值。
[0227]
(1.2)计算色比系数a和色差系数b；
[0228]
对于每个目标像素点，在得到平均色差值之后，可以基于平均色差查找表或者平均色差与色比系数之间的线性关系，得到色比系数a，进而可以计算得到色差系数b。
[0229]
(1.3)计算目标像素点在g通道上的估计值和残差值；
[0230]
对于每个目标像素点，可以将第二邻域设为大小为3
×
3的区域，进而计算目标像素点在g通道上的估计值和残差值。
[0231]
(1.4)计算目标像素点在水平方向和垂直方向上g通道的初始值；
[0232]
对于每个目标像素点，根据计算得到的残差值，计算目标像素点在水平方向和垂直方向上的残差插值，进而计算目标像素点在水平方向和垂直方向上g通道的初始值。
[0233]
(1.5)计算目标像素点的水平和垂直方向的色差梯度和；
[0234]
对于每个目标像素点，计算每个目标像素点的水平和垂直方向的色差，r像素点计算和b像素点计算和进而计算同行同列相邻两中心点的梯度值并求和，r像素点计算b像素点计算
[0235]
(1.6)计算目标像素点在g通道上的第一恢复值；
[0236]
对于每个目标像素点，选取较小的色差梯度和所代表的方向为目标插值方向，将目标插值方向对应的像素值作为目标像素点在g通道上的第一恢复值。
[0237]
(2)对r和b通道进行插值；
[0238]
(2.1)插值r像素点处的b通道；
[0239]
选择坐标为(4，4)的r像素点作为目标像素点，基于第三邻域大小为3
×
3的区域内的b像素点，计算b通道与g通道之间的平均色差值，进而计算坐标为(4，4)的r像素点在b通
道上的第二恢复值。
[0240]
(2.2)插值g像素点处的r和b通道
[0241]
选择坐标为(4，5)的g像素点作为目标像素点，基于第三邻域大小为3
×
3的区域内的b像素点和r像素点，计算b通道与g通道之间的平均色差值，以及r通道与g通道之间的平均色差值，进而计算坐标为(4，5)的g像素点在r和b通道上的像素值。
[0242]
需要说明的是，本技术实施例以中心两像素点(r，g)为例进行说明，中心两像素点(b，g)、(g，r)、(g，b)可以按照相同的方法处理，本技术实施例在此不再赘述。
[0243]
本技术实施例中各个步骤的详细描述可以参见前文中对应的描述，本技术实施例在此不再赘述。
[0244]
图8为本技术实施例提供的一种图像处理方法的流程示意图，如图8所示，该方法包括：
[0245]
步骤201，确定原始图像的目标像素点的通道差异值；其中，通道差异值包括引导通道与待引导通道之间的平均色差值；
[0246]
步骤202，根据通道差异值以及预设的第一对应关系，确定引导滤波系数；其中，引导滤波系数包括色比系数和色差系数；第一对应关系包括平均色差值与色比系数之间的对应关系；
[0247]
步骤203，根据引导滤波系数，对原始图像进行待引导通道的恢复处理，得到目标图像。
[0248]
作为一种可选实施例，所述根据所述通道差异值以及预设的第一对应关系，确定引导滤波系数，包括：
[0249]
根据所述通道差异值以及预设的第一对应关系，确定与所述通道差异值对应的色比系数；
[0250]
根据所述色比系数以及预设的第二对应关系，确定色差系数；其中，所述第二对应关系包括所述色比系数与所述色差系数之间的对应关系。
[0251]
作为一种可选实施例，所述确定原始图像的目标像素点的通道差异值，包括：
[0252]
确定所述目标像素点的第一邻域以及确定所述第一邻域内的引导像素点以及待引导像素点；
[0253]
根据所述引导像素点以及所述待引导像素点的像素值之差，确定通道差异值。
[0254]
作为一种可选实施例，所述第一对应关系包括：平均色差查找表和/或所述通道差异值与所述色比系数之间的线性函数；
[0255]
其中，所述平均色差查找表中包括与所述通道差异值对应的所述色比系数。
[0256]
作为一种可选实施例，所述根据所述引导滤波系数，对所述原始图像进行恢复处理，得到目标图像，包括：
[0257]
根据所述引导滤波系数，确定所述目标像素点在所述待引导通道上的第一恢复值；
[0258]
根据所述目标像素点的第一恢复值，确定所述目标像素点在非目标引导通道上的第二恢复值；其中，所述非目标引导通道为与所述目标像素点的通道类型不同的引导通道；
[0259]
根据所述目标像素点的第一恢复值和第二恢复值，确定所述目标图像。
[0260]
作为一种可选实施例，所述根据所述引导滤波系数，确定所述目标像素点在所述
programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
[0273]
存储器4003用于存储执行本技术实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。
[0274]
本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
[0275]
本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除图示或文字描述以外的顺序实施。
[0276]
应该理解的是，虽然本技术实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本技术实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本技术实施例对此不限制。
[0277]
以上所述仅是本技术部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术的方案技术构思的前提下，采用基于本技术技术思想的其他类似实施手段，同样属于本技术实施例的保护范畴。