一种Bayer传感器的超分辨率成像方法及装置

本发明属于光学成像与图像处理领域，涉及一种通过加权插值与色度、饱和度相关技术方案，对bayer传感器获取的数据进行处理，实现bayer传感器超分辨率成像。

背景技术：

1、随着成像传感器技术和图像处理技术的不断发展，成像技术越来越成熟，各种相机也铺天盖地的发展了起来，走进社会，成为人们日常生活必不可少的物品。为了降低相机制造成本，各厂商可以说是绞尽脑汁，低成本相机采用的bayer传感器是一个很有代表性的先进技术。bayer传感器采用cmos成像，主要由微透镜、彩色滤光片、光电二极管、像元处理4部分组成。光通过微透镜后被聚焦到彩色滤光片，滤光片将可见光拆分为红、绿、蓝三组成分后传递给感光元件，感光元件以bayer阵列摆放，接收拆分后的可见光，像元处理部分对bayer阵列进行整合处理形成图像。经典的bayer阵列是以2×2四格摆放绿、红、蓝、绿四组感光元件，其摆放顺序在2×2四格中通常为绿红蓝绿，也就是说2×2四格其实只是一个像元，而且红、绿、蓝感光元件是隔行隔列摆放，这样引起的问题是传感器的分辨率降低了，此外这种隔行隔列摆放感光元件的方法也将导致成像质量降低。毫无疑问相关技术人员开展了各种研究来解决以上问题，企图恢复bayer传感器的影像质量和分辨率。其中最经典的方法是对2×2四格bayer阵列进行线性插值，通过前后、上下感光元件恢复2×2四格影像的每格(也即每像元)的红、绿、蓝颜色值。线性插值可以实现影像视觉平滑，但会损失部分特征，那是否有其他方法可以更好的恢复bayer传感器的影像质量和分辨率呢，本发明就是针对这个问题而开展的研究。

2、相关术语：

3、bayer拜耳编码方法

4、cmos金属氧化物半导体成像技术

技术实现思路

1、针对bayer传感器成像质量和分辨率降低问题，本发明提出一种通过加权插值与色度、饱和度相关技术方案对bayer传感器获取的数据进行处理，实现bayer传感器超分辨率成像，即提出一种bayer传感器的超分辨率成像方法。

2、本发明技术方案为一种bayer传感器的超分辨率成像方法，基于加权插值与色度、饱和度对bayer传感器获取的数据进行处理，实现bayer传感器超分辨率成像，实现过程包括如下步骤，

3、步骤1，对影像4个角上的像元直接克隆最邻近颜色值；

4、步骤2，加权插值影像其他每个像元的颜色值，包括以2×2四格作为基本成像单元，将待恢复像元的红、绿、蓝颜色值作为未知数，根据bayer传感器记录的红、绿、蓝颜色值和色彩组成关系建立关系方程，获取方程解表达式，实现加权插值；

5、步骤3，影像像元颜色值的再次优化处理，包括根据成像单元内色度、饱和度不变特性，进行对应的rgb与ihs转换实现再次优化；

6、步骤4，影像像元颜色值的增强处理，包括通过低通滤波器和边缘增强器进行增强，得到相应像元的超分辨率成像结果。

7、而且，步骤2中，对影像中每个像元采用以下步骤实现加权插值，

8、步骤2.1，以该像元所属的2×2四格为处理单元，将2×2四格记录的红、绿、蓝颜色值标记为g、r、b、gg，并将2×2四格标记为格1，格2，格3，格4；

9、步骤2.2，对2×2四格的格1，其记录的颜色是g，设需要恢复的颜色分量是r1、b1，针对r1，与格1最邻近的两个像元记录的颜色值分别为r、r1’，其平均值记为avr1，针对b1，与格1最邻近的两个像元记录的颜色值分别为b、b1’，其平均值记为avb1，设待恢复颜色分量r1、b1的误差是dr1、db1，则加权插值公式为：

10、r1+dr1＝(r+avr1)/2＝(3r+r1’)/4

11、b1+db1＝(b+avb1)/2＝(3b+b1’)/4

12、其中，r1’和b1’是与格1像元相邻像元的颜色值；

13、步骤2.3，对2×2四格的格2，格3，格4，设需要恢复的颜色分量相应是r2、b2，r3、b3，r4、b4，采用与格1类似的处理，相应加权插值公式分别是：

14、g2+dg2＝(g+avg2)/2＝(3g+g2’)/4

15、b2+db2＝(b+avb2)/2＝(3b+b2’)/4

16、r3+dr3＝(r+avr3)/2＝(3r+r3’)/4

17、g3+db3＝(g+avg3)/2＝(3g+g3’)/4

18、r4+dr4＝(r+avr4)/2＝(3r+r4’)/4

19、b4+db4＝(b+avb4)/2＝(3b+b4’)/4

20、其中，g2’和b2’是与格2像元相邻像元的颜色值,r3’和g3’是与格3像元相邻像元的颜色值，r4’和b4’是与格4像元相邻像元的颜色值；avg2、avb2、avr3、avg3、avr4、avb4是r2、b2、r3、b3、r4、b4相应最邻近的两个像元的平均值，dg2、db2、dr3、db3、dr4、db4是r2、b2、r3、b3、r4、b4相应误差。

21、而且，步骤3中，像元颜色值的再次优化处理方法为：

22、步骤3.1，以像元所属的2×2四格为处理单元，将原始记录的g、r、b转换到ihs空间，分量记为i，h，s；采用右乘三角近似转换矩阵公式进行处理，记rgb转ihs的矩阵为a，

23、计算公式为：

24、(i，h，s)＝a×(r，g，b)

25、展开式：

26、i＝a[0][0]×r+a[0][1]×g+a[0][2]×b

27、h＝a[1][0]×r+a[1][1]×g+a[1][2]×b

28、s＝a[2][0]×r+a[2][1]×g+a[2][2]×b

29、ihs转换回rgb的矩阵为a的逆矩阵，记为a-1，由于a是正交矩阵，逆矩阵就是其转置矩阵，记为at，计算公式为：

30、(r，g，b)＝at×(i，h，s)

31、展开式：

32、r＝a[0][0]×i+a[1][0]×h+a[2][0]×s

33、g＝a[0][1]×i+a[1][1]×h+a[2][1]×s

34、b＝a[0][2]×i+a[1][2]×h+a[2][2]×s

35、步骤3.2，将2×2四格标记为格1，格2，格3，格4，对格1做如下处理：将格1的颜色分量r1+dr1、g、b1+db1作为行向量，与矩阵a相乘转换到ihs空间，转换结果分别记为i1、h1、s1；为确保该处理单元内色度和饱和度一致，直接将h1、s1替换为2×2四格的h、s，然后用i1、h、s与at相乘得到新的r1”、g1”、b1”，作为优化后格1的三个颜色分量，计算过程日系：

36、(i1，h1，s1)＝a×(r1+dr1，g，b1+db1)

37、(r1”，g1”，b1”)＝at×(i1，h、s)

38、步骤3.3，同理对格2，格3，格4，采用与格1类似的处理，获得优化后的格2，格3，格4颜色分量记为r2”，g2”，b2”、r3”，g3”，b3”、r4”，g4”，b4”。

39、其中格2的计算公式为：

40、(i2，h2，s2)＝a×(r，g2+dg2，b2+db2)

41、(r2”，g2”，b2”)＝at×(i2，h、s)

42、其中格3的计算公式为：

43、(i3，h3，s3)＝a×(r3+dr3，g3+dg3，b)

44、(r3”，g3”，b3”)＝at×(i3，h、s)

45、其中格4的计算公式为：

46、(i4，h4，s4)＝a×(r1+dr1，gg，b1+db1)

47、(r4”，g4”，b4”)＝at×(i4，h、s)

48、其中，(i2，h2，s2)、(i3，h3，s3)、(i4，h4，s4)为格2、3、4的颜色分量分别与矩阵a相乘转换到ihs空间的转换结果。

49、而且，步骤4中，影像像元颜色值增强处理的方法为：

50、步骤4.1，设计一个低通滤波器h对3个颜色分量分别进行平滑处理，

51、计算公式为：

52、p(i，j)＝g(i-1，j-1)×h(0，0)+g(i-1，j)×h(0，1)+g(i-1，j+1)×h(0，2)+

53、g(i，j-1)×h(1，0)+g(i，j)×h(1，1)+g(i，j+1)×h(1，2)+

54、g(i+1，j-1)×h(2，0)+g(i+1，j)×h(2，1)+g(i+1，j+1)×h(2，2)

55、公式中h(i，j)是滤波器的元素，i、j是元素序号，g(i，j)是行号为i，列号为j的影像像元的r、g、b分量的数值，p(i，j)是行号为i，列号为j的像元处理结果；

56、步骤4.2，设置一个边缘增强器对3个颜色分量分别进行边缘增强处理，

57、具体计算公式为：

58、q(i，j)＝g(i-1，j-1)×f(0，0)+g(i-1，j)×f(0，1)+g(i-1，j+1)×f(0，2)+

59、g(i，j-1)×f(1，0)+g(i，j)×f(1，1)+g(i，j+1)×f(1，2)+

60、g(i+1，j-1)×f(2，0)+g(i+1，j)×f(2，1)+g(i+1，j+1)×f(2，2)

61、公式中f(i，j)是滤波器的元素，i、j是元素序号，g(i，j)是行号为i，列号为j的影像像元的r、g、b分量的数值，q(i，j)是行号为i，列号为j的像元处理结果。

62、而且，利用dsp芯片完成超分辨率成像实现过程。

63、另一方面，本发明提供一种计算机装置/设备/系统，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如上所述基于方向可调滤波特征的多模态图像匹配方法的步骤。

64、另一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述基于方向可调滤波特征的多模态图像匹配方法的步骤。

65、另一方面，本发明提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述基于方向可调滤波特征的多模态图像匹配方法的步骤。

66、与现有技术相比，本发明具有如下优点：

67、(1)传统的bayer传感器对隔行、隔行像元恢复方式采用线性插值，本发明先提出推导加权插值公式，并利用加权插值增强了相机成像质量。

68、(2)有效利用bayer传感器的优势，通过rgb与his的转换，确保成像单元内色度、饱和度不变，提高相机成像质量。

69、(3)便于硬件实现，所有处理都采用矩阵表达，可以直接利用dsp芯片的相关硬件函数完成处理。