图像传感器、图像生成方法、摄像头模组及电子设备与流程

文档序号:32004425发布日期:2022-11-02 12:31阅读:31来源:国知局
图像传感器、图像生成方法、摄像头模组及电子设备与流程

1.本发明实施例涉及图像处理领域,尤其涉及一种图像传感器、图像生成方法、摄像头模组及电子设备。


背景技术:

2.随着科技的不断发展,人们对照片拍摄的质量要求越来越高,如何提升照片的拍摄质量成为了各个厂家争相研究的热门问题。
3.相关技术中,为了提升照片的拍摄质量,通常会在拍摄设备上设置多颗具有不同滤色阵列摄像头,滤色阵列用于调整感光元件接收的光线颜色,例如,可以设置1颗彩色滤色阵列的彩色摄像头和1颗单色滤色阵列的单色摄像头,通过彩色摄像头采集色彩信息充足但通光量较差的彩色图像,通过单色摄像头采集色彩信息不足但通光量较好的单色图像,再将两种图像的像素进行对齐和匹配,最后通过图像合成的方式取得质量较好的照片。
4.上述方法在像素对齐和匹配的过程中,由于不同摄像头之间结构和工艺的偏差,难以保证良好的像素对齐效果,容易导致多张图像的合成的效果不佳。


技术实现要素:

5.本发明实施例提供一种图像传感器、图像生成方法、摄像头模组及电子设备,可以基于不同滤色阵列的多张图像进行图像合成,在合成过程中无需进行像素对其,避免了像素对齐过程影响合成效果,提升了图像合成的效果和效率。
6.第一方面,本发明实施例提供了一种图像传感器,该图像传感器包括:
7.感光层、多个滤色层,和与所述多个滤色层连接的驱动单元;
8.所述多个滤色层叠加设置在所述感光层的受光面;
9.所述驱动单元用于驱动所述多个滤色层之间的相对位置发生改变。
10.第二方面,本发明实施例提供了一种图像生成方法,应用于电子设备,该电子设备包括第一方面的图像传感器,该方法包括:
11.获取所述图像传感器的感光层采集的第一图像;
12.控制所述图像传感器的驱动单元驱动所述多个滤色层之间的相对位置发生至少一次改变;
13.在每次改变所述多个滤色层之间的相对位置后,获取所述感光层采集的第二图像,得到至少一张第二图像;
14.基于所述第一图像和所述至少一张第二图像,生成目标图像。
15.第三方面,本发明实施例提供了一种图像生成装置,该装置包括:
16.第一获取模块,用于获取所述图像传感器的感光层采集的第一图像;
17.控制模块,用于控制所述图像传感器的驱动单元驱动多个滤色层之间的相对位置发生至少一次改变;
18.第二获取模块,用于在每次改变所述多个滤色层之间的相对位置后,获取所述感
光层采集的第二图像,得到至少一张第二图像;
19.生成模块,用于基于所述第一图像和所述至少一张第二图像,生成目标图像。
20.第四方面,本发明实施例提供了一种摄像头模组,该摄像头模组包括上述第一方面的图像传感器。
21.第五方面,本发明实施例还提供了一种电子设备,包括上述第四方面的摄像头模组。
22.第六方面,本发明实施例提供了另一种图像传感器,该图像传感器包括:
23.感光层、目标滤色层,和与所述目标滤色层连接的驱动单元;
24.所述目标滤色层设置在所述感光层的受光面;
25.所述驱动单元用于驱动所述目标滤色层与所述感光层之间的相对位置发生改变。
26.第七方面,本发明实施例提供了另一种图像生成方法,应用于电子设备,该电子设备包括第六方面的图像传感器,该方法包括:
27.获取所述图像传感器的感光层采集的第一图像;
28.控制所述图像传感器的驱动单元驱动所述目标滤色层与所述感光层之间的相对位置发生至少一次改变;
29.在每次改变所述目标滤色层与所述感光层之间的相对位置后,获取所述感光层采集的第二图像,得到至少一张第二图像;
30.基于所述第一图像和所述至少一张第二图像,生成目标图像。
31.第八方面,本发明实施例提供了另一种图像生成装置,该装置包括:
32.第一获取模块,用于获取所述图像传感器的感光层采集的第一图像;
33.控制模块,用于控制所述图像传感器的驱动单元驱动所述目标滤色层与所述感光层之间的相对位置发生至少一次改变;
34.第二获取模块,用于在每次改变目标滤色层与所述感光层之间的相对位置后,获取所述感光层采集的第二图像,得到至少一张第二图像;
35.生成模块,用于基于所述第一图像和所述至少一张第二图像,生成目标图像。
36.第九方面,本发明实施例提供了另一种摄像头模组,该摄像头模组包括上述第六方面的图像传感器。
37.第十方面,本发明实施例还提供了另一种电子设备,包括上述第九方面的摄像头模组。
38.第十一方面,本发明实施例还提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如本发明提供的图像生成方法的步骤。
39.在本发明实施例中,图像传感器可以包括:感光层、多个滤色层,以及与滤色层连接的驱动单元;多个滤色层叠加设置在感光层的受光面;在驱动单元的驱动下,改变不同滤色层之间的相对位置关系,或改变滤色层与感光层之间的相对位置关系。使得图像传感器可以在不同滤色层位置下工作,可以改变图像传感器的滤色阵列,使电子设备可以通过图像传感器拍摄到基于不同滤色阵列的多张图像,再进行图像合成,图像传感器的滤色阵列能够机械切换以提高感光度,使一颗图像传感器能够兼顾不同滤色阵列的优势,此外,由于进行合成的图像为同一图像传感器拍摄,避免了像素对齐的过程,提升了图像合成的准确
性和效率。
附图说明
40.图1是本发明实施例提供的图像传感器结构图之一;
41.图2是本发明实施例提供的一种滤色层俯视图;
42.图3是本发明实施例提供的滤色层示意图之一;
43.图4是本发明实施例提供的滤色层移动方向示意图之一;
44.图5是本发明实施例提供的一种第一滤色阵列俯视图;
45.图6是本发明实施例提供的滤色层移动方向示意图之二;
46.图7是本发明实施例提供的一种第二滤色阵列俯视图;
47.图8是本发明实施例提供的一种静电梳齿驱动器的结构图;
48.图9是本发明实施例提供的图像生成方法的步骤流程图之一;
49.图10是本发明实施例提供的一种基于多尺度分解的图像融合流程图;
50.图11是本发明实施例提供的图像传感器结构图之二;
51.图12是本发明实施例提供的滤色层示意图之二;
52.图13是本发明实施例提供的一种第一位置关系示意图;
53.图14是本发明实施例提供的第二位置关系示意图之一;
54.图15是本发明实施例提供的第二位置关系示意图之二;
55.图16是本发明实施例提供的图像生成方法的步骤流程图之二;
56.图17是本发明实施例提供的图像生成装置的框图之一;
57.图18是本发明实施例提供的图像生成装置的框图之二;
58.图19是本发明实施例提供的一种电子设备的硬件结构示意图。
59.附图标记说明:
60.10、感光层;11、感光像素;20、多个滤色层;21、第一滤色层;22、第二滤色层;23、第三滤色层;24、目标滤色层;30、驱动单元;31、第一驱动单元;32、第二驱动单元;33、第三驱动单元;34、电源;35、固定框体;36、第一电容板;37、第一梳齿;38、第二电容板;39、第二梳齿;40、聚光层;50、布线层;61、红色滤色像素;62、绿色滤色像素;63、蓝色滤色像素;64、全透滤色像素;70、滤色像素阵列;81、第一滤色组;82、第二滤色组;83、第三滤色组;84、目标滤色组。
具体实施方式
61.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
62.图1是本发明实施例提供的图像传感器结构图之一,如图1所示,该图像传感器可以包括:感光层、多个滤色层,和与多个滤色层连接的驱动单元。
63.感光层通常也被称作光电传感器,其可以感受光线的强度并根据光线的强度输出对应的电信号,在本发明实施例中,并不限定图像传感器包括的感光层的形式,例如感光层
可以是电荷耦合器件(charge coupled device,ccd),也可以是互补金属氧化物半导体(complementary metal oxide semiconductor,cmos),还可以是其他形式。其中,感光层的一面为受光面,受光面用于接收光信号。
64.由于感光层只能感应光的强度,不能区分光的颜色(即光的波长),因此图像传感器还需要在感光层接收光线的一面(受光面)设置滤色层,滤色层的滤色像素与感光层的感光像素对应,滤色像素仅允许特定颜色(波长)的光通过,从而使感光层的感光像素接收到特定颜色的光,通过滤色像素与感光像素的对应关系,图像传感器即可获得光线的色彩信息,从而拍摄到彩色图像。
65.在本发明实施例中,如图1所示,多个滤色层叠加设置在感光层的受光面,为了保证良好的滤色效果,多个滤色层20可以完全覆盖感光层10,并与感光层10相互平行设置。如图1所示,其中包含4层的多个滤色层20,所有多个滤色层20之间可以相互堆叠且平行设置,所有多个滤色层20均可以完全覆盖感光层,且多个滤色层20可以均与感光层相互平行设置。此外,多个滤色层20上还可以覆盖有聚光层40,聚光层40由微透镜构成,每个微透镜覆盖多个滤色层20的一个滤色像素,聚光层40的微透镜可以汇聚光线,使光线更集中通过多个滤色层20的各个滤色像素,提高光线的利用率。感光层10的背光面还可以与布线层50连接,布线层50中布置有连通感光层10与处理器的信号线。
66.驱动单元用于驱动多个滤色层之间的相对位置发生改变。驱动单元与多个滤色层连接,在驱动单元的驱动下,可以改变不同滤色层之间的相对位置关系,或改变多个滤色层与感光层之间的相对位置关系。需要说明的是,一个滤色层可以连接有对应的一个或多个驱动单元,以使滤色层可以由对应的一个或多个驱动单元独立进行控制,多个滤色层也可以同时连接有对应的一个或多个驱动单元,以通过一个或多个驱动单元同时控制多个滤色层。需要说明的是,可以有一层滤色层不设置驱动单元,其他设置有驱动单元的滤色层在驱动单元的驱动下,均可以与该不设置驱动单元的滤色层相对运动,从而也可以实现改变多个滤色层与感光层之间的相对位置关系的效果。
67.参照图2,图2示出了本发明实施例提供的一种滤色层俯视图,如图2所示,驱动单元与多个滤色层的侧边连接,驱动单元用于驱动多个滤色层在垂直于侧边的方向移动。驱动单元包括与第一滤色层连接的第一驱动单元、与第二滤色层连接的第二驱动单元,和与第三滤色层连接的第三驱动单元。在第一驱动单元31的驱动下,第一滤色层21可以相对于第二滤色层22和第三滤色层23在第一方向a上平行移动,在第二驱动单元32的驱动下,第二滤色层22可以相对于第一滤色层21和第三滤色层23在第一方向a上平行移动,在第三驱动单元33的驱动下,第三滤色层23可以相对于第一滤色层21和第二滤色层22在第二方向b上平行移动。其中,第一方向a和第二方向b相互垂直。需要说明的是,上述各个滤色层的移动方向仅为示例性描述,可以根据实际需要设置各个滤色层向其所在平面的任意方向移动,每次移动的距离为一个滤色像素距离的整数倍,其中,一个滤色像素距离表示两个相邻的滤色像素中心点之间的距离,此外,上述移动方向和移动距离还可以由技术人员根据实际需要灵活调整,本发明实施例对此并不进行具体限定。
68.每个滤色层由若干滤色像素构成,这些滤色像素可以形成滤色阵列,滤色阵列也可称为色彩滤波阵列(color filter array,cfa),在光线通过滤色阵列后,可以在后方的感光层上投影出具有不同颜色光线构成的色彩光阵列,感光层对色彩光阵列感光后可以输
出彩色图像。
69.在本发明实施例中,通过调整多个不同滤色层之间的相对位置关系,可以使不同滤色层的滤色阵列产生不同的叠加方式,从而在感光层上投影出不同样式的色彩光阵列,也可以通过调整单个滤色层与感光层之间的相对位置关系,从而在感光层上投影出不同位置的色彩光阵列,因此,通过在拍摄间隔调整滤色层的位置,可以使得感光层的同一感光像素在拍摄相同景物时,获取到多种不同颜色的光线,丰富了感光层接收到的光线信息,进而可以通过多张合成的方式获取到光线信息更为丰富的图像,提高了拍摄效果。
70.可选地,在本发明实施例的一种实现方式中,驱动单元驱动多个滤色层在第一状态和第二状态之间切换,在第一状态下,多个滤色层之间具有第一相对位置关系,多个滤色层相互叠和组成第一滤色阵列;在第二状态下,多个滤色层之间具有第二相对位置关系,多个滤色层相互叠和组成第二滤色阵列。
71.多个滤色层之间可以具有第一相对位置关系和第二相对位置关系,其中,在第一相对位置关系下,图像传感器中的多个滤色层均处于其对应的第一位置处,即每两个滤色层之间均处于第一相对位置关系,在第二相对位置关系下,图像传感器中的多个滤色层均处于其对应的第二位置处,即每两个滤色层之间均处于第二相对位置关系。需要说明的是,每个滤色层均对应有各自的第一位置和第二位置,每个滤色层对应的第一位置和第二位置可以是不同的位置,也可以是相同的位置。第一驱动控制操作可以是将多个滤色层均调整至其对应的第一位置处的操作,使每两个滤色层之间均处于第一相对位置关系,以将多个滤色层的相对位置关系调整至第一相对位置关系,第二驱动控制操作可以是将多个滤色层均调整至其对应的第二位置处的操作,使每两个滤色层之间均处于第一相对位置关系,以将多个滤色层的相对位置关系调整至第二相对位置关系。
72.在本发明实施例中,不同相对位置关系可以对应有不同的叠加滤色阵列。在多个滤色层均处第一相对位置关系的情况下,各个滤色层相互叠和形成第一滤色阵列;在多个滤色层均处于第二相对位置关系的情况下,各个滤色层相互叠和形成第二滤色阵列;其中,第二滤色阵列的透光率大于第一滤色阵列的透光率。需要说明的是,滤色阵列的透光率是指穿过滤色阵列之前的光线强度与穿过滤色阵列之后的光线强度的比值,透光率较小的滤色阵列通常可以为感光层提供更为准确的色彩信息,而透光率较大的滤色阵列通常可以为感光层提供更为准确的亮度信息,在本发明实施例中,可以在多个滤色层形成第一滤色阵列的情况下拍摄到色彩准确的第一图像,并在多个滤色层形成第二滤色阵列的情况下拍摄到亮度充足准确的第二图像,再通过第一图像和第二图像合成色彩和亮度均准确的目标图像,以达到提升拍摄画质的效果。
73.可选地,滤色层由滤色单元构成,多个滤色层包括第一滤色层、第二滤色层和第三滤色层。参照图3,图3示出了本发明实施例提供的滤色层示意图之一,如图3所示,多个滤色层可以包括第一滤色层21、第二滤色层22和第三滤色层23。
74.在本发明实施例中,每个滤色层可以只包含两种滤色像素,其中一种滤色像素具有特定的颜色的滤色像素,只允许特定颜色的光线通过,例如红色、滤色、蓝色等,另一种滤色像素是全透滤色像素,允许所有颜色的光线通过。需要说明的是,全透滤色像素可以通过不填充任何材料来实现,也可以通过填充透明材料来实现,在填充透明材料的情况下,该透明材料可以允许所有波段的光线通过,也可以只允许可见光波段的光线通过,以消除红外
光、紫外光等不可见光线对成像的影响。
75.如图3所示,第一滤色层21的第一滤色单元包括红色滤色像素61和全透滤色像素64,第二滤色层22的第二滤色单元包括绿色滤色像素62和全透滤色像素64,第三滤色层23的第三滤色单元包括蓝色滤色像素63和全透滤色像素64。具体地,第一滤色层包括多个4
×
4第一滤色单元,第一滤色单元包括4个2
×
2第一滤色组81,第一滤色组包括1个红色滤色像素和3个全透滤色像素;第二滤色层包括多个4
×
4第二滤色单元,第二滤色单元包括4个2
×
2第二滤色组82,第二滤色组包括对角设置的2个红色滤色像素和对角设置的2个全透滤色像素;第三滤色层包括多个4
×
4第三滤色单元,第三滤色单元包括4个2
×
2第三滤色组83,第一滤色组包括1个蓝色滤色像素和3个全透滤色像素。其中,图3中的纵线代表红色滤色像素、斜线代表绿色滤色像素、横线代表蓝色滤色像素。
76.由于人眼天生对于绿色比较敏感,因此可以将红色滤色像素与蓝色滤色像素的数量设置为相等,绿色滤色像素的数量设置为等于红色滤色像素与蓝色滤色像素的数量之和。以获得更好的绿色光线,更加复合人眼的观看习惯。此外,也可以将红色滤色像素的数量设置为等于绿色滤色像素与蓝色滤色像素的数量之和,或将蓝色滤色像素的数量设置为等于红色滤色像素与绿色滤色像素的数量之和。例如,如图3所示,在本发明实施例中,第一滤色层的滤色单元可以包括4个红色滤色像素和12个全透滤色像素,第二滤色层的滤色单元可以包括8个绿色滤色像素和8个全透滤色像素,第三滤色层的滤色单元可以包括4个蓝色滤色像素和12个全透滤色像素。
77.需要说明的是,图3中所示的滤色层的滤色单元为滤色层的最小滤色单元,各个滤色层的完整滤色像素阵列可以由图3中示出了滤色单元扩充而成,例如,图3中的滤色单元为4x4阵列,共16个滤色像素,而实际生产过程中,每个滤色层的完整滤色像素阵列可以是由12万个4x4滤色单元拼接而成的1600x1200阵列,共192万个滤色像素。
78.参照图4,图4示出了本发明实施例提供的滤色层移动方向示意图之一,如图4所示,第一滤色层21、第二滤色层22和第三滤色层23相互叠合。
79.如图4所示,在第一滤色层、第二滤色层和第三滤色层相互重叠且边缘对齐的情况下,可以通过驱动单元将第一滤色层向方向a移动一个滤色像素的距离,然后通过驱动单元将第三滤色层向方向b移动一个滤色像素的距离,使第一滤色层、第二滤色层和第三滤色层相互叠合形成第一滤色阵列;也可以通过驱动单元将第一滤色层先向方向b的反方向移动一个滤色像素的距离,再向方向a移动一个滤色像素的距离,然后通过驱动单元将第二滤色层向方向b的反方向移动一个滤色像素的距离,使第一滤色层、第二滤色层和第三滤色层相互叠合形成第一滤色阵列;还可以通过驱动单元将第二滤色层向方向a的反方向移动一个滤色像素的距离,然后通过驱动单元将第三滤色层向方向a的反方向移动一个滤色像素的距离,再向方向b移动一个滤色像素的距离,使第一滤色层、第二滤色层和第三滤色层相互叠合形成第一滤色阵列。需要说明的是,上述移动各个滤色层形成第一滤色阵列的方法进行示例性描述,技术人员还可以采用其他移动方法使第一滤色层、第二滤色层和第三滤色层相互叠合形成第一滤色阵列,本发明实施例不做具体限定。
80.参照图5,图5示出了本发明实施例提供的一种第一滤色阵列俯视图,如图5所示,在第一滤色层21、第二滤色层22和第三滤色层23相互叠和形成第一滤色阵列的情况下,第一滤色层21的红色滤色像素和第二滤色层22的一半全透滤色像素对齐,第二滤色层22的另
一半全透滤色像素与第三滤色层23蓝色滤色像素对齐,使得三个滤色层叠加可以形成拜耳阵列(例如rggb阵列),从而使传感器可以获取到较为准确的色彩信息。
81.参照图6,图6示出了本发明实施例提供的滤色层移动方向示意图之二,如图6所示,在多个滤色层相互叠合形成第一滤色阵列的情况下,可以通过驱动单元将第一滤色层向方向b移动一个滤色像素的距离,然后通过驱动单元将第三滤色层向方向b的反方向移动一个滤色像素的距离,使第一滤色层、第二滤色层和第三滤色层相互叠合形成第二滤色阵列;也可以通过驱动单元将第一滤色层向方向b移动2个滤色像素的距离,然后通过驱动单元将第二滤色层向方向b移动一个滤色像素的距离,使第一滤色层、第二滤色层和第三滤色层相互叠合形成第二滤色阵列;还可以通过驱动单元将第二滤色层向方向b的反方向移动一个滤色像素的距离,然后通过驱动单元将第三滤色层向方向b的反方向移动2个滤色像素的距离,使第一滤色层、第二滤色层和第三滤色层相互叠合形成第二滤色阵列。需要说明的是,上述移动各个滤色层形成第二滤色阵列的方法进行示例性描述,技术人员还可以采用其他移动方法使第一滤色层、第二滤色层和第三滤色层相互叠合形成第二滤色阵列,本发明实施例不做具体限定。
82.参照图7,图7示出了本发明实施例提供的一种第二滤色阵列俯视图,如图7所示,在第一滤色层21、第二滤色层22和第三滤色层23相互叠和形成第二滤色阵列的情况下,第一滤色层21的红色滤色像素和第二滤色层22的一半绿色滤色像素对齐,第三滤色层23的蓝色滤色像素和第二滤色层22的另一半绿色滤色像素对齐,不同滤色层的全透滤色像素之间相互对齐,使得三个滤色层叠加形成的第二滤色阵列中有半数像素为全透滤色像素,相较于第一滤色阵列提高了透光率,从而使传感器可以获取到较为准确的亮度信息。
83.在本发明实施例中,如果红色、绿色、蓝色每种绿色像素的透光率均为40%,全透滤光像素的透光率为100%,则通过计算,每个4x4的第一滤色阵列的透光率为40%,而每个4x4的第二滤色阵列的透光率为40%*40%*0.5+100%*0.5=58%,相比常规的第一滤色阵列有接近50%的透光率提升。因此,采用本发明提出的多个滤色层结构和移动方式,可以使多个滤色层移动并形成高投光率的第二滤色阵列,在拍摄照片时,可以使图像传感器的感光层接收到更充足的光线,提高了拍摄照片的效果。
84.可选地,通常来说,图像传感器的尺寸较小,为了在较小的空间内设置驱动单元,驱动单元可以包括微机电系统(micro electro mechanical systems,mems),例如静电梳齿驱动器,微机电系统是一种微米级的机械驱动系统。
85.参考图8,图8示出了本发明实施示例提供的一种静电梳齿驱动器的结构图,如图8所示,静电梳齿驱动器可以包括电源34、固定框体35、第一梳齿部和第二梳齿部,其中,第一梳齿部与固定框体35连接,第二梳齿部与多个滤色层中的一个滤色层连接,电源34与第一梳齿部和第二梳齿部连接,在电源34的驱动下,第一梳齿部和第二梳齿部之间相对运动,以改变不同滤色层之间的相对位置关系。第一梳齿部由第一电容板36和固定在第一电容板36上的多个第一梳齿37构成,第二梳齿部由第二电容板38和固定在第二电容板38上的多个第二梳齿39构成,第一电容板36和第二电容板38在电源34的作用下充入相同极性的电荷或不同极性的电荷,使第一电容板36和第二电容板38之间产生斥力或引力,以改变第一电容板36和第二电容板38之间的距离。第一梳齿37和第二梳齿39相互契合,充当滑轨并起到限位作用。
86.进一步地,在第一电容板36和第二电容板38通过一对正负极供电时,仅能在一个电容板中充入正电荷,在另一个电容板中充入负电荷,使两个电容板之间仅能产生静电引力,因此,还可以在第一电容板36和第二电容板38之间设置弹性器件,通过弹性器件在两个电容板之间产生使两个电容板相互远离的弹性力,这样,当两个电容板之间的静电引力大于弹性力时,两个电容板相互靠近,当两个电容板之间的静电引力小于弹性力时,两个电容板相互远离,这样便可以通过较为简单的控制电路便捷驱动静电梳齿驱动器,降低研发与制造成本。
87.综上,本发明实施例提供的一种图像传感器,包括:感光层、多个滤色层,和与多个滤色层连接的驱动单元;多个滤色层叠加设置在感光层的受光面;驱动单元用于驱动多个滤色层之间的相对位置发生改变。使得图像传感器可以在不同滤色层位置下工作,可以改变图像传感器的滤色阵列,使电子设备可以通过图像传感器拍摄到基于不同滤色阵列的多张图像,再进行图像合成,图像传感器的滤色阵列能够机械切换以提高感光度,使一颗图像传感器能够兼顾不同滤色阵列的优势,此外,由于进行合成的图像为同一图像传感器拍摄,避免了像素对齐的过程,提升了图像合成的准确性和效率。
88.图9是本发明实施例提供的图像生成方法的步骤流程图之一,该方法应用于一种电子设备,该电子设备包括上述图像传感器,如图9所示,该方法可以包括:
89.步骤101,获取所述图像传感器的感光层采集的第一图像。
90.在本发明实施例中,多个滤色层之间可以具有第一相对位置关系和第二相对位置关系,其中,在第一相对位置关系下,图像传感器中的多个滤色层均处于其对应的第一位置处,在第二相对位置关系下,图像传感器中的多个滤色层均处于其对应的第二位置处。需要说明的是,每个滤色层均对应有各自的第一位置和第二位置,每个滤色层对应的第一位置和第二位置可以是不同的位置,也可以是相同的位置。不同相对位置关系可以对应有不同的叠加滤色阵列。在多个滤色层均处第一相对位置关系的情况下,多个滤色层相互叠和形成第一滤色阵列;在多个滤色层均处于第二相对位置关系的情况下,多个滤色层相互叠和形成第二滤色阵列;其中,第二滤色阵列的透光率大于第一滤色阵列的透光率。
91.通过图像传感器拍摄照片时,可以先通过驱动单元调整多个滤色层的位置,使多个滤色层均处于对应的第一位置,使多个滤色层之间处于第一相对位置关系,在感光层的受光面相互叠合形成第一滤色阵列。形成第一滤色阵列后,通过感光层采集第一图像。也可以先通过驱动单元调整多个滤色层中的各个滤色层的位置,使多个滤色层均处于对应的第二位置,使多个滤色层之间处于第二相对位置关系,在感光层的受光面相互叠合形成第二滤色阵列。形成第二滤色阵列后,通过感光层采集第一图像。
92.需要说明的是,多个滤色层还可以存在默认位置,在不控制驱动单元的情况下,多个滤色层均保持在默认位置,其中,多个滤色层对应的默认位置可以是多个滤色层对应的第一位置,也可以是多个滤色层对应的第二位置,因此,在通过图像传感器拍摄照片时,可以直接通过感光层采集第一图像,而无需通过驱动单元调整多个滤色层的位置,提升了拍照速度。
93.步骤102,控制所述图像传感器的驱动单元驱动所述多个滤色层之间的相对位置发生至少一次改变。
94.在本发明实施例中,所述多个滤色层包括由红色滤色像素和全透滤色像素组成的
第一滤色层、由绿色滤色像素和全透滤色像素组成的第二滤色层,以及由蓝色滤色像素和全透滤色像素组成的第三滤色层。在所述多个滤色层的滤色像素阵列相互叠合形成第一滤色阵列的情况下,所述第一滤色层的全部红色滤色像素和所述第二滤色层的一半全透滤色像素相互重叠,所述第二滤色层的另一半全透滤色像素与所述第三滤色层的全部蓝色滤色像素相互重叠。
95.在所述多个滤色层的滤色像素阵列相互叠合形成第一滤色阵列的情况下,控制所述图像传感器的驱动单元驱动所述多个滤色层移动,以使所述多个滤色层之间的相对位置发生至少一次改变,所述多个滤色层的滤色像素阵列相互叠合形成至少一种第二滤色阵列;在所述第一滤色阵列中,所述第一滤色层的全部红色滤色像素和所述第二滤色层的一半全透滤色像素相互重叠,所述第二滤色层的另一半全透滤色像素与所述第三滤色层的全部蓝色滤色像素相互重叠;其中,所述第二滤色阵列的透光率大于所述第一滤色阵列的透光率。
96.驱动单元可以对应有第一驱动控制操作和第二驱动控制操作,其中,第一驱动控制操作可以是将多个滤色层均调整至其对应的第一位置处的操作,以将多个滤色层的相对位置关系调整至第一相对位置关系,第二驱动控制操作可以是将多个滤色层均调整至其对应的第二位置处的操作,以将多个滤色层的相对位置关系调整至第二相对位置关系。
97.具体地,如果第一图像是在多个滤色层形成第一滤色阵列的情况下拍摄的,在得到第一图像后,各个滤色层保持在第一滤色阵列,因此,可以在不同滤色层的滤色像素阵列相互叠合形成第一滤色阵列的情况下,通过驱动单元驱动多个滤色层移动,从而改变不同滤色层之间的相对位置关系,使不同滤色层的滤色像素阵列相互叠合形成一种第二滤色阵列。
98.如果第一图像是在多个滤色层形成第二滤色阵列的情况下拍摄的,在得到第一图像后,各个滤色层保持在第二滤色阵列,因此,可以在不同滤色层的滤色像素阵列相互叠合形成第二滤色阵列的情况下,通过驱动单元驱动多个滤色层移动,从而改变不同滤色层之间的相对位置关系,使不同滤色层的滤色像素阵列相互叠合形成第一滤色阵列;其中,第二滤色阵列的透光率大于第一滤色阵列的透光率。
99.可选地,控制所述图像传感器的驱动单元驱动所述多个滤色层移动的方法可以包括:控制所述驱动单元驱动所述第一滤色层、所述第二滤色层和所述第三滤色层移动,以使所述第一滤色层的全部红色滤色像素和所述第二滤色层的一半绿色滤色像素相互重叠,所述第二滤色层的全部蓝色滤色像素和所述第二滤色层的另一半绿色滤色像素对齐,且所述多个滤色层的全透滤色像素之间相互重叠。即,在本发明实施例中,在所述多个滤色层的滤色像素阵列相互叠合形成一种第二滤色阵列的情况下,第一滤色层的全部红色滤色像素和所述第二滤色层的一半绿色滤色像素相互重叠,所述第二滤色层的全部蓝色滤色像素和所述第二滤色层的另一半绿色滤色像素对齐,且所述多个滤色层的全透滤色像素之间相互重叠。
100.在本发明实施例中,可以通过调整多个滤色层之间的相对位置关系,使同一个图像传感器可以在不同滤色阵列下进行感光,从而可以针对同一拍摄场景获取到不同色彩信息和光照强度的图像,有效提升了单摄像头电子设备的拍摄能力。
101.步骤103,在每次改变所述多个滤色层之间的相对位置后,获取所述感光层采集的
第二图像,得到至少一张第二图像。
102.如果第一图像是在多个滤色层形成第一滤色阵列的情况下拍摄的,在多个滤色层改变一次相对位置关系后,多个滤色层之间形成覆盖感光层的一种第二滤色阵列,此时可以通过感光层采集一张第二图像。需要说明的是,如果多个滤色层多次改变相对位置关系,在每次改变相对位置关系后,多个滤色层之间形成覆盖感光层的一种第二滤色阵列,则可以采集到多张第二图像。
103.步骤104,基于所述第一图像和所述至少一张第二图像,生成目标图像。
104.在至少一张第二图像仅包含一张第二图像的情况下,可以直接根据第一图像和第二图像生成目标图像,在至少一张第二图像包含多张第二图像的情况下,可以先将第一图像与其中一张第二图像合成,得到中间图像,再将中间图像与剩余的一张第二图像合成,产生新的中间图像,如此往复直至所有第二图像参与合成过程,从而得到目标图像。
105.在至少一张第二图像仅包含一张第二图像的情况下,基于第一图像和第二图像生成目标图像的过程如下:
106.在本发明实施例中,由于第二滤色阵列中可以包含半数的全透滤光像素,因此第一滤色阵列与第二滤色阵列的滤色像素的种类和透光率不同,透光率较小的滤色阵列通常可以为感光层提供更为准确的色彩信息,而透光率较大的滤色阵列通常可以为感光层提供更为准确的亮度信息,因此,第一图像和第二图像中,一个图像的色彩较为准确,另一个图像的亮度较为准确,因此可以通过第一图像和第二图像合成色彩和亮度均准确的目标图像,以达到提升拍摄画质的效果。
107.需要说明的是,由于多个滤色层存在多层滤色层,在各个滤色层相互叠加形成的滤色阵列中,可能存在融合滤色像素,例如图6中的蓝色滤色像素和绿色滤色像素相互叠合形成的蓝绿融合滤色像素,和红色滤色像素和绿色滤色像素相互叠合形成的红绿融合滤色像素。由于融合滤色像素的透光率相较于单层的滤色像素的透光率较低,因此,对于第一图像或第二图像中的融合滤色像素,可以通过融合像素增益对融合滤色像素的信号强度进行修正,再参与后续的图像融合运算过程。其中,融合像素增益可以由技术人员在研发阶段通过标定确定。
108.举例来说,可以将图像传感器置于平场校正(flatfield)光源环境中,在第一滤色阵列的状态下拍摄图像,得到感光像素在覆盖绿色滤色像素时对应的第一信号强度,在第二滤色阵列的状态下拍摄图像,得到感光像素在覆盖蓝绿融合滤色像素时对应的第二信号强度,以及覆盖红绿融合像素时对应的第三信号强度,将第二信号强度与第一信号强度的比值作为蓝绿融合滤色像素的融合像素增益,将第三信号强度与第一信号强度的比值作为红绿融合滤色像素的融合像素增益。
109.在本发明实施例中,第一图像和第二图像的融合可以是将第一图像合成为一个新的目标图像,也可以是采用其中一张图像对另一张图像进行加强以得到目标图像。
110.具体地,可以基于多尺度分解方法,对第一图像对第二图像进行融合。参照图10,图10示出了本发明实施例提供的一种基于多尺度分解的图像融合流程图,如图10所示,首先对第一图像141和第二图像142进行多尺度分解,得到第一图像的多尺度表示143和第二图像的多尺度表示144,然后根据特定的融合规则,将第一图像的多尺度表示143和第二图像的多尺度表示144进行融合,得到融合图像的多尺度表示145,再对融合图像的多尺度表
示145进行多尺度逆变换,得到目标图像146。基于多尺度分解法进行图像融合,可以较好保留第一图像和第二图像中的细节信息,使融合得到的目标图像能够较好保留原图的细节信息,且该方法能够较好的保留原图的亮度特征,使融合得到的目标图像可以达到较好的暗光拍摄效果。
111.在本技术实施例中,多尺度分解的方法可以包括拉普拉斯金字塔变换、对比度金字塔变换、双树复小波变换、曲波变换、非下采样轮廓波变换、非下采样剪切波变换等。其中,拉普拉斯金字塔变换可以包括对图像进行低通滤波、下采样、插值和带通滤波这四个步骤;小波变换可以在两个相互垂直的空间频率对图像进行分解,在提取图像扫频信息的同时提取图像在三个方向的高频边缘细节;曲波变换可以很好地表示图像中具有各向异性的边缘特征,综合了脊波变换可以很好的描述图像的直线特征和小波变换适合表现点状特征的优点,图像的边缘信息可以用较少的非零系数准确且精确地表示图像的曲线奇异特征;非下采样轮廓波变换是在轮廓波变换的基础上提出的一种改进变换方式,非下采样轮廓波变换与轮廓波变换相比在图像的分解和重构过程中并没有经过下采样操作,因此保证了变换的平移不变性,解决了伪吉布斯现象;非下采样剪切波变换是在剪切波变换的基础上进行改进,非下采样剪切波变换与剪切波变换相比在图像的分解和重构过程中没有经过下采样操作,因此非下采样剪切波变换具有平移不变性。需要说明的是,技术人员在多尺度分解法对第一图像和第二图像进行融合时,可以根据实际需要灵活调整多尺度分解的具体变换方法,本技术实施例对此并不进行具体限定。
112.此外,由于第一图像和第二图像是同一个传感器采集的图像,因此在电子设备保持静止的情况下,拍摄第一图像和第二图像的视角完全相同,在第一图像和第二图像的合成中,无需一一对齐第一图像和第二图像的像素,不仅提升了图像合成的速度,还可以避免由于对齐错误导致的合成效果不佳的情况发生,进一步提升了目标图像的拍摄质量。
113.综上,本发明实施例提供的一种图像生成方法,包括,获取图像传感器的感光层采集的第一图像;控制图像传感器的驱动单元驱动多个滤色层之间的相对位置发生至少一次改变;在每次改变多个滤色层之间的相对位置后,获取感光层采集的第二图像,得到至少一张第二图像;基于第一图像和至少一张第二图像,生成目标图像。采用本发明上述方案拍摄第一图像和至少一张第二图像并进行图像合成时,无需一一对齐第一图像和第二图像的像素,不仅提升了图像合成的速度,还可以避免由于对齐错误导致的合成效果不佳的情况发生,进一步提升了目标图像的拍摄质量。
114.图11是本发明实施例提供的图像传感器结构图之二,如图11所示,该图像传感器可以包括:感光层、目标滤色层,和与目标滤色层连接的驱动单元。
115.感光层通常也被称作光电传感器,其可以感受光线的强度并根据光线的强度输出对应的电信号,在本发明实施例中,并不限定图像传感器包括的感光层的形式,例如感光层可以是电荷耦合器件(charge coupled device,ccd),也可以是互补金属氧化物半导体(complementary metal oxide semiconductor,cmos),还可以是其他形式。其中,感光层的一面为受光面,受光面用于接收光信号。
116.由于感光层只能感应光的强度,不能区分光的颜色(即光的波长),因此图像传感器还需要在感光层接收光线的一面(受光面)设置目标滤色层,目标滤色层的滤色像素与感光层的感光像素对应,滤色像素仅允许特定颜色(波长)的光通过,从而使感光层的感光像
素接收到特定颜色的光,通过滤色像素与感光像素的对应关系,图像传感器即可获得光线的色彩信息,从而拍摄到彩色图像。
117.在本发明实施例中,如图11所示,目标滤色层设置在感光层的受光面,为了保证良好的滤色效果,目标滤色层24可以完全覆盖感光层10,并与感光层10相互平行设置。如图11所示,图像传感器包括1个目标滤色层24、与目标滤色层24连接的驱动单元30和被目标滤色层24覆盖的感光层10。此外,目标滤色层24上还可以覆盖有聚光层40,聚光层40由微透镜构成,每个微透镜覆盖目标滤色层24的一个滤色像素,聚光层40的微透镜可以汇聚光线,使光线更集中通过滤色像素,提高光线的利用率。感光层10的背光面还可以与布线层50连接,布线层50中布置有连通感光层10与处理器的信号线。
118.驱动单元用于驱动目标滤色层与感光层之间的相对位置发生改变。驱动单元与目标滤色层连接,在驱动单元的驱动下,改变目标滤色层与感光层之间的相对位置关系。
119.目标滤色层包括滤色像素阵列,滤色像素阵列包括至少三种滤色像素,感光层包括感光像素阵列。例如,在滤色像素的种类数量为3的情况下,滤色像素可以包括红色滤色像素、绿色滤色像素和蓝色绿色像素。
120.滤色像素阵列的滤色像素与感光像素阵列的感光像素一对一重叠。目标滤色层与感光层之间的相对位置关系的种数等于滤色像素阵列中滤色像素的种数。
121.参照图12,图12示出了本发明实施例提供的滤色层示意图之二,如图12所示,目标滤色层的滤色像素阵列可以包括红、绿、蓝三种滤色像素,目标滤色层包括多个4
×
4滤色单元;滤色单元包括4个2
×
2目标滤色组84,每个目标滤色组84均包括红、绿、蓝三种滤色像素。其中,图12中的纵线代表红色滤色像素、斜线代表绿色滤色像素、横线代表蓝色滤色像素。
122.在本发明实施例中,滤色像素阵列的滤色像素与感光像素阵列的感光像素一对一重叠;目标滤色层与感光层之间的相对位置关系的种数等于滤色像素阵列中滤色像素的种数。例如,在滤色像素包括红、绿、蓝3种像素的情况下,则滤色像素阵列相对于感光层具有第一位置关系、第二位置关系和第三位置关系。在不同位置关系的情况下,感光层上的各个感光像素对应的滤色像素种类不同。
123.参照图13,图13示出了本发明实施例提供的一种第一位置关系示意图,如图13所示,对于包括红、绿、蓝三种滤色像素的目标滤色层24,在目标滤色层24的滤色像素阵列70相对于感光层10处于第一位置关系的情况下,感光层的感光像素11被蓝色滤色像素覆盖,其接收到蓝色光信息。
124.参照图14,图14示出了本发明实施例提供的第二位置关系示意图之一,如图14所示,目标滤色层24沿图13中的箭头e方向移动,使目标滤色层24的滤色像素阵列70相对于感光层处于第二位置关系,此时,感光层的感光像素11被红色滤色像素覆盖,其接收到红色光信息。
125.参照图15,图15示出了本发明实施例提供的第二位置关系示意图之二,如图15所示,目标滤色层24沿图14中的箭头e方向继续移动,使目标滤色层24的滤色像素阵列70相对于感光层处于另一种第二位置关系,此时,感光层的感光像素11被绿色滤色像素覆盖,其接收到绿色光信息。
126.可选地,在目标滤色层的数量等于1的情况下,该目标滤色层的滤色像素阵列由数
量相等的红色滤色像素、绿色滤色像素和蓝色滤色像素交错构成,以使得目标滤色层相对于感光层进行横向或纵向平移时,每移动一个滤色像素的距离,感光层上的所有感光像素对应的滤色像素颜色就变化一次。
127.综上,本发明实施例提供的一种图像传感器,包括:感光层、目标滤色层,和与目标滤色层连接的驱动单元;目标滤色层设置在感光层的受光面;驱动单元用于驱动目标滤色层与感光层之间的相对位置发生改变。使得图像传感器可以在不同滤色层位置下工作,可以改变图像传感器的滤色阵列,使电子设备可以通过图像传感器拍摄到基于不同滤色阵列的多张图像,再进行图像合成,图像传感器的滤色阵列能够机械切换以提高感光度,使一颗图像传感器能够兼顾不同滤色阵列的优势,此外,由于进行合成的图像为同一图像传感器拍摄,避免了像素对齐的过程,提升了图像合成的准确性和效率。
128.图16是本发明实施例提供的图像生成方法的步骤流程图之二,该方法应用于一种电子设备,该电子设备包括上述图像传感器,如图16所示,该方法可以包括:
129.步骤201,获取所述图像传感器的感光层采集的第一图像。
130.在本发明实施例中,图像传感器的感光层上覆盖的目标滤色层可以相较于感光层平行移动,改变感光层中各个感光像素接收到的光线的颜色。目标滤色层可以在驱动单元的驱动下,相较于感光层平行移动,使目标滤色层的滤色像素与感光层的感光像素存在多种对应关系,在不同的对应关系的情况下,感光层上的同一个感光像素被不同颜色的滤色像素覆盖。
131.举例来说,在目标滤色层的滤色像素与感光层的感光像素处于第一对应关系的情况下,感光层的感光像素a被目标滤色层的红色滤色像素覆盖,在第二对应关系的情况下,感光层的感光像素a被目标滤色层的蓝色滤色像素覆盖。
132.在本发明实施例中,通过图像传感器拍摄照片时,首先使目标滤色层的滤色像素与感光层的感光像素处于第一对应关系,再通过感光层采集第一图像。
133.步骤202,控制所述图像传感器的驱动单元驱动所述目标滤色层与所述感光层之间的相对位置发生至少一次改变。
134.在得到第一图像后,可以通过驱动单元控制目标滤色层相对于感光层进行平行移动,具体地,在目标滤色层的滤色像素与感光层的感光像素具有第一对应关系的情况下,通过驱动单元驱动目标滤色层移动至少一次,从而改变目标滤色层与感光层之间的相对位置关系至少一次,使目标滤色层的滤色像素与感光层的感光像素具有至少一种第二对应关系。
135.在所述目标滤色层的滤色像素与所述感光层的感光像素具有第一相对位置关系的情况下,控制所述图像传感器的驱动单元驱动所述目标滤色层移动,以使所述目标滤色层与所述感光层之间的相对位置发生至少一次改变,所述目标滤色层的滤色像素与所述感光层的感光像素具有至少一种第二对应关系;其中,在所述目标滤色层的滤色像素与所述感光层的感光像素具有所述第一相对位置关系的情况下,所述感光像素与一种滤色像素对齐;在所述目标滤色层的滤色像素与所述感光层的感光像素具有所述第二相对位置关系的情况下,所述感光像素与另一种滤色像素对齐。
136.例如,如果滤色层包含红、绿、蓝3种滤色像素,则控制所述图像传感器的驱动单元驱动所述目标滤色层与所述感光层之间的相对位置发生两次改变,以使感光层上的每个像
素能够在每次改变相对位置的前后对应于不同颜色的滤色像素。
137.步骤203,在每次改变所述目标滤色层与所述感光层之间的相对位置后,获取所述感光层采集的第二图像,得到至少一张第二图像。
138.例如,目标滤色层相对于感光层处于图8所示的第一对应关系,此时通过感光层获取第一图像,而后通过驱动单元将感光层向图9所示的方向e移动一个滤色像素的距离,使目标滤色层相对于感光层处于图9所示的一种第二对应关系,此时通过感光层获取第一张第二图像,而后再通过驱动单元将感光层向图9所示的方向e再移动一个滤色像素的距离,使目标滤色层相对于感光层处于图10所示的另一种第二对应关系,此时通过感光层获取第二张第二图像。
139.步骤204,基于所述第一图像和所述至少一张第二图像,生成目标图像。
140.通常来说,在一次拍摄过程中,一个感光像素只能接收一种特定颜色的光,而拍摄到的图像中每个像素都至少需要红绿蓝三种色彩信息,从而使图像中的像素可以展示出丰富的颜色,因此,需要通过色彩还原算法(例如demosaic、remosaic等)对感光像素进行其他两种色彩信息的计算,色彩还原算法可以根据一个感光像素接收到的光线颜色和该感光像素周围的若干感光像素接收到的光线颜色,估算出该感光像素另外两种颜色的强度。
141.而在本发明实施例中,由于第一图像和第二图像的每个像素一一对应,且对应像素接收到的光线颜色不同,因此,对于一次拍摄来说,通过第一图像和第二图像,每个感光像素实际获得了两种颜色的信号,每个感光像素只需要还原出另外一种色彩信号即可生成最终的目标图像,这大大提升了色彩还原过程的准确性,可以显著提升最终输出的目标图像的图像质量。
142.进一步地,在本发明实施例中,如果目标滤色层包含红、绿、蓝3种滤色像素,目标滤色层的滤色像素与感光层的感光像素之间还可以具有另一种第二对应关系,从而得到两张第二图像。举例来说,在目标滤色层的滤色像素与感光层的感光像素处于第一对应关系的情况下,感光层的感光像素a被目标滤色层的红色滤色像素覆盖,在一种第二对应关系的情况下,感光层的感光像素a被目标滤色层的蓝色滤色像素覆盖,在另一种第二对应关系的情况下,感光层的感光像素a被目标滤色层的绿色滤色像素覆盖。
143.相应地,在一种第二对应关系的情况下拍摄得到一张第二图像后,还可以进一步通过驱动单元驱动目标滤色层移动,从而改变目标滤色层与感光层之间的相对位置关系,使目标滤色层的滤色像素与感光层的感光像素处于另一种第二对应关系,并拍摄另一张第二图像。
144.在本发明实施例中,对于一次拍摄来说,通过第一图像、两张第二图像,每个感光像素实际获得了三种颜色(例如红绿蓝三种颜色)的信号,可以直接根据每个感光像素对应的三种颜色信号生成一个彩色的目标图像像素,省略了色彩还原过程,无需对像素的色彩进行估计,可以直接根据真实色彩信息生成彩色像素,更进一步提升了最终输出的目标图像的图像质量和效果。
145.综上,本发明实施例提供的另一种图像生成方法,包括,获取所述图像传感器的感光层采集的第一图像;控制所述图像传感器的驱动单元驱动所述目标滤色层与所述感光层之间的相对位置发生至少一次改变;在每次改变所述目标滤色层与所述感光层之间的相对位置后,获取所述感光层采集的第二图像,得到至少一张第二图像;基于所述第一图像和所
述至少一张第二图像,生成目标图像。采用本发明上述方案拍摄多张图像并进行图像合成时,可以使每个感光像素均获取到多种色彩信号,可以根据感光像素获取到的多种色彩信息进行色彩还原,或完全无需进行色彩还原,提高了最终输出的目标图像的颜色准确性。
146.图17是本发明实施例提供的图像生成装置的框图之一,如图17所示,该图像生成装置包括:
147.第一获取模块301,用于获取图像传感器的感光层采集的第一图像;
148.控制模块302,用于控制图像传感器的驱动单元驱动多个滤色层之间的相对位置发生至少一次改变;
149.第二获取模块303,用于在每次改变多个滤色层之间的相对位置后,获取感光层采集的第二图像,得到至少一张第二图像;
150.生成模块304,用于基于第一图像和至少一张第二图像,生成目标图像。
151.可选地,多个滤色层包括由红色滤色像素和全透滤色像素组成的第一滤色层、由绿色滤色像素和全透滤色像素组成的第二滤色层,以及由蓝色滤色像素和全透滤色像素组成的第三滤色层,控制模块包括:
152.控制子模块,用于在多个滤色层的滤色像素阵列相互叠合形成第一滤色阵列的情况下,控制图像传感器的驱动单元驱动多个滤色层移动,以使多个滤色层之间的相对位置发生至少一次改变,多个滤色层的滤色像素阵列相互叠合形成至少一种第二滤色阵列;在第一滤色阵列中,第一滤色层的全部红色滤色像素和第二滤色层的一半全透滤色像素相互重叠,第二滤色层的另一半全透滤色像素与第三滤色层的全部蓝色滤色像素相互重叠;其中,第二滤色阵列的透光率大于第一滤色阵列的透光率。
153.可选地,控制子模块,还用于控制驱动单元驱动第一滤色层、第二滤色层和第三滤色层移动,以使第一滤色层的全部红色滤色像素和第二滤色层的一半绿色滤色像素相互重叠,第二滤色层的全部蓝色滤色像素和第二滤色层的另一半绿色滤色像素对齐,且多个滤色层的全透滤色像素之间相互重叠。
154.综上,本发明实施例提供的一种图像生成装置,包括,第一获取模块,用于获取图像传感器的感光层采集的第一图像;控制模块,用于控制图像传感器的驱动单元驱动多个滤色层之间的相对位置发生至少一次改变;第二获取模块,用于在每次改变多个滤色层之间的相对位置后,获取感光层采集的第二图像,得到至少一张第二图像;生成模块,用于基于第一图像和至少一张第二图像,生成目标图像。采用本发明上述装置拍摄第一图像和至少一张第二图像并进行图像合成时,无需一一对齐第一图像和至少一张第二图像的像素,不仅提升了图像合成的速度,还可以避免由于对齐错误导致的合成效果不佳的情况发生,进一步提升了目标图像的拍摄质量。
155.图18是本发明实施例提供的图像生成装置的框图之二,如图18所示,该图像生成装置包括:
156.第一获取模块401,用于获取图像传感器的感光层采集的第一图像;
157.控制模块402,用于控制图像传感器的驱动单元驱动目标滤色层与感光层之间的相对位置发生至少一次改变;
158.第二获取模块403,用于在每次改变目标滤色层与感光层之间的相对位置后,获取感光层采集的第二图像,得到至少一张第二图像;
159.生成模块404,用于基于第一图像和至少一张第二图像,生成目标图像。
160.可选地,控制模块还包括:
161.控制子模块,用于在目标滤色层的滤色像素与感光层的感光像素具有第一相对位置关系的情况下,控制图像传感器的驱动单元驱动目标滤色层移动,以使目标滤色层与感光层之间的相对位置发生至少一次改变,目标滤色层的滤色像素与感光层的感光像素具有至少一种第二对应关系;其中,在所述目标滤色层的滤色像素与所述感光层的感光像素具有所述第一相对位置关系的情况下,所述感光像素与一种滤色像素对齐;在所述目标滤色层的滤色像素与所述感光层的感光像素具有所述第二相对位置关系的情况下,所述感光像素与另一种滤色像素对齐。
162.综上,本发明实施例提供的一种图像生成装置,包括,第一获取模块,用于获取图像传感器的感光层采集的第一图像;控制模块,用于控制图像传感器的驱动单元驱动目标滤色层与感光层之间的相对位置发生至少一次改变;第二获取模块,用于在每次改变目标滤色层与感光层之间的相对位置后,获取感光层采集的第二图像,得到至少一张第二图像;生成模块,用于基于第一图像和至少一张第二图像,生成目标图像。采用本发明上述装置拍摄第一图像和至少一张第二图像并进行图像合成时,使每个感光像素均获取到多种色彩信号,可以根据感光像素获取到的多种色彩信息进行色彩还原,或完全无需进行色彩还原,提高了最终输出的目标图像的颜色准确性。
163.本发明实施例还提供一种电子设备,参照图19,图19示出了本发明提供的一种电子设备的硬件结构示意图。
164.该电子设备500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解,图17中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
165.处理器510,用于执行下述过程:
166.获取图像传感器的感光层采集的第一图像;控制图像传感器的驱动单元驱动多个滤色层之间的相对位置发生至少一次改变;在每次改变多个滤色层之间的相对位置后,获取感光层采集的第二图像,得到至少一张第二图像;基于第一图像和至少一张第二图像,生成目标图像。
167.在多个滤色层的滤色像素阵列相互叠合形成第一滤色阵列的情况下,控制图像传感器的驱动单元驱动多个滤色层移动,以使多个滤色层之间的相对位置发生至少一次改变,多个滤色层的滤色像素阵列相互叠合形成至少一种第二滤色阵列;在第一滤色阵列中,第一滤色层的全部红色滤色像素和第二滤色层的一半全透滤色像素相互重叠,第二滤色层的另一半全透滤色像素与第三滤色层的全部蓝色滤色像素相互重叠;其中,第二滤色阵列的透光率大于第一滤色阵列的透光率。
168.控制驱动单元驱动第一滤色层、第二滤色层和第三滤色层移动,以使第一滤色层的全部红色滤色像素和第二滤色层的一半绿色滤色像素相互重叠,第二滤色层的全部蓝色滤色像素和第二滤色层的另一半绿色滤色像素对齐,且多个滤色层的全透滤色像素之间相
互重叠。
169.获取图像传感器的感光层采集的第一图像;控制图像传感器的驱动单元驱动多个滤色层之间的相对位置发生至少一次改变;在每次改变多个滤色层之间的相对位置后,获取感光层采集的第二图像,得到至少一张第二图像;基于第一图像和至少一张第二图像,生成目标图像。
170.在目标滤色层的滤色像素与感光层的感光像素具有第一相对位置关系的情况下,控制图像传感器的驱动单元驱动目标滤色层移动,以使目标滤色层与感光层之间的相对位置发生至少一次改变,目标滤色层的滤色像素与感光层的感光像素具有至少一种第二对应关系;其中,在所述目标滤色层的滤色像素与所述感光层的感光像素具有所述第一相对位置关系的情况下,所述感光像素与一种滤色像素对齐;在所述目标滤色层的滤色像素与所述感光层的感光像素具有所述第二相对位置关系的情况下,所述感光像素与另一种滤色像素对齐。
171.在本发明实施例中,采用本发明上述装置拍摄第一图像和至少一张第二图像并进行图像合成时,无需一一对齐第一图像和至少一张第二图像的像素,不仅提升了图像合成的速度,还可以避免由于对齐错误导致的合成效果不佳的情况发生,进一步提升了目标图像的拍摄质量,或使每个感光像素均获取到多种色彩信号,可以根据感光像素获取到的多种色彩信息进行色彩还原,或完全无需进行色彩还原,提高了最终输出的目标图像的颜色准确性。
172.应理解的是,本发明实施例中,射频单元501可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器510处理;另外,将上行的数据发送给基站。通常,射频单元501包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元501还可以通过无线通信系统与网络和其他设备通信。
173.电子设备通过网络模块502为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
174.音频输出单元503可以将射频单元501或网络模块502接收的或者在存储器509中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元503还可以提供与电子设备500执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元503包括扬声器、蜂鸣器以及受话器等。
175.输入单元504用于接收音频或视频信号。输入单元504可以包括图形处理器(graphics processing unit,gpu)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元506上。经图形处理器5041处理后的图像帧可以存储在存储器509(或其它存储介质)中或者经由射频单元501或网络模块502进行发送。麦克风5042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元501发送到移动通信基站的格式输出。
176.电子设备500还包括至少一种传感器505,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板5061的亮度,接近传感器可在电子设备500移动到耳边时,关闭
显示面板5061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器505还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
177.显示单元506用于显示由用户输入的信息或提供给用户的信息。显示单元506可包括显示面板5061,可以采用液晶显示器(liquid crystal display,lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板5061。
178.用户输入单元507可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板5071上或在触控面板5071附近的操作)。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器510,接收处理器510发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5071。除了触控面板5071,用户输入单元507还可以包括其他输入设备5072。具体地,其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
179.进一步的,触控面板5071可覆盖在显示面板5061上,当触控面板5071检测到在其上或附近的触摸操作后,传送给处理器510以确定触摸事件的类型,随后处理器510根据触摸事件的类型在显示面板5061上提供相应的视觉输出。虽然在图17中,触控面板5071与显示面板5061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板5071与显示面板5061集成而实现电子设备的输入和输出功能,具体此处不做限定。
180.接口单元508为外部装置与电子设备500连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元508可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备500内的一个或多个元件或者可以用于在电子设备500和外部装置之间传输数据。
181.存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器509可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
182.处理器510是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器509内的软件程序和/或模块,以及调用存储在存储器509内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处
理器510可包括一个或多个处理单元;优选的,处理器510可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
183.电子设备500还可以包括给各个部件供电的电源511(比如电池),优选的,电源511可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
184.电子设备500还可以包括摄像头模组,摄像头模组可以与处理器510逻辑相连,并将拍摄到的图像传输给处理器510。
185.摄像头模组还可以包括图像传感器,图像传感器可以接收光线并生成图像信号。
186.图像传感器可以包括感光层、多个滤色层,和与多个滤色层连接的驱动单元;多个滤色层叠加设置在感光层的受光面;驱动单元用于驱动多个滤色层之间的相对位置发生改变。
187.摄像头模组还可以包括感光层、目标滤色层,和与目标滤色层连接的驱动单元;目标滤色层设置在感光层的受光面;驱动单元用于驱动目标滤色层与感光层之间的相对位置发生改变。
188.可选地,所述驱动单元驱动所述多个滤色层在第一状态和第二状态之间切换;
189.在所述第一状态下,所述多个滤色层之间具有第一相对位置关系,所述多个滤色层相互叠和组成第一滤色阵列;
190.在所述第二状态下,所述多个滤色层之间具有第二相对位置关系,所述多个滤色层相互叠和组成第二滤色阵列;
191.其中,所述第二滤色阵列的透光率大于所述第一滤色阵列的透光率。
192.可选地,所述多个滤色层包括第一滤色层、第二滤色层和第三滤色层;
193.所述第一滤色层包括多个4
×
4第一滤色单元,所述第一滤色单元包括4个2
×
2第一滤色组,所述第一滤色组包括1个红色滤色像素和3个全透滤色像素;
194.所述第二滤色层包括多个4
×
4第二滤色单元,所述第二滤色单元包括4个2
×
2第二滤色组,所述第二滤色组包括对角设置的2个红色滤色像素和对角设置的2个全透滤色像素;
195.所述第三滤色层包括多个4
×
4第三滤色单元,所述第三滤色单元包括4个2
×
2第三滤色组,所述第一滤色组包括1个蓝色滤色像素和3个全透滤色像素。
196.可选地,在所述多个滤色层相互叠和形成第一滤色阵列的情况下,所述第一滤色层的全部红色滤色像素和所述第二滤色层的一半全透滤色像素相互重叠,所述第二滤色层的另一半全透滤色像素与所述第三滤色层的全部蓝色滤色像素相互重叠;
197.在所述多个滤色层相互叠和形成第二滤色阵列的情况下,所述第一滤色层的全部红色滤色像素和所述第二滤色层的一半绿色滤色像素相互重叠,所述第二滤色层的全部蓝色滤色像素和所述第二滤色层的另一半绿色滤色像素对齐,且所述多个滤色层的全透滤色像素之间相互重叠。
198.可选地,所述驱动单元与所述多个滤色层的侧边连接,所述驱动单元用于驱动所述多个滤色层在垂直于所述侧边的方向移动。
199.可选地,所述驱动单元包括与所述第一滤色层连接的第一驱动单元、与所述第二
滤色层连接的第二驱动单元,和与所述第三滤色层连接的第三驱动单元;
200.所述第一驱动单元用于驱动所述第一滤色层在第一方向上移动;
201.所述第二驱动单元用于驱动所述第二滤色层在所述第一方向上移动;
202.所述第三驱动单元用于驱动所述第三滤色层在第二方向上移动,所述第一方向和所述第二方向相反。
203.可选地,所述驱动单元包括静电梳齿驱动器,所述静电梳齿驱动器包括电源、第一梳齿部和第二梳齿部;
204.所述第二梳齿部与所述多个滤色层连接;
205.所述电源与所述第一梳齿部和所述第二梳齿部连接,所述电源用于驱动所述第一梳齿部和所述第二梳齿部之间发生相对运动。
206.图像传感器还可以包括感光层、目标滤色层,和与所述目标滤色层连接的驱动单元;
207.所述目标滤色层设置在所述感光层的受光面;
208.所述驱动单元用于驱动所述目标滤色层与所述感光层之间的相对位置发生改变。
209.可选地,所述目标滤色层包括滤色像素阵列,所述滤色像素阵列包括至少三种滤色像素,所述感光层包括感光像素阵列;
210.所述滤色像素阵列的滤色像素与所述感光像素阵列的感光像素一对一重叠;
211.所述目标滤色层与所述感光层之间的相对位置关系的种数等于所述滤色像素阵列中滤色像素的种数。
212.可选地,所述目标滤色层包括多个4
×
4滤色单元;所述滤色单元包括4个2
×
2目标滤色组,每个所述目标滤色组均包括红、绿、蓝三种滤色像素。
213.可选地,所述驱动单元包括静电梳齿驱动器,所述静电梳齿驱动器包括电源、第一梳齿部和第二梳齿部;
214.所述第二梳齿部与所述目标滤色层连接;
215.所述电源与所述第一梳齿部和所述第二梳齿部连接,所述电源用于驱动所述第一梳齿部和所述第二梳齿部之间发生相对运动。
216.另外,电子设备500包括一些未示出的功能模块,在此不再赘述。
217.优选的,本发明实施例还提供一种移动终端,包括处理器510,存储器509,存储在存储器509上并可在处理器510上运行的计算机程序,该计算机程序被处理器510执行时实现上述图像生成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
218.本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述图像生成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,的计算机可读存储介质,如只读存储器(read-only memory,简称rom)、随机存取存储器(random access memory,简称ram)、磁碟或者光盘等。
219.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有
的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
220.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例的方法。
221.上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1