控制方法、摄像头组件及移动终端与流程

文档序号:20286530发布日期:2020-04-07 16:10阅读:101来源:国知局
控制方法、摄像头组件及移动终端与流程

本申请涉及影像技术领域,特别涉及一种控制方法、摄像头组件及移动终端。



背景技术:

运动模糊(motionblur)是由于影像系统与拍摄对象的相对位移引起场景之间的错位,特别是在曝光时间较长或拍摄对象的运动速度较快等应用场景中,运动模糊的问题尤为突出。消除运动模糊最常用的技术手段是在一帧图像的采集过程中将拍摄对象的运动信息采样并存储起来,作为后端数据处理的信息源,利用不同的算法还原图像信息。现有消除运动模糊的方案需要用到较为复杂的硬件系统,且后端处理过程需要校准及补偿,算法复杂度较高。



技术实现要素:

本申请提供一种控制方法、摄像头组件及移动终端。

本申请一个方面提供一种用于图像传感器的控制方法。图像传感器包括以二维像素阵列形式排布的多个全色像素及多个彩色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个最小重复单元,每个所述最小重复单元均包括多个所述全色像素及多个所述彩色像素。每个所述最小重复单元均包括多个子单元,至少部分所述子单元包括多个所述全色像素。控制方法包括:所述彩色像素曝光以获取至少一帧彩色原始图像;在所述彩色像素曝光一次以获取一帧彩色原始图像的时间内,至少部分所述子单元中的多个所述全色像素分别曝光以获取多帧全色原始图像,同一所述子单元中的多个所述全色像素的起始曝光时刻不同,和/或同一所述子单元中的多个所述全色像素的截止曝光时刻不同;及利用多帧所述全色原始图像校正至少一帧所述彩色原始图像以获得目标图像。

在另一个方面,本申请还提供一种摄像头组件。摄像头组件包括图像传感器及处理芯片。所述图像传感器包括以二维像素阵列形式排布的多个全色像素及多个彩色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个最小重复单元,每个所述最小重复单元均包括多个所述全色像素及多个所述彩色像素。每个所述最小重复单元均包括多个子单元,至少部分所述子单元包括多个所述全色像素。所述彩色像素曝光以获取至少一帧彩色原始图像,在所述彩色像素曝光一次以获取一帧彩色原始图像的时间内,同一所述子单元中的多个所述全色像素分别曝光以获取多帧全色原始图像,同一所述子单元中的多个所述全色像素的起始曝光时刻不同,和/或同一所述子单元中的多个所述全色像素的截止曝光时刻不同。所述处理芯片用于利用多帧所述全色原始图像校正至少一帧所述彩色原始图像以获得目标图像。

在又一个方面,本申请还提供一种移动终端。移动终端包括壳体和摄像头组件。所述摄像头组件与所述壳体结合。所述摄像头组件包括图像传感器及处理芯片。所述图像传感器包括以二维像素阵列形式排布的多个全色像素及多个彩色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个最小重复单元,每个所述最小重复单元均包括多个所述全色像素及多个所述彩色像素。每个所述最小重复单元均包括多个子单元,至少部分所述子单元包括多个所述全色像素。所述彩色像素曝光以获取至少一帧彩色原始图像,在所述彩色像素曝光一次以获取一帧彩色原始图像的时间内,同一所述子单元中的多个所述全色像素分别曝光以获取多帧全色原始图像,同一所述子单元中的多个所述全色像素的起始曝光时刻不同,和/或同一所述子单元中的多个所述全色像素的截止曝光时刻不同。所述处理芯片用于利用多帧所述全色原始图像校正至少一帧所述彩色原始图像以获得目标图像。

本申请实施方式的控制方法、摄像头组件及移动终端,利用同一子单元内多个灵敏度较高的全色像素错开曝光,以获取多帧全色原始图像,多帧全色原始图像可以提供校正数据,该校正数据可以用于校正彩色像素正常曝光获取的至少一帧彩色原始图像,以实现对彩色原始图像运动模糊的消除。在本申请实施方式中无需设置多个图像传感器即可实现图像的运动模糊的消除,硬件系统的复杂度较低。并且,运动模糊的图像和起校正作用的图像是由同一个图像传感器获取的,后续处理过程无需进行补偿及校准,算法复杂度也较低。另外,起校正作用的图像是通过灵敏度较高的全色像素来获取的,该图像具有较高的信噪比,利用信噪比较高的图像来校正运动模糊的图像可以提升运动模糊的消除效果。

本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:

图1是本申请实施方式的不同色彩通道饱和时间示意图;

图2是本申请实施方式中图像传感器的示意图;

图3是本申请实施方式中一种像素电路的示意图;

图4是本申请实施方式中一种最小重复单元像素排布的示意图;

图5是本申请实施方式中又一种最小重复单元像素排布的示意图;

图6是本申请实施方式中又一种最小重复单元像素排布的示意图;

图7是本申请实施方式中又一种最小重复单元像素排布的示意图;

图8是本申请实施方式中又一种最小重复单元像素排布的示意图;

图9是本申请实施方式中又一种最小重复单元像素排布的示意图;

图10是本申请实施方式中又一种最小重复单元像素排布的示意图;

图11是本申请实施方式中又一种最小重复单元像素排布的示意图;

图12是本申请实施方式中又一种最小重复单元像素排布的示意图;

图13是本申请实施方式中又一种最小重复单元像素排布的示意图;

图14是本申请实施方式中又一种最小重复单元像素排布的示意图;

图15是本申请实施方式中又一种最小重复单元像素排布的示意图;

图16是本申请某些实施方式的摄像头组件的示意图;

图17是本申请某些实施方式的控制方法的流程示意图;

图18是本申请实施方式中一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图19是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图20是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图21是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图22是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图23是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图24是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图25是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图26是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图27是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图28是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图29是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图30是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图31是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图32是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图33是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图34是本申请实施方式中又一种彩色像素与至少部分子单元中的全色像素曝光过程示意图;

图35是本申请某些实施方式的控制方法的流程示意图;

图36是本申请某些实施方式的移动终端的示意图。

具体实施方式

下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。

请参阅图2、图4及图17,本申请一种用于图像传感器10的控制方法。图像传感器10包括以二维像素阵列形式排布的多个全色像素及多个彩色像素,彩色像素具有比全色像素更窄的光谱响应。二维像素阵列包括多个最小重复单元,每个最小重复单元均包括多个全色像素及多个彩色像素。每个最小重复单元均包括多个子单元,至少部分子单元包括多个全色像素。控制方法包括:

01:彩色像素曝光以获取至少一帧彩色原始图像;

02:在彩色像素曝光一次以获取一帧彩色原始图像的时间内,同一子单元中的多个全色像素分别曝光以获取多帧全色原始图像,同一子单元中的多个全色像素的起始曝光时刻不同,和/或同一子单元中的多个全色像素的截止曝光时刻不同;及

03:利用多帧全色原始图像校正至少一帧彩色原始图像以获得目标图像。

请参阅图4及图16,本申请还提供一种摄像头组件40。摄像头组件40包括图像传感器10及处理芯片20。图像传感器10包括以二维像素阵列形式排布的多个全色像素及多个彩色像素,彩色像素具有比全色像素更窄的光谱响应。二维像素阵列包括多个最小重复单元,每个最小重复单元均包括多个全色像素及多个彩色像素。每个最小重复单元均包括多个子单元,至少部分子单元包括多个全色像素。彩色像素曝光以获取至少一帧彩色原始图像,在彩色像素曝光一次以获取一帧彩色原始图像的时间内,同一子单元中的多个全色像素分别曝光以获取多帧全色原始图像,同一子单元中的多个全色像素的起始曝光时刻不同,和/或同一子单元中的多个全色像素的截止曝光时刻不同。处理芯片20用于利用多帧全色原始图像校正至少一帧彩色原始图像以获得目标图像。

请参阅图4及图35,本申请还提供一种移动终端60。移动终端60包括壳体50及摄像头组件40。摄像头组件40与壳体50结合。摄像头组件40包括图像传感器10及处理芯片20。图像传感器10包括以二维像素阵列形式排布的多个全色像素及多个彩色像素,彩色像素具有比全色像素更窄的光谱响应。二维像素阵列包括多个最小重复单元,每个最小重复单元均包括多个全色像素及多个彩色像素。每个最小重复单元均包括多个子单元,至少部分子单元包括多个全色像素。彩色像素曝光以获取至少一帧彩色原始图像,在彩色像素曝光一次以获取一帧彩色原始图像的时间内,同一子单元中的多个全色像素分别曝光以获取多帧全色原始图像,同一子单元中的多个全色像素的起始曝光时刻不同,和/或同一子单元中的多个全色像素的截止曝光时刻不同。处理芯片20用于利用多帧全色原始图像校正至少一帧彩色原始图像以获得目标图像。

下面结合附图对本申请作进一步说明。

运动模糊是由于摄像头组件与拍摄对象之间的相对位移导致的。为消除运动模糊,相关技术中通常采用两个独立的摄像头,其中一个摄像头获取一帧图像,另一个摄像头在该摄像头获取一帧图像的时间内获取多帧图像,再根据该多帧图像校正该一帧图像。但这种消除运动模糊的方法的硬件系统较为复杂,成本较高,而且在后端处理过程中还需要进行校准及补偿等操作,算法复杂度较高。

另外,在包含多种色彩的像素的图像传感器中,不同色彩的像素单位时间接收的曝光量不同(即灵敏度不同,单位时间内接收的曝光量更多的像素的灵敏度更高),在某些色彩饱和后,某些色彩还未曝光到理想的状态。图1中以rgbw(红、绿、蓝、全色)为例说明。参见图1,图1中横轴为曝光时间、纵轴为曝光量,q为饱和的曝光量,lw为全色像素w的曝光曲线,lg为绿色像素g的曝光曲线,lr为红色像素r的曝光曲线,lb为蓝色像素的曝光曲线。

从图1中可以看出,全色像素w的曝光曲线lw的斜率最大,也就是说在单位时间内全色像素w可以获得更多的曝光量,在t1时刻即达到饱和。绿色像素g的曝光曲线lg的斜率次之,绿色像素在t2时刻饱和。红色像素r的曝光曲线lr的斜率再次之,红色像素在t3时刻饱和。蓝色像素b的曝光曲线lb的斜率最小,蓝色像素在t4时刻饱和。在t1时刻,全色像素w已经饱和,而r、g、b三种像素曝光还未达到理想状态。

本申请提供了一种摄像头组件40(图16所示),摄像头组件40中的图像传感器10同时布置有灵敏度较高的全色像素及灵敏度比全色像素的灵敏度低的彩色像素,从而可以利用多个灵敏度较高的全色像素在一段时间内分别错开曝光以获取多帧全色原始图像,多个灵敏度较低的彩色像素在该段时间内曝光以获得彩色原始图像,多帧全色原始图像可以用来校正该彩色原始图像,以实现对彩色原始图像的运动模糊的消除。本申请实施方式的摄像头组件40无需设置多个图像传感器10即可实现图像的运动模糊的消除,硬件系统的复杂度较低。并且,运动模糊的图像和起校正作用的图像是由同一个图像传感器10获取的,后续处理过程无需进行补偿及校准,算法复杂度也较低。另外,起校正作用的图像是通过灵敏度较高的全色像素来获取的,该图像具有较高的信噪比,利用信噪比较高的图像来校正运动模糊的图像可以提升运动模糊的消除效果。

接下来首先介绍一下摄像头组件40(图16所示)中的图像传感器10的基本结构。请参阅图2,图2是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。

例如,图像传感器10可以采用互补金属氧化物半导体(cmos,complementarymetaloxidesemiconductor)感光元件或者电荷耦合元件(ccd,charge-coupleddevice)感光元件。

例如,像素阵列11包括以阵列形式二维排列的多个像素(图中未示出),每个像素均包括光电转换元件117(图3所示)。每个像素根据入射在其上的光的强度将光转换为电荷。

例如,垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指扫描各行及各列的像素,从这些像素读取信号。例如,被选择并被扫描的像素行中的像素输出的信号被传输到列处理单元14。复位扫描用于复位电荷,光电转换元件117的光电荷被丢弃,从而可以开始新的光电荷的积累。

例如,由列处理单元14执行的信号处理是相关双采样(cds)处理。在cds处理中,取出从所选像素行中的每一像素输出的复位电平和信号电平,并且计算电平差。因而,获得了一行中的像素的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(a/d)转换功能。

例如,水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15按预定规则扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作,每一像素列被列处理单元14处理,并且被输出。

例如,控制单元13根据操作模式配置时序信号,利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。

图像传感器10还包括设置在像素阵列11上的滤光片(图未示)。像素阵列11中的每一个像素的光谱响应(即像素能够接收的光线的颜色)由对应该像素的滤光片的颜色决定。本申请全文的彩色像素和全色像素指的是能够响应颜色与对应的滤光片颜色相同的光线的像素。

图3是本申请实施方式中一种像素电路110的示意图。图3中像素电路110应用在图2的每个像素中。下面结合图2和图3对像素电路110的工作原理进行说明。

如图3所示,像素电路110包括光电转换元件117(例如,光电二极管pd)、曝光控制电路116(例如,转移晶体管112)、复位电路(例如,复位晶体管113)、放大电路(例如,放大晶体管114)和选择电路(例如,选择晶体管115)。在本申请的实施例中,转移晶体管112、复位晶体管113、放大晶体管114和选择晶体管115例如是mos管,但不限于此。

例如,参见图2和图3,转移晶体管112的栅极tg通过曝光控制线(图中未示出)连接垂直驱动单元12;复位晶体管113的栅极rg通过复位控制线(图中未示出)连接垂直驱动单元12;选择晶体管115的栅极sel通过选择线(图中未示出)连接垂直驱动单元12。每个像素电路110中的曝光控制电路116(例如,转移晶体管112)与光电转换元件117电连接,用于转移光电转换元件117经光照后积累的电势。例如,光电转换元件117包括光电二极管pd,光电二极管pd的阳极例如连接到地。光电二极管pd将所接收的光转换为电荷。光电二极管pd的阴极经由曝光控制电路116(例如,转移晶体管112)连接到浮动扩散单元fd。浮动扩散单元fd与放大晶体管114的栅极、复位晶体管113的源极连接。

例如,曝光控制电路116为转移晶体管112,曝光控制电路116的控制端tg为转移晶体管112的栅极。当有效电平(例如,vpix电平)的脉冲通过曝光控制线传输到转移晶体管112的栅极时,转移晶体管112导通。转移晶体管112将光电二极管pd光电转换的电荷传输到浮动扩散单元fd。

例如,复位晶体管113的漏极连接到像素电源vpix。复位晶体管113的源极连接到浮动扩散单元fd。在电荷被从光电二极管pd转移到浮动扩散单元fd之前,有效复位电平的脉冲经由复位控制线传输到复位晶体管113的栅极,复位晶体管113导通。复位晶体管113将浮动扩散单元fd复位到像素电源vpix。

例如,放大晶体管114的栅极连接到浮动扩散单元fd。放大晶体管114的漏极连接到像素电源vpix。在浮动扩散单元fd被复位晶体管113复位之后,放大晶体管114经由选择晶体管115通过输出端out输出复位电平。在光电二极管pd的电荷被转移晶体管112转移之后,放大晶体管114经由选择晶体管115通过输出端out输出信号电平。

例如,选择晶体管115的漏极连接到放大晶体管114的源极。选择晶体管115的源极通过输出端out连接到图2中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管115的栅极时,选择晶体管115导通。放大晶体管114输出的信号通过选择晶体管115传输到列处理单元14。

需要说明的是,本申请实施例中像素电路110的像素结构并不限于图3所示的结构。例如,像素电路110可以具有三晶体管像素结构,其中放大晶体管114和选择晶体管115的功能由一个晶体管完成。例如,曝光控制电路116也不局限于单个转移晶体管112的方式,其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路,单个转移晶体管112的实施方式简单、成本低、易于控制。

图4至图15示出了多种图像传感器10(图2所示)中像素排布的示例。请参阅图2、及图4至图15,图像传感器10包括由多个彩色像素(例如多个第一颜色像素a、多个第二颜色像素b和多个第三颜色像素c)和多个全色像素w组成的二维像素阵列。其中,彩色像素具有比全色像素更窄的光谱响应。彩色像素的响应光谱例如为全色像素w响应光谱中的部分。二维像素阵列包括最小重复单元(图4至图15示出了多种图像传感器10中像素最小重复单元的示例),二维像素阵列由多个最小重复单元组成,最小重复单元在行和列上复制并排列。最小重复单元中有多个子单元。在某些实施例中,至少部分子单元内像素均为全色像素w(例如图4至图7所示);在某些实施例中,至少部分子单元包括多个全色像素w及多个彩色像素(例如图8至图15所示)。

例如,最小重复单元行和列的像素数量相等。例如最小重复单元包括但不限于,4行4列、6行6列、8行8列、10行10列的最小重复单元。例如,最小重复单元中的子单元行和列的像素数量相等。

例如,子单元包括但不限于,2行2列、3行3列、4行4列、5行5列的子单元。这种设置有助于均衡行和列方向图像的分辨率和均衡色彩表现,提高显示效果。

例如,图4是本申请实施方式中一种最小重复单元1181像素排布的示意图;最小重复单元为4行4列16个像素,子单元为2行2列4个像素,且至少部分子单元内像素均为全色像素w,排布方式为:

w表示全色像素;a表示多个彩色像素中的第一颜色像素;b表示多个彩色像素中的第二颜色像素;c表示多个彩色像素中的第三颜色像素。

例如,如图4所示,最小重复单元内包括4个子单元,其中三个子单元为彩色子单元,分别为彩色子单元a、彩色子单元b及彩色子单元c,一个子单元为全色子单元w。彩色子单元b和全色子单元w位于第一对角线方向d1(例如图4中左上角与右下角连接的方向),彩色子单元a和彩色子单元c位于第二对角线方向d2(例如图4中右上角与左下角连接的方向),第一对角线方向d1和第二对角线方向d2不同。每个彩色子单元中的多个像素均为彩色像素,且多个彩色像素均具有相同的颜色,例如彩色子单元a中的多个像素均为第一颜色像素a,彩色子单元b中的多个像素均为第二颜色像素b,彩色子单元c中的多个像素均为第三颜色像素c。全色子单元w中的多个像素均为全色像素w。

例如,图5是本申请实施方式中又一最小重复单元1182像素排布的示意图。在图5的实施例中,对应图4的排布方式,第一颜色像素a为红色像素r;第二颜色像素b为绿色像素g;第三颜色像素c为蓝色像素bu。

需要说明的是,在一些实施例中,全色像素w的响应波段为可见光波段(例如,400nm-760nm)。例如,全色像素w上设置有红外滤光片,以实现红外光的滤除。在一些实施例中,全色像素w的响应波段为可见光波段和近红外波段(例如,400nm-1000nm),与图像传感器10中的光电转换元件117(例如光电二极管pd)响应波段相匹配。例如,全色像素w可以不设置滤光片,全色像素w的响应波段由光电二极管的响应波段确定,即两者相匹配。本申请的实施例包括但不局限于上述波段范围。

例如,在其它实施方式中,第一颜色像素a为红色像素r;第二颜色像素b为黄色像素y;第三颜色像素c为蓝色像素bu。例如,在其它实施方式中,第一颜色像素a为品红色像素m;第二颜色像素b为青色像素cy;第三颜色像素c为黄色像素y。本申请的实施例包括但不局限于此。

例如,图6是本申请实施方式中又一种最小重复单元1183像素排布的示意图。最小重复单元为6行6列36个像素,子单元为3行3列9个像素,且至少部分子单元内像素均为全色像素w,排布方式为:

w表示全色像素;a表示多个彩色像素中的第一颜色像素;b表示多个彩色像素中的第二颜色像素;c表示多个彩色像素中的第三颜色像素。

例如,如图6所示,最小重复单元内包括4个子单元,其中三个子单元为彩色子单元,分别为彩色子单元a、彩色子单元b及彩色子单元c,一个子单元为全色子单元w。彩色子单元b和全色子单元w位于第一对角线方向d1(例如图6中左上角与右下角连接的方向),彩色子单元a和彩色子单元c位于第二对角线方向d2(例如图6中右上角与左下角连接的方向),第一对角线方向d1和第二对角线方向d2不同。每个彩色子单元中的多个像素均为彩色像素,且多个彩色像素均具有相同的颜色,例如彩色子单元a中的多个像素均为第一颜色像素a,彩色子单元b中的多个像素均为第二颜色像素b,彩色子单元c中的多个像素均为第三颜色像素c。全色子单元w中的多个像素均为全色像素w。

例如,在其它实施方式中,第一颜色像素a为红色像素r;第二颜色像素b为绿色像素g;第三颜色像素c为蓝色像素bu。例如,在其他实施方式中,第一颜色像素a为红色像素r;第二颜色像素b为黄色像素y;第三颜色像素c为蓝色像素bu。例如,在其它实施方式中,第一颜色像素a为品红色像素m;第二颜色像素b为青色像素cy;第三颜色像素c为黄色像素y。本申请的实施例包括但不局限于此。

例如,图7是本申请实施方式中又一种最小重复单元1184像素排布示意图。最小重复单元为8行8列64个像素,子单元为4行4列16个像素,且至少部分子单元内像素均为全色像素w,排布方式为:

w表示全色像素;a表示多个彩色像素中的第一颜色像素;b表示多个彩色像素中的第二颜色像素;c表示多个彩色像素中的第三颜色像素。

例如,如图7所示,最小重复单元内包括4个子单元,其中三个子单元为彩色子单元,分别为彩色子单元a、彩色子单元b及彩色子单元c,一个子单元为全色子单元w。彩色子单元b和全色子单元w位于第一对角线方向d1(例如图7中左上角与右下角连接的方向),彩色子单元a和彩色子单元c位于第二对角线方向d2(例如图7中右上角与左下角连接的方向),第一对角线方向d1和第二对角线方向d2不同。每个彩色子单元中的多个像素均为彩色像素,且多个彩色像素均具有相同的颜色,例如彩色子单元a中的多个像素均为第一颜色像素a,彩色子单元b中的多个像素均为第二颜色像素b,彩色子单元c中的多个像素均为第三颜色像素c。全色子单元w中的多个像素均为全色像素w。

例如,在其它实施方式中,第一颜色像素a为红色像素r;第二颜色像素b为绿色像素g;第三颜色像素c为蓝色像素bu。例如,在其他实施方式中,第一颜色像素a为红色像素r;第二颜色像素b为黄色像素y;第三颜色像素c为蓝色像素bu。例如,在其它实施方式中,第一颜色像素a为品红色像素m;第二颜色像素b为青色像素cy;第三颜色像素c为黄色像素y。本申请的实施例包括但不局限于此。

需要说明的是,在图4至图7的实施例中,彩色子单元a和彩色子单元c可以位于第一对角线d1,彩色子单元b和全色像素w位于第二对角线d2,第一对角线方向d1与第二对角线方向d2不同。例如,第一对角线和第二对角线垂直。在其他实施例中,第一对角线方向可以是最小重复单元的右上角与左下角连接的方向,第二对角线方向可以是最小重复单元的左上角与右下角连接的方向,此时,三个彩色子单元及一个全色子单元的排列位置对应对角线方向的改变进行变换。

例如,图8是本申请实施方式中一种最小重复单元1191像素排布的示意图;最小重复单元为4行4列16个像素,子单元为2行2列4个像素,排布方式为:

w表示全色像素;a表示多个彩色像素中的第一颜色像素;b表示多个彩色像素中的第二颜色像素;c表示多个彩色像素中的第三颜色像素。

例如,图8所示,全色像素w设置在第一对角线方向d1(即图8中左上角和右下角连接的方向),彩色像素设置在第二对角线方向d2(例如图8中左下角和右上角连接的方向),第一对角线方向d1与第二对角线方向d2不同。例如,第一对角线和第二对角线垂直。需要说明的是,第一对角线方向d1和第二对角线方向d2并不局限于对角线,还包括平行于对角线的方向。

例如,图9是本申请实施方式中又一种最小重复单元1192像素排布的示意图。最小重复单元为4行4列16个像素,子单元为2行2列4个像素,排布方式为:

w表示全色像素;a表示多个彩色像素中的第一颜色像素;b表示多个彩色像素中的第二颜色像素;c表示多个彩色像素中的第三颜色像素。

例如,如图9所示,全色像素w设置在第一对角线方向d1(即图9中右上角和左下角连接的方向),彩色像素设置在第二对角线方向d2(例如图9中左上角和右下角连接的方向),第一对角线方向d1与第二对角线方向d2不同。例如,第一对角线和第二对角线垂直。

例如,图10是本申请实施方式中又一种最小重复单元1193像素排布的示意图。图11是本申请实施方式中又一种最小重复单元1194像素排布的示意图。在图10和图11的实施例中,分别对应图8和图9的排布方式,第一颜色像素a为红色像素r;第二颜色像素b为绿色像素g;第三颜色像素c为蓝色像素bu。

例如,在其它实施方式中,第一颜色像素a为红色像素r;第二颜色像素b为黄色像素y;第三颜色像素c为蓝色像素bu。例如,在其它实施方式中,第一颜色像素a为品红色像素m;第二颜色像素b为青色像素cy;第三颜色像素c为黄色像素y。本申请的实施例包括但不局限于此。

例如,图12是本申请实施方式中又一种最小重复单元1195像素排布的示意图。最小重复单元为6行6列36个像素,子单元为3行3列9个像素,排布方式为:

w表示全色像素;a表示多个彩色像素中的第一颜色像素;b表示多个彩色像素中的第二颜色像素;c表示多个彩色像素中的第三颜色像素。

例如,图12所示,全色像素w设置在第一对角线方向d1(即图12中左上角和右下角连接的方向),彩色像素设置在第二对角线方向d2(例如图12中左下角和右上角连接的方向),第一对角线方向d1与第二对角线方向d2不同。例如,第一对角线和第二对角线垂直。需要说明的是,第一对角线方向d1和第二对角线方向d2并不局限于对角线,还包括平行于对角线的方向。

例如,图13是本申请实施方式中又一种最小重复单元1196像素排布的示意图。最小重复单元为6行6列36个像素,子单元为3行3列9个像素,排布方式为:

w表示全色像素;a表示多个彩色像素中的第一颜色像素;b表示多个彩色像素中的第二颜色像素;c表示多个彩色像素中的第三颜色像素。

例如,如图13所示,全色像素w设置在第一对角线方向d1(即图13中右上角和左下角连接的方向),彩色像素设置在第二对角线方向d2(例如图13中左上角和右下角连接的方向),第一对角线方向d1与第二对角线方向d2不同。例如,第一对角线和第二对角线垂直。

例如,在其它实施方式中,第一颜色像素a为红色像素r;第二颜色像素b为绿色像素g;第三颜色像素c为蓝色像素bu。例如,第一颜色像素a为红色像素r;第二颜色像素b为黄色像素y;第三颜色像素c为蓝色像素bu。例如,在其它实施方式中,第一颜色像素a为品红色像素m;第二颜色像素b为青色像素cy;第三颜色像素c为黄色像素y。本申请的实施例包括但不局限于此。

例如,图14是本申请实施方式中又一种最小重复单元1197像素排布示意图。最小重复单元为8行8列64个像素,子单元为4行4列16个像素,排布方式为:

w表示全色像素;a表示多个彩色像素中的第一颜色像素;b表示多个彩色像素中的第二颜色像素;c表示多个彩色像素中的第三颜色像素。

例如,图14所示,全色像素w设置在第一对角线方向d1(即图14中左上角和右下角连接的方向),彩色像素设置在第二对角线方向d2(例如图14中左下角和右上角连接的方向),第一对角线方向d1与第二对角线方向d2不同。例如,第一对角线和第二对角线垂直。需要说明的是,第一对角线方向d1和第二对角线方向d2并不局限于对角线,还包括平行于对角线的方向。

例如,图15是本申请实施方式中又一种最小重复单元1198像素排布的示意图。最小重复单元为8行8列64个像素,子单元为4行4列16个像素,排布方式为:

w表示全色像素;a表示多个彩色像素中的第一颜色像素;b表示多个彩色像素中的第二颜色像素;c表示多个彩色像素中的第三颜色像素。

例如,如图15所示,全色像素w设置在第一对角线方向d1(即图15中右上角和左下角连接的方向),彩色像素设置在第二对角线方向d2(例如15中左上角和右下角连接的方向),第一对角线方向d1与第二对角线方向d2不同。例如,第一对角线和第二对角线垂直。

例如,在其它实施方式中,第一颜色像素a为红色像素r;第二颜色像素b为绿色像素g;第三颜色像素c为蓝色像素bu。例如,在其他实施方式中,第一颜色像素a为红色像素r;第二颜色像素b为黄色像素y;第三颜色像素c为蓝色像素bu。例如,在其它实施方式中,第一颜色像素a为品红色像素m;第二颜色像素b为青色像素cy;第三颜色像素c为黄色像素y。本申请的实施例包括但不局限于此。

请参阅图16,本申请提供一种摄像头组件40。摄像头组件40包括上述任意一项实施方式所述的图像传感器10、处理芯片20及镜头30。图像传感器10与处理芯片20电连接。镜头30设置在图像传感器10的光路上。图像传感器10可以接收穿过镜头30的光线以获取原始图像。处理芯片20可以接收图像传感器10输出的原始图像,并对原始图像做后续处理。

本申请还提供一种可以用于图16的摄像头组件40的控制方法。如图17所示,图像采集方法包括:

01:彩色像素曝光以获取至少一帧彩色原始图像;

02:在彩色像素曝光一次以获取一帧彩色原始图像的时间内,同一子单元中的多个全色像素分别曝光以获取多帧全色原始图像,同一子单元中的多个全色像素的起始曝光时刻不同,和/或同一子单元中的多个全色像素的截止曝光时刻不同;及

03:利用多帧全色原始图像校正至少一帧彩色原始图像以获得目标图像。

请参阅图16和图17,本申请的控制方法可以由摄像头组件40实现。其中,步骤01及步骤02均可以由图像传感器10实现。步骤03可以由处理芯片20实现。也即是说,图像传感器10中的彩色像素曝光以获取至少一帧彩色原始图像。在彩色像素曝光一次获取一帧彩色原始图像的时间内,同一子单元内的多个全色像素分别曝光以获取多帧全色原始图像,同一子单元中的多个全色像素的起始曝光时刻不同,和/或同一子单元中的多个全色像素的截止曝光时刻不同。处理芯片20可以利用多帧全色原始图像校正至少一帧彩色原始图像以获取目标图像。

相关技术中,多采用两个或两个以上的图像传感器分别获取以高帧率采集的多帧图像及以低帧率采集的一帧图像,再利用多帧以高帧率采集的图像校正一帧以低帧率采集的图像,从而实现去除运动模糊的效果。然而,该方法不仅硬件系统复杂,并且在后续处理过程中还需要进行补偿及校准,算法较为复杂。此外,现有的去运动模糊通常是采用以高帧率采集的多帧彩色图像来校正以低帧率采集的一帧彩色图像,该多帧彩色图像是在彩色像素获取该一帧彩色图像的曝光期间内获取的,每一帧彩色图像对应的彩色像素的曝光时间较短。由于彩色像素的灵敏度本来就不高,彩色像素在较短曝光时间内输出的彩色图像的信噪比也就较低。使用信噪比较低的多帧彩色图像对一帧彩色图像做运动模糊校正,会导致运动模糊的校正结果不够理想。

如前文所分析的,全色像素具有比彩色像素更高的灵敏度。本申请实施方式的控制方法及摄像头组件40利用这一特性,在彩色像素曝光一次获取一帧彩色原始图像的时间内控制同一子单元内的多个全色像素错开曝光以获取多帧全色原始图像,并利用多帧全色原始图像校正至少一帧彩色原始图像以获得目标图像。如此,起校正作用的全色原始图像的信噪比较高,运动模糊的校正结果较为理想。此外,全色像素与彩色像素位于同一图像传感器10中,摄像头组件40无需设置多个图像传感器即可实现图像的运动模糊的消除,硬件系统的复杂度较低。并且,运动模糊的图像和起校正作用的图像是由同一个图像传感器10获取的,后续处理过程无需进行补偿及校准,算法复杂度也较低。

在某些实施方式中,在彩色像素曝光一次以获取一帧彩色原始图像的时间内,同一子单元中的多个全色像素分别曝光以获取多帧全色原始图像,并且同一子单元中的多个全色像素的起始曝光时刻均相同,同一子单元中的任意两个全色像素的截止曝光时刻均不同。图18至图21是多个示例的彩色像素及全色像素的曝光过程的示意图。其中,每个包含全色像素的子单元中,全色像素的数量假设为四个,四个全色像素具有相同的起始曝光时刻,且任意两个全色像素具有不同的截止曝光时刻。当然,在其他实施例中,全色像素的个数还可以是两个、三个、五个、八个、十个等,在此不作限制。

请参阅图18,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以第二曝光时间曝光,其中,四个全色像素的起始曝光时刻均为t0,全色像素w1的截止曝光时刻为t1,全色像素w2的截止曝光时刻为t2,全色像素w3的截止曝光时刻为t3,全色像素w4的截止曝光时刻为t4,t0<t1<t2<t3<t4,t4<tn。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图18所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

需要说明的是,在其他实施例中也可以将同一子单元中的多个像素按照第二曝光时间的由长至短的顺序进行排序,或者也可以按照同一子单元中多个全色像素的截止曝光时刻的先后顺序对多个全色像素进行排序,在此不作限制。

请参阅图19,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以第二曝光时间曝光,其中,四个全色像素的起始曝光时刻均为t0,全色像素w1的截止曝光时刻为t1,全色像素w2的截止曝光时刻为t2,全色像素w3的截止曝光时刻为t3,全色像素w4的截止曝光时刻为t4,t0<t1<t2<t3<t4,t4=tn。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图19所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

请参阅图20,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以第二曝光时间曝光,其中,四个全色像素的起始曝光时刻均为t5,且t5>t0,全色像素w1的截止曝光时刻为t1,全色像素w2的截止曝光时刻为t2,全色像素w3的截止曝光时刻为t3,全色像素w4的截止曝光时刻为t4,t5<t1<t2<t3<t4,t4<tn。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图20所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

请参阅图21,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以第二曝光时间曝光,其中,四个全色像素的起始曝光时刻均为t5,且t5>t0,全色像素w1的截止曝光时刻为t1,全色像素w2的截止曝光时刻为t2,全色像素w3的截止曝光时刻为t3,全色像素w4的截止曝光时刻为t4,t5<t1<t2<t3<t4,t4=tn。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图21所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

在某些实施方式中,在彩色像素曝光一次以获取一帧彩色原始图像的时间内,同一子单元中的多个全色像素分别曝光以获取多帧全色原始图像,并且同一子单元中的多个全色像素的截止曝光时刻均相同,同一子单元中的任意两个全色像素的起始曝光时刻均不同。图22至图25是多个示例的彩色像素及全色像素的曝光过程的示意图。其中,每个包含全色像素的子单元中,全色像素的数量假设为四个,四个全色像素具有相同的截止曝光时刻,且任意两个全色像素具有不同的起始曝光时刻。当然,在其他实施例中,全色像素的个数还可以是两个、三个、五个、八个、十个等,在此不作限制。

请参阅图22,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以第二曝光时间曝光,其中,四个全色像素的截止曝光时刻均为tn,全色像素w1的起始曝光时刻为t1,全色像素w2的起始曝光时刻为t2,全色像素w3的起始曝光时刻为t3,全色像素w4的起始曝光时刻为t4,tn>t1>t2>t3>t4>t0。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图22所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

需要说明的是,在其他实施例中也可以将同一子单元中的多个像素按照第二曝光时间的由长至短的顺序进行排序,或者也可以按照同一子单元中多个全色像素的起始曝光时刻的先后顺序对多个全色像素进行排序,在此不作限制。

请参阅图23,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以第二曝光时间曝光,其中,四个全色像素的截止曝光时刻均为tn,全色像素w1的起始曝光时刻为t1,全色像素w2的起始曝光时刻为t2,全色像素w3的起始曝光时刻为t3,全色像素w4的起始曝光时刻为t4,tn>t1>t2>t3>t4,t4=t0。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图23所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

请参阅图24,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内同一子单元中的四个全色像素以第二曝光时间曝光,其中,四个全色像素的截止曝光时刻均为t5,且t5<tn,全色像素w1的起始曝光时刻为t1,全色像素w2的起始曝光时刻为t2,全色像素w3的起始曝光时刻为t3,全色像素w4的起始曝光时刻为t4,t5>t1>t2>t3>t4,t4>t0。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图24所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

请参阅图25,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内同一子单元中的四个全色像素以第二曝光时间曝光,其中,四个全色像素的截止曝光时刻均为t5,且t5<tn,全色像素w1的起始曝光时刻为t1,全色像素w2的起始曝光时刻为t2,全色像素w3的起始曝光时刻为t3,全色像素w4的起始曝光时刻为t4,t5>t1>t2>t3>t4,t4=t0。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图25所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

在某些实施方式中,在彩色像素曝光一次以获取一帧彩色原始图像的时间内,同一子单元中的多个全色像素以相同的曝光时间分别曝光以获取多帧全色原始图像,并且同一子单元中的任意两个全色像素的起始曝光时刻均不同,同一子单元中的任意两个全色像素的截止曝光时刻均不同。图26至图29是多个示例的彩色像素及全色像素的曝光过程的示意图。其中,每个包含全色像素的子单元中,全色像素的数量假设为四个,四个全色像素具有相同的曝光时间,且任意两个全色像素具有不同的起始曝光时刻及截止曝光时刻。当然,在其他实施例中,全色像素的个数还可以是两个、三个、五个、八个、十个等,在此不作限制。

请参阅图26,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以相同的第二曝光时间曝光,其中,全色像素w1的起始曝光时刻为t1、截止曝光时刻为t5,全色像素w2的起始曝光时刻为t2、截止曝光时刻为t6,全色像素w3的起始曝光时刻为t3、截止曝光时刻为t7,全色像素w4的起始曝光时刻为t4、截止曝光时刻为t8,t0<t1<t2<t5<t3<t6<t4<t7<t8<tn。将这四个全色像素按照起始曝光时刻的由早至晚的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的起始曝光时刻之间的时间差值可以相等或不等。示例地,如图26所示,全色像素w1的起始曝光时刻t1与全色像素w2的起始曝光时刻t2之间的时间的差值为t1,全色像素w2起始曝光时刻t2与全色像素w3的起始曝光时刻t3之间的时间的差值为t2,全色像素w3起始曝光时刻t3与全色像素w4的起始曝光时刻t4之间的时间的差值为t3,其中t1=t2=t3。

需要说明的是,在其他实施例中也可以将同一子单元中的多个像素按照起始曝光时刻的由晚至早的顺序进行排序,或者也可以按照同一子单元中多个全色像素的截止曝光时刻的由早至晚的顺序进行排序,或者也可以按照同一子单元中多个全色像素的截止曝光时刻的由晚至早的顺序进行排序,在此不作限制。

请参阅图27,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以相同的第二曝光时间曝光,其中,全色像素w1的起始曝光时刻为t1、截止曝光时刻为t5,全色像素w2的起始曝光时刻为t2、截止曝光时刻为t6,全色像素w3的起始曝光时刻为t3、截止曝光时刻为t7,全色像素w4的起始曝光时刻为t4、截止曝光时刻为t8,t0<t1<t2<t5<t3<t6<t4<t7<t8,t8=tn。将这四个全色像素按照起始曝光时刻的由早至晚的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的起始曝光时刻之间的时间差值可以相等或不等。示例地,如图27所示,全色像素w1的起始曝光时刻t1与全色像素w2的起始曝光时刻t2之间的时间的差值为t1,全色像素w2起始曝光时刻t2与全色像素w3的起始曝光时刻t3之间的时间的差值为t2,全色像素w3起始曝光时刻t3与全色像素w4的起始曝光时刻t4之间的时间的差值为t3,其中t1=t2=t3。

请参阅图28,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以相同的第二曝光时间曝光,其中,全色像素w1的起始曝光时刻为t1、截止曝光时刻为t5,全色像素w2的起始曝光时刻为t2、截止曝光时刻为t6,全色像素w3的起始曝光时刻为t3、截止曝光时刻为t7,全色像素w4的起始曝光时刻为t4、截止曝光时刻为t8,t0<t1<t2<t5<t3<t6<t4<t7<t8<tn,t1=t0。将这四个全色像素按照起始曝光时刻的由早至晚的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的起始曝光时刻之间的时间差值可以相等或不等。示例地,如图27所示,全色像素w1的起始曝光时刻t1与全色像素w2的起始曝光时刻t2之间的时间的差值为t1,全色像素w2起始曝光时刻t2与全色像素w3的起始曝光时刻t3之间的时间的差值为t2,全色像素w3起始曝光时刻t3与全色像素w4的起始曝光时刻t4之间的时间的差值为t3,其中t1=t2=t3。

请参阅29,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以相同的第二曝光时间曝光,其中,全色像素w1的起始曝光时刻为t1、截止曝光时刻为t5,全色像素w2的起始曝光时刻为t2、截止曝光时刻为t6,全色像素w3的起始曝光时刻为t3、截止曝光时刻为t7,全色像素w4的起始曝光时刻为t4、截止曝光时刻为t8,t1<t2<t5<t3<t6<t4<t7<t8,t0=t1,t8=tn。将这四个全色像素按照起始曝光时刻的由早至晚的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的起始曝光时刻之间的时间差值可以相等或不等。示例地,如图29所示,全色像素w1的起始曝光时刻t1与全色像素w2的起始曝光时刻t2之间的时间的差值为t1,全色像素w2起始曝光时刻t2与全色像素w3的起始曝光时刻t3之间的时间的差值为t2,全色像素w3起始曝光时刻t3与全色像素w4的起始曝光时刻t4之间的时间的差值为t3,其中t1=t2=t3。

请参阅图30,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以相同的第二曝光时间曝光,其中,全色像素w1的起始曝光时刻为t1、截止曝光时刻为t5,全色像素w2的起始曝光时刻为t2、截止曝光时刻为t6,全色像素w3的起始曝光时刻为t3、截止曝光时刻为t7,全色像素w4的起始曝光时刻为t4、截止曝光时刻为t8,t0=t1<t2=t5<t3=t6<t4=t7<t8=tn。将这四个全色像素按照起始曝光时刻的由早至晚的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的起始曝光时刻之间的时间差值可以相等或不等。示例地,如图30所示,全色像素w1的起始曝光时刻t1与全色像素w2的起始曝光时刻t2之间的时间的差值为t1,全色像素w2起始曝光时刻t2与全色像素w3的起始曝光时刻t3之间的时间的差值为t2,全色像素w3起始曝光时刻t3与全色像素w4的起始曝光时刻t4之间的时间的差值为t3,其中t1=t2=t3。

在某些实施方式中,在彩色像素曝光一次以获取一帧彩色原始图像的时间内,同一子单元中的多个全色像素以不同的曝光时间分别曝光以获取多帧全色原始图像,并且同一子单元中的多个全色像素的起始曝光时刻均不同,同一子单元中的任意两个全色像素的截止曝光时刻均不同。图31至图34是多个示例的彩色像素及全色像素的曝光过程的示意图。其中,每个包含全色像素的子单元中,全色像素的数量假设为四个,四个全色像素具有相同的曝光时间,且任意两个全色像素具有不同的起始曝光时刻及截止曝光时刻。当然,在其他实施例中,全色像素的个数还可以是两个、三个、五个、八个、十个等,在此不作限制。

请参阅31,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以不同的第二曝光时间曝光,其中,全色像素w1的起始曝光时刻为t1、截止曝光时刻为t5,全色像素w2的起始曝光时刻为t2、截止曝光时刻为t6,全色像素w3的起始曝光时刻为t3、截止曝光时刻为t7,全色像素w4的起始曝光时刻为t4、截止曝光时刻为t8,t0<t1<t5=t2<t6=t3<t7=t4<t8<tn。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图31所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

请参阅32,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以不同的第二曝光时间曝光,其中,全色像素w1的起始曝光时刻为t1、截止曝光时刻为t5,全色像素w2的起始曝光时刻为t2、截止曝光时刻为t6,全色像素w3的起始曝光时刻为t3、截止曝光时刻为t7,全色像素w4的起始曝光时刻为t4、截止曝光时刻为t8,t0<t1<t5=t2<t6=t3<t7=t4<t8=tn。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图32所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

请参阅33,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内,同一子单元中的四个全色像素以不同的第二曝光时间曝光,其中,全色像素w1的起始曝光时刻为t1、截止曝光时刻为t5,全色像素w2的起始曝光时刻为t2、截止曝光时刻为t6,全色像素w3的起始曝光时刻为t3、截止曝光时刻为t7,全色像素w4的起始曝光时刻为t4、截止曝光时刻为t8,t0=t1<t5=t2<t6=t3<t7=t4<t8<tn。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图33所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

请参阅34,多个彩色像素以第一曝光时间曝光以获取一帧彩色原始图像,其中,多个彩色像素的起始曝光时刻均为t0,截止曝光时刻均为tn。在第一曝光时间内同一子单元中的四个全色像素以不同的第二曝光时间曝光,其中,全色像素w1的起始曝光时刻为t1、截止曝光时刻为t5,全色像素w2的起始曝光时刻为t2、截止曝光时刻为t6,全色像素w3的起始曝光时刻为t3、截止曝光时刻为t7,全色像素w4的起始曝光时刻为t4、截止曝光时刻为t8,t0=t1<t5=t2<t6=t3<t7=t4<t8=tn。将这四个全色像素按照第二曝光时间的由短至长的顺序进行排序,即可得到四个全色像素的排序为:w1、w2、w3、w4。在这一排序下,任意两个相邻的全色像素的第二曝光时间之间的差值可以相等或不等。示例地,如图34所示,全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4的第二曝光时间的差值为t3,其中t1=t2=t3。

需要说明的是,在其他实施例中也可以将同一子单元中的多个像素按照第二曝光时间的由长至短的顺序进行排序;或者可以按照同一子单元中多个全色像素的起始曝光时刻的先后顺序对多个全色像素进行排序;或者也可以按照同一子单元中多个全色像素的截止曝光时刻的先后顺序对多个全色像素进行排序,在此不作限制。

在某些实施方式中,若在第一曝光时间内,同一子单元中的多个全色像素以相同的第二曝光时间错开曝光,任意两个全色像素的第二曝光时间不重叠,且最早曝光的全色像素的起始曝光时刻与多个彩色像素的起始曝光时刻相同,最晚曝光的全色像素的截止曝光时刻与多个彩色像素的截止曝光时刻相同。此时,第二曝光时间可以等于第一曝光时间除以每个包含全色像素的子单元中全色像素的个数。例如,每个包含全色像素的子单元内有n个全色像素,则第二曝光时间等于第一曝光时间除以个数n,也即是说,第二曝光时间等于1/n的第一曝光时间,其中n为大于或等于2的自然数。具体地,如图30所示,每个包含全色像素的子单元内有四个全色像素,四个全色像素的第二曝光时间等于1/4的第一曝光时间。如此,同一子单元中的多个全色像素的曝光时序的控制逻辑较为简单。

在某些实施方式中,同一子单元中的任意两个全色像素的第二曝光时间不相等时,若任意两个相邻的全色像素的第二曝光时间之间的差值均相等,则该差值可以等于第一曝光时间t0除以每个包含全色像素的子单元中全色像素的个数。例如,每个包含全色像素的子单元内均有n个全色像素,则任意两个相邻的全色像素的第二曝光时间之间的差值等于第一曝光时间t0除以个数n,其中n为大于或等于2的自然数。具体地,以图19为例,每个包含全色像素的子单元中均有四个全色像素,则全色像素w1的第二曝光时间与全色像素w2的第二曝光时间的差值为t1,全色像素w2的第二曝光时间与全色像素w3的第二曝光时间的差值为t2,全色像素w3的第二曝光时间与全色像素w4曝光时间的差值为t3,其中t1=t2=t3=t0/4。如此,同一子单元中的多个全色像素的曝光时序的控制逻辑较为简单。

在某些实施方式中,同一子单元中的任意两个全色像素的第二曝光时间相等时,若任意两个相邻的全色像素的起始曝光时刻之间的时间差值均相等,且任意两个相邻的全色像素的第二曝光时间均重叠,则该差值可以等于第一曝光时间t0除以每个包含全色像素的子单元中全色像素的个数。例如,每个包含全色像素的子单元内均有n个全色像素,则任意两个相邻的全色像素的起始曝光时刻之间的差值等于第一曝光时间t0除以n,其中n为大于或等于2的自然数。具体地,例如图29,每个包含全色像素的子单元中均有四个全色像素,则全色像素w1的起始曝光时刻t1与全色像素w2的起始曝光时刻t2之间的时间的差值为t1,全色像素w2起始曝光时刻t2与全色像素w3的起始曝光时刻t3之间的时间的差值为t2,全色像素w3起始曝光时刻t3与全色像素w4的起始曝光时刻t4之间的时间的差值为t3,其中t1=t2=t3=t0/4。如此,同一子单元中的多个全色像素的曝光时序的控制逻辑较为简单。

在某些实施方式中,包含全色像素的子单元中,起始曝光时刻相同且截止曝光时刻也相同的全色像素输出的像素值形成一帧全色原始图像。以图8所示的像素阵列11(图2所示)中的一个最小重复单元为例,第一行第一列的全色像素w与第一行第三列的全色像素w、第三行第一列的全色像素w、第三行第三列的全色像素w的起始曝光时刻相同和截止曝光时刻相同,这四个全色像素w输出的像素值可以形成一帧全色原始图像。第二行第二列的全色像素w与第二行第四列的全色像素w、第四行第二列的全色像素w、第四行第四列的全色像素w的起始曝光时刻相同和截止曝光时刻相同,这四个全色像素w输出的像素值可以形成另一帧全色原始图像。如此,像素阵列11中的多个全色像素可以输出多帧全色原始图像。多帧全色原始图像可以用来校正至少一帧彩色原始图像。

请参阅图35,在某些实施方式中,可以使用点扩散函数来实现对彩色原始图像的校正。步骤03利用多帧全色原始图像校正至少一帧彩色原始图像以获取目标图像包括:

031:根据多帧全色原始图像计算校正数据;及

032:利用校正数据校正至少一帧彩色原始图像以获取目标图像。

请参阅图16,在某些实施方式中,步骤031和步骤032均可以由处理芯片20实现。也即是说,处理芯片20可以用于根据多帧全色原始图像计算校正数据、及利用校正数据校正至少一帧彩色原始图像以获取目标图像。

具体地,处理芯片20可以先根据多帧全色原始图像计算出任意两帧相邻的全色原始图像之间的位移向量,获得离散的位移点信息,并拟合位移信息以获得位移曲线。随后,处理芯片20根据位移曲线计算速度曲线,再根据速度曲线及第一曝光时间计算出点扩散函数(即校正数据)。随后,处理芯片20再根据点扩散函数来校正彩色原始图像,以获得清晰的目标图像。

当然,在其他实施方式中,还可以利用如盲图像算法等方法来校正彩色原始图像,在此不做限制。

在某些实施例中,如果连续两帧彩色原始图像的获取时间之间的间隔小于预定值,则可仅在获取其中一帧彩色原始图像的过程中,控制每个包含全色像素的子单元中的多个全色像素错开曝光以获取多帧全色原始图像。在获取另一帧彩色原始图像的过程中,则不需要执行控制每个包含全色像素的子单元中的多个全色像素错开曝光的动作。随后,处理芯片20可以利用获取的多帧全色原始图像校正两帧彩色原始图像。例如,图像传感器10同时获取两帧彩色原始图像,其中获取两帧彩色原始图像的时间间隔为1ms,其中1ms仅为示例,时间间隔还可以是2ms、2.5ms、3ms、5ms、8ms、10ms、15ms、20ms等,在此不作限制。处理芯片20可利用在彩色像素曝光一次获取第一帧彩色原始图像的时间内,每个包含全色像素的子单元中的多个全色像素错开曝光获取的多帧全色原始图像校正第一帧彩色原始图像及第二帧彩色原始图像,以获取两帧去除运动模糊的目标图像。可以理解,当连续两帧彩色原始图像的获取时间之间的间隔较小时,场景中的运动物体的运动速度不会发生较大改变,两帧彩色原始图像所需的校正数据基本相同。由此,直接根据其中一帧彩色原始图像所需的校正数据来校正两帧彩色原始图像,同样可以实现目标图像的去运动模糊效果。同时,由于至少部分全色像素在另一帧彩色原始图像的获取期间内不需要曝光,图像传感器10的功耗得到降低。并且,处理芯片20仅需要执行一次计算校正数据的动作,简化了图像处理的复杂度,加快了图像处理的速度。

请参阅图36,本申请还提供一种动终端60。移动终端60可以是手机、平板电脑、笔记本电脑、智能穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、头显设备、虚拟现实设备等等,在此不做限制。

移动终端60包括壳体50和摄像头组件40。壳体50和摄像头组件40结合。示例地,摄像头组件40可以安装在壳体50上。移动终端60中还可以包括处理器(图未示)。摄像头组件40中的处理芯片20与处理器可为同一个处理器,也可为两个独立的处理器,在此不作限制。

本申请提供的移动终端60,利用在其摄像组件40中的图像传感器10同时布置有灵敏度较高的全色像素及灵敏度比全色像素的灵敏度低的彩色像素,从而可以利用多个灵敏度较高的全色像素在一段时间内分别错开曝光以获取多帧全色原始图像,多个灵敏度较低的彩色像素在该段时间内曝光以获得彩色原始图像,多帧全色原始图像可以用来校正该彩色原始图像,以实现对彩色原始图像的运动模糊的消除。本申请实施方式中的移动终端60无需设置多个摄像组件40即可实现去除图像的运动模糊以获取清晰图像,降低了移动终端60硬件系统的复杂度。并且,运动模糊的图像和起校正作用的图像是由同一个图像传感器10(图2所示)获取的,后续处理过程无需进行补偿及校准,算法复杂度也较低。另外,起校正作用的图像是通过灵敏度较高的全色像素来获取的,该图像具有较高的信噪比,利用信噪比较高的图像来校正运动模糊的图像可以提升运动模糊的消除效果。

在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1