成像设备、成像系统和移动体的制作方法

本公开的方面总体涉及具有多个电荷保持部分的成像设备、成像系统和移动体。

背景技术：

日本专利申请公开no.2015-109503讨论了用于以预定时间的间隔将曝光时段分割成多个时段、将对于多个时段中的每一个在光电转换部分处产生的电荷传送到一个蓄积部分、以及在蓄积部分处将电荷加算(add)在一起以便在不考虑入射光量的情况下获取一个最佳图像的配置。

为了产生第一曝光时段和具有在长度上与第一曝光时段不同的时段的第二曝光时段，在日本专利申请公开no.2015-109503中讨论的配置排出在曝光时段之间的空隙中在光电转换部分处产生的电荷，并且在电荷保持部分处将在第一曝光时段和第二曝光时段中产生的电荷加算在一起。在这样的配置中，由于在曝光时段之间的空隙中在光电转换部分处产生的电荷被排出，因此排出的电荷不能够被用作信号电荷，由此变得浪费。

技术实现要素：

本公开的方面总体针对的是提供能够在防止或减少信号电荷的浪费的同时获取源自加算的信号的成像设备。

根据本发明的方面，成像设备包括：多个像素，所述多个像素以多个行和多个列布置，每个像素包括光电转换部分、第一电荷保持部分以及第二电荷保持部分，其中，在保持在第一时段中在所述光电转换部分处产生的电荷的同时，所述第一电荷保持部分保持在第二时段中在所述光电转换部分处产生的电荷，所述第二时段不接续(succeed)所述第一时段并且具有与所述第一时段不同的持续期，其中，所述第二电荷保持部分保持在第三时段中在所述光电转换部分处产生的电荷，所述第三时段不与所述第一时段和第二时段重叠，并且其中，第一电荷保持时段和第二电荷保持时段彼此重叠，在所述第一电荷保持时段期间，在所述第一时段中在所述光电转换部分处产生的电荷和在所述第二时段中在所述光电转换部分处产生的电荷被所述第一电荷保持部分保持，在所述第二电荷保持时段期间，在所述第三时段中在所述光电转换部分处产生的电荷被所述第二电荷保持部分保持。

从以下参照附图的示例性实施例的描述，本发明的其它特征将变得清楚。

附图说明

图1是成像系统的框图。

图2是成像设备的框图。

图3是像素的等效电路图。

图4示出驱动脉冲。

图5a、图5b和图5c是编码图样(pattern)的解释图。

图6a和图6b是经受抖动校正(图像稳定化)的图像的图像质量的解释图。

图7示出驱动脉冲。

图8示出驱动脉冲。

图9是像素的等效电路图。

图10示出驱动脉冲。

图11是像素的等效电路图。

图12示出驱动脉冲。

图13是编码图样的选择的解释图。

图14是像素的等效电路图。

图15示出驱动脉冲。

图16是像素的等效电路图。

图17示出驱动脉冲。

图18是驱动概念图。

图19a和图19b是移动体的解释图。

具体实施方式

参照图1到图6a和图6b描述本发明的第一示例性实施例。分别参照图1和图2描述根据本示例性实施例的成像系统和成像设备。图1是成像系统10的框图。

成像系统10包括成像设备101、成像透镜组100、曝光控制单元102、记录单元103、抖动检测单元104、校正函数产生单元105、校正单元106和合成单元107。

包含关于被摄体的信息的光通过成像透镜组100并然后在诸如互补金属氧化物半导体(cmos)图像传感器的成像设备101上形成图像。

曝光控制单元102控制成像设备101的快门的操作。包括基于在不相同的曝光时段中产生的电荷的信号的至少两个图像信号从成像设备101输出并然后在记录单元103上被记录。

另一方面，利用例如陀螺仪传感器配置的抖动检测单元104检测成像设备101或被摄体在图像捕获期间的抖动的轨迹。校正函数产生单元105通过使用关于抖动的轨迹的信息和关于从不相同的曝光时段获得的时间变化量的信息产生抖动的校正函数。

校正单元106通过使用校正函数校正记录单元103上记录的图像，由此获得校正图像。合成单元107是组合校正图像与记录单元103上记录的未校正图像或者将多个校正图像彼此组合以产生一个图像(一个帧的图像)的信号处理单元。

抖动检测单元104可通过基于从成像设备101输出的多个信号或者其间的和信号或差信号执行图像处理来检测图像捕获期间的抖动的轨迹，并且校正函数产生单元105可使用这样的轨迹以产生校正函数。

尽管在本示例性实施例中校正函数产生单元105、校正单元106和合成单元107被包括在成像系统10中，但是它们中的至少一些可位于成像系统10外部。在这种情况下，通过诸如计算机的位于成像系统10外部的单元在稍后时刻执行包括通过上述的图像处理检测抖动的轨迹的记录图像处理操作的至少一部分。并且，尽管在本示例性实施例中设置抖动检测单元104，但是可利用不包括抖动检测单元104的配置。

图2是成像设备101的框图。成像设备101包括像素部分202、脉冲产生部分203、垂直扫描电路204、列电路205、水平扫描电路206、信号线207和输出电路208。

像素部分202包括以行和列布置的多个像素201。这里，沿第一方向布置的多个像素被称为像素行，并且沿与第一方向不同的第二方向布置的多个像素被称为像素列。

垂直扫描电路204接收从脉冲产生部分203供给的控制脉冲信号并然后将驱动脉冲信号供给到每个像素201。诸如移位寄存器或地址解码器的逻辑电路被用作垂直扫描电路204。

信号线207被布置用于像素部分202的各像素列，并且被用于从各像素201输出信号。列电路205包括模数转换部分，并且还可包括例如放大电路。列电路205接收经由信号线207并行输出的信号并且对接收的信号执行模数转换和预定处理。预定处理包括例如噪声去除和信号的放大。

水平扫描电路部分206向列电路205供给用于使通过列电路205处理的信号依次输出的驱动脉冲信号。输出电路208利用例如缓冲放大器和差分放大器配置，并且将从列电路205输出的像素信号输出到位于成像设备101外部的记录单元或信号处理单元。

以下，详细描述关于成像设备101及其驱动方法的示例性实施例。并且，以下的示例性实施例中的每一个仅是本发明的一个模式，并且不应被解释为限制本发明。

图3示出像素201的等效电路的示例。在每个示例性实施例中，除非另外说明，否则对关于用于形成一个图像的驱动脉冲信号进行描述，但是可通过多次执行每个驱动图样形成运动图像。

在光电转换部分中产生的电荷对中的用作信号电荷的电荷的极性被称为“第一导电类型”。这里，第一导电类型的电荷是电子，与第一导电类型相反的第二导电类型的电荷是空穴。

等效电路不限于图3所示的等效电路，而是一些配置可被多个像素共享。并且，尽管图3示出包括电荷排出部分的像素201，但是本示例性实施例不限于这样的配置。后缀a和b用于区别每个像素中的每个电荷保持部分和每个传送部分，但是，在描述共用的功能的情况下，以不附加后缀的方式描述功能。在描述需要区分的功能的情况下，以附加各后缀的方式描述功能。这些也适用于以下描述的示例性实施例。

光电转换部分301根据入射光产生电荷对，并然后蓄积电子作为信号电荷。例如，光电二极管被用作光电转换部分301。

电荷保持部分303a(第一电荷保持部分)和电荷保持部分303b(第二电荷保持部分)保持分别经由以下描述的传送部分302a(第一传送部分)和传送部分302b(第二传送部分)从光电转换部分301传送的电子。这里，电荷保持部分303a被作为一个电荷保持部分对待，并且电荷保持部分303b被作为另一个电荷保持部分对待。

浮动扩散(fd)305是经由传送部分304a(第三传送部分)和传送部分304b(第四传送部分)向其传送由电荷保持部分303a和电荷保持部分303b保持的电荷的半导体区域。fd305将电荷保持预定的时段。

传送部分302a将由光电转换部分301产生的电子传送到电荷保持部分303a。传送部分302b将由光电转换部分301产生的电子传送到电荷保持部分303b。

传送部分304a将由电荷保持部分303a保持的电子传送到fd305。传送部分304b将由电荷保持部分303b保持的电子传送到fd305。传送部分302a、传送部分302b、传送部分304a和传送部分304b分别被供给驱动脉冲ptx1、ptx2、ptx3和ptx4，以在on(接通)和off(关断)之间切换。当被接通时，每个传送部分传送电子。例如，传送晶体管被用作传送部分302和304。

传送部分309(第五传送部分)将由光电转换部分301产生的电子传送到电荷排出部分。电荷排出部分例如被供给电源电压vdd。然后，传送部分309被供给驱动脉冲pofd，并响应于驱动脉冲pofd而在on和off之间切换。在被接通时，传送部分309将由光电转换部分301产生的电子传送到电荷排出部分。

例如，放大晶体管被用作放大部分307。在这种情况下，放大部分307的输入节点连接到fd305、连接到放大晶体管的栅极的线、传送部分304a和304b、以及复位晶体管306的源极。

放大部分307放大基于由传送部分304a和传送部分304b传送到fd305的电子的信号，并然后输出放大的信号。更具体地，传送到fd305的电子被转换成对应于电子的量的电压，并且与电压对应的电信号经由放大部分307被输出到信号线207。例如，放大晶体管被用作放大部分307，该放大部分307与电流源(未示出)一起配置源跟随器电路。

复位晶体管306将放大部分307的输入节点的电势复位为电源电压vdd附近的电势。复位晶体管306的栅极被供给驱动脉冲pres，使得复位晶体管306在on和off之间切换。

选择晶体管308在像素201与信号线207的连接和非连接之间切换。根据对于每个像素201的选择晶体管308的切换操作，来自像素201的信号以一个像素的步长或多个像素的步长被输出到信号线207。选择晶体管308的漏极连接到放大部分307的输出节点，并且选择晶体管308的源极连接到信号线207。选择晶体管308的栅极被供给驱动脉冲psel，使得选择晶体管308在on和off之间切换以便选择行。

并且，代替本示例性实施例中的配置，选择晶体管308可位于放大部分307的输出节点和被供给电源电压vdd的电源线之间。并且，在没有设置选择晶体管308的情况下，放大部分307的输出节点可连接到信号线207。

图4是用于描述根据本示例性实施例的像素驱动方法的驱动脉冲图。参照图4的驱动脉冲图，描述在一个帧时段中输出的、要供给到第m行中的像素201的驱动脉冲和要供给到第(m+1)行中的像素201的驱动脉冲。

可从与一个帧时段蓄积的电荷对应的信号获得一个图像。在获得运动图像的情况下，获得多个帧时段的图像。在这种情况下，在从某个帧时段(第(n+1)帧)中的像素行的电荷蓄积时段的开始到电荷蓄积时段的结束的时间期间，前一帧时段(第n帧)中的所有的像素行的输出时段可开始并然后结束。这样的帧时段重复达预定时段。

在图4中，以“(m)”附加到多个像素行当中的第m行的驱动脉冲的名称的末尾和“(m+1)”附加到第(m+1)行的驱动脉冲的名称的末尾的方式描述驱动脉冲。在不区分行地描述驱动脉冲的情况下，“(m)”或“(m+1)”不附加到脉冲名称的末尾。

在本示例性实施例中，描述其中光电转换部分中的电荷蓄积的开始和从光电转换部分到电荷保持部分的电荷的传送在多个像素行之间对准的全局电子快门操作的驱动方法。然而，可利用使用例如滚动快门的另一电子快门操作。

接下来，描述图4中的电荷蓄积时段ts和输出时段top。关于一个像素201或一个像素行，响应于像素201的光电转换部分301的复位，电荷蓄积时段ts开始，并且，在经过预定时段之后，响应于在光电转换部分301处产生的电荷被传送到电荷保持部分303，电荷蓄积时段ts结束。从选择预定像素行的时间点或复位预定像素行中的fd305的时间点到完成向信号线207的基于由预定像素行中的各电荷保持部分保持的电荷的信号的输出的时间点的时段被称为“输出时段top”。

参照图4，在时间t1，驱动脉冲pofd变为处于高电平，使得传送部分309接通，并且，在时间t2，驱动脉冲pofd变为处于低电平，使得传送部分309进入关断状态。由此，在光电转换部分301处产生的电子被传送到电荷排出部分，并且光电转换部分301然后被复位。

然后，在时间t2，电荷蓄积时段ts1(第一时段)开始。在时间t3，驱动脉冲ptx1变为处于高电平，使得传送部分302a接通。在时间t4，驱动脉冲ptx1变为处于低电平，使得传送部分302a关断。然后，电荷蓄积时段ts1结束。

由此，在电荷蓄积时段ts1(时间t2与时间t4之间的时段)中在光电转换部分301处产生的电荷被传送到电荷保持部分303a，并然后被电荷保持部分303a保持。

并且，在时间t4，作为下一个电荷蓄积时段的电荷蓄积时段ts3(第三时段)开始。在时间t5，驱动脉冲ptx2变为处于高电平，使得传送部分302b接通。在时间t6，驱动脉冲ptx2变为处于低电平，使得传送部分302b关断。然后，电荷蓄积时段ts3结束。

此时，在电荷蓄积时段ts3(时间t4与时间t6之间的时段)中在光电转换部分301处产生的电荷被传送到电荷保持部分303b，并然后被电荷保持部分303b保持。然后，作为要在电荷保持部分303b处保持电荷的时段的第二电荷保持时段开始。并且，在时间t6，作为下一个电荷蓄积时段的电荷蓄积时段ts2(第二时段)开始。

在时间t7，驱动脉冲ptx1变为处于高电平，使得传送部分302a接通，并且，在时间t8，驱动脉冲ptx1变为处于低电平，使得传送部分302a关断。然后，电荷蓄积时段ts2结束。

在电荷蓄积时段ts2(时间t6与时间t8之间的时段)中在光电转换部分301处产生的电荷被传送到电荷保持部分303a，并且在电荷蓄积时段ts1和电荷蓄积时段ts2中在光电转换部分301处产生的电荷然后被电荷保持部分303a保持。此时，作为要在电荷保持部分303a处保持在电荷蓄积时段ts1中在光电转换部分301处产生的电荷和在电荷蓄积时段ts2中在光电转换部分301处产生的电荷的时段的第一电荷保持时段开始。

并且，在图4中，可通过使驱动脉冲pofd在时间t4与时间t5之间的时段期间处于高电平和低电平来开始电荷蓄积时段ts3。这也适用于其它电荷蓄积时段。

在电荷蓄积时段ts1和ts2中，驱动脉冲ptx1可保持处于高电平或者可多次变为处于高电平。类似地，在电荷蓄积时段ts3中，驱动脉冲ptx2可保持处于高电平或者可多次变为处于高电平。根据这样的驱动，可防止或减少光电转换部分301中的电荷的残留。

根据以上的驱动脉冲，在电荷蓄积时段ts1(时间t2与时间t4之间的时段)中在光电转换部分301处产生的电荷被电荷保持部分303a保持的同时，在电荷蓄积时段ts2(时间t6与时间t8之间的时段)中在光电转换部分301处产生的电荷被传送到电荷保持部分303a。换句话说，在复位晶体管306保持off的同时，传送部分302a在时间t3与t4之间的时段中接通和关断，并且然后，传送部分302a在时间t7与t8之间的时段中接通和关断。由此，电荷保持部分303a在其中保持在电荷蓄积时段ts1中产生的电荷和在电荷蓄积时段ts2中产生的电荷。

并且，在时间t1与t2之间的时段中，可通过使驱动脉冲ptx1和ptx2处于高电平并然后处于低电平以接通并然后关断传送部分302a和302b来复位电荷保持部分303a和电荷保持部分303b。可替代地，可通过使驱动脉冲ptx3、ptx4和pres处于高电平并然后处于低电平以接通并然后关断传送部分304a和304b以及复位晶体管306来复位电荷保持部分303a和电荷保持部分303b。在这些情况下，在时间t2使以上驱动脉冲为off。

在本示例性实施例中，在光电转换部分301处产生要由电荷保持部分303a保持的电荷的电荷蓄积时段ts1和电荷蓄积时段ts2是不连续的时段。基于通过将在多个这样的不连续的电荷蓄积时段中蓄积的电荷加算在一起获得的和电荷的信号被称为“编码的捕获图像信号”。

并且，产生要由电荷保持部分303b保持的电荷的电荷蓄积时段ts3不与产生要由电荷保持部分303a保持的电荷的电荷蓄积时段ts1和电荷蓄积时段ts2中的每一个重叠。换句话说，在电荷蓄积时段中，用于使传送部分302在不同时间接通的脉冲被用作驱动脉冲ptx1和ptx2。由此，在光电转换部分301处产生的电荷被分时传送到电荷保持部分303a和电荷保持部分303b并由其保持。

根据这样的配置，在时间t4与时间t6之间的时段中在光电转换部分301处产生的电荷被电荷保持部分303b保持而不被排出。因此，根据本示例性实施例，在时间t4与时间t6之间的时段中在光电转换部分301处产生的电荷可被保持，使得可减少光信号的浪费。

并且，可存在作为不接续电荷蓄积时段ts3并且不与电荷蓄积时段ts1和ts2中的每一个时间重叠的时段的电荷蓄积时段(例如，图8所示的电荷蓄积时段ts5)。在这种情况下，电荷蓄积时段ts5中的电荷被传送到电荷保持部分303b，在该电荷保持部分303b中，保持在电荷蓄积时段ts3中产生的电荷。由此，通过将在电荷蓄积时段ts3中在光电转换部分301处产生的电荷和在电荷蓄积时段ts5中在光电转换部分301中产生的电荷加算在一起获得的和电荷由电荷保持部分303b保持。

并且，在本示例性实施例中，电荷蓄积时段ts1和电荷蓄积时段ts2被设定为在时段的长度上彼此不同。时段的长度不同的情况包括例如两个电荷蓄积时段ts1和ts2之间的长度上的差比作为一个像素行的输出时段top的1/10的时间长的情况。

根据使用的这样的配置，可基于包括在不同电荷蓄积时段中产生的电荷的和电荷获得编码的捕获图像信号。此外，由于相同的原因，电荷蓄积时段ts3和电荷蓄积时段可被设定为在时段的长度上彼此不同。

接下来，描述第m行的输出时段top。在时间t9，驱动脉冲psel(m)变为处于高电平，使得选择晶体管308进入接通状态。由此，第m像素行被选择。此时，输出时段top开始。

在时间t10，驱动脉冲pres(m)变为处于高电平，使得复位晶体管306进入接通状态。在时间t11，驱动脉冲pres(m)变为处于低电平，使得复位晶体管306进入关断状态。由此，fd305的电势变为复位电势(例如，电源电压vdd)。在时间t11与时间t12之间的时段中，fd305的复位电势作为信号n被输出到信号线207。

在时间t12，驱动脉冲ptx3变为处于高电平，使得传送部分304a接通，并且，在时间t13，驱动脉冲ptx3变为处于低电平，使得传送部分304a进入关断状态。在时间t13，电荷保持部分303a处的电荷的保持结束，使得第一电荷保持时段结束。由此，在电荷蓄积时段ts1中在光电转换部分301处产生的电荷和在电荷蓄积时段ts2中在光电转换部分301处产生的电荷从电荷保持部分303a被传送到fd305。换句话说，在电荷蓄积时段ts1和ts2中蓄积的电荷由fd305保持。然后，在时间t13与时间t14之间的时段中，信号s1被输出到信号线207。

接下来，在时间t14，驱动脉冲ptx4变为处于高电平，使得传送部分304b接通，并且，在时间t15，驱动脉冲ptx4变为处于低电平，使得传送部分304b被关断。在时间t15，电荷保持部分303b处的电荷的保持结束，使得第二电荷保持时段结束。

由此，在电荷蓄积时段ts3中在光电转换部分301处产生的电荷从电荷保持部分303b被传送到fd305。此时，在电荷蓄积时段ts1、ts2和ts3中蓄积的电荷由fd305保持。然后，在时间t15与时间t16之间的时段中，信号s2被输出到信号线207。

在时间t16，驱动脉冲psel(m)变为处于低电平，使得选择晶体管308进入关断状态。由此，第m像素行变为未被选择，使得输出时段top结束。

在时间t17及其之后，类似于第m像素行的输出时段top的输出时段top出现在每个像素行中。当所有的像素行的输出时段top结束时，一个帧的信号的输出结束。

然后，针对输出到信号线207的三个信号(n、s1和s2)，成像设备101或成像系统10执行“s1-n”和“s2-s1”的计算。

“s1-n”的计算使得能够获取从其去除固定图样噪声的、基于由电荷保持部分303a保持的电荷(在电荷蓄积时段ts1和ts2中在光电转换部分301处产生的电荷)的信号s3。这里获得的信号s3的曝光函数是非周期性的，并且信号s3变为编码的捕获图像信号。

“s2-s1”的计算使得能够获取基于从其去除固定图样噪声的、由电荷保持部分303b保持的电荷(在电荷蓄积时段ts3中在光电转换部分301处产生的电荷)的信号s4。在从多个电荷蓄积时段中的电荷产生信号s4的情况下，信号s4的曝光函数是非周期性的，并且信号s4变为编码的捕获图像信号。

并且，在这里固定图样噪声被去除，但是不需要被去除。

在本示例性实施例中，在光电转换部分301处产生要由电荷保持部分303a保持的电荷的时段的和被称为“第一有效电荷蓄积时段”。在光电转换部分301处产生要由电荷保持部分303b保持的电荷的时段的和被称为“第二有效电荷蓄积时段”。第一有效电荷蓄积时段的开始时间和结束时间分别与第二有效电荷蓄积时段的开始时间和结束时间不同。

当在第一有效电荷蓄积时段与第二有效电荷蓄积时段之间进行比较时，希望由对应于较短有效电荷蓄积时段的电荷保持部分保持的电荷被首先传送到fd305。

例如，在第一有效电荷蓄积时段比第二有效电荷蓄积时段短的情况下，如果由电荷保持部分303b保持的电荷被首先传送到fd305，则fd305可能变得饱和。换句话说，当在由电荷保持部分303b保持的电荷被传送到fd305之后由电荷保持部分303a保持的电荷被传送到fd305时，fd305已经饱和，使得不能获取正确的信号。

另一方面，如果基于由电荷保持部分303a保持的电荷的信号被首先传送到fd305并然后从其读出，则当由电荷保持部分303a保持的电荷已传送到fd305时，fd305可能是未饱和的。在这样的情况下，至少信号s1使得能够获取正确的信号，并且，基于由电荷保持部分303a保持的电荷的信号s3使得能够获取正确的信号。

这也适用于以下情况：在该情况下，在fd305没有饱和的同时，当信号被输出到信号线207时，信号线207和后级电路的动态范围可能被超过。

根据这样的配置，与信号s2相比，信号s1可能落入上述动态范围内，使得可防止或减少破碎的黑色(阴影细节的丢失)。

尽管在上述的示例性实施例中已描述了电荷从两个电荷保持部分被传送到一个fd的示例，但是电荷可从电荷保持部分303a和电荷保持部分303b被传送到各fd305。

然而，根据使多个电荷保持部分共享fd305的方法，如在本示例性实施例中那样，由于信号n仅需要被输出一次，因此信号的输出可加快速度。然后，基于由每个像素行的电荷保持部分303a保持的和电荷的信号s3被输出，并且，输出的模拟信号经受模数转换，使得可获得作为数字信号的第一信号。然后，第一信号由图1所示的校正单元106校正，使得可获得具有减少的抖动的第一图像信号。

类似地，基于由电荷保持部分303b保持的和电荷的信号s4被输出，并且输出的模拟信号经受模数转换，使得可获得作为数字信号的第二信号。然后，第二信号由图1所示的校正单元106校正，使得可获得具有减少的抖动的第二图像信号。

第一图像信号和第二图像信号通过例如图1所示的合成单元107经受合成处理，使得可获得具有减少的抖动并且具有高的光信号的使用效率的充当一个图像的图像信号。

尽管这里经受抖动校正(图像稳定化)的第二图像信号被用作要通过合成单元107与第一图像信号组合的信号，但是可使用不经受抖动校正的第二信号。然而，与通过对第一图像信号和第二信号执行合成处理获得的图像相比，通过对第一图像信号和第二图像信号执行合成处理获得的图像是具有进一步减少的抖动的图像。这些也适用于其它示例性实施例。

根据上述配置，与通过通常利用的快门(例如，机械快门)的打开和关闭来控制曝光的情况相比，可容易地实现高速曝光。这是因为，可通过控制要应用到传送部分304a和传送部分304b的脉冲的定时和次数获得多个电荷蓄积时段中的电荷。

参照图5a、图5b和图5c以及图6a和图6b描述编码图样和经受抖动校正的图像的图像质量。以下的描述也适用于其它示例性实施例。

编码图样指的是关于在光电转换部分301处产生要由第一电荷保持部分303a或第二电荷保持部分303b保持的电荷的时段的时间变化的信息。

在通过校正信号s3去除被摄体的抖动的情况下，经受抖动校正的图像的图像质量根据选择蓄积要由电荷保持部分303a保持的电荷的多个电荷蓄积时段的时间图样的方式(编码图样)改变。

例如，在使用诸如图5a的示图中所示的周期性编码图样的情况下，如果捕获具有拥有特定空间频率的图样(例如，垂直条纹图样)的被摄体的抖动图像，则关于这样的频率的信息将由于被摄体的抖动而消失。因此，在校正时，图样(例如，垂直条纹)可能变得不能够被恢复。

这里，术语“周期性”代表以下情况：在该情况下，当编码图样由诸如“1100101...”的数字信号序列表达时，如果数字信号序列被等分成小信号序列，则所有的小信号序列相同。

例如，在具有编码图样“101101101”的数字信号序列的情况下，由于如果它被等分成三个小信号序列则所有的小信号序列都是“101”，因此数字信号序列是周期性的。并且，由于电荷蓄积时段之后的所有的时段可被视为“0”，因此例如诸如“11011011”的图样也可被视为“110110110”(如果将“0”添加到图样的末端的话)，并且可说它是周期性的。另一方面，无论在图样的末端添加多少个“0”，“1101101”都不满足上述条件，因此它是非周期性的(随机的)。

更一般地，基于傅立叶变换的原理，捕获的二维图像被表达为具有各种频率的二维波的叠加。因此，在已通过使用周期性编码图样获得编码的捕获图像信号的情况下，以其中缺少关于包括在从像素输出的信号中的频率分量当中的特定频率分量的信息的形式记录图像。在这样的图像经受抖动校正的情况下，由于缺少的频率分量不能够被恢复，因此，经受抖动校正的图像的图像质量将降低。

另一方面，如果编码图样如图5b所示的示图所指示的那样是非周期性的，则可防止缺少关于包括在从像素输出的信号中的频率分量当中的特定频率分量的信息。因此，由于能够记录不缺少信息的图像，因此即使在抖动校正之后也可获得具有适当图像质量的图像。

为了防止缺少诸如以上提到的关于特定频率分量的信息，希望考虑通过对与编码图样对应的曝光函数e(t)执行傅立叶变换获得的函数的绝对值来选择编码图样。这里，曝光函数e(t)是其中编码图样被表达为时间的函数(其中，电荷蓄积时段被设定为“1”且排出通过光电转换产生的电荷的时段被设定为“0”)的函数。

图5c示出指示通过关于时间t对曝光函数e(t)执行傅立叶变换获得的结果的示图。通过关于时间t对曝光函数e(t)执行傅立叶变换获得的函数f(ω)的绝对值|f(ω)|代表由于抖动引起的每个频率分量的衰减率，并且，例如，在得到“|f(ω')|＝0”的情况下，这意味着关于频率ω'的信息由于抖动而消失。

因此，如果以通过对曝光函数e(t)执行傅立叶变换获得的函数不具有奇异点(在该奇异点，得到“|f(ω')|＝0”)的方式选择编码图样，则如图5c中的粗线所指示，可获得其中频率信息的缺少被防止或减少的编码的捕获图像信号。

曝光函数e(t)的傅立叶变换的绝对值是否具有奇异点可被如下确定。在当曝光函数e(t)由最短数字信号序列(例如“100101”)表达时获得的信号序列的长度由l表示(在“100101”的情况下，l＝6)的情况下，考虑满足以下公式的整数n。

l≤2ⁿ

此时，“0”被连续地添加到以上数字信号序列的末端，使得产生其长度为2的n次幂的信号序列(“100101”变为“10010100”)。该操作通常称为“零填充”。零填充的信号序列经受快速傅立叶变换，使得获得离散傅里叶函数f(ω)。此时，假定傅立叶函数的绝对值|f(ω)|与“|f(0)|”相比足够小(例如，等于或小于1/1000倍)的点可被视为奇异点。这里，由于整数n越大函数f(ω)的频率分辨率越高，因此整数n应被以例如2的n次幂变得等于或大于l的四倍的方式设定。

在编码图像捕获被应用于日本专利申请公开no.2015-109503中讨论的配置的情况下，由于在不同曝光时段(对应于电荷蓄积时段)中产生的电荷在蓄积部分处被加算在一起，因此可获取其中特定频率分量的缺少被防止或减少的第一信号。然而，日本专利申请公开no.2015-109503中讨论的配置具有这样的显著问题：由于在不同曝光时段之间的时段中在光电转换部分处产生的电荷被排出，因此不可能在获取其中特定频率分量的缺少被防止或减少的第一信号的同时获得具有高的光信号的使用效率的图像。

另一方面，根据本示例性实施例的配置，获得基于在不同的电荷蓄积时段中产生的电荷的和电荷的编码的捕获图像信号使得能够获取其中特定频率分量的缺少被防止或减少的第一信号。并且，如以上提到的，使用基于在不同的电荷蓄积时段之间的时段中产生的电荷的第二信号使得能够获得具有高的光信号的使用效率的图像。

并且，在上述配置中，在第二电荷保持时段中，基于在电荷蓄积时段ts3中在光电转换部分301处产生的电荷的信号被用作第二信号。

然而，希望在第二电荷保持时段中基于通过将在多个电荷蓄积时段中产生的电荷加算在一起获得的和电荷的第二编码的捕获图像信号被用作第二图像信号。在这种情况下，与第一信号一样，希望可用于防止或减少特定频率分量的缺少的编码图样被用作第二信号。根据这样的配置，可获得其中特定频率分量的缺少被进一步防止或减少的、具有高的光信号的使用效率的图像。

然而，在不包括在要由电荷保持部分303a保持的电荷的有效电荷蓄积时段中的所有的时段中的电荷是要由电荷保持部分303b保持的电荷的情况下，用于电荷保持部分303b的编码图样不必是其中频率信息的缺少被防止或减少的编码图样。

在这样的情况下，在所有的剩余时段当中的一些时段中产生的电荷不被传送到电荷保持部分303b，而是在第五传送部分309接通的情况下被排出到电荷排出部分。由此，即使在基于由电荷保持部分303b保持的电荷的信号中，有时也可防止或减少频率信息的缺少。

换句话说，传送部分309和例如电荷排出部分被添加到光电转换部分301，并且可通过接通和关断传送部分309来规定电荷蓄积时段的开始。例如，如果传送部分309的on时间被设定为较长，则电荷蓄积时段的开始变迟，使得可缩短电荷蓄积时段的长度。由此，可通过电荷保持部分303b保持与适当的编码图样对应的电荷。

参照图6a和图6b描述电荷保持部分303a和电荷保持部分303b之间的编码图样的相关性和经受抖动校正的图像的图像质量。

在获取信号s3和信号s4期间，第一有效电荷蓄积时段的开始时间和结束时间之间的中心时间等于第二有效电荷蓄积时段的开始时间和结束时间之间的中心时间。这里，考虑能够在形成图像时被校正的误差水平，使用术语“等于”。

在这样的两个中心时间彼此大大不同的情况下，在对一个或两个图像执行的抖动校正之后合成的图像变为抖动图像，如同在位置上不同的两个图像被加在一起，使得可能不能够获得适当的图像质量(图6a所示的图像701)。这里，中心时间tm由使用曝光函数e(t)的以下公式定义，其中，ti是蓄积开始时间，并且tf是蓄积结束时间。

另一方面，例如，如果在合成时计算两个图像之间的相对位置差并且在校正相对位置差之后执行合成，则可防止抖动图像的出现，但是计算负荷可能增加。希望电荷保持部分303a和电荷保持部分303b的电荷蓄积时段中的图样被以电荷保持部分303a和电荷保持部分303b的电荷蓄积时段中的图样的中心时间之间的差变得较小的方式选择。更具体地，希望电荷保持部分303a的电荷蓄积时段中的图样的中心时间tm1至少落在电荷保持部分303b的蓄积开始时间ti2和蓄积结束时间tf2之间，换句话说，满足以下公式。

ti2≤tm1≤tf2

如果以满足以上条件的方式选择电荷保持部分303a和电荷保持部分303b的电荷蓄积时段中的图样，则可获得其中抖动被防止或减少的合成图像而不执行相对位置差的校正(图6b所示的图像702)。在满足以上条件式的情况下，特别地，当电荷保持部分303a和电荷保持部分303b的电荷蓄积时段中的图样中的中心时间tm1和tm2彼此重合时，防止或减少抖动图像的效果变得最大。

参照图7描述根据第二示例性实施例的成像设备。图7与图4的不同在于，作为要由电荷保持部分303b保持的电荷的电荷蓄积时段的电荷蓄积时段ts3不是电荷蓄积时段ts1和电荷蓄积时段ts2(其每一个是要由电荷保持部分303a保持的电荷的电荷蓄积时段)之间的时段。这里，关于其中第n帧中驱动脉冲与图4所示的驱动脉冲不同的时间t4与时间t23之间的时段进行描述。

在时间t4，驱动脉冲ptx1变为处于低电平，使得传送部分302a关断。在时间t4，电荷蓄积时段ts1结束。

在时间t18，驱动脉冲pofd变为处于高电平，使得传送部分309进入接通状态。在时间t19，驱动脉冲pofd变为处于低电平，使得传送部分309进入关断状态。由此，在时间t4与t19之间的时段中在光电转换部分301处产生的电荷被传送到电荷排出部分。并且，电荷蓄积时段ts2(第二时段)开始。

在时间t20，驱动脉冲ptx1变为处于高电平，使得传送部分302a进入接通状态，并且，在时间t21，驱动脉冲ptx1变为处于低电平，使得传送部分302a进入关断状态。在时间t21，电荷蓄积时段ts2结束并且第一电荷保持时段开始。然后，电荷蓄积时段ts3(第三时段)开始。

在时间t22，驱动脉冲ptx2变为处于高电平，使得传送部分302b进入接通状态，并且，在时间t23，驱动脉冲ptx2变为处于低电平，使得传送部分302b进入关断状态。在时间t23，电荷蓄积时段ts3结束。此时，第二电荷保持时段开始。

根据这样的配置，在在电荷蓄积时段ts1和电荷蓄积时段ts2中在光电转换部分301处产生的电荷被电荷保持部分303a保持之后，直到输出时段top开始产生的电荷可被保持，使得可增加光信号的使用效率。

并且，在时间t4与时间t19之间的时段中，驱动脉冲pofd可保持处于高电平以继续排出在光电转换部分301处产生的电荷。

即使根据本示例性实施例，也可获得与第一示例性实施例的效果类似的效果。

参照图8的驱动脉冲图描述第三示例性实施例。图8所示的驱动脉冲与图4所示的驱动脉冲的不同在于，设置具有相同长度的、产生要由电荷保持部分303a保持的电荷的多个电荷蓄积时段，并且电荷蓄积时段之间的各时段在长度上彼此不同。

例如，当存在产生要由电荷保持部分303a保持的电荷的电荷蓄积时段ts1、ts2和ts4时，从电荷蓄积时段ts1的结束到电荷蓄积时段ts2的开始的长度与从电荷蓄积时段ts2的结束到电荷蓄积时段ts4的开始的长度不同。由此，基于要由电荷保持部分303a保持的在电荷蓄积时段ts1、电荷蓄积时段ts2和电荷蓄积时段ts4中在光电转换部分301处产生的电荷的信号的曝光函数变为非周期性的，使得可记录没有信息的缺少的图像。

关于图8所示的驱动脉冲，仅描述与图4所示的驱动脉冲的不同。在时间t4，驱动脉冲ptx1变为处于低电平，使得传送部分302a被关断。在时间t4，电荷蓄积时段ts1结束并且电荷蓄积时段ts3(第三时段)开始。在作为时间t2与时间t4之间的时段的电荷蓄积时段ts1中在光电转换部分301处产生的电荷被传送到电荷保持部分303a并由其保持。

在时间t24，驱动脉冲ptx2变为处于高电平，并且，在时间t25，驱动脉冲ptx2变为处于低电平。在时间t25，电荷蓄积时段ts3结束并且电荷蓄积时段ts2开始。

在作为时间t4与时间t25之间的时段的电荷蓄积时段ts3中在光电转换部分301处产生的电荷被传送到电荷保持部分303b并由其保持。此时，第二电荷保持时段开始。

在时间t26，驱动脉冲ptx1变为处于高电平，并且，在时间t27，驱动脉冲ptx1变为处于低电平。在时间t27，电荷蓄积时段ts2结束并且第一电荷保持时段开始。然后，电荷蓄积时段ts5(第五时段)开始。

在作为时间t25与时间t27之间的时段的电荷蓄积时段ts2中在光电转换部分301处产生的电荷被传送到电荷保持部分303a并由其保持。此时，在电荷蓄积时段ts1和电荷蓄积时段ts2中在光电转换部分301处产生的电荷被电荷保持部分303a保持。

在时间t28，驱动脉冲ptx2变为处于高电平，并且，在时间t29，驱动脉冲ptx2变为处于低电平。在时间t29，电荷蓄积时段ts5结束并且电荷蓄积时段ts4(第四时段)开始。在作为时间t27与时间t29之间的时段的电荷蓄积时段ts5中在光电转换部分301处产生的电荷被传送到电荷保持部分303b并由其保持。此时，在电荷蓄积时段ts3和电荷蓄积时段ts5中在光电转换部分301处产生的电荷由电荷保持部分303b保持。

在时间t30，驱动脉冲ptx1变为处于高电平，并且，在时间t31，驱动脉冲ptx1变为处于低电平。在时间t31，电荷蓄积时段ts4结束。在作为时间t29与时间t31之间的时段的电荷蓄积时段ts4中在光电转换部分301处产生的电荷被传送到电荷保持部分303a并由其保持。此时，在电荷蓄积时段ts1、电荷蓄积时段ts2和电荷蓄积时段ts4中在光电转换部分301处产生的电荷由电荷保持部分303a保持。

在本示例性实施例中，从电荷蓄积时段ts1的结束到电荷蓄积时段ts2的开始的长度(时间t4与t25之间的时段)与从电荷蓄积时段ts2的结束到电荷蓄积时段ts4的开始的长度(时间t27与t29之间的时段)不同。

然后，基于由电荷保持部分303a保持的电荷的信号在曝光函数中变为非周期性的，并且变为编码的捕获图像信号。并且，基于由电荷保持部分303b保持的电荷的信号在曝光函数中也变为非周期性的，并且变为编码的捕获图像信号。

即使在这样的配置中，也可获得与第一示例性实施例的效果类似的效果。

并且，尽管在本示例性实施例的配置中电荷蓄积时段ts1、电荷蓄积时段ts2和电荷蓄积时段ts4在电荷蓄积时段的长度上相同，但是可如第一示例性实施例中那样彼此不同。

并且，在本示例性实施例中，在电荷蓄积时段ts3和电荷蓄积时段ts5中在光电转换部分301处产生的电荷由电荷保持部分303b保持。因此，在电荷蓄积时段ts3和电荷蓄积时段ts5中在光电转换部分301处产生的电荷可被有效地保持，使得可增加光的使用效率。

并且，电荷蓄积时段ts3是时间t4与时间t25之间的时段，并且电荷蓄积时段ts5是时间t27与时间t29之间的时段。然而，只要在时间t4与时间t25之间的时段或时间t27与时间t29之间的时段的一部分中产生的电荷由电荷保持部分303b保持，在除时间t4与时间t25之间的时段或时间t27与时间t29之间的时段以外的时段中产生的电荷就可被排出到电荷排出部分。

参照图9和图10描述第四示例性实施例。本示例性实施例与第一至第三示例性实施例的不同在于，针对光电转换部分设置多个输入节点，并且电荷被传送到配置各输入节点的部分的fd。换句话说，第一fd还充当第一电荷保持部分的配置，并且第二fd还充当第二电荷保持部分的配置。

图9是本示例性实施例中的一个像素的等效电路图。这里，仅描述与图3的等效电路图的不同。

传送部分302a将在光电转换部分301处产生的电荷传送到fd305a。传送部分302b将在光电转换部分301处产生的电荷传送到fd305b。

fd305a保持经由传送部分302a从光电转换部分301传送的电荷。fd305b保持经由传送部分302b从光电转换部分301传送的电荷。

放大部分307a的栅极连接到fd305a。然后，fd305a配置放大部分307a的输入节点的一部分。放大部分307a放大基于由传送部分302a传送到fd305a的电荷的信号，并然后将放大的信号输出到信号线207a。放大部分307b的栅极连接到fd305b。然后，fd305b配置放大部分307b的输入节点的一部分。放大部分307b放大基于由传送部分302b传送到fd305b的电荷的信号，并然后将放大的信号输出到信号线207b。

复位晶体管306a将放大部分307a的输入节点的电势复位到电源电压vdd附近的电势。复位晶体管306a的栅极被供给驱动脉冲pres1，使得复位晶体管306a在on和off之间切换。复位晶体管306b将放大部分307b的输入节点的电势复位到电源电压vdd附近的电势。复位晶体管306b的栅极被供给驱动脉冲pres2，使得复位晶体管306b在on和off之间切换。

选择晶体管308a在像素201与信号线207a的连接和非连接之间切换。根据对于每个像素201的选择晶体管308a的切换操作，来自像素201的信号以一个像素的步长或多个像素的步长被输出到信号线207a。选择晶体管308a的漏极连接到放大部分307a的输出节点，并且选择晶体管308a的源极连接到信号线207a。

选择晶体管308b在像素201与信号线207b的连接和非连接之间切换。根据对于每个像素201的选择晶体管308b的切换操作，来自像素201的信号以一个像素的步长或多个像素的步长被输出到信号线207b。选择晶体管308b的漏极连接到放大部分307b的输出节点，并且选择晶体管308b的源极连接到信号线207b。

参照图10描述本示例性实施例中的驱动脉冲。这里，仅描述与图4所示的驱动脉冲的不同。在电荷蓄积时段ts1中在光电转换部分301处蓄积的电荷和在电荷蓄积时段ts2中在光电转换部分301处蓄积的电荷被加算在一起并且作为电荷由fd305a保持。在电荷蓄积时段ts3中在光电转换部分301处蓄积的电荷由fd305b保持。

接下来，描述输出时段。图10所示的驱动脉冲与图4所示的那些的不同在于，基于行选择控制信号的输出。这里，对第m行的输出时段top进行描述。

在时间t32，驱动脉冲psel1变为处于高电平，使得选择晶体管308a接通。在时间t32，输出时段top开始。在时间t32与时间t33之间的时段期间，基于由fd305a保持的电荷的信号(源自信号s3和信号n2的加算的和信号)被输出到信号线207a。此时，第一电荷保持时段结束。

在时间t33，驱动脉冲pres1变为处于高电平，使得复位晶体管306a接通，并且由fd305a保持的电荷被排出到电荷排出部分。

然后，在时间t34与时间t35之间的时段期间，fd305a的复位电势作为信号n3被输出到信号线207a。在时间t35，驱动脉冲psel1变为处于低电平，使得选择晶体管308a进入关断状态。

在时间t36，驱动脉冲psel2变为处于高电平，使得选择晶体管308b接通。在时间t36与时间t37之间的时段期间，基于由fd305b保持的电荷的信号(源自信号s4和信号n4的加算的和信号)被输出到信号线207b。此时，第二电荷保持时段结束。

在时间t37，驱动脉冲pres2变为处于高电平，使得复位晶体管306b接通，并且由fd305b保持的电荷被排出到电荷排出部分。然后，在时间t38与时间t39之间的时段期间，fd305b的复位电势作为信号n5被输出到信号线207b。在时间t39，驱动脉冲psel2变为处于低电平，使得选择晶体管308b关断。

并且，假定这里要被输出的信号n2是与信号n3等同的信号并且信号n4是与信号n5等同的信号。然而，在这种情况下，在在由fd305a保持电荷之前获得的复位电势与在由fd305a保持电荷之后获得的复位电势之间出现误差。因此，在在光电转换部分301处产生的电荷被传送到fd305a和fd305b之前，基于fd305a和fd305b的各电荷的信号可作为信号n2和信号n4被输出。

即使在本示例性实施例的配置中，也可获得与第一示例性实施例的效果类似的效果。并且，由于在光电转换部分301与fd305之间不存在电荷保持部分303，因此可使光电转换部分301的面积大，并且可获得其中灵敏度和饱和电荷量的降低被防止或减少的编码的捕获图像信号。

并且，本示例性实施例也可应用于其它示例性实施例。

参照图11至图13描述第五示例性实施例。本示例性实施例与第一至第四示例性实施例的不同在于，针对光电转换部分设置三个电荷保持部分。

图11是本示例性实施例中的一个像素的等效电路图。这里，仅描述与图3的不同。电荷保持部分303e保持经由以下描述的传送部分302e从光电转换部分301传送的电子。fd305由电荷保持部分303a、电荷保持部分303b和电荷保持部分303e共享。

然后，fd305保持经由传送部分304a、传送部分304b和以下描述的传送部分304e从电荷保持部分303a、电荷保持部分303b和电荷保持部分303e中的至少一个传送的电荷。

传送部分302e(第六传送部分)将在光电转换部分301处产生的电荷传送到电荷保持部分303e。传送部分304e(第七传送部分)将由电荷保持部分303e保持的电荷传送到fd305。传送部分302e和传送部分304e分别被供给驱动脉冲ptx5和ptx6，以在on和off之间切换。电荷通过接通每个传送部分来传送。

图12是示出驱动脉冲的示图。描述图12所示的驱动脉冲与图4所示的驱动脉冲之间的不同。在时间t25，驱动脉冲ptx2变为处于低电平，电荷蓄积时段ts3结束，并且电荷蓄积时段ts6(第六时段)开始。此时，第二电荷保持时段开始。

在时间t43，驱动脉冲ptx5变为处于高电平，并且，在时间t44，驱动脉冲ptx5变为处于低电平。电荷蓄积时段ts6结束，并且电荷蓄积时段ts5开始。此时，第五电荷保持时段开始。在作为时间t25与时间t44之间的时段的电荷蓄积时段ts6中在光电转换部分301处产生的电荷经由传送部分302e被传送到电荷保持部分303e，并然后由电荷保持部分303e保持。

在时间t45，驱动脉冲ptx2变为处于高电平，并且，在时间t46，驱动脉冲ptx2变为处于低电平。电荷蓄积时段ts5结束，并且电荷蓄积时段ts7(第七时段)开始。在作为时间t44与时间t46之间的时段的电荷蓄积时段ts5中在光电转换部分301处产生的电荷经由传送部分302b被传送到电荷保持部分303b，并然后由电荷保持部分303b保持。

在时间t47，驱动脉冲ptx5变为处于高电平，并且，在时间t48，驱动脉冲ptx5变为处于低电平。电荷蓄积时段ts7结束，并且电荷蓄积时段ts2开始。在作为时间t46与时间t48之间的时段的电荷蓄积时段ts7中在光电转换部分301处产生的电荷经由传送部分302e被传送到电荷保持部分303e，使得在电荷蓄积时段ts6中在光电转换部分301处产生的电荷和在电荷蓄积时段ts7中在光电转换部分301处产生的电荷由电荷保持部分303e保持。

在时间t49，驱动脉冲ptx1变为处于高电平，并且，在时间t50，驱动脉冲ptx1变为处于低电平。电荷蓄积时段ts2结束，并且第一电荷保持时段开始。

在作为时间t48与时间t50之间的时段的电荷蓄积时段ts2中在光电转换部分301处产生的电荷经由传送部分302a被传送到电荷保持部分303a，并然后由电荷保持部分303a保持。

接下来，描述输出时段top。以这种方式，在电荷蓄积时段中，用于使传送部分302在不同时间点进入接通状态的脉冲作为驱动脉冲ptx1、ptx2和ptx5被供给。由此，在光电转换部分301处产生的信号电荷被时间共享，并且然后被传送到电荷保持部分303a、电荷保持部分303b和电荷保持部分303e并由其保持。

时间t9与时间t15之间的时段期间的驱动脉冲的描述与第一示例性实施例中的描述类似。在时间t53，驱动脉冲ptx6变为处于高电平，并且，在时间t54，驱动脉冲ptx6变为处于低电平。在时间t54，电荷保持部分303e处的电荷的保持结束。由此，在电荷蓄积时段ts6中产生的电荷和在电荷蓄积时段ts7中产生的电荷(两者均由电荷保持部分303e保持)被传送到fd305。然后，第五电荷保持时段结束。

然后，fd305保持在各电荷蓄积时段ts1、ts2、ts3、ts5、ts6和ts7中产生的电荷。然后，在时间t54与时间t16之间的时段期间，与电荷对应的信号s5被输出到信号线207。

在时间t16，驱动脉冲psel(m)变为处于低电平，使得选择晶体管308进入关断状态。由此，第m像素行变为未被选择。

针对在输出时段top中依次输出的四个信号，即，信号n、信号s1、信号s2和信号s5，成像设备101或其外部执行“s1-n”、“s2-s1”和“s5-s2”的计算。

由此，可获得从其中的每一个去除固定图样噪声的、基于由电荷保持部分303a保持的电荷的信号s3、基于由电荷保持部分303b保持的电荷的信号s4和基于由电荷保持部分303e保持的电荷的信号s6。

尽管在图12中在彼此不重叠的多个电荷蓄积时段中产生的电荷由各电荷保持部分303保持，但是至少电荷保持部分303a仅需要保持电荷。

接下来，参照图13描述在彼此不重叠的多个电荷蓄积时段中产生的电荷由多个电荷保持部分303保持的情况下的特定效果。

根据本示例性实施例，可获得三种类型的编码图样的信号s3、s4和s6。这三个信号用于产生例如基于通过将信号s3和信号s4加算在一起获得的信号的信号(s3+s4)和基于通过将信号s3和信号s6加算在一起获得的信号的信号(s3+s6)。信号(s3+s4)和信号(s3+s6)是其编码图样以以重叠方式包括部分时段的方式彼此不同的信号。

因此，与通过具有两个电荷保持部分的配置相比，通过具有三个电荷保持部分的配置，可以自由度较高的编码图样的组合获得编码的捕获图像信号。

尽管这里已描述了具有三个电荷保持部分的配置，但是可设置多于三个的电荷保持部分303以获得类似的效果。

本示例性实施例也可适用于其它示例性实施例。

参照图14和图15描述第六示例性实施例。本示例性实施例与第一至第五示例性实施例的不同在于，每个像素包括多个光电转换部分。更具体地，位于每个微透镜下方的两个光电转换部分中的每一个包括多个电荷保持部分。尽管这里示出在每个像素中布置两个光电转换部分的配置，但是可布置多于两个的光电转换部分。

图14是本示例性实施例中的一个像素的等效电路图。这里，描述与图3的等效电路图的不同。

光电转换部分301a和光电转换部分301b被布置在一个像素中。传送部分302a将在光电转换部分301a处产生的电子传送到电荷保持部分303a。传送部分302b将在光电转换部分301a处产生的电子传送到电荷保持部分303b。传送部分302a和302b的栅极分别被供给驱动脉冲ptx1a和ptx2a。

传送部分304a将由电荷保持部分303a保持的电子传送到fd305。传送部分304b将由电荷保持部分303b保持的电子传送到fd305。传送部分304a和304b的栅极分别被供给驱动脉冲ptx3a和ptx4a。

传送部分302c将在光电转换部分301b处产生的电子传送到电荷保持部分303c，并且传送部分302d将在光电转换部分301b处产生的电子传送到电荷保持部分303d。传送部分302c和302d的栅极分别被供给驱动脉冲ptx1b和ptx2b。

传送部分304c将由电荷保持部分303c保持的电子传送到fd305。传送部分304d将由电荷保持部分303d保持的电子传送到fd305。传送部分304c和304d的栅极分别被供给驱动脉冲ptx3b和ptx4b。

传送部分309a将在光电转换部分301a处产生的电子传送到电荷排出部分，并且传送部分309b将在光电转换部分301b处产生的电子传送到电荷排出部分。传送部分309a和309b的栅极分别被供给驱动脉冲pofd1和pofd2。

分别从电荷保持部分303a、电荷保持部分303b、电荷保持部分303c和电荷保持部分303d传送的电荷由fd305保持。

并且，尽管fd305被配置为由光电转换部分301a和光电转换部分301b共享，但是可设置其中布置单独的fd305的半导体区域。

图15是示出根据本示例性实施例的像素的驱动方法的定时图。描述与图4的驱动脉冲图的不同。

参见图15，在时间t3，驱动脉冲ptx1a和ptx1b变为处于高电平，并且，在时间t4，驱动脉冲ptx1a和ptx1b变为处于低电平。由此，在电荷蓄积时段ts1中在光电转换部分301a处蓄积的电荷被传送到电荷保持部分303a，并且在光电转换部分301b处蓄积的电荷被传送到电荷保持部分303c。然后，第三电荷蓄积时段ts3开始。

在时间t5，驱动脉冲ptx2a和ptx2b变为处于高电平，并且，在时间t6，驱动脉冲ptx2a和ptx2b变为处于低电平。由此，在电荷蓄积时段ts3中在光电转换部分301a处蓄积的电荷被传送到电荷保持部分303b，并且在光电转换部分301b处蓄积的电荷被传送到电荷保持部分303d。然后，电荷蓄积时段ts3结束，并且电荷蓄积时段ts2开始。并且，第二电荷保持时段和第四电荷保持时段开始。

在时间t7，驱动脉冲ptx1a和ptx1b变为处于高电平，并且，在时间t8，驱动脉冲ptx1a和ptx1b变为处于低电平。由此，电荷蓄积时段ts2结束，在电荷蓄积时段ts2中在光电转换部分301a处蓄积的电荷被传送到电荷保持部分303a，并且第一电荷保持时段和第三电荷保持时段开始。

电荷保持部分303a保持在电荷蓄积时段ts1中在光电转换部分301a处产生的电荷和在电荷蓄积时段ts2中在光电转换部分301a处产生的电荷。并且，电荷保持部分303c保持在电荷蓄积时段ts1中在光电转换部分301b处产生的电荷和在电荷蓄积时段ts2中在光电转换部分301b处产生的电荷。

接下来，描述输出时间top。时间t9与时间t15之间的时段期间的驱动脉冲的描述与图4所示的驱动脉冲的描述类似。在时间t9，驱动脉冲psel变为处于高电平，使得输出时段top开始。

在时间t55，驱动脉冲ptx3b变为处于高电平，并且，在时间t56，驱动脉冲ptx3b变为处于低电平。由此，在电荷蓄积时段ts1中在光电转换部分301b处产生的电荷和在电荷蓄积时段ts2中产生的电荷(两者均由电荷保持部分303c保持)被传送到fd305。然后，第三电荷保持时段结束。

然后，fd305保持在各电荷蓄积时段ts1、ts2和ts3中在光电转换部分301a处产生的电荷和在各电荷蓄积时段ts1和ts2中在光电转换部分301b处产生的电荷。然后，在时间t56与时间t57之间的时段期间，与电荷对应的信号s被输出到信号线207。

在时间t57，驱动脉冲ptx4b变为处于高电平，并且，在时间t58，驱动脉冲ptx4b变为处于低电平。由此，由电荷保持部分303d保持的、在电荷蓄积时段ts3中在光电转换部分301b处产生的电荷被传送到fd305。然后，第四电荷保持时段结束。在时间t59，驱动脉冲psel变为处于低电平，使得输出时段top结束。

然后，fd305保持在电荷蓄积时段ts1、ts2和ts3中在光电转换部分301a和光电转换部分301b处产生的电荷。然后，在时间t58与时间t59之间的时段期间，与电荷对应的信号s被输出到信号线207。

即使在这样的配置中，也可获得与第一示例性实施例的效果类似的效果。并且，对于光电转换部分301a的电荷蓄积时段和对于光电转换部分301b的电荷蓄积时段被设定为相同，但是可被设定为不同。在这种情况下，可获取在对应于在光电转换部分301a处产生的电荷的信号与对应于在光电转换部分301b处产生的电荷的信号之间不同的编码图样的信号。

并且，尽管由保持在光电转换部分301a处产生的电荷的电荷保持部分保持的电荷被首先传送到fd305，但是由保持在光电转换部分301b处产生的电荷的电荷保持部分保持的电荷可被首先传送到fd305。可替代地，电荷的传送可在保持在光电转换部分301a处产生的电荷的电荷保持部分与保持在光电转换部分301b处产生的电荷的电荷保持部分之间交替。

以上述方式具有多个光电转换部分的像素201可被用作图像捕获像素或具有除图像捕获以外的功能(例如，使用相位差检测方法的焦点检测)的像素。

并且，本示例性实施例也可适用于其它示例性实施例。

参照图16和图17描述第七示例性实施例。图16与图14的不同在于，本示例性实施例包括多个fd、多个放大部分和多个选择晶体管，并且每个fd被针对多个光电转换部分中的各光电转换部分布置的电荷保持部分共享。

描述图16与图14之间的不同。在图16中，由电荷保持部分303a保持的、在光电转换部分301a处产生的电荷经由传送部分304a被传送到fd305a并然后由fd305a保持。由电荷保持部分303c保持的、在光电转换部分301b处产生的电荷经由传送部分304c被传送到fd305a并然后由fd305a保持。然后，由电荷保持部分303a保持的电荷和由电荷保持部分303c保持的电荷被加算在一起并由fd305a保持。

fd305a配置放大部分307a的输入节点(第一输入节点)的一部分。并且，复位晶体管306a将放大部分307a的输入节点的电势复位到复位电势。

选择晶体管308a在像素201与信号线207a的连接和非连接之间切换。根据对于每个像素201的选择晶体管308a的切换操作，来自像素201的信号以一个像素的步长或多个像素的步长被输出到信号线207a。选择晶体管308a的漏极连接到放大部分307a的输出节点。

由电荷保持部分303b保持的、在光电转换部分301a处产生的电荷经由传送部分304b被传送到fd305b并然后由fd305b保持。由电荷保持部分303d保持的、在光电转换部分301b处产生的电荷经由传送部分304d被传送到fd305b并然后由fd305b保持。然后，由电荷保持部分303b保持的电荷和由电荷保持部分303d保持的电荷由fd305b保持。

fd305b配置放大部分307b的输入节点(第二输入节点)的一部分。并且，复位晶体管306b将放大部分307b的输入节点的电势复位到复位电势。

选择晶体管308b在像素201与信号线207b的连接和非连接之间切换。根据对于每个像素201的选择晶体管308b的切换操作，来自像素201的信号以一个像素的步长或多个像素的步长被输出到信号线207b。选择晶体管308b的漏极连接到放大部分307b的输出节点。

图17是示出根据本示例性实施例的像素的驱动方法的驱动脉冲图。描述与图15的驱动脉冲图的不同。图17与图15的不同在于输出时段top。在图17所示的输出时段top中，用于向信号线207a输出基于传送到fd305a的电荷的信号的时段和用于向信号线207b输出基于传送到fd305b的电荷的信号的时段彼此重合。

即使根据本示例性实施例，也可获得与第六示例性实施例的效果类似的效果。

参照图18描述第八示例性实施例中的驱动概念。关于通过连续输出多个帧的编码的捕获图像信号来捕获运动图像的情况进行以下描述。

在本示例性实施例的描述中，像素的等效电路的配置与第一示例性实施例中相同。通过获得多个帧时段的多个图像来捕获运动图像。更具体地，例如，在以每秒60帧捕获图像的情况下，每个帧时段为1/60秒。在捕获静止图像的情况下，每个帧时段是通过将预定时段除以捕获图像的数量获得的时间。例如，在一秒中捕获10帧的图像的情况下，帧时段为1/10秒。并且，提供以下示例作为与每个帧时段对应的时段的开始时间和结束时间。

第一示例是以下情况：在该情况下，开始时间是前一帧时段中光电转换部分处产生的电荷的传送完成的时间，并且结束时间是用于产生当前帧时段的图像的光电转换部分处产生的电荷的传送结束的时间。

第二示例是以下情况：在该情况下，开始时间是光电转换部分的复位被解除且电荷蓄积在光电转换部分处变得可能的时间，并且结束时间是下一帧时段中光电转换部分的复位被解除且电荷蓄积在光电转换部分处变得可能的时间，

尽管在图18中描述了第一示例中的操作，但是可执行第二示例中的操作。尽管这些操作是具体示例，但是可通过使用电荷排出部分灵活地改变光电转换部分301的蓄积时间。在这样的情况下，开始时间和结束时间可被设定为从前一帧时段中光电转换部分处产生的电荷的传送完成时间到光电转换部分的复位被解除的时间的时段中的任选时间。

图18概念性地示出在光电转换部分处产生的电荷、由电荷保持部分保持的电荷以及它们的输出操作。电荷蓄积时段被表达为“pd(帧、电荷蓄积时段)”。并且，电荷保持时段被表达为“mem(帧、产生正被保持的电荷的电荷蓄积时段)”。然后，电荷从光电转换部分301传送到每个电荷保持部分303的定时由箭头指示。

在图18中，由实线指示产生第n帧的图像的操作，并且由虚线指示产生其它帧的图像的操作。在本示例性实施例中，主要描述与第n帧对应的操作。

在图18中，时间t1301与时间t1306之间的时段是与第n帧对应的时段，并且时间t1306与时间t1311之间的时段是与第(n+1)帧对应的时段。

在时间t1301，与第n帧对应的时段开始。在时间t1301，在光电转换部分301处产生的电荷的蓄积开始。此时，作为用于产生第(n-1)帧的图像的电荷，mem1(n-1，ts1+ts3)的电荷被保持在电荷保持部分303a处，并且mem2(n-1，ts2+ts4)的电荷被保持在电荷保持部分303b处。

在时间t1301与时间t1302之间的时段期间，对应于由各像素行的像素的电荷保持部分303a保持的电荷的信号和对应于由其电荷保持部分303b保持的电荷的信号被逐行地依次输出。

在时间t1303，在时间t1301与时间t1303之间的时段期间在光电转换部分处产生的pd(n，ts1)的电荷针对所有的像素一并(collectively)传送到各像素行的像素的电荷保持部分303a。然后，在完成电荷传送的光电转换部分301中，电荷的蓄积开始。

在时间t1304，在时间t1303与时间t1304之间的时段期间在光电转换部分处产生的pd(n，ts2)的电荷针对所有的像素一并传送到各像素行的像素的电荷保持部分303b。然后，在完成电荷传送的光电转换部分301中，电荷的蓄积开始。

在时间t1305，在时间t1304与时间t1305之间的时段期间在光电转换部分处产生的pd(n，ts3)的电荷针对所有的像素一并传送到各像素行的像素的电荷保持部分303a。然后，在完成电荷传送的光电转换部分301中，电荷的蓄积开始。并且，pd(n，ts1)和pd(n，ts3)的电荷被保持在电荷保持部分303a处。

在时间t1306，在时间t1305与时间t1306之间的时段期间在光电转换部分处产生的pd(n，ts4)的电荷针对所有的像素一并传送到各像素行的像素的电荷保持部分303b。然后，在完成电荷传送的光电转换部分301中，电荷的蓄积开始。并且，pd(n，ts2)和pd(n，ts4)的电荷被保持在电荷保持部分303b处。

然后，在时间t1306，用于产生第n帧的图像的电荷的传送完成。因此，在时间t1306，与第(n+1)帧相对应的时段开始，并且在光电转换部分301处产生的电荷的蓄积开始。

在时间t1306与时间t1307之间的时段期间，对应于由电荷保持部分303a保持的电荷的信号和对应于由电荷保持部分303b保持的电荷的信号被逐行地依次输出到每个像素的外部。由此，在第n帧的图像捕获中获得基于从电荷保持部分303a和电荷保持部分303b输出的信号的两个图像。

用于输出这样的信号的希望的方法包括在fd305处将在电荷蓄积时段上不同的电荷加算在一起。与基于在各电荷蓄积时段中产生的电荷的信号在后级电路处被加算在一起的情况相比，这使得能够使输出操作加快速度。

希望电荷保持部分303a和电荷保持部分303b的编码图样被以目标是用于电荷的保持的帧从第n帧改变到第(n+1)帧的时间t1308与前一帧(第n帧)的所有行的读取完成的时间t1307相同或在其之后的方式设定。由此，可防止或减少将在移动的被摄体的图像捕获期间出现的滚动快门失真。因此，在时间t1306与时间t1307之间的时段期间在光电转换部分处产生的电荷被光电转换部分301暂时保持。然后，在与第n帧的输出时段结束的时间t1307相同或在其之后的时间t1308，由光电转换部分301保持的电荷被传送到电荷保持部分303a或电荷保持部分303b。

根据这样的配置，由于在输出时段期间在光电转换部分301处产生的电荷能够被用作下一帧的电荷，因此可获得其中光的使用效率的下降被防止或减少的多个编码的捕获图像信号构成的运动图像。

图19a和19b是分别示出根据第九示例性实施例的成像系统1000和移动体的配置的示图。图19a示出与车载照相机相关联的成像系统1000的示例。成像系统1000包括成像设备1010。成像设备1010是在上述各示例性实施例中描述的成像设备中的任何一个。成像系统1000还包括对由成像设备1010获取的多条图像数据执行图像处理的图像处理单元1030和从由成像系统1000获取的多条图像数据计算视差(视差图像之间的相位差)的视差获取单元1040。并且，成像系统1000还包括基于计算的视差计算从成像系统1000到目标物体的距离的距离获取单元1050以及基于计算的距离确定是否存在碰撞可能性的碰撞确定单元1060。这里，视差获取单元1040或距离获取单元1050是被配置为获取指示从成像系统1000到目标物体的距离的距离信息的距离信息获取单元的示例。因此，距离信息是关于例如视差、散焦量或到目标物体的距离的信息。碰撞确定单元1060可通过使用这些条距离信息中的任何一条确定碰撞可能性。距离信息获取单元可由针对专门用途而设计的硬件实现，或者可由软件模块实现。并且，距离信息获取单元可由例如现场可编程门阵列(fpga)或专用集成电路(asic)实现，或者可由这些的组合实现。

成像系统1000连接到车辆信息获取设备1310，并由此能够获取车辆信息，诸如车辆速度、偏航率和转向角度。并且，成像系统1000连接到控制电子控制单元(ecu)1410，该控制电子控制单元(ecu)1410是用于基于碰撞确定单元1060的确定结果输出控制信号以对车辆产生制动力的控制设备。因此，控制ecu1410是被配置为基于距离信息控制移动体的移动体控制单元的示例。另外，成像系统1000还连接到基于碰撞确定单元1060的确定结果对驾驶员进行报警的报警设备1420。例如，在作为碰撞确定单元1060的确定结果碰撞可能性高的情况下，控制ecu1410通过例如施加制动器、返回加速器踏板或减少引擎输出来执行车辆控制以避免碰撞和减少损坏。报警设备1420通过例如发出诸如声音的报警、在例如汽车导航系统的屏幕上显示报警信息或者向肩带或方向盘施加振动来向用户发出警告。

在本示例性实施例中，成像系统1000捕获车辆的周围的图像，诸如车辆前方或后方的视野。图19b示出用于捕获车辆前方的视野(图像捕获范围1510)的图像的成像系统1000。车辆信息获取设备1310发出使成像系统1000操作以执行图像捕获的指令。利用上述示例性实施例中的每一个中的成像设备作为成像设备1010使得本示例性实施例中的成像系统1000能够进一步提高距离测量的精度。

尽管在以上的描述中本示例性实施例被应用于用于防止与另一车辆碰撞的控制操作的示例，但是本示例性实施例也可应用于例如用于执行自动驾驶以跟随另一车辆的控制操作或者用于执行自动驾驶以保持车道的控制操作。并且，成像系统不仅可应用于诸如汽车的车辆，而且还可应用于诸如船舶、飞机或工业机器人的移动体(移动装置)。另外，成像系统不仅可应用于移动体，而且还可应用于诸如智能运输系统(its)的广泛使用物体识别的设备。

上述示例性实施例仅仅示出了用于实现本发明的具体示例，并且这些示例不应被解释为限制本发明的技术范围。换句话说，可在不脱离本发明的技术构思或其主要特征的情况下以各种模式实现本发明。并且，可通过组合上述示例性实施例中的至少一些来实现本发明。

尽管已参照示例性实施例描述了本发明，但是要理解，本发明不限于公开的示例性实施例。随附权利要求的范围应被赋予最宽的解释以便包含所有这样的修改以及等同的结构和功能。