成像装置及其控制方法与流程

1.本发明涉及成像装置及其控制方法。


背景技术：

2.传统上，成像装置已被用于通过使用图像来观察和监视对象。作为用于这种目的的成像装置，已知用于以预定时间间隔拍摄和记录帧图像的装置、以及用于响应于根据连续帧之间的亮度值的差分而检测到被摄体图像的变化来开始成像和记录的装置。
3.专利文献1公开了如下技术：在与进行成像和记录的通常摄像模式不同的驱动模式下，通过使用通过成像器件的各分割块中的像素相加而获得的输出来检测被摄体图像的变化，并且减少与该检测相关的图像信息的信息处理量，以降低功耗。
4.专利文献2公开了如下技术：检测正被拍摄的图像中的被摄体图像的变化，并在检测到的变化量小于预定阈值的情况下进行像素相加或间隔剔除处理，以减少在未检测到期望的变化量的情况下的图像处理的处理负荷。
5.引用列表
6.专利文献
7.专利文献1：日本特开2018-22935
8.专利文献2：日本特开2006-215260


技术实现要素：

9.技术问题
10.专利文献1中所公开的固态成像器件针对各分割块进行像素相加，从而以分割块为单位检测被摄体图像的变化。为此，当分割块中的被摄体图像小幅移动时，通过像素相加而获得的像素信号可能没有变化或变化很小，并且可能不会获得期望的检测结果。
11.在专利文献2中所公开的显微镜系统中，通过成像单元(即，成像器件)外部的图像处理单元或像素数转换器来进行被摄体图像的变化的检测和相加处理。即，成像单元总是输出大量像素信号的图像，而没有考虑降低成像单元自身的功耗。
12.本发明是鉴于上述问题而做出的。本发明的目的是在响应于检测到被摄体图像的变化而进行摄像的成像装置中实现如下技术，该技术能够在检测被摄体图像的变化的检测操作中实现功耗的降低和检测精度的提高。
13.解决问题的技术手段
14.为了解决这些问题，例如，本发明的成像装置具有如下构造。即，成像装置的特征在于包括：检测部，用于针对具有以二维图案布置的多个像素的成像平面的各预定大小的部分区域获取像素信号，并且从所述成像平面的区域中检测被摄体图像已改变的区域，所获取的像素信号的数量比所述部分区域中所包括的像素的数量少；控制部，用于进行控制，以响应于通过所述检测部检测到所述被摄体图像已改变的区域来进行摄像，并且输出基于来自所述成像平面的像素的像素信号的拍摄图像，其中，所述检测部通过在要从所述成像
平面的第一部分区域获取像素信号的情况下从与所述第一部分区域相邻并与所述第一部分区域部分交叠的第二部分区域获取像素信号，来从所述成像平面的各部分区域获取像素信号，并且从所述成像平面的区域中检测所述被摄体图像已改变的区域。
15.本发明的有利效果
16.根据本发明，用于响应于检测到被摄体图像的变化而进行摄像的成像装置能够针对被摄体图像的变化的检测，降低操作功耗并提高检测精度。
17.通过以下结合附图的描述，本发明的其他特征和优点将变得清楚。注意，遍及附图，相同的附图标记表示相同或相似的组件。
附图说明
18.包含在一部分说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且与文字说明一起用来说明本发明的原理。
19.图1是示出作为根据本实施例的成像装置的示例的数字照相机的功能构造示例的框图。
20.图2是示出根据本实施例的成像器件的功能构造示例的框图。
21.图3a是示出根据本实施例的像素单元的构造示例的图。
22.图3ba是示出根据本实施例的像素单元的像素块(部分区域)的范围的示例的图。
23.图3bb是示出根据本实施例的像素单元的像素块(部分区域)的范围的示例的图。
24.图3bc是示出根据本实施例的像素单元的像素块(部分区域)的范围的示例的图。
25.图3bd是示出根据本实施例的像素单元的像素块(部分区域)的范围的示例的图。
26.图4a是示出根据本实施例的像素块的构造示例的图。
27.图4b是示出根据本实施例的像素块的构造示例的图。
28.图5是示出根据本实施例的事件检测单元的功能构造示例的框图。
29.图6a是示出根据本实施例的成像平面上的被摄体图像的示例的图。
30.图6b是示出根据本实施例的像素块区域的大小的图。
31.图6c是示出根据本实施例的相邻像素块的图。
32.图6d是示出根据本实施例的相邻像素块的图。
33.图6e是示出根据本实施例的相邻像素块的图。
34.图6f是示出根据本实施例的相邻像素块的图。
35.图6g是示出针对被摄体图像所获得的像素信号的示例的图。
36.图7a是示出根据本实施例的成像平面上的已经移位的被摄体图像的示例的图。
37.图7b是示出本实施例的被摄体图像与像素块区域之间的关系的图。
38.图7c是示出本实施例的被摄体图像与像素块区域之间的关系的图。
39.图7d是示出本实施例的被摄体图像与像素块区域之间的关系的图。
40.图7e是示出本实施例的被摄体图像与像素块区域之间的关系的图。
41.图7f是示出针对被摄体图像所获得的像素信号的示例的图。
42.图8a是示出当使用传统技术时成像平面上的被摄体图像的示例的图。
43.图8b是示出当使用传统技术时成像平面上的已经移位的被摄体图像的示例的图。
44.图8c是示出当使用传统技术时针对被摄体图像所获得的像素信号的示例的图。
45.图9是示出根据本实施例的成像器件在检测模式下的操作示例的时序图。
46.图10是示出根据本实施例的成像器件在通常摄像模式下的操作示例的时序图。
47.图11是示出与根据本实施例的成像器件的操作模式相关的一系列操作的流程图。
48.图12a是示出由堆叠结构实现的根据本实施例的成像器件的示例的图。
49.图12b是示出由堆叠结构实现的根据本实施例的成像器件的示例的图。
50.图12c是示出由堆叠结构实现的根据本实施例的成像器件的示例的图。
具体实施方式
51.下文中将参照附图详细描述实施例。注意，以下实施例并不意在限制本发明的范围。在实施例中描述了多个特征，但并不限于需要所有这些特征的发明，而是可以适当组合这些多个特征。此外，在附图中，对相同或相似的构造赋予相同的附图标记，并将省略其冗余描述。
52.现在将描述使用如下数字照相机的示例作为成像装置的示例，该数字照相机能够在通过使用能够检测被摄体图像的变化的成像器件检测到被摄体图像的变化之后记录拍摄图像。然而，本实施例不仅适用于数字照相机，还适用于能够在通过使用能够检测被摄体图像的变化的成像器件检测到被摄体图像的变化之后记录拍摄图像的其他装置。这样的装置可以包括例如个人计算机、包括智能电话的便携式电话、游戏机、平板终端、医疗设备、监视系统和车载系统。
53.数字照相机的构造
54.图1是示出作为本实施例的成像装置的示例的数字照相机的功能构造示例的框图。图1所示的一个或多于一个功能块可以由诸如asic或可编程逻辑阵列(pla)等的硬件来实现，或者可以通过用于执行软件的诸如cpu或mpu等的可编程处理器来实现。另选地，这些功能块可以通过软件和硬件的组合来实现。因此，在以下描述中，即使在不同的功能块被描述为操作主体的情况下，也可以将相同的硬件实现为主体。
55.成像镜头101构成摄像光学系统并将来自被摄体的光会聚到成像器件200。成像器件200包括例如互补金属氧化物半导体(cmos)图像传感器，并对通过成像镜头101入射的光进行光电转换。成像器件200通过下面所描述的ad转换电路对光电转换的信号进行模数转换，以输出以像素为单位的图像信号。成像器件200具有如下控制功能：根据来自内部像素单元的输出值的变化量和变化区域的检测结果，来改变成像器件200自身的驱动控制。成像器件200具有例如通常摄像模式和检测模式作为其操作模式。
56.在通常摄像模式下，成像器件200输出像素信号作为用于记录的拍摄图像，而在检测模式下，成像器件200根据检测到被摄体图像的变化而改变到通常摄像模式。尽管将在下面描述细节，但是该控制功能使得能够进行从用于在成像器件200内部检测被摄体图像的变化的检测模式到通常摄像模式的控制。成像器件200可以输出例如由3840
×
2160像素(所谓的4k)组成的图像信号或由1920
×
1080像素(所谓的全高清(fullhd))组成的图像信号作为拍摄图像。
57.图像处理单元102对从成像器件200输出的图像信号进行各种类型的校正(诸如滤波等)和数字图像处理(诸如压缩等)。图像处理单元102还根据各模式，对以4k或fullhd模式等拍摄到的图像信号进行图像处理(诸如调整大小等)。
58.控制单元103包括例如诸如中央处理单元(cpu)等的一个或多于一个处理器。控制单元103通过在存储器104中加载和执行记录在下述记录单元105中的程序，来综合控制包括图像处理单元102和显示单元106等的整个数字照相机100的操作。由于成像器件200具有用于根据检测到被摄体图像的变化而改变到通常摄像模式的检测模式，因此控制单元103还进行控制以许可成像器件200在检测模式下操作。
59.存储器104例如是诸如sdram等的易失性存储器。存储器104临时存储从图像处理单元102输出的图像信号以及控制单元103的处理所需的数据等。记录单元105包括例如非易失性记录介质(诸如半导体存储器或磁盘等)，并且记录和保持从图像处理单元102输出的图像信号(即，拍摄图像)。
60.显示单元106包括例如显示设备(诸如液晶显示器或有机el显示器等)，并显示拍摄图像或从记录单元105读取的图像。显示单元106还显示操作画面和设置画面等以供用户操作和设置数字照相机100。
61.操作单元107包括例如用于输入与摄像相关的各种操作的开关，诸如电源按钮、快门按钮和用于指示运动图像的记录开始和停止的按钮。操作单元107包括例如菜单显示按钮、输入按钮、其他光标键和触摸屏。当操作单元107接收到从用户对这些键和按钮的操作时，控制单元103根据操作内容来控制数字照相机100的组件。
62.成像器件200的构造
63.现在将参照图2更详细地描述根据本实施例的成像器件200的功能构造示例。成像器件200包括多个像素以矩阵(即，二维图案)布置的像素单元220。成像器件200具有如下功能：输出由以像素单元220的像素为单位输出的像素信号组成的图像信号、以及由通过以像素块(通过以预定方式分割像素单元220的平面而获得的块)为单位将多个像素的信号相加而获得的像素信号组成的图像信号。
64.针对各像素列或作为如下所述的像素块单位的各块列，通过ad转换电路212对从像素单元220输出的像素信号经过模数转换。然后，通过对水平扫描电路213的驱动将转换后的像素信号顺次传输到事件检测单元214。
65.事件检测单元214根据来自用于进行成像器件200的驱动模式控制的模式控制单元216的控制信号，从输入像素信号中检测预定事件或将输入像素信号直接输出到信号处理单元215。即，事件检测单元214用作检测部，该检测部用于在以像素块为单位输入的像素信号中检测多个像素块中的被摄体图像已改变的块。事件检测单元214将像素信号的变化量作为检测结果发送到模式控制单元216，以像素块为单位对像素信号进行积分，并将积分后的数据给送到曝光控制单元217。对于以像素为单位(即，在各像素列中)输入的像素信号，事件检测单元214将这些像素信号直接输出到信号处理单元215。
66.信号处理单元215向从事件检测单元214输出的像素信号的前端和后端中的至少一个添加指示像素信号的变化量等的附加信息，并且将这些图像信号输出到成像器件200的外部单元。输出到成像器件200的外部单元的图像信号可以作为拍摄图像记录在记录单元105中。
67.模式控制单元216接收来自成像器件200中的事件检测单元214或成像器件200外部的控制单元103的信号，并将驱动定时控制信号给送到ad转换电路212、水平扫描电路213和垂直扫描电路211。这样，模式控制单元216根据成像器件200的成像模式来进行驱动控
制。在控制单元103许可成像器件200在(作为其操作模式的)检测模式下操作的情况下，模式控制单元216将成像器件200设置为检测模式，并开始驱动以对各像素块中的像素信号进行相加。
68.垂直扫描电路211经由与各行连接的信号线，以像素为单位或以像素块为单位选择并驱动行。曝光控制单元217基于来自事件检测单元214的积分数据来计算曝光时间作为成像器件200的曝光控制，并将成像器件200的曝光控制信号给送到模式控制单元216。
69.像素单元220的构造
70.现在将参照图3a描述根据本实施例的像素单元220的构造示例。在像素单元220中，多个像素230以6
×
6矩阵(即，二维图案)布置。图3a的示例包括例如6
×
6或36个像素230。注意，行数和列数以及布置不限于此。为了说明的目的，像素230由指示像素在像素矩阵中的位置的编号来表示。
71.像素230各自输出像素信号。在成像器件200处于通常摄像模式的情况下，从像素单元220输出以像素为单位的像素信号。在成像器件200处于检测模式的情况下，对成像器件200的平面中的预定像素块(部分区域)中的多个像素的像素信号进行相加并从像素单元220输出。
72.在图3a所示的示例中，像素块240各自用作块单位并由行方向和列方向上的四个像素(4
×
4矩阵)组成，并且各像素块240与相邻像素块具有(2个像素的)交叠区域。即，四个相邻的像素块240具有交叠区域。
73.图3ba、图3bb、图3bc和图3bd分别表示四个像素块240中的各个像素块。图3ba示出了像素单元220上的位于成像平面左上方的像素块。图3bb示出了右上方，图3bc示出了左下方，并且图3bd示出了右下方。
74.如图3ba所示，成像平面左上方处的像素块240将像素单元220的第一行的像素11和第四行的像素44分别位于左上方和右下方的区域中的像素信号相加，以获得以一个块为单位的输出。
75.如图3bb所示，成像平面右上方处的像素块240将像素单元220的第一行的像素31和第四行的像素64分别位于左上方和右下方的区域中的像素信号相加，以获得以一个块为单位的输出。
76.如图3bc所示，成像平面左下方处的像素块240将像素单元220的第三行的像素13和第六行的像素46分别位于左上方和右下方的区域中的像素信号相加，以获得以一个块为单位的输出。
77.如图3bd所示，成像平面右下方处的像素块240将像素单元220的第三行的像素33和第六行的像素66分别位于左上方和右下方的区域中的像素信号相加，以获得以一个块为单位的输出。
78.像素块240相对于相邻像素块240中的像素列和像素行各自设置有两行两列的交叠区域。例如，在位于左上方处的像素块240中，相对于位于右上方处的像素块240，在列方向上设置有交叠区域，并且该交叠区域包括像素31至34和41至44。位于左下方处的像素块240设置有在行方向上的交叠区域，并且该交叠区域包括像素13至43和14至44。
79.返回参照图3a，经由在行方向上布线的多个信号线，将各种控制信号给送到第一行中的各像素230。即，给送重置控制信号(例如rst1)和行选择控制信号(例如sel1-1、
sel2-1)。此外，还给送传输控制信号(例如，tx1)和相加信号(例如，add1)。也将相同的控制信号给送到第二行和后续行中的像素230。
80.在列方向上，两个垂直信号线(例如，垂直信号线410-1和412-1)被布线到各像素列。来自同一像素列中的各像素230的输出(即，像素信号)经由垂直信号线输入到作为连接目的地的ad转换电路212。
81.通过上述信号线对控制信号的选择性给送使得成像器件200经由各个垂直信号线410以列为单位顺次输出像素信号。在操作模式为通常摄像模式的情况下，从像素单元220的各像素230顺次输出像素信号。相反，在操作模式为检测模式的情况下，输出通过以像素块240为单位进行相加而获得的像素信号。
82.通过以像素块中的行为单位操作下述加法开关以将浮动扩散的信号进行相加，来以像素块240为单位输出像素信号，并且同时将信号以行为单位输出到垂直信号线。这样，以块为单位相加的像素块的像素信号以行为单位输出。
83.现在将参照图4a和图4b描述根据本实施例的像素单元220的构造示例。图4a和图4b示出了布置有6
×
6像素230的示例。
84.关注位于左上方处的一个像素230，通过传输控制信号tx1对传输开关405-1的控制，将在光电二极管406-1中所生成和累积的电荷传输到浮动扩散(fd)407-1。
85.源极跟随器放大器408-1基于存储在fd 407-1中的电荷来放大电压信号并将其作为像素信号输出。源极跟随器放大器408-1连同垂直信号线410-1和连接到垂直信号线410-1的恒流源411-1一起来构造。通过行选择控制信号sel1-1对行选择开关409-1的控制，将源极跟随器放大器408-1的输出连接到垂直信号线410-1。
86.源极跟随器放大器408-1还连同不同于上述垂直信号线410-1和恒流源411-1的垂直信号线412-1和恒流源413-1一起来构造。源极跟随器放大器408-1然后基于存储在fd 407-1中的电荷来放大电压信号并将其作为像素信号输出。通过行选择控制信号sel1-2对行选择开关402-1的控制，将源极跟随器放大器408-1的输出连接到与上述垂直信号线410-1不同的垂直信号线412-1。
87.在存储在fd 407-1中的不需要的电荷要被重置的情况下，重置开关404-1由重置控制信号rst1来控制。在光电二极管406-1的电荷要被重置的情况下，控制传输控制信号tx1以将传输开关405-1连同重置开关404-1一起控制来执行重置。传输控制信号(例如tx1)、重置控制信号(例如rst1)和行选择控制信号(例如sel1-1、sel1-2)从垂直扫描电路211给送并且具有针对各行的控制信号值。
88.在成像器件200的操作模式是通常摄像模式的情况下，从各像素(例如，230-1)输出被传输到各像素230中的fd 407(例如，fd 407-1)的信号。相反，在操作模式是检测模式的情况下，通过由相加信号add1控制加法开关403-1、403-2和403-4使fd短路，来对传输到各个像素的fd(407-1、407-2、407-4)的信号进行相加和平均。fd也以行为单位对像素块中的其他行进行相加和平均。
89.随后，通过以行为单位进行相加和平均而获得的信号被同时输出到同一垂直信号线，并以像素块为单位输出。这样，在检测模式下输出通过fd和垂直信号线对各自由4
×
4个像素组成的像素块单位进行相加和平均的结果。然而，相加的范围不限于4
×
4。像素信号的水平相加不限于通过fd的相加，并且另选地，例如也可以将来自多行的输出信号同时输出
到垂直信号线，以对输出信号进行相加和平均，并且可以通过在ad转换电路前设置加法电路来进行垂直相加。
90.事件检测单元214的构造
91.现在将参照图5描述根据本实施例的事件检测单元214的构造示例。输出切换电路260是用于根据成像器件200的操作模式来将像素输出目的地切换到成像器件200的内部或外部的电路。
92.输出切换电路260接收来自模式控制单元216的控制信号，并且在成像器件200的操作模式为检测模式的情况下，将像素信号的输出目的地设置为成像器件200内部的积分运算电路261并且引起对被摄体图像的变化的检测。在成像器件200的操作模式为通常摄像模式的情况下，像素信号的输出目的地被设置为成像器件200的外部单元，并且这些像素信号从事件检测单元214输出至信号处理单元215。
93.积分运算电路261接收来自输出切换电路260的像素信号的输出，对输出值进行积分，并将积分后的数据给送到曝光控制单元217。积分运算电路261将以像素块为单位的像素输出输出到用于保持像素输出的存储器262。存储器262将以固定周期(例如，每帧)所获取的以像素块为单位的像素信号、以及指示二维矩阵在作为该信号的输出源的成像器件的平面中的分割位置的信息，作为过去数据进行存储和保持。
94.差分检测电路263将在同一分割位置处最近所读取的以像素块为单位的像素信号的信号值与保持在存储器262中的过去数据中的像素信号的信号值进行比较，以生成差分数据。差分检测电路263将所生成的差分数据给送到比较电路264。比较电路264将各个所给送的差分数据与预定阈值进行比较，并将所获得的比较结果数据发送到模式控制单元216。
95.图6a和图7a示出了所拍摄的被摄体图像的示例，并且在这些示例中，作为被摄体的人物位于成像平面中的左上方的块中。
96.图6b示出了各像素块区域的大小，并且各像素块区域的大小相同。虽然本实施例描述了各像素块区域的大小相同的示例，但是像素块区域的大小可以根据用户的指令操作或根据被摄体的大小、帧间隔等而变化。
97.在图6a中，如参照图3ba所描述，各像素块与相邻的像素块及其部分区域交叠。图中的虚线指示像素块的区域。在下面的描述中，将通过将行表示为左侧的数字并将列表示为右侧的数字，来描述像素块的位置，如左上方处的位置11、其右侧的位置12等等、直到右下方处的位置22所表示。
98.图6c、图6d、图6e和图6f示出了图6a中的摄像平面上的被摄体图像和各像素块的各区域。图6c示出了左上方处的像素块11，图6d示出了右上方处的像素块12，图6e示出了左下方处的像素块21，并且图6f示出了右下方处的像素块22。这里，关注像素块11，设置与其右侧的像素块12、下侧的像素块21和右下侧的像素块22交叠的区域。
99.图6g示意性地示出了与图6a所示的被摄体图像相对应的来自像素单元220的各像素块240的输出。与图6a中的人物部分相对应的来自像素块(块11)的输出是通过将人物和背景所位于的像素的信号相加而获得的输出。图6a所示的示例指示背景比人物更亮的情况。因此，基于人物的面积与背景的面积的比率，像素块11的输出具有比其他像素块的输出低的信号值。
100.与图6a同样地，图7a示出了成像平面中的被摄体图像的示例。与图6a相比，图7a示
出了被摄体图像在像素块11的区域中从左向右移动的情况。在图7a所示的示例中，被摄体图像位于像素块11和12的交叠区域中。即，虽然被摄体图像位于像素块11中的区域中，但它也位于像素块12的区域中的左端。
101.图7b、图7c、图7d和图7e示出了图7a中的摄像平面上的被摄体图像和各像素块的各区域。图7b示出了左上方处的像素块11，图7c示出了右上方处的像素块12，图7d示出了左下方处的像素块21，并且图7e示出了右下方处的像素块22。
102.图7f示意性地示出了与图7a中的被摄体图像相对应的各像素块的输出。由于被摄体位于交叠区域中，因此像素块11和12这两者都向像素块21和22提供低的输出值。
103.现在将说明在被摄体图像的位置从图6a中的位置改变到图7a中的位置的情况下的操作。差分检测电路263根据作为过去数据保持在存储器262中的图6g所示的以像素块为单位的像素信号、以及最近所读取的图7f所示的以像素块为单位的像素信号，来计算各像素块的同一分割位置处的差分数据。
104.比较电路264然后将计算出的差分数据与预定阈值进行比较。即，比较电路264基于计算出的差分数据和预定阈值(阈值将在下面描述)来判断是否已发生被摄体图像的变化。即，在从图6a到图7a的变化的示例中，在图6g所示的像素信号与图7f所示的像素信号之间的差分数据超过阈值的情况下，检测到被摄体图像的变化。随后，在像素块中检测到被摄体图像的变化的情况下，模式控制单元216将驱动控制改变为用于图像的通常摄像模式。
105.图8a和图8b示出了通过使用传统技术将成像平面分割为不具有交叠区域的2
×
2像素块的示例。在该示例中，图8a和图8b所示的人物的位置分别与图6a和图7a中的人物的位置相同。
106.图8c示意性地示出了在使用传统技术的情况下来自像素块的输出。在图中，被摄体图像的变化所引起的输出与被摄体存在于像素块11中的情况没有区别。即，与如在上述实施例中设置交叠区域的情况不同，针对被摄体在分割块内的移位没有获得输出上的差异，并且无法检测被摄体图像的变化。
107.因此，在本实施例中，使相邻像素块交叠导致被摄体图像在相邻像素块的像素信号中出现较小移位。相邻像素块的较大交叠区域使得能够检测到被摄体图像的较小移位。在上述示例中，在行方向或列方向上彼此相邻的像素块在像素块的一半区域中相互交叠。在这种情况下，被摄体图像移位了半个像素块的距离会导致在相邻像素块的像素信号中出现变化。即，与图8a至图8c所示的情况相比，可以检测到移位了一半距离的被摄体图像的变化。
108.由于从各像素块读取到的像素信号是通过像素相加而减少了像素数量的信号，因此仍然能够降低用于检测被摄体图像的变化的操作功耗。即，能够在降低用于检测被摄体图像的变化的操作功耗的同时，提高用于检测被摄体图像的变化的检测精度。
109.另一方面，相邻像素块的较大交叠区域会导致成像平面上所设置的像素块的数量增加，使得从各像素块读取到的像素信号的数量(用于检测被摄体图像的变化的)增加。因此，例如，当在行方向或列方向上相邻的像素块在像素块的一半区域交叠时，能够平衡用于检测被摄体图像的变化的操作功耗的降低以及用于检测被摄体图像的变化的检测精度的提高。
110.现在将参照图9说明在检测模式下的操作期间以像素块为单位的像素信号的读取
操作。
111.假设在定时t0处检测到事件，控制单元103许可成像器件200在检测模式下操作，并且设置检测模式。垂直扫描电路211将用于以像素块的行为单位进行信号相加控制的相加信号add1设置为高电平，从而以块中的行为单位将fd短路，并对像素信号进行相加和平均。
112.在同一定时t0处，垂直扫描电路211将重置控制信号rst1和传输控制信号tx1控制为高电平。这通过相加信号add1将处于连接状态的fd 407-1、407-2和407-4重置为电源电位。控制信号将同一行中的光电二极管406-1、406-2和406-4重置为电源电位。
113.同一像素块中的要相加的第二行和第四行也以与第一行相同的方式操作。例如，在第二行中，垂直扫描电路211将重置控制信号rst2和传输控制信号tx2控制为高电平。在这种情况下，第二行中的fd被相加信号add2短路并重置。在第四行中，垂直扫描电路211将重置控制信号rst4和传输控制信号tx4控制为高电平，并且第四行中的fd被add4短路并重置。
114.在定时t1处，重置控制信号rst1和传输控制信号tx1返回为低电平，并在块单位的第一行中开始像素的曝光。同样地，在第二行中，重置控制信号rst2和传输控制信号tx2返回为低电平，并在块单位的第二行中开始像素的曝光。在第四行中，重置控制信号rst4和传输控制信号tx4返回为低电平，并在块单位的第四行中开始像素的曝光。
115.在定时t2处，在经过了一定的曝光时间之后，垂直扫描电路211将与块单位的第一行相对应的传输控制信号tx1控制为高电平，以接通传输开关405-1、405-2和405-4。这样将存储在各光电二极管406-1、406-2和406-4中的电荷传输到浮动扩散(fd)。这样完成了结合有电荷的块单位的曝光。
116.同时，在块单位的第二行中，将传输控制信号tx2控制为高电平，以接通第二行的传输开关，并且将在第二行的各光电二极管中所累积的电荷传输至fd。在块单位的第四行中，将传输控制信号tx4控制为高电平，以接通第四行的传输开关，并且将在第四行的各光电二极管中所累积的电荷传输至fd。
117.传输到fd的块单位的电荷被源极跟随器放大器408-1放大为电压信号，并且作为像素输出从垂直信号线410-1输出。通过ad转换电路将向各垂直信号线输出的像素输出转换为数字信号。
118.到此为止的操作使得作为像素块单位的块的第一行从这两个垂直信号线中的一个垂直信号线输出各列的像素信号，但是通过一个变为有效的ad转换电路将像素块的像素信号的输出转换成数字信号。
119.在作为像素块单位的块的第二行中，与块的第一行中一样，将各列的fd短路并且以块的行为单位对像素信号进行相加和平均。该行单位的输出信号被输出到垂直信号线，作为以像素块为单位的输出信号；并且该输出信号被输出到与块的第一行不同的其他垂直信号线(例如412-1)，并由一个ad转换电路转换为数字信号。通过由针对各块不同的垂直信号线输出像素信号，可以在高度同步的状态下从各个块读取像素信号。
120.同样地，在定时t3处及之后，以块为单位顺次进行曝光和读取，从而完成对所有块的读取。根据垂直同步信号来多次执行对所有块的读取。
121.现在将参照图10说明在处于通常摄像模式下的操作期间以像素为单位的像素信
号的读取操作。
122.假设在定时t10处检测到事件(例如，事件检测单元214检测到图7a所示的被摄体图像的变化)，并且设置通常摄像模式。
123.垂直扫描电路211在预定脉冲期间将行选择控制信号sel1_1控制为高电平并且将重置控制信号rst1控制为高电平，以读取第一像素行的像素信号。
124.在同一定时t10处，垂直扫描电路211将重置控制信号rst1和传输控制信号tx1控制为高电平。这样将第一行中的像素的fd 407-1至407-6和光电二极管406-1至406-6重置为电源电位。由于垂直扫描电路211在通常摄像模式下不以块为单位读取像素信号，因此相加信号add1和add2不被设置为高电平。
125.在定时t11处，在垂直扫描电路211的控制下，重置控制信号rst1和传输控制信号tx1返回为低电平，并且针对第一像素行开始曝光。在定时t12处，在经过了一定的曝光时间后，垂直扫描电路211将传输控制信号tx1控制为高电平，以接通传输开关405-1至405-6。这样将存储在光电二极管406-1至406-6中的电荷分别传输至fd 407-1至407-6，并且行单位的像素的曝光结束。
126.传输到fd的电荷被作为连接目的地的源极跟随器放大器408-1至408-6放大为电压信号，并作为像素信号从各列的垂直信号线输出。输出到垂直信号线的像素信号被各列的ad转换电路转换为数字信号。
127.在接下来的定时t14至t17处，进行第二行中的像素的信号读取操作。在信号的读取中，与第二行中的像素相对应的行选择控制信号sel2-1、重置控制信号rst2和传输控制信号tx2以与第一行中的像素的相同信号相同的方式来驱动和控制。这样将存储在第二行的光电二极管中的电荷传输到第二行的fd，并且以像素为单位的第二行中的像素的曝光结束。传输到fd的电荷被作为连接目的地的源极跟随器放大器放大为电压信号，并且作为像素信号从各列的垂直信号线输出。
128.同样地，对于后续的像素行，以像素行为单位进行曝光和读取，从而完成对所有行的读取。根据垂直同步信号来多次执行对所有行的读取。
129.(与成像器件的通常摄像模式控制相关的一系列操作)
130.现在将参照图11说明与成像器件200的通常摄像模式控制相关的一系列操作。在本处理中，通过控制单元103在存储器104中加载和执行存储在记录单元105中的程序来实现控制单元103的操作。除非另有说明，否则各步骤的操作均在成像器件200中执行。
131.在以下说明中，由成像器件200的组件(诸如事件检测单元214等)执行的操作将统称为由成像器件200进行的操作。注意，例如当经由数字照相机100的操作单元107接收到用于将成像器件200的操作模式改变为检测模式的直接或间接的预定操作指令时，该处理开始。
132.在步骤s1101中，控制单元103控制成像器件200以在检测模式下操作，并将成像器件200的操作模式转变为检测模式。成像器件200响应于从控制单元103接收到用于在检测模式下进行操作的指令，将成像器件200的操作模式设置为检测模式，并输出通过在成像器件200中的各像素块中进行相加所获得的像素信号。
133.在步骤s1102中，成像器件200从像素单元220获取通过在各像素块中进行相加所获得的像素信号。成像器件200将所获取的像素信号临时存储在存储器262中。
134.在步骤s1103中，成像器件200判断从各像素块所获取的像素信号是否是在检测模式下的操作开始之后所获取的第一图像的信号。如果成像器件200判断为像素信号是在操作开始之后所获取的第一图像的信号，则处理返回到步骤s1102，这是因为无法获得与用于检测被摄体图像的变化的过去数据的差分。如果成像器件200判断为要处理的像素信号不是在操作开始之后所获取的第一图像的信号(在这种情况下，存在过去数据)，则处理进行到步骤s1104。
135.在步骤s1104中，成像器件200将在步骤s1102中所获取的(第n图像的)像素信号与存储在存储器262中的过去数据中的(第(n-1)图像的)像素信号进行比较，以针对各像素块的像素信号生成差分数据。此时，成像器件200判断所获得的差分数据是否等于或大于预定阈值，并且对与等于或大于预定阈值的差分数据相对应的像素块的数量进行计数。
136.即，成像器件200针对各像素块判断是否存在已检测到事件(即，被摄体图像的变化)的块，并且对已检测到事件的块的数量进行计数。在上述示例中，以用于判断差分数据的预定阈值固定的情况为例进行了描述，但是另选地，预定阈值可以根据被摄体类型、摄像条件或用户操作而改变。
137.例如，在由于小幅运动而存在监视对象(该监视对象的变化不应被检测为被摄体的变化)的变化的情况下，可以增加预定阈值，以减少对被摄体图像的变化的误检测(可以调整检测精度)。
138.在步骤s1105中，成像器件200判断对应的差分数据等于或大于预定阈值(即，检测到事件的)的像素块的数量。如果成像器件200判断为没有计数到对应的差分数据等于或大于预定阈值的像素块(即，像素块的数量为零)，则处理返回到步骤s1102，这是因为没有检测到事件。在这种情况下，重复直到步骤s1104的用于检测被摄体图像的变化的上述操作。相反，如果计数大于零(即，如果检测到事件)，则成像器件200判断为已检测到事件，并且处理进行到步骤s1106。
139.在步骤s1106中，成像器件200将成像器件200的操作模式从检测模式改变为通常摄像模式。例如，摄像模式转变为在不进行像素相加的情况下以一个像素为单位读取像素信号的通常摄像模式。
140.在步骤s1107中，当在转变到通常摄像模式之后开始摄像操作(即，将拍摄图像记录在记录单元105中)时，成像器件200将用于在通常摄像模式下对图像数据进行计数的计数值cnt重置为零。在步骤s1108中，成像器件200在每次获取到图像数据时使计数值cnt递增，并且在步骤s1109中，判断计数值cnt是否等于或大于预定数量(n)。
141.如果成像器件200判断为计数值cnt小于n，则处理返回到步骤s1108，并且通过重复步骤s1108之后的处理来继续通常摄像模式。相反，如果成像器件200判断为计数值cnt等于或大于n，则该系列处理结束。注意，如果成像器件200判断为计数值cnt等于或大于n，则操作模式可以返回到检测模式以进一步重复处理。在这种情况下，处理返回到步骤s1101。
142.如上所述，在本实施例中，处于检测模式的成像器件200通过使用通过对各像素块进行相加所获得的信号来检测被摄体图像的变化。通过使用设置有交叠区域的像素块来进行各像素块的事件检测。这样，即使在变化很小的情况下(如被摄体在像素块内的移位)，也可以通过交叠区域检测到被摄体图像的变化，并且可以降低直到事件检测为止的操作功耗。
143.即，可以在无需简单地增加像素块的数量的情况下，在维持降低功耗的效果的同时提高检测精度。换言之，响应于检测到被摄体图像的变化而进行摄像的成像装置可以针对检测被摄体图像的变化的操作，降低功耗并提高检测精度。
144.注意，在上述示例中，已经描述了通常摄像模式，来以未进行像素相加的一个像素为单位读取像素信号。然而，该示例不限于此，并且另选地，相加的像素信号的数量和间隔剔除的像素信号的数量可以在所需分辨率的范围内改变，以便在行方向和列方向上进行用于像素信号的相加和像素信号的间隔剔除等的读取。在上述示例中，虽然已经描述了在检测模式下通过使用对像素信号进行相加的各像素块的像素信号来检测被摄体图像的变化的示例，但是可以在以预定间隔对像素块中的像素信号进行间隔剔除之后进行像素信号的相加。
145.上述实施例可以适用于在成像器件200的像素组中设置滤色器等并且根据颜色来输出像素信号的情况。在这种情况下，可以通过设置有相同颜色的输出像素的行或列来进行相同颜色的像素信号的相加。
146.此外，在上述示例中，已经描述了如下示例情况，其中，在检测模式下，在以像素块为单位读取像素信号时，针对各像素块设置具有固定大小的交叠区域。然而，交叠区域的大小可以根据被摄体的大小或帧频等而改变，或者通过用户的指令操作而改变。除了交叠区域的大小之外，像素块的区域的大小也可以改变，并且检测灵敏度可以根据适当的条件而改变。
147.(通过堆叠结构来实现成像器件的示例)
148.上述成像器件200可以通过具有如图12a至图12c所示的堆叠结构的成像器件来实现。成像器件200可以包括图12b和图12c所示的半导体基板1201和半导体基板1202。半导体基板1201和1202以叠加状态密封并且被模块化(集成化)。即，如图12c所示，半导体基板1201和1202形成多层结构(堆叠结构)。形成在半导体基板1201上的电路和形成在半导体基板1202上的电路经由通孔(via)等彼此连接。
149.这样，成像器件200可以是第一半导体基板1201和第二半导体基板1202被集成以形成多层结构的模块(也称为大规模集成(lsi)芯片)。在该模块中形成这种多层结构的第一半导体基板1201和第二半导体基板1202可以使成像器件200能够在不增加半导体基板的大小的情况下实现更大规模的电路。即，成像器件200能够在抑制成本增加的同时实现更大规模的电路。
150.例如，成像器件200中所包括的各组件可以如下形成在第一半导体基板1201和第二半导体基板1202其中之一上。例如，如图12a所示，在第一半导体基板1201上形成上述像素单元220、垂直扫描电路211、ad转换电路212和水平扫描电路213。在第二半导体基板1202上形成事件检测单元214、信号处理单元215、模式控制单元216和曝光控制单元217。
151.注意，图12a至图12c所示的布置仅仅是示例，并且第一半导体基板1201和第二半导体基板1202上的组件的布置不限于此。
152.其他实施例
153.本发明还可以通过如下处理来实现，其中，经由网络或存储介质向系统或装置提供用于实现上述实施例的一个或多于一个功能的程序，并使系统或装置的计算机中的一个或多于一个处理器读取并执行该程序。还可以通过用于实现一个或多于一个功能的电路
(例如，asic)来实现本发明。
154.本发明不限于上述实施例，并且可以在本发明的精神和范围内进行各种改变和变形。因此，做出了权利要求以公开本发明的范围。
155.本技术要求于2019年7月19日提交的日本专利申请2019-134017的优先权，该申请的全部内容通过引用并入本文。
156.附图标记列表
157.102图像处理单元；200成像器件；220像素单元；216模式控制单元；214事件检测单元；215信号处理单元。