用于执行像素合并和可变积分以进行模拟域区域特征提取的成像系统和方法与流程

用于执行像素合并和可变积分以进行模拟域区域特征提取的成像系统和方法


背景技术：

[0001]
本发明整体涉及成像设备，并且更具体地涉及在晶片上具有图像传感器像素的成像设备，该晶片被堆叠在其他图像读出/信号处理晶片上。
[0002]
图像传感器常常在电子设备诸如移动电话、相机和计算机中用来捕获图像。在典型布置方式中，图像传感器包括被布置成像素行和像素列的图像像素阵列。可将电路耦接到每个像素列以从图像像素读出图像信号。
[0003]
成像系统可实施卷积神经网络(cnn)以执行特征提取(即，检测图像中的一个或多个对象、形状、边缘或其他场景信息)。特征提取可在分辨率低于整个像素阵列的较小感兴趣区域(roi)中执行。通常，低分辨率roi中的模拟像素值被读出、数字化并被存储以用于特征提取和卷积步骤的后续处理。
附图说明
[0004]
图1是根据一些实施方案的具有用于使用图像像素阵列来捕获图像的图像传感器和处理电路的例示性电子设备的示意图。
[0005]
图2是根据实施方案所示的堆叠成像系统的示意图。
[0006]
图3是根据实施方案的被耦接到数字处理电路和模拟处理电路的例示性图像传感器阵列的示意图。
[0007]
图4a是示出根据实施方案的图像像素可如何经由各种开关网络连接到特定的感兴趣区域(roi)的示意图。
[0008]
图4b是根据实施方案的例示性8x8像素簇的示意图。
[0009]
图4c是根据实施方案的包括四个像素簇的例示性roi单位单元的示意图。
[0010]
图4d是根据实施方案的在每个像素列的底部处形成的另一个roi单元的示意图。
[0011]
图4e是根据实施方案的示出可如何使用行移位寄存器和列移位寄存器来控制行roi选择和列roi选择的示意图。
[0012]
图5是示出根据实施方案的可如何将卷积内核应用于roi以提取特征的示意图。
[0013]
图6a是示出根据实施方案的可如何使用不同的放大器积分持续时间和不同的像素积分时间来实施可变权重的电路图。
[0014]
图6b是根据实施方案的示出可如何使用多条电荷转移控制线来控制一行图像像素的示意图。
[0015]
图7是根据实施方案的示出了用于操作图6a至图6b所示的类型的电路的例示性步骤的流程图。
[0016]
图8是示出根据实施方案的用于操作图6a至图6b所示的电路的相关信号波形的时序图。
[0017]
图9a是根据实施方案的具有两个电荷转移栅极的例示性图像传感器像素的示意图。
[0018]
图9b是根据实施方案的示出可如何使用行电荷转移控制线和列电荷转移控制线来控制图9a的图像传感器像素的示意图。
具体实施方式
[0019]
电子设备诸如数字相机、计算机、移动电话和其他电子设备可包括图像传感器，该图像传感器收集入射光以捕获图像。图像传感器可包括图像像素阵列。图像传感器中的像素可包括光敏元件，诸如将入射光转换成图像信号的光电二极管。图像传感器可具有任何数量(例如，数百或数千或更多)的像素。典型图像传感器可例如具有数十万或数百万像素(例如，数兆像素)。图像传感器可包括控制电路(诸如，用于操作图像像素的电路)和用于读出图像信号的读出电路，该图像信号与光敏元件所生成的电荷相对应。
[0020]
图1为例示性成像系统(诸如，电子设备)的示意图，该成像系统使用图像传感器捕获图像。图1的电子设备10可为便捷式电子设备，诸如相机、蜂窝电话、平板计算机、网络相机、摄像机、视频监控系统、机动车成像系统、具有成像能力的视频游戏系统或者捕获数字图像数据的任何其他所需的成像系统或设备。相机模块12可用于将入射光转换成数字图像数据。相机模块12可包括一个或多个透镜14以及一个或多个对应图像传感器16。透镜14可包括固定透镜和/或可调透镜，并且可包括形成于图像传感器16的成像表面上的微透镜。在图像捕获操作期间，可通过透镜14将来自场景的光聚焦到图像传感器16上。图像传感器16可包括用于将模拟像素数据转换成要提供给存储和处理电路18的对应的数字图像数据的电路。如果需要，相机模块12可设置有透镜14的阵列和对应图像传感器16的阵列。
[0021]
存储和处理电路18可包括一个或多个集成电路(例如，图像处理电路、微处理器、诸如随机存取存储器和非易失性存储器的存储设备等)，并且可使用与相机模块12分开和/或形成相机模块12的一部分的部件(例如，形成包括图像传感器16的集成电路或者与图像传感器16相关的模块12内的集成电路的一部分的电路)来实施。可使用处理电路18处理和存储已被相机模块12捕获的图像数据(例如，使用处理电路18上的图像处理引擎、使用处理电路18上的成像模式选择引擎等)。可根据需要使用耦接到处理电路18的有线通信路径和/或无线通信路径将处理后的图像数据提供给外部设备(例如，计算机、外部显示器或其他设备)。
[0022]
根据实施方案，可处理模拟域中的像素值组以提取与场景中的对象相关联的特征。像素信息不从低分辨率感兴趣区数字化。可使用该模拟实施方式在(例如)卷积神经网络的多个步骤中处理从像素阵列提取的特征信息以识别系统的场景信息，然后可使用该场景信息来决定是否在场景的该区域中以更高分辨率输出像素信息。
[0023]
可利用管芯堆叠以允许像素阵列连接到对应的感兴趣区域(roi)处理器以实现有效的模拟域特征提取(例如，检测感兴趣的对象特征和该阵列的未通过正常数字信号处理路径以全分辨率读出的区域的时间变化)。所提取的特征可暂时被存储在模拟域中，这可用于检查特征值随时间推移的变化并检测与场景中的对象相关的关键特征的变化。
[0024]
图2是所示的堆叠成像系统200的示意图。如图2所示，系统200可包括作为顶部管芯的图像传感器管芯202、作为底部管芯的数字信号处理器管芯206和竖直地堆叠在顶部管芯202与底部管芯206之间的模拟特征提取管芯204。图像传感器像素阵列驻留在顶部图像传感器管芯202内；正常数字读出电路驻留在底部管芯206内；并且模拟域特征提取电路形
成在中间管芯204内。如果需要，也可使用堆叠各种成像器管芯的其他方式。
[0025]
图3是耦接到数字处理电路和模拟处理电路的例示性图像传感器阵列302的示意图。数字信号处理电路由虚线框320描绘，该数字信号处理电路包括被配置为经由行控制线312驱动阵列302内的所有像素行的全局行解码器310、被配置为经由每个像素列通过正常读出路径316接收像素值的模数转换器(adc)块314和传感器控制器318。这些数字信号处理电路320可驻留在底部管芯206内(参见图2)。
[0026]
图像像素阵列302可形成在顶部图像传感器管芯202上。像素阵列302可被组织成有时称为“图块”304的组。每个图块304可例如包括256
×
256个图像传感器像素。该图块大小仅仅是例示性的。一般来讲，每个图块304可具有任何合适尺寸的正方形形状、矩形形状或不规则形状(即，图块304可包括任何合适数量的像素)。
[0027]
每个图块304可对应于用于执行特征提取的相应“感兴趣区域”(roi)。单独的roi处理器330可以在模拟管芯204中形成于每个图块304下方。每个roi处理器330可包括行移位器寄存器332、列移位寄存器334和用于选择性地组合来自多个相邻像素的值的行控制开关矩阵电路，如会聚线336所示。从每个roi处理器330读出的信号可以被馈送到模拟处理和复用电路340并被提供给电路342。电路342可包括模拟滤波器、比较器、高速adc阵列等。传感器控件318可向roi控制器344发送信号，该roi控制器控制如何经由roi处理器330读出像素。例如，roi控制器344可任选地控制像素重置、像素电荷转移、像素行选择、像素双转换增益模式、全局读出路径使能信号、局部读出路径使能信号、用于确定模拟读出方向的开关、roi快门控制等。电路330、340、342和344可全部形成于模拟管芯204内。
[0028]
以这种方式配置的成像系统可支持内容感知感测。模拟读出路径支持形状/特征检测、非破坏性强度阈值处理、时间事件的快速扫描，并且还可使用板载视觉智能部件来处理形状。高速roi读出路径还可允许数字累加和突发读出，而不会影响正常帧读出。该内容感知传感器架构基于场景的该部分的重要性以不同分辨率(空间、时间、位深度)读出不同区域。智能传感器用于监测图像的未以全分辨率读出的区域中的活动/事件，以确定何时唤醒该区域以进行高分辨率处理。模拟特征提取支持在不进入数字域的情况下监测那些特定的感兴趣区域中的活动。由于模拟特征提取不需要通过adc进行处理，因此可节省大量的功率。
[0029]
图4a是示出图像像素可如何经由各种开关网络连接到特定的感兴趣区域(roi)的示意图。如图4a所示，图像传感器像素(诸如像素400)可包括：光电二极管pd，该光电二极管pd经由电荷转移晶体管耦接到浮动扩散节点fd；重置晶体管，该重置晶体管被耦接在fd节点与重置漏极节点rst_d(有时称为重置晶体管漏极端子)之间；双转换增益(dcg)晶体管，该双转换增益(dcg)晶体管具有连接到fd节点的第一端子和被耦接到电容器cx的第二端子；源极跟随器晶体管，该源极跟随器晶体管具有漏极节点sf_d；栅极端子，该栅极端子连接到fd节点；和源极节点，该源极节点经由对应的行选择晶体管耦接到roi像素输出线。电容器cx可为用于电荷存储目的的固定电容器或用于提供附加增益控制的可变电容器。像素400的部分402可另选地包括共用单个浮动扩散节点的多个光电二极管，如配置404所示。
[0030]
在图4a的示例中，8
×
8像素簇内的每个重置漏极节点rst_d可被耦接到一组重置漏极开关420。这仅仅是例示性的。一般来讲，共享开关420的像素簇可具有任何合适的大小和尺寸。开关420可包括：重置漏极电源使能开关，该重置漏极电源使能开关选择性地将
rst_d连接到正电源电压vaa；水平合并开关binh，该水平合并开关binh选择性地将rst_d连接到对应的水平路由线routeh；竖直合并开关binv，该竖直合并开关binv选择性地将rst_d连接到对应的竖直路由线routev；等。以这种方式配置的开关网络420使得能够连接到电源，合并来自其他像素的电荷，实现焦平面电荷处理。
[0031]
像素簇内的每个源极跟随器漏极节点sf_d也可被耦接到一组sf漏极开关430。开关网络430可包括：sf漏极电源使能开关pwr_en_sfd，该sf漏极电源使能开关pwr_en_sfd将sf_d选择性地连接到电源电压vaa；开关hx，该开关hx将sf_d选择性地连接到水平线voutp_h；开关vx，该开关vx将sf_d选择性地连接到竖直线voutp_v；开关dx，该开关dx将sf_d选择性地连接到第一对角线voutp_d1；开关ex，该开关ex将sf_d选择性地连接到第二对角线voutp_d2；等。以这种方式配置的开关430使得来自多个像素源跟随器的电流能够转向以允许求和/求差以检测形状和边缘和与可变电源的连接。
[0032]
像素簇内的每个像素输出线roi_pix_out(y)也可被耦接到一组像素输出开关410。开关网络410可包括：第一开关global_roix_out_en，该第一开关global_roix_out_en用于将像素输出线选择性地连接到全局列输出总线pix_out_col(y)；和第二局部开关local_roix_col(y)，该第二局部开关local_roix_col(y)用于将像素输出线选择性地连接到不同列之间可共享的局部roi串行输出总线serial_pix_out_roix。在以这种方式配置后，开关410将来自roi的每个像素输出连接到标准全局输出总线中的一条标准全局输出总线以便于读出，连接到串行读出总线以形成用于检测形状/边缘的电路，连接到高速局部读出信号链，或连接到可变电源。
[0033]
图4b是例示性8
×
8像素簇452的示意图。如图4b所示，该簇中的每个图像像素的rst_d节点经由重置漏极耦接路径470互连，而该簇中的每个图像像素的sf_d节点经由源极跟随器漏极耦接路径472互连。rst_d端子可选择性地短接在一起以执行电荷合并(例如，沿同一行的像素的rst_d节点可被耦接在一起以执行水平合并，和/或沿同一列的像素的rst_d节点可被耦接在一起以执行竖直合并)。另一方面，sf_d端子可选择性地短接在一起以从相关联的源极跟随器晶体管读出组合电流。
[0034]
图4c是例示性roi单位单元450的示意图。在图4c的示例中，每个roi单位单元450可包括四个8
×
8像素簇452，该像素簇共享结合图4a描述的各种开关网络。在图4c的示例中，每个簇452可具有不同数量的sf_d开关。例如，左上簇可被耦接到五个sf_d开关，而右上簇可仅被耦接至三个sf_d开关。这仅仅是例示性的。如果需要，每个簇452可被耦接到任何合适数量的sf_d开关。
[0035]
roi单位单元450内的四个像素簇452可具有经由路径470耦接在一起的rst_d端子。在以这种方式配置后，单元450中的四个像素簇可通过选择性地接通水平合并开关hbin而耦接到相邻roi单元列中的像素簇，和/或可通过选择性地接通竖直合并开关vbin而耦接到相邻roi单元行中的像素簇。竖直合并开关/水平合并开关可形成于中间管芯204中(图2)。
[0036]
图4d是可在每个roi单元列的底部形成的另一个roi单元450'的示意图。如图4d所示，roi单元450'可被配置为将来自roi单元的像素输出路由到全局像素输出总线global_roi_out或公共局部/串行输出线local_roi_out(参见局部串行输出线460)。
[0037]
图4e是根据实施方案的示出可如何使用行移位寄存器480和列移位寄存器482以
及附加逻辑门来控制行roi选择和列roi选择的示意图。例如，行移位寄存器480可被配置为将控制信号输出到每个像素簇内的行选择晶体管。列移位寄存器482可被配置为将控制信号输出到局部roi列开关(参见图4a的410中的local_roi
×
_col(y)开关)以控制局部roi连接。用于控制每个roi单位单元内的各种开关网络的行选择移位寄存器和列选择移位寄存器可全部形成于中间模拟管芯204中。
[0038]
机器视觉应用使用算法来通过使用对像素组进行加权并将它们求和的基本操作来寻找特征和对象。图5是示出卷积内核502可如何应用于图块304或roi以提取特征506的示意图。卷积内核502可包括权重的集合。卷积内核502可应用于在roi 304上滑动的对应窗口500。在图5的示例中，内核502被示出为3
×
3矩阵。不过，这仅仅是例示性的。内核502可为权重的5
×
5阵列或任何合适大小或尺寸的矩阵。每个权重可为正的或负的。每个内核窗口500执行模拟乘法累加(mac)运算(例如，使用2维矩阵乘法)以获得所得卷积特征506。可将多个卷积特征506组合成大小相同或任选地小于图块304的特征图504。也可实施生成cnn层的其他方式。
[0039]
图5所示的卷积操作通常在数字域中使用二进制值来执行。根据实施方案，mac运算可在模拟域中执行以降低对过度模数转换的需要(这可节省功率)并降低对高带宽数字总线结构的需要。例如，使用每个像素的可变积分时间来执行乘法运算并使用可变增益模拟加法电路来同时对多个加权像素值求和，可以像素级直接执行mac运算。结合图4所述的水平/竖直合并允许通过经由rst_d路径将不同浮动扩散节点连接在一起来同时对加权像素值求和。
[0040]
图6a是示出根据实施方案的可如何使用不同的放大器积分持续时间或像素积分时间来实施可变权重的示意图。如图6a所示，图像传感器像素400-1、400-2、400-3和沿像素阵列中的给定行的其他像素可使它们的重置漏极节点rst_d和源极跟随器漏极节点sf_d耦接到正电源电压vaa_pix。
[0041]
每个像素的像素输出线可经由相应的roi控制开关和电阻器r选择性地耦接到积分器620的负(-)输入。与像素400-1相关联的第一像素输出线roi_pix_out(1)经由局部roi列开关602a耦接到第一串行输出总线serial_pix_outa_roix，该第一串行输出总线serial_pix_outa_roix经由通过信号select_outa控制的第一选择开关并经由第一电阻器r选择性地耦接到积分器输入。与像素400-2相关联的第二像素输出线roi_pix_out(2)经由局部roi列开关602b耦接到第二串行输出总线serial_pix_outb_roix，该第二串行输出总线serial_pix_outb_roix经由通过信号select_outb控制的第二选择开关并经由第二电阻器r选择性地耦接到该积分器输入。与像素400-3相关联的第三像素输出线roi_pix_out(3)经由局部roi列开关602c耦接到第三串行输出总线serial_pix_outc_roix，该第三串行输出总线serial_pix_outc_roix经由通过信号select_outc控制的第三选择开关并经由第三电阻器r选择性地耦接到该积分器输入。串行输出总线是作为roi处理的一部分的单独局部输出总线，这允许该内核操作跨整个像素阵列并行发生。该单独的串行/局部总线还允许并行发生正常成像模式读出。电阻器r也可被实施为用于附加增益控制的可变电阻电路。在求和读出路径中提供增益可提供附加的灵活性。
[0042]
可通过任选地使select_ref生效，经由可调电阻器rweight_ref将正电源电压vaa选择性地应用于(-)积分器输入。使select_ref生效还可任选地将参考电压或偏移电压应
用于积分器块。框650和/或积分器620内的电路可形成为中间模拟特征提取管芯204的一部分(参见图2)。可使用开关电容器积分块620对不同权重的像素值求和。积分器620可包括放大器622，该放大器具有被配置为接收共模输入电压vcm的第一(+)输入和被耦接到不同电流模式路径的第二(-)端子。共享积分电容器cint可使用开关p1或p2跨放大器622的输入/输出选择性地交叉耦接。可在放大器622的输出处生成最终vneuron值。如果需要，也可使用其他求和机制，诸如使用电荷域动态电容器的配置。
[0043]
像素400-1、400-2和400-3可被视为在同一像素行中，但是可使用物理差异控制线来控制以实现不同的积分时间。例如，可使用被设置在第一控制线上的第一电荷转移控制信号tx1来控制像素400-1，可使用被设置在第二控制线上的第二电荷转移控制信号tx2来控制像素400-2，并且可使用被设置在第三控制线上的第三电荷转移控制信号tx3来控制像素400-3。
[0044]
图6b是示出可如何使用多条电荷转移控制线来控制一行图像像素的示意图。如图6b所示，信号tx1可被提供给像素400-1和沿该行跟随400-1的每三个像素，信号tx2可被提供给像素400-2和沿该行跟随400-2的每三个像素，并且信号tx3可被提供给像素400-3和沿该行跟随400-3的每三个像素。在以这种方式配置后，可支持三个不同的积分时间。第一积分时间可对应于时间t1时的fd节点重置与信号tx1的后续脉冲之间的时间周期，第二积分时间可对应于时间t1时的fd重置与信号tx2的后续脉冲之间的时间周期，并且第三积分时间可对应于时间t1时的fd区域重置与信号tx3的后续脉冲之间的时间周期。信号tx1至tx3脉冲的时间可相同或可不同。一般来讲，可使用任何合适数量的电荷转移控制线来控制每一行像素以支持任何期望数量的不同积分时间(例如，以实现至少两个不同积分时间、超过三个不同积分时间、超过四个不同积分时间、5至10个不同积分时间或超过10个不同积分时间)。
[0045]
如果需要，正常图像读出期间的像素积分之间的死区时间可用于特征激励以避免影响正常图像帧读出。另外，就内容感知感测而言，未被读出或以较低分辨率被读出的roi可能具有可用于执行加权像素积分操作的附加时间。
[0046]
图7是用于操作图6a至图6b所示的类型的电路的例示性步骤的流程图。在步骤702处，(例如，通过接通重置晶体管)可重置每个像素的浮动扩散节点。此后，允许每个像素中的光电二极管聚积由入射光生成的电荷。
[0047]
在步骤704处，可经由不同积分时间将所聚积的电荷转移到对应的浮动扩散区。较早脉冲的电荷转移信号提供较短的积分时间，而较晚脉冲的电荷转移信号提供较长的积分时间。在以这种方式操作后，较短的积分时间可用于应用较小的内核权重，而较长的积分时间可用于应用较大的内核权重。另选地，先前存储在电容器cx上的电荷(参见图4a)可经由dcg开关转移到浮动扩散区，而不是接通电荷转移开关。
[0048]
在步骤706处，可执行竖直合并和/或水平合并以组合经由rst_d端子感测的浮动扩散区电荷。换句话讲，沿同一列和/或沿同一行布置的多个像素可经由rst_d节点短接在一起以检测组合的浮动扩散电荷电平。
[0049]
在步骤708处，可对积分器放大器执行自动调零操作，可接通p1开关，并且可选择一行像素用于读出。在步骤710处，可任选地调整串联电阻器r以微调增益或加权因子。
[0050]
在步骤712处，可接通用于正加权像素的select_out开关，并且可允许积分器620
积分达固定时间周期以允许其输入和输出处的电荷稳定，或者积分达可变时间周期以进一步微调正加权因子。
[0051]
在步骤714处，可断开p1开关，并且可接通p2开关。在步骤716处，可接通用于负加权像素的select_out开关，并且可允许积分器620积分达固定时间周期以允许其输入和输出处的电荷稳定，或者积分达可变时间周期以进一步微调正加权因子。在此期间，将从正加权列值中减去来自负加权列的电荷(即，计算正加权像素值与负加权像素值之间的差值)。
[0052]
在步骤718处，(例如，通过选择性地使图6a的select_ref开关生效)可任选地向积分放大器应用偏移电压。在步骤720处，放大器622可输出并且随后捕获最终vneuron值。
[0053]
尽管以特定顺序描述了操作方法，但是应当理解，可在所述操作之间执行其他操作，所述操作可被调整以使得它们在稍有不同的时间处发生，或者所述操作可分布在允许以与处理相关联的各种间隔执行处理操作的系统中，只要以期望的方式执行叠加操作的处理。
[0054]
与使用图7的步骤操作图6a至图6b的电路相关联的各种相关信号的电压电平在图8的时序图中示出。在时间t1处，待读出的每个像素的浮动扩散节点可被重置到重置电平。
[0055]
在时间t1之后，可实施可变像素积分时间以应用期望的内核加权因子。在图8的示例中，信号tx2可首先在时间t2脉冲以提供第一(最短)积分时间(即，应用小的内核权重)。然后，信号tx1可在时间t3脉冲以提供第二(较长)积分时间(即，应用中间内核权重)。信号tx3可在时间t4处最后脉冲以提供第三(最长)积分时间(即，应用大的内核权重)。如果需要，可使用超过三个或少于三个电荷转移(tx)信号来实施任何合适数量的可变积分时间。
[0056]
在时间t5，自动调零开关、p1开关和行选择开关可全部接通。在时间t6处，(例如，通过选择性地使sel_wtx位生效)可任选地设定所有加权电阻器r的大小。在图8的示例中，列a和c可对应于正加权像素列，而列b可对应于负加权像素列。
[0057]
在时间t7，可激活用于正加权列的select_out开关以允许正加权电荷聚集在积分器的电容器cint处。在一定的时间之后，(在时间t8)可断开用于正加权像素值的select_out开关。此时也可断开行选择开关。
[0058]
在时间t9，可断开p1开关，并且可接通p2开关。也可接通行选择开关。在时间t10，可使用于负加权像素值的select_out开关生效。在此期间(从t10到t11)，与负加权像素值相关联的所得电荷可被转移到积分电容器cint，同时开关电容器积分器620的极性颠倒。在时间t12，完成用于该行的内核操作，并且可断开所有开关。
[0059]
如图8所示，电荷转移信号tx1、tx2和tx3可在不同时间脉冲以转移具有不同像素积分时间的电荷，从而为每个像素设定权重。换句话讲，可调整不同tx控制线的可变生效以实现可变积分时间。可在roi图块上控制这些tx线以允许在如何处理像素阵列区域的不同部分以及需要检查哪些特征方面具有灵活性。
[0060]
对于其中光学限制使图像模糊的小像素或在较大特征的检测期间，可以使用接近初始像素的区域内的像素来代替由不同积分时间设定的下一个权重值。如果需要，还可以使select_outa/b/c信号在不同的放大器积分持续时间内生效，以为每个像素设定权重(例如，还可在当前模式读出期间通过具有可变时间将电荷转移到积分器块来调整每个像素权重)。换句话讲，还可调整启用select_out开关的持续时间以进一步微调内核权重(参见箭头890和892)。例如，select_outa开关可使用相对较短的脉冲接通以减小对应的总增益，而
select_outb开关可使用相对较长的脉冲接通以增大对应的总增益。一般来讲，对像素求和路径进行定时还可用于设定像素权重以微调增益、应用全局增益或应用该像素的所有权重。
[0061]
在该模拟域中通过使用可变积分时间的权重针对该神经网络中的每个结果层执行像素值的乘法运算通过避免将数据四处移动到常规数字存储器的需要来节省功率和面积。通过独立地控制像素区域的转移栅极来实现可变积分时间。另选地，可通过在每个像素内具有两个串联转移栅极来实现加权，以允许每个像素积分时间控制，其中第一转移栅极针对给定行周期性地脉冲并且其中第二转移栅极阻挡或允许电荷从第一栅极转移(参见，例如图9a中的像素400')。如图9a所示，像素400'中的第一电荷转移开关可使用跨一行像素共享的tx信号来控制，而像素400'中的第二电荷转移开关可使用跨一列像素共享的ty信号来控制。该等效像素结构还可用于支持全局快门像素操作，其中两个转移栅极被配置为存储节点。
[0062]
图9b是示出可如何使用行电荷转移控制线和列电荷转移控制线来控制图9a的图像传感器像素的示意图。如图9b所示，信号tx可被提供给沿给定像素行布置的每个像素400'。每个像素400'的实际积分时间可由列信号tx控制。例如，可通过列电荷转移信号ty1何时脉冲来控制第一列中的像素400'的积分时间；可通过列电荷转移信号ty2何时脉冲来控制第二列中的像素400'的积分时间；可通过列电荷转移信号ty3何时脉冲来控制第三列中的像素400'的积分时间；以此类推。其中使用不同的信号ty来控制每一列的图9b的配置仅仅是例示性的。如果需要，可使用共享的ty信号来控制两个或更多个像素列(例如，每隔一个像素列可由同一ty信号控制，每三个像素列可接收同一ty信号，每四个像素列可接收同一ty信号等)。
[0063]
加权和求和操作仅利用“无源”电路部件，诸如四处移动电荷的电容器和/或电阻器。如上所述，凭借使用在中间模拟管芯上形成的roi开关通过rst_d节点合并多个加权像素值来实现无源求和。如果需要，可变电容器组可附接到每个像素中的dcg晶体管的第二端子，以实施附加的加权控制，或者作为模拟存储器以在通过rst_d连接回写模拟值时存储来自乘法累加运算的中间结果。如果需要，具有不同权重的多个内核操作可通过合并fd节点上来自具有不同的附加积分时间的同一光电二极管的附加电荷并使用读出路径中的增益(例如，通过调整积分电容器cint的大小)来根据需要归一化或缩放结果vneuron来应用于同一像素。假设像素量值大致相同，则多个内核操作也可与相邻像素一起使用。对于低噪声应用，可在加权像素信号读出之后读出各个像素重置值并且从积分器中减去各个像素重置值。如果需要，可使用具有存储节点/栅极的像素来实现更低的噪声，该存储节点/栅极被配置为在像素重置电平被首次读出时保持加权电荷。
[0064]
根据实施方案，提供了一种成像电路，该成像电路包括：第一像素，该第一像素被配置为使用第一积分时间生成第一加权像素值；第二像素，该第二像素被配置为使用不同于该第一积分时间的第二积分时间来生成第二加权像素值；和输出电路，该输出电路被配置为组合该第一加权像素值和该第二加权像素值以生成对应的模拟输出电压。
[0065]
根据另一个实施方案，该第一像素和该第二像素任选地形成在像素阵列中的同一行中。
[0066]
根据另一个实施方案，该第一像素任选地包括由第一控制信号控制的第一电荷转
移开关；该第二像素包括由第二控制信号控制的第二电荷转移开关；并且该第一控制信号和该第二控制信号在不同时间脉冲。
[0067]
根据另一个实施方案，该成像电路任选地还包括第三像素，该第三像素被配置为使用不同于该第一积分时间和该第二积分时间的第三积分时间来生成第三加权像素值。
[0068]
根据另一个实施方案，该成像电路任选地还包括第一组开关，该第一组开关将该第一像素连接到该输出电路；和第二组开关，该第二组开关将该第二像素连接到该输出电路，其中该第一像素和该第二像素形成在第一管芯上，并且其中该第一组开关和该第二组开关以及该输出电路形成在第二管芯上。
[0069]
根据另一个实施方案，该第一管芯被任选地堆叠在该第二管芯的顶部上。
[0070]
根据另一个实施方案，该成像电路任选地还包括：第一电阻器，该第一电阻器与该第一组开关串联耦接；和第二电阻器，该第二电阻器与该第二组开关串联耦接。
[0071]
根据另一个实施方案，成像电路任选地还包括：第一可变电阻器，该第一可变电阻器与该第一组开关串联耦接并且被配置为微调该第一加权像素值；和第二可变电阻器，该第二可变电阻器与该第二组开关串联耦接并且被配置为微调该第二加权像素值。
[0072]
根据另一个实施方案，该第一组开关中的至少一个开关任选地被接通达第一可调持续时间以微调该第一加权像素值，并且该第二组开关中的至少一个开关被任选地接通达第二可调持续时间以微调该第二加权像素值。
[0073]
根据另一个实施方案，该第一像素任选地包括：浮动扩散区；双转换增益开关；和固定电容器，该固定电容器经由该双转换增益开关耦接到该浮动扩散区，其中该固定电容器被配置为存储用于通过该双转换增益开关转移到该浮动扩散区的先前聚积的电荷。
[0074]
根据另一个实施方案，该第一像素任选地包括：浮动扩散区；双转换增益开关；和可变电容器，该可变电容器经由该双转换增益开关耦接到该浮动扩散区，其中该可变电容器被配置为微调该第一加权像素值。
[0075]
根据另一个实施方案，该第一加权像素值任选地为正加权像素值；该第二加权像素值任选地为负加权像素值；并且该输出电路任选地被配置为计算该正加权像素值与该负加权像素值之间的差值。
[0076]
根据另一个实施方案，该第一像素任选地具有第一重置漏极端子；该第二像素任选地具有第二重置漏极端子，该第二重置漏极端子短接到该第一重置漏极端子；并且该第一重置漏极端子任选地经由水平合并开关选择性地耦接到第一附加像素，或者任选地经由竖直合并开关选择性地耦接到第二附加像素。
[0077]
根据一个实施方案，提供了一种成像电路，该成像电路包括：第一像素，该第一像素具有第一光电二极管，该第一光电二极管经由第一电荷转移开关和第二电荷转移开关耦接到第一浮动扩散区(其中该第一像素被配置为使用由该第一电荷转移开关和该第二电荷转移开关控制的第一积分时间来生成第一加权像素值)；和第二像素，该第二像素具有第二光电二极管，该第二光电二极管经由第三电荷转移开关和第四电荷转移开关耦接到第二浮动扩散区(其中该第二像素被配置为使用由该第三电荷转移开关和该第四电荷转移开关控制的第二积分时间来生成第二加权像素值)。
[0078]
根据另一个实施方案，该成像电路任选地还包括行控制线，该行控制线被配置为向该第一像素中的第一开关和该第二像素中的第三开关提供行控制信号。
[0079]
根据另一个实施方案，该成像电路任选地还包括：第一列控制线，该第一列控制线被配置为向该第一像素中的第二开关提供第一列控制信号(其中该第一列控制信号是脉冲的时间确定该第一积分时间)；和第二列控制线，该第二列控制线被配置为向该第二像素中的第四开关提供第二列控制信号(其中该第二列控制信号是脉冲的时间确定该第二积分时间)。
[0080]
根据另一个实施方案，该第一像素和该第二像素任选地形成在像素阵列中的同一行中。
[0081]
根据一个实施方案，提供了一种成像电路，该成像电路包括：第一组像素，该第一组像素各自经由第一重置晶体管漏极端子互连并且形成在第一管芯中；和第二组像素，该第二组像素经由第二重置晶体管漏极端子互连并且形成在该第一管芯中，其中该第一组像素经由链接该第一重置晶体管漏极端子和该第二重置晶体管漏极端子的合并开关而选择性地耦接到该第二组像素，并且其中该合并开关形成在不同于该第一管芯的第二管芯中。
[0082]
根据另一个实施方案，该第一组像素中的至少第一像素任选地被配置为使用第一积分时间来生成第一加权像素值，并且该第二组像素中的至少第二像素任选地被配置为使用不同于该第一积分时间的第二积分时间来生成第二加权像素值。
[0083]
根据另一个实施方案，该第一管芯被任选地堆叠在该第二管芯的顶部上。
[0084]
前述内容仅仅是对本发明原理的例示性说明，本领域技术人员可以在不脱离本发明的范围和实质的前提下进行多种修改。上述实施方案可单个实施或以任意组合方式实施。