一种帧频可达带宽极限速率的高速图像传感器的制作方法

本发明属于超大规模集成电路的电气元件技术领域，涉及一种高速图像传感器。

背景技术：

高速相机可以在极短的时间内拍摄到物体的瞬时状态，因此在工业，国防和科研等领域有着广泛的应用。例如，在记录研究高频震动，爆炸或撞击的过程中，高速相机是极其重要的记录和检测手段。但是,由于本身需要涉及极其复杂的信号转换过程，为了最大化单位时间内可拍摄到的帧数，高速相机对模数转换、信号传输等电子电路都有极高的要求。也正因为此，高速相机的设计制造工艺通常较为复杂，所以价格高昂，从而导致很难在各个领域推广应用。此外，因其电路复杂，体积也较大，这也限制了其在很多相关领域的使用。

技术实现要素：

为解决上述问题，本发明公开了一种基于cmos技术的高速图像传感器的方案，利用cmos超大规模集成电子电路制成工艺的技术优势，在集成了常规光电转换器件的硅衬底上添加一些电子器件，无需额外地设计复杂的信号转换传输电子电路，便可无缝嫁接在现有的高速存储器系统中使用的数字数据读取传输技术上，从而可以实现数据传输带宽所允许的极限成像速率。

本发明技术方案：一种高速图像传感器的像素单元，包括重置开关trst、光电二极管pd、第一传输开关tx1、第二传输开关tx2、第一电荷存储电容fd1、第二电荷存储电容fd2、第一差分计算开关tsub1、第二差分计算开关tsub2、减法器sub、比较器com、模数转换开关tad、以及存储单元组，其中，光电二极管pd一端接地，另一端与重置开关trst连接，重置开关trst的另一端连接在重置电压vrst上；第一传输开关tx1、第一差分计算开关tsub1组成的串联电路与第二传输开关tx2、第二差分计算开关tsub2组成的串联电路并联连接；第一电荷存储电容fd1一端连接在第一传输开关tx1、第一差分计算开关tsub1之间，另一端接地；第二电荷存储电容fd2一端连接在第二传输开关tx2、第二差分计算开关tsub2之间，另一端接地；第一传输开关tx1和第二传输开关tx2的剩余端均连接在光电二极管pd和重置开关trst之间；第一差分计算开关tsub1的剩余端与减法器sub的正输入端连接，第二差分计算开关tsub2的剩余端与减法器sub的负输入端连接，减法器sub的输出端与比较器com的正输入端连接，比较器com的输出端与模数转换开关tad连接，负输入端用于连接参考电压vref；模数转换开关tad与存储单元组连接，所述存储单元组包括若干二进制逻辑存储单元（bit1，bit2……bitn）。

进一步的，所述二进制逻辑存储单元具有写w、读r、使能en、清零clr端口。

进一步的，所述减法器sub和比较器com之间连接有电压转移开关和电压转移电容。

进一步的，所述存储单元组采用n位计数器。

进一步的，所述存储单元组中还包括一个镜像缓冲存储单元组。

一种帧频可达带宽极限速率的高速图像传感器，包括电源，时钟模块，控制器，n位单循环计数器，n位精度高速数模转换器（dac），像素阵列和图像数据读取传输单元，所述电源按图像传感器各个部件所需的电压值供电，时钟模块用于提供参考时钟信号，所述控制器用于控制图像传感器中各部分的时序先后，所述n位单循环计数器用于进行单次的n位循环计数，所述n位精度高速数模转换器（dac）用于将n位单循环计数器上当前的数值转化为相应的模拟电压，将其作为像素阵列中各像素上的参考电压vref；所述像素阵列是由以上像素单元构成的二维阵列，像素单元用于接收来自于控制器、n位单循环计数器、n位精度数模转换输出端口上的信号后，生成n位精度的二进制图像数据，所述图像数据读取传输单元用于读取存储在像素阵列中的n位二进制图像数据，并将图像数据传输出去。

进一步的，各像素单元上的重置开关trst并行连接到控制器上的输出端口rst；各像素单元上的第一传输开关tx1并行连接到控制器上的输出端口x1；各像素单元上的第二传输开关tx2并行连接到控制器上的输出端口x2；各像素单元上的第一差分计算开关tsub1和第二差分计算开关tsub2并行连接到控制器的输出端口sub；各像素单元上的模数转换开关tad并行连接到控制器的输出端口ad；各像素单元中存储单元组上各存储单元的清零输入端口clr并行连接到控制器的输出端口clr；各像素单元中存储单元组上各存储单元的输入端口w并行连接到n位单循环计数器的各输出端口；各像素单元中存储单元组上各存储单元的输出端口r通过像素阵列的行向连接端口sr和列向连接端口sc连接到图像数据读取传输电子电路部分；各像素上比较器com的负输入端口vref并行连接到n位精度数模转换器（dac）上的输出端口vref，控制器的输出端口tc连接到n位单循环计数器上相应的输入端口tc；控制器的输出端口enr连接到图像数据读取传输单元上相应的输入端口enr；时钟的输出端口clk连接到控制器、n位单循环计数器、n位精度高速数模转换器dac和图像数据读取传输单元相应的输入端口clk；n位单循环计数器上各二进制输出端口连接到n位精度数模转换器（dac）上相应的各输入端口；n位单循环计数器的输出端口cpl连接到控制器上相应的输入端口cpl；控制器的输入端口in用于接收外部信号。

一种帧频可达带宽极限速率的高速图像传感器的控制方法，包括如下步骤：

首先控制器通过端口rst，端口x1和端口x2同时送出脉冲信号用于开启各像素单元上的重置开关trst、第一传输开关tx1和第二传输开关tx2，从而将光电二极管pd、第一电荷存储电容fd1和第二电荷存储电容fd2重置到偏置电压vrst水平；曝光从重置开关trst、第一传输开关tx1和第二传输开关tx2关闭的时刻，正式开始；

曝光结束时，控制器通过端口x2向各像素单元上的第二传输开关tx2送入一个脉冲信号，使得光电二极管pd在曝光过程中产生的电荷变化得以传输到第二电荷存储电容fd2上；在控制器通过端口x2发送电荷转移脉冲信号的同时，控制器通过端口clr向像素单元上存储单元组中的各存储单元上的清零端口clr送入一个脉冲信号使得所有存储单元清零，从而能够准备好存储即将开始的模数转换过程之后的光电转换电压的二进制数值；

控制器也将端口enr上的高电平改为低电平从而使得图像数据读取传输单元结束上一帧的图像数据读取传输状态，等待当前帧的图像数据读取传输的开始；待第二传输开关tx2关闭以及各存储单元组清零之后，控制器将端口sub和端口ad调为高电平从而开启各像素上的第一差分计算开关tsub1，第二差分计算开关tsub2和模数转换开关tad；各像素单元中第一电荷存储电容fd1上的电压vo1和第二电荷存储电容fd2上的电压vo2作为减法器sub的输入端，经由减法器sub输出以上两电压的差值：光电转换电压△vo=vo1-vo2，然后，光电转换电压△vo作为比较器com正输入端与负输入端的参考电压vref比较，此来自于高速数模转换器（dac）输出端口vref的参照电压vref为像素阵列中的所有像素单元共享，使得像素阵列中所有的像素能够并行地完成模数转换过程；

控制器通过端口tc向n位单循环计数器的输入端口tc送入一个脉冲，使得计数器从0依次计数到最大值2ⁿ-1，n位高精度数模转换器（dac）的输出端口vref生成相对应的参考电压vref；在计数过程中，各像素单元并行完成了曝光期间生成的光电转换电压的模数转换过程原理如下：

当像素上光电转换电压△vo大于参考电压vref时，该像素上的比较器com输出高电平到存储单元组各存储单元的使能端口en，从而各存储单元上的写端口w可以被写入，因此该像素上的存储单元组的各存储单元上的数值可由n位单循环计数器上相应的位写入，即存储单元组上的数值更新到计数器上当前的数值；

当像素上光电转换电压△vo小于参考电压vref时，该像素上的比较器com输出低电平到存储单元组上各存储单元的使能端口en，从而关闭各存储单元的写端口w，存储单元组将保存原有的数值；

待到计数器完成单次循环，各像素上的存储单元组分别独立记录下曝光过程中像素所接收到的光电转换电压△vo所对应的二进制数值，即并行地完成模数转换的步骤；

完成了模数转换过程之后，n位单循环计数器通过端口cpl向控制器的相应输入端口cpl送入一个脉冲，告知控制器模数转换过程结束；控制器收到此脉冲信号之后，将端口sub和端口ad调为低电平，从而关闭第一差分计算开关tsub1、第二差分计算开关tsub2和模数转换开关tad；

然后，控制器将端口enr的电平调为高电平，使得图像数据读取传输单元能够进行当前帧图像数据的读取与传输；与此同时，控制器通过端口rst、端口x1和端口x2送入脉冲从而开启下一帧的曝光过程。

进一步的，曝光结束后还包括如下步骤：

通过控制器端口sub向第一差分计算开关tsub1和第二差分计算开关tsub2送入一个脉冲，短时地打开这两个开关，与此同时，控制器通过一个新设的端口向电压转移开关发送一个脉冲，开启电压转移开关；第一电荷存储电容fd1和第二电荷存储电容fd2上的电压经过减法器sub形成的光电转换电压△vo经电压转移开关映射在电压转移电容上；随着第一差分开关tsub1、第二差分开关tsub2和电压转移开关的关闭，图像传感器即可开始下次的曝光；与此同时，映射到电压转移电容上的光电转换电压△vo可用于模数转换过程。

与现有技术相比，本发明具有如下优点和有益效果：

1、本发明方案中能够在像素层面上并行地完成模数转换过程，并将像素上接收到的光照量以二进制数值的形式存储起来，其在完成模数转换之后等同于一个二进制数字数据存储阵列，可以直接无缝嫁接在现有的存储器系统中使用的高速数据读取、传输技术上，由于图像曝光过程和图像数据读取、传输过程是相互独立的，在时间上可以重叠设置，因此其成像速率帧频可以达到数字数据传输带宽所允许的极限速率。

2、在图像数据的n位物理精度以下，本图像传感器可以输出任意精度的图像数据。成像过程中，在完成模数转换之后，图像数据就已经以二进制数据的形式存储在了各像素的存储单元组中，所以图像数据读取传输单元可以根据实际需求，从像素阵列中读取所需数值精度或压缩格式的图像数据，从而可以进一步提升成像速率。

3、基于本发明提供的芯片级的高速图像拍摄方案，本图像传感器还可以直接与处理器相结合，能够形成一个单硅片级的片上（soc）高速图像拍摄处理系统，从而可以极大地拓展本图像传感器高速相机的应用范围，为需要瞬时或高通量特征提取的领域，例如高速细胞辨别筛选，无人驾驶或飞机发动机高速转动时震动的时域模式识别等领域，提供简捷、有效、经济的解决方案。

附图说明

图1为图像传感器像素单元电子电路示意图。

图2为图像传感器中各单元之间的连接关系示意图。

图3为图像传感器中各信号之间的时序关系时序图。

图4为成像过程中曝光、模数转换和图像读取传输过程之间的时序关系示意图。

图5为可实现曝光过程与模数转换过程相互独立的像素单元中添加部分的电子电路示意图。

图6为曝光过程与模数转换过程可相互独立设置的曝光过程，模数转换过程和图像数据读取传输过程之间的时序关系示意图。

图7为使用n位计数器的像素单元电子电路示意图。

图8为一种可实现本发明所需功能的二进制逻辑存储单元的电子电路示意图，其中，nand表示逻辑器件与非，and表示逻辑器件与，not表示逻辑器件非，or表示逻辑器件或。

图9为一种图像数据的读取传输结构。

图10、11、12分别为图2的a部、b部、c部局布放大图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

高速相机的成像速率受图像信号的模数转换速率和模拟数字信号传输速率的限制，如果高速相机中的图像传感器可以在像素层面上并行的完成模数转换过程，并将像素上接收到的光照量以二进制数值的形式存储起来，例如存储在相应的像素上，那么图像传感器在完成模数转换之后，便可等同于一个二进制数字数据存储阵列，因此可以直接无缝嫁接在现有的存储器系统中使用的高速数据读取、传输技术上。因为并行完成的模数转换过程只占用一段很短的成像时间，并且成像过程中的曝光过程与图像数据的读取传输过程可以做到相互独立，在时间上重叠设置，所以基于以上原理的高速相机的成像时间可近似等于图像数据的读取、传输时间。因此，如果嫁接在图像传感器芯片上的高速数据传输技术可以提供带宽所允许的极限数据传输速率，那么本图像传感器的成像速率便可近似达到数字数据带宽所允许的极限速率。

基于上述思路，如图1所示，本发明提供的帧频可达带宽极限速率的高速图像传感器的像素单元包括重置开关（trst），光电二极管（pd），第一传输开关（tx1），第二传输开关（tx2），第一电荷存储电容（fd1），第二电荷存储电容（fd2），第一差分计算开关（tsub1），第二差分计算开关（tsub2），减法器（sub），比较器（com），模数转换开关（tad），以及由n个可存储一位二进制数据的逻辑存储单元构成的存储单元组（bit1，bit2……bitn）。其中各可存储一位二进制数的逻辑存储单元具有写（w），读（r），使能（en），清零（clr）功能和端口。在任意时刻，此逻辑存储单元其中存储的数据都可以通过读端口（r）读取出。使能端口（en）用于控制存储单元写端口（w）向存储单元写入一位二进制数据，只有使能端口（en）为高电平时，写端口（w）才可被写入数据；清零端口（clr）用于将存储单元中存储的数据归零，即清零端口（clr）在接收到高电平时，存储单元中存储的数据归零。第一电荷存储电容（fd1）和第二电荷存储电容（fd2）处的虚线表示这两处使用的是由悬浮的n型扩散区与p衬底组成的pn结电容。以上这些电子器件均可由cmos超大规模集成电子电路制成工艺实现。

光电二极管（pd）一端接地，另一端与重置开关（trst）连接，重置开关（trst）的另一端还连接在由图像传感器电源提供的重置电压vrst上。第一传输开关（tx1）、第一差分计算开关（tsub1）彼此串联，它们与相互串联的第二传输开关（tx2）、第二差分计算开关（tsub2）并联连接。第一电荷存储电容（fd1）一端连接在第一传输开关（tx1）、第一差分计算开关（tsub1）之间，另一端接地。第二电荷存储电容（fd2）一端连接在第二传输开关（tx2）、第二差分计算开关（tsub2）之间，另一端接地。第一传输开关（tx1）和第二传输开关（tx2）的剩余端均连接在光电二极管（pd）与重置开关（trst）之间。第一差分计算开关（tsub1）的剩余端与减法器（sub）的正输入端连接，第二差分计算开关（tsub2）的剩余端与减法器（sub）的负输入端连接。减法器（sub）的输出端与比较器（com）的正输入端连接。比较器（com）的输出端与模数转换开关（tad）连接，负输入端用于连接参考电压vref。模数转换开关（tad）的另一端与存储单元组中各逻辑存储单元（bit1，bit2……bitn）的使能端口（en）连接。

为了解释方便，表达清楚像素中各电子器件的工作流程，图1中还添加了由本图像传感器的整个像素阵列共享的n位单循环计数器，n位精度的高速数模转换器（dac）和图像数据读取传输电路（图1中虚线框标出部分）。

像素单元电子电路的工作原理如下：在像素曝光开始时，重置开关（trst），第一传输开关（tx1），和第二传输开关（tx2）同时开启，光电二极管（pd）被反向偏置到重置电压vrst水平，同时，第一电荷存储电容（fd1）和第二电荷存储电容（fd2）也被充电到重置电压vrst水平。在光电二极管（pd）、第一电荷存储电容（fd1）和第二电荷存储电容（fd2）完成以上过程后，同时关闭重置开关（trst），第一传输开关（tx1）和第二传输开关（tx2），曝光过程正式开始。在曝光过程中，入射光照射在光电二极管（pd）上，光量子激发光电二极管（pd）上的电子—空穴对，产生载流子，使光电二极管（pd）上的总电荷量开始下降，电荷量下降值的大小以及相应的光电转换电压值正比于曝光过程中照射在像素中光电二极管（pd）区域上的总光子数。曝光结束时，开启第二传输开关（tx2），光电二极管（pd）上的电荷变化量传输到第二存储电容（fd2）上。待电荷转移完毕，关闭第二传输开关（tx2），此时曝光正式结束。然后，向存储单元组上的各存储单元（bit1、bit2……bitn）的端口（clr）送入一个脉冲将各存储单元归零，从而可以存储当前曝光过程中光照总量所对应的二进制数值。接着，同时开启第一差分计算开关（tsub1）和第二差分计算开关（tsub2），第一电荷存储电容（fd1）上的电压vo1和第二电荷存储电容（fd2）上的电压vo2作为减法器（sub）的输入端，经由减法器（sub）输出以上两电压的差值：光电转换电压△vo=vo1-vo2。这个光电转换电压△vo则对应着曝光过程中像素单元上的光照总量。然后，光电转换电压△vo作为比较器（com）正输入端与负输入端的参考电压vref比较。参考电压vref来自于n位精度高速数模转换器（dac）。此参考电压vref为像素阵列中的所有像素单元共享，从而使得像素阵列中所有的像素能够并行地完成模数转换过程。n位精度高速数模转换器（dac）的输入来自于n位单循环计数器上相对应的输出位。所以，当n位单循环计数器从0依次增加到大值2ⁿ-1时，高速数模转换器（dac）可以同步地输出与计数器当前数值相对应的模拟电压0v-vref_max作为此处的参考电压vref。同时，计数器上的各位输出也作为各像素上的存储单元组中相对应的存储单元写端口（w）的输入。具体的对应关系是：n位单循环计数器上的最低位并行连接到各像素上存储单元组中bit1存储单元的写端口（w），计数器上的次低位并行连接到各像素上存储单元组中bit2存储单元的写端口（w），依此类推至计数器上的最高位并行连接到各像素存储单元组中的bitn存储单元写端口（w）。开启模数转换开关（tad），并使得n位单循环计数器开始计数，此时各像素上的模数转换过程正式开始。

并行的模数转换过程的具体原理如下：当像素上光电转换电压△vo大于参考电压vref时，该像素上的比较器（com）输出高电平到存储单元组各存储单元的使能端口（en），从而各存储单元上的写端口（w）可以被写入，因此该像素上的存储单元组的各存储单元上的数值可由n位单循环计数器上相应的位写入，即存储单元组上的数值更新到计数器上当前的数值。当像素上光电转换电压△vo小于参考电压vref时，该像素上的比较器（com）输出低电平到存储单元组上各存储单元的使能端口（en），从而关闭各存储单元的写端口（w），存储单元组将保存原有的数值。因此，当计数器上的数据从0依次增加到最大值2ⁿ-1，相应地，高速数模转换器（dac）输出的比较电压vref从0v依次增加到最大电压vref_max，在这个依次增加的过程中，各像素上存储单元组会同步更新至光电转换电压△vo略大于比较电压vref的时刻，在此时刻紧接着的下一时刻光电转换电压△vo将会略小于数模转换器（dac）上输出的参考电压vref。之后，存储单元组上的数值得到保持。随着计数器上数值依次的增加，参考电压vref会越来越大直到增加到最大值vref_max。所以，各像素上的存储单元组上的数据同步更新到各自的光电转换电压△vo约等于参考电压vref后，将会被保持在这个值直至循环结束。待到计数器完成单次循环，各像素上的存储单元组也就分别独立地记录下了曝光过程中像素接收到的光照总量（光电转换电压△vo）所对应的二进制数值，即并行地完成模数转换的步骤。

为了便于理解，下面以3位的单循环计数器，3位精度的数模转换器（dac）以及5个像素单元（像素单元上的存储单元组由3个二进制存储单元组成，用于存储3位精度的光电转换电压△vo的二进制数值）举例说明，并假设数模转换器（dac）中的单元电压为0.1v，5个列举的像素单元上的光电转换电压△vo分别为：

3位单循环计数器上的数值和3位精度高速数模转换器（dac）输出的参考电压vref之间的对应关系为：

并行进行地各像素上的模数转换过程如下：

3位单循环计数器开始计数

计数器上的数值为000数模转换器上输出的参考电压vref为0v

像素1上光电转换电压△vo0.12v>0v，像素1上存储单元组更新至000

像素2上光电转换电压△vo0.63v>0v，像素2上存储单元组更新至000

像素3上光电转换电压△vo0.37v>0v，像素3上存储单元组更新至000

像素4上光电转换电压△vo0.05v>0v，像素4上存储单元组更新至000

像素5上光电转换电压△vo0.73v>0v，像素5上存储单元组更新至000

计数器上的数值更新至001数模转换器上输出的参考电压vref为0.1v

像素1上光电转换电压△vo0.12v>0.1v，像素1上存储单元组更新至001

像素2上光电转换电压△vo0.63v>0.1v，像素2上存储单元组更新至001

像素3上光电转换电压△vo0.37v>0.1v，像素3上存储单元组更新至001

像素4上光电转换电压△vo0.05v<0.1v，像素4上存储单元组保持原有数值000

像素5上光电转换电压△vo0.73v>0.1v，像素5上存储单元组更新至001

计数器上的数值更新至010数模转换器上输出的参考电压vref为0.2v

像素1上光电转换电压△vo0.12v<0.2v，像素1上存储单元组保持原有数值001

像素2上光电转换电压△vo0.63v>0.2v，像素2上存储单元组更新至010

像素3上光电转换电压△vo0.37v>0.2v，像素3上存储单元组更新至010

像素4上光电转换电压△vo0.05v<0.2v，像素4上存储单元组保持原有数值000

像素5上光电转换电压△vo0.73v>0.2v，像素5上存储单元组更新至010

计数器上的数值更新至011数模转换器上输出的参考电压vref为0.3v

像素1上光电转换电压△vo0.12v<0.3v，像素1上存储单元组保持原有数值001

像素2上光电转换电压△vo0.63v>0.3v，像素2上存储单元组更新至011

像素3上光电转换电压△vo0.37v>0.3v，像素3上存储单元组更新至011

像素4上光电转换电压△vo0.05v<0.3v，像素4上存储单元组保持原有数值000

像素5上光电转换电压△vo0.73v>0.3v，像素5上存储单元组更新至011

计数器上的数值更新至100数模转换器上输出的参考电压vref为0.4v

像素1上光电转换电压△vo0.12v<0.4v，像素1上存储单元组保持原有数值001

像素2上光电转换电压△vo0.63v>0.4v，像素2上存储单元组更新至100

像素3上光电转换电压△vo0.37v<0.4v，像素3上存储单元组保持原有数值011

像素4上光电转换电压△vo0.05v<0.4v，像素4上存储单元组保持原有数值000

像素5上光电转换电压△vo0.73v>0.4v，像素5上存储单元组更新至100

计数器上的数值更新至101数模转换器上输出的参考电压vref为0.5v

像素1上光电转换电压△vo0.12v<0.5v，像素1上存储单元组保持原有数值001

像素2上光电转换电压△vo0.63v>0.5v，像素2上存储单元组更新至101

像素3上光电转换电压△vo0.37v<0.5v，像素3上存储单元组保持原有数值011

像素4上光电转换电压△vo0.05v<0.5v，像素4上存储单元组保持原有数值000

像素5上光电转换电压△vo0.73v>0.5v，像素5上存储单元组更新至101

计数器上的数值更新至110数模转换器上输出的参考电压vref为0.6v

像素1上光电转换电压△vo0.12v<0.6v，像素1上存储单元组保持原有数值001

像素2上光电转换电压△vo0.63v>0.6v，像素2上存储单元组更新至110

像素3上光电转换电压△vo0.37v<0.6v，像素3上存储单元组保持原有数值011

像素4上光电转换电压△vo0.05v<0.6v，像素4上存储单元组保持原有数值000

像素5上光电转换电压△vo0.73v>0.6v，像素5上存储单元组更新至110

计数器上的数值更新至111数模转换器上输出的参考电压vref为0.7v

像素1上光电转换电压△vo0.12v<0.7v，像素1上存储单元组保持原有数值001

像素2上光电转换电压△vo0.63v<0.7v，像素2上存储单元组保持原有数值110

像素3上光电转换电压△vo0.37v<0.7v，像素3上存储单元组保持原有数值011

像素4上光电转换电压△vo0.05v<0.7v，像素4上存储单元组保持原有数值000

像素5上光电转换电压△vo0.73v>0.7v，像素5上存储单元组更新至111

至此，3位单循环计数器完成计数，数值停留在最大值111，各像素也并行地完成了模数转换过程，相应的各像素上光电转换电压△vo转化成了二进制数值存储在了各自的存储单元组中，具体数值整理后如下所示：

像素1△vo0.12v存储单元组上的数值001

像素2△vo0.63v存储单元组上的数值110

像素3△vo0.37v存储单元组上的数值011

像素4△vo0.05v存储单元组上的数值000

像素5△vo0.73v存储单元组上的数值111

此时，关闭第一差分计算开关（tsub1）和第二差分计算开关（tsub2）t模数转换开关（tad），图像数据读取传输电路可以读取并传输出以上像素阵列曝光经模数转换所得的二进制图像数据。在图像数据读取传输电路进行图像数据读取和传输的同时，像素阵列可以进行下一次曝光，所以，本发明图像传感器的图像曝光过程和图像数据读取，传输过程是相互独立的，在时间上可以重叠设置。另外，并行完成的模数转换过程只会占用很短的一段成像时间，所以图像数据的读取、传输过程成为成像速率（帧频）的唯一限速步骤，单帧图像数据的读取、传输时间可以认为近似等于单帧图像的成像时间。因此，如果在本图像传感器中使用达到带宽极限速率的高速数字数据读取传输电子电路作为图像数据读取传输电路，就可以使本图像传感器的成像速率约等于数字数据传输带宽所能提供的极限速率。

进一步地，本发明方案提供的图像传感器芯片中的像素阵列，控制器，图像数据读取传输电路等各个单元之间的互连关系如图2所示。

图2中，本发明图像传感器由以下几个部分组成：电源电压，时钟，控制器，n位单循环计数器，n位精度高速数模转换器（dac），像素阵列和图像数据读取传输单元。为了保持图2简洁、清晰，图中只画了n位单循环计数器和n位精度高速数模转换器（dac）的最低位（d1），次低位（d2）和最高位（dn），以及像素阵列各个角落的像素单元，其余均用省略号标注。以上各个组成部分的作用如下：

电源电压：按图像传感器其它各个部件所需的电压值供电（为了保持图2简洁，图中只画出了与像素阵列中各像素单元上重置电压（vrst）连接的重置电压vrst，其他的连线都被省略了）。

时钟：为图像传感器的其它各部件提供参考时钟信号，信号通过端口（clk）输出，输入到控制器、n位单循环计数器、n位精度高速数模转换器（dac）和图像数据读取传输单元的输入端口（clk）；

控制器：用于控制图像传感器中各部分的时序先后，即通过向像素阵列、n位单循环计数器和图像数据读取传输单元发送时序信号，控制图像传感器的高速成像过程。控制器向各部分发出的时序信号有：

1）通过端口（rst）向像素阵列中各像素单元上的重置开关（trst）并行发送的重置信号；

2）通过端口（x1）向像素阵列中各像素单元上的第一传输开关（tx1）并行发送的第一传输开关控制信号；

3）通过端口（x2）向像素阵列中各像素单元上的第二传输开关（tx2）并行发送的第二传输开关控制信号；

4）通过端口（sub）同时向像素阵列中各像素上的第一差分计算开关（tsub1）和第二差分计算开关（tsub2）并行发送的差分计算开关控制信号；

5）通过端口（ad）向像素阵列中各像素上的模数转换开关（tad）并行发送的模数转换开关控制信号；

6）通过端口（clr）向像素阵列中各像素上的存储单元组各存储单元（bit1、bit2……bitn）上的清零端口（clr）上发送的清零信号；

7）通过端口（tc）向n位单循环计数器上相应的输入端口（tc）发送的开启计数信号；

8）通过端口（enr）向图像数据读取传输单元上相应的输入端口（enr）发送的开启、关闭数据读取传输的信号；

另外，控制器还有以下3个输入端口用于设定、协调本图像传感器的成像过程，各端口的作用如下：

1）端口（in）用于接收由外部送入的串行控制数据，例如用来设定曝光时长，与外部设备的同步等。

2）端口（cpl）用于接收来自于n位单循环计数器的计数循环结束信号，信号由n位单循环计数器上相对应的端口（cpl）输出。

3）端口（clk）用于接收来自于本图像传感器上时钟发出的时钟脉冲信号，信号由时钟上相对应的端口（clk）发出

n位单循环计数器：用于进行单次的n位循环计数，计数器的输入端口（tc）在收到从控制器相应的端口（tc）输出的信号后，开始从0计数到n位二进制数的最大值2ⁿ-1，并停留在最大值。单循环结束后，通过端口（cpl）向控制器上相应的端口（cpl）发送一个脉冲信号，告知控制器计数循环结束。n位单循环计数器上的n个输出端口（d1，d2……dn）用于输出当前计数器上二进制的计数数值，端口（d1）输出当前数值的最低位，端口（d2）输出当前数值的次低位，依此类推至端口（dn）输出当前数值的最高位。计数器上的输入端口（clk）用于接收时钟信号。

n位精度高速数模转换器（dac）：用于将n位单循环计数器上当前的数值转化为相应的模拟电压，由端口（vref）输出，作为像素阵列中各像素上的参考电压vref，数模转换器上的步进单位电压匹配像素阵列中各像素单元光电转换电压所在的范围。数模转换器上n个输入端口（d1、d2……dn）用于接收来自于n位单循环计数器当前的数值。输入端口（d1）连接计数器上的输出端口（d1），输入端口（d2）连接计数器上的输出端口（d2），依此类推至输入端口（dn）连接计数器上的输出端口（dn）。数模转换器的输入端口（clk）连接时钟的输出端口（clk），用于接收时钟信号。

像素阵列：由像素单元组成的二维阵列。像素阵列中的像素单元在接收来自于控制器，n位单循环计数器，n位精度数模转换器输出端口上的信号后，用于生成n位精度的二进制图像数据，图像的尺寸由像素阵列即像素单元矩阵的尺寸决定。像素阵列中各像素单元上电子器件与来自于控制器、n位单循环计数器、n位精度模数转换器上各输出端口的连接关系如下：

1）各像素上的重置开关（trst）并行连接到控制器上的输出端口（rst）

2）各像素上的第一传输开关（tx1）并行连接到控制器上的输出端口（x1）

3）各像素上的第二传输开关（tx2）并行连接到控制器上的输出端口（x2）

4）各像素上的第一差分计算开关（tsub1）和第二差分计算开关（tsub2）并行连接到控制器的输出端口（sub）

5）各像素上的模数转换开关（tad）并行连接到控制器的输出端口（ad）

6）各像素存储单元组上各存储单元（bit1、bit2……、bitn）上的清零输入端口（clr）并行连接到控制器的输出端口（clr）

7）各像素存储单元组上的存储单元（bit1）中输入端口（w）并行连接到n位单循环计数器的输出端口（d1）；各像素存储单元组中存储单元（bit2）上的输入端口（w）并行连接到n位单循环计数器的输出端口（d2）；依此类推，各像素存储单元组上存储单元（bitn）上的输入端口（w）并行连接到n位单循环计数器的输出端口（dn）

8）各像素的存储单元组上各存储单元（bit1、bit2……bitn）的输出端口（r）通过图中像素阵列上各像素单元右下角的sr和sc连接到图像数据读取传输电子电路部分，sr表示行向的连接，sc表示列向的连接。

9）各像素上比较器（com）的负输入端口（vref）并行连接到n位精度数模转换器（dac）上的输出端口（vref）。

图像数据读取传输单元：通过高速图像数据读取传输电子电路读取存储在像素阵列中的n位二进制图像数据，并将图像数据传输出去。图像数据读取传输单元与像素阵列中各像素上存储单元组中各存储单元（bit1、bit2……、bitn）的输出端口（r）的连接在图1中右边的虚纹方框中标出。图像数据读取传输单元在输入端口（enr）收到来自于控制器相应的输出端口（enr）为高电平的情况下，即可开始图像数据的读取与传输。本技术方案的图像传感器的像素阵列在完成模数转换之后，即可等同一个二进制的数据存储器系统，所以可以直接使用现有的数据存储器系统的高速读取、传输技术。因此，本发明无需额外特别的设计高速图像数据读取、传输方案。当可以选择的现有的数据存储器系统的数据读取、传输速率能够提供数字数据带宽所允许的极限速率时，根据以上叙述可知，本技术方案的图像传感器的成像速率帧频也就相应地近似达到了数字数据宽带所允许的极限速率。

根据以上对本技术方案图像传感器的像素单元、整体传感器的结构以及工作原理的叙述，图3为本图像传感器在成像过程中各个信号之间的时序关系示意图。

如图所示，本图像传感器在成像过程中各信号之间的时序关系如下：首先控制器通过端口（rst），端口（x1）和端口（x2）同时送出脉冲信号用于开启各像素单元上的重置开关（trst）、第一传输开关（tx1）和第二传输开关（tx2），从而将光电二极管（pd）、第一电荷存储电容（fd1）和第二电荷存储电容（fd2）重置到偏置电压vrst水平。曝光从以上脉冲信号的下降沿，即重置开关（trst）、第一传输开关（tx1）和第二传输开关（tx2）关闭的时刻，正式开始。曝光结束时，控制器通过端口（x2）向各像素单元上的第二传输开关（tx2）送入一个脉冲信号，使得光电二极管（pd）在曝光过程中产生的电荷变化得以传输到第二电荷存储电容（fd2）上，曝光在端口（x2）输出的此脉冲信号的上升沿正式结束。在控制器通过端口（x2）发送电荷传输脉冲信号的同时，控制器通过端口（clr）向像素单元上存储单元组中的各存储单元上的清零端口（clr）送入一个脉冲信号使得所有存储单元清零，从而可以准备好存储即将开始的模数转换过程之后的光电转换电压的二进制数值。另外，控制器也将端口（enr）上的高电平改为低电平从而使得图像数据读取传输单元结束上一帧的图像数据读取传输状态，等待当前帧的图像数据读取传输的开始。待第二传输开关（tx2）关闭以及各存储单元组清零之后，控制器即可将端口（sub）和端口（ad）调为高电平从而开启各像素上的第一差分计算开关（tsub1），第二差分计算开关（tsub2）和模数转换开关（tad）。然后，控制器通过端口（tc）向n位单循环计数器的输入端口（tc）送入一个脉冲，使得计数器从0依次计数到最大值2ⁿ-1，在计数过程中，各像素单元并行进行曝光期间生成的光电转换电压的模数转换过程。待计数器达到最大值2ⁿ-1，即完成了单个计数循环，各像素也完成了模数转换过程。此时，n位单循环计数器通过端口（cpl）向控制器的相应输入端口（cpl）送入一个脉冲，告知控制器模数转换过程结束。在收到此脉冲信号之后，控制器将端口（sub）和端口（ad）调为低电平，从而关闭第一差分计算开关（tsub1）、第二差分计算开关（tsub2）和模数转换开关（tad）。然后，控制器通过将端口（enr）的电平调为高电平，从而使得图像数据读取传输单元可以进行当前帧图像数据的读取与传输。与此同时，控制器通过端口（rst）、端口（x1）和端口（x2）送入脉冲从而开启下一帧的曝光过程。

如图3所示，基于以上描述，依据当前的设计，本图像传感器在成像过程中，其中的曝光过程和图像数据读取传输过程是相互独立的，在时间上可以重叠设置。但模数转换过程需要独立占用一段成像时间。因为模数转换过程在各像素上是并行完成的，只会占用很短的一段成像时间，并且成像过程中曝光时间的长短可以通过改变rst、x1、x2的第一脉冲和x2的第二脉冲之间的间隔来实现自由调节，所以本技术方案图像传感器的单帧成像时间可近似等于单帧图像的读取、传输时间，即本图像传感器成像速率近似等于图像数据的读取、传输速率。

在成像过程中，因曝光的时间长短可调，所以曝光时长的最大值为图像数据读取传输所需的时间。例如，图4中，曝光过程与模数转换过程之间的时间间隙为曝光时长相对图像数据读取传输时长的缩短量。

进一步的，如果在具体应用中，图像传感器除了需要满足高速成像的需求，还需要最大化曝光时间。在此种要求下，可通过在各像素电子电路的减法器与比较器之间增加一个开关k和一个电容c，从而将曝光过程与模数转换过程独立开，使得曝光过程与模数转换过程在时序上可以重叠设置，此种设计的电路如图5所示。

图5中，开关命名为电压转移开关，电容命名为电压转移电容，在此种设计下，曝光结束后，通过控制器端口（sub）向第一差分计算开关（tsub1）和第二差分计算开关送入一个脉冲，短时地打开这两个开关，与此同时，控制器通过一个新设的端口向电压转移开关发送一个脉冲，开启电压转移开关。第一电荷存储电容（fd1）和第二电荷存储电容（fd2）上的电压经过减法器（sub）形成的光电转换电压（△vo）经电压转移开关映射在电压转移电容上。随着第一差分开关（tsub1）、第二差分开关（tsub2）和电压转移开关的关闭，图像传感器即可开始下次的曝光。与此同时，映射到电压转移电容上的光电转换电压（△vo）可用于模数转换过程，从而实现曝光过程与模数转换过程的相互独立。在此种情况下，曝光过程、模数转换过程和图像数据读取传输过程之间的时序关系示意图如图6所示。

如图6所示，曝光过程与模数转换过程以及图像数据读取传输过程在时间上是可以重叠设置的，所以，在此种设计下，曝光时长最大可等于模数转换时长与图像数据读取传输时长之和，因此曝光时间得到了最大化，单帧的成像时间等于单帧的曝光时间。但此处需要指出的是，在成像过程中，图像数据读取传输的是成像的限速步骤，所以成像极限速率仍旧约等于数字数据传输带宽所允许的极限速率。

当然，如果在各像素现有的存储单元组再添加一个镜像缓冲存储单元组，从而使得各像素在完成模数转换过程之后便可将光电转换电压（△vo）的二进制数值转移复制到缓冲存储单元组中。然后，图像数据读取传输单元可以从缓冲存储单元组中读出各像素上光电转换电压的二进制数值。而同时，像素上的模数转换单元就不必在等待图像数据读取传输结束之后才可开始下一帧的模数转换过程。所以，如果在各像素现有的存储单元组后再添加一个缓冲存储单元组，便可将成像过程中的模数转换过程和图像数据读取传输过程独立开来，在时间上重叠设置，这样就可以使得本图像传感器的成像速率完全等同于图像数据的读取传输速率。除此之外，虽然额外的缓冲存储单元组在像素上需要占用较大的面积，但同时也使得模数转换过程拥有更加充裕的时间（最大可达单帧时长），用于生成依次增加的参考电压vref，另外比较器也能够生成更加稳定的比较值，因此对提高图像传感器的模数转换精度有一定的好处。

更进一步的，以上本图像传感器的方案在实际使用中仍存在着在模数转换的过程中对电压扰动较为敏感的问题，从而可能对成像的准确度造成较大的影响。具体原因如下：对于像素阵列中的各个像素，当计数器和数模转换器上产生的参考电压vref高于像素上的光电转换△vo电压时，理论上该像素上已经完成了模数转换过程，存储单元组上光电转换电压（△vo）所对应的二进制数值不会有变化，并一直保持到计数器循环结束。但是，当在参考电压vref高于像素上的光电转换电压（△vo）这个时间段内，如果某个时刻存在电压波动造成光电转换电压的瞬时峰值大于该时刻数模转换器输出的参考电压vref，则该像素上的比较器（com）会向存储单元组的各个存储单元的使能端（en）送一个短暂的高电平，这就导致各存储单元的写端口（w）被打开，使得存储单元组更新至计数器上当前的数值，此数值将不再对应到该像素上光电转换电压（△vo）的大小。所以，对整个图像传感器而言，在模数转换过程中，任何电压的波动都可能会造成图像低强度区域彻底被抹平，针对以上这个问题，解决方案如如下：

为了克服模数转换过程对电压波动较为敏感地问题，此处的方法是将由n个二进制逻辑存储单元构成的存储单元组替换成n位计数器，电子电路示意图如图7所示。

如图7所示：光电转换电压（△vo）与参考电压vref经过比较器（com）得出的比较值在经过模数转换开关（tad）后，与整个传感器共享的时钟信号（clk）作为逻辑与单元（and）的输入，进行与运算后产生的输出作为n位计数器使能端（en）的输入。n位异步单循环计数器使能端口（en）每接收到一个脉冲信号计数一次，即计数加1。计数器的清零端口（clr）用于将计数器上的各位清零，即在收到高电平信号时将计数器上的各位归零。计数器上二进制数值的输出端口为（r1、r2……rn），输出端口（r1）输出计数器数值的最低位，输出端口（r2）输出计数器数值的次低位，依此类推，输出端口（rn）输出计数器数值的最高位。另外，此处的n位计数器最好只会执行单个计数循环，从而使得计数器的数值达到最大值2ⁿ-1后，计数器停止计数，停留在最大值上。

使用n位计数器作为光电转换电压（△vo）的二进制数值存储单元的模数转换过程如下：如前所述，模数转换过程开始后，参考电压vref从0v依次增加到vref_max,在光电转换电压（△vo）高于参考电压vref的时间段内，比较器（com）输出的为高电平，通过模数转换开关（tad）后，在与器件（and）中和全局时钟信号（clk）做与运算。在比较器（com）输出的为高电平时，全局时钟信号（clk）可以通过逻辑与器件（and）进入n位计数器的使能端口（en）使得计数器依照时钟信号（clk）计数。随着参考电压vref的增加，至光电转换电压（△vo）低于参考电压vref后，比较器（com）输出为低电平，逻辑与器件（and）输出低电平到计数器的使能端（en）中，n位计数器停止计数，停留在光电转换电压（△vo）约等于参考电压vref这个数值点上，即完成了光电转换电压（△vo）模数转换过程。因为全局时钟信号（clk）被所有的像素单元所共享，所以从模数转换开始，随着时钟信号（clk）发出2ⁿ-1个脉冲信号后，各像素也就并行完成了模数转换过程。使用此种构型时，即使光电转换电压（△vo）或参考电压vref有瞬时的波动也只会导致与器件（and）被瞬时错误地打开或关闭，只会使得像素上的n位计数器产生单次的计数误差。另外考虑到，噪声信号的平均值为零，所以在模数转换过程中，即使存在噪声对光电转换电压（△vo）或参考电压vref的扰动，这种扰动也是近似对称的。因此，在模数转换过程中，像素上的n位计数器上漏计和多计的计数次数应该大致相等。所以计数器上的最终值即使在存在电压扰动的情况下仍能够反映光电转换电压（△vo）的真实值。因此，在像素陈素中的各像素单元上用n位计数器代替由n个二进制逻辑存储单元构成的存储单元组就可以克服掉模数转换过程对电压波动较为敏感的问题。

为了确保本发明结构上的完整性，此处给出了各像素中可存储一位二进制数据的逻辑存储单元电子电路示意图，以及图像数据读取、传输结构示意图。首先，各像素中可存储一位二进制数据的逻辑存储单元的电子电路示意图如图8所示。本发明所要求的二进制逻辑存储单元可以有多种方式实现。图8为其中一种，由具有清零功能的d触发器构成。图中各端口的字母与功能和图1中逻辑存储单元的各端口相对应，端口（w）为写输入端口，端口（en）为使能输入端口，端口（clr）为清零输入端口，端口（r）为读输出端口。此处多出的一个端口为读输出端口的非值。以上电路的直值表如下所示，设r的初值为1。

如上表所示，当clr为1时，r值归零，当clr值为0且en=0时，此逻辑存储单元的写端口（w）关闭，无论写端口（w）的输入为何值，输出端口（r）保持原有的值，当clr值为0且en值为1时，此存储单元的写端口（w）开启，可以通过写端口（w）对输出端口（r）赋值。

接着，图像数据的读取传输结构示意图如图9所示。

如图9所示，此处给出的图像数据读取传输单元为常规的存储器系统中使用的读写电路，包括列选择器、行选择器、数据读取电路、输出缓冲、输出电路等。图中的方框阵列代表像素阵列。图像数据的读取传输过程是：列选择器和行选择器可以依次串行地选择出各像素单元，并读取出光电转换电压的二进制数值，此处的读取电路为n位字段，即，可一次读取像素的存储单元组上各存储单元的二进制数值。读取电路读出的数据放入输出缓冲中，供输出电路以特定的格式输出。此处，需要再一次注明的是，因为本发明方案提供的图像传感器可以直接嫁接到各类存储系统中使用的高速数据读取、传输技术，所以本发明并不涉及具体的图像数据高速读取、传输技术方案。

综上所述，本发明提供了一个帧频可达带宽极限传输速率的高速图像传感器的方案。虽然本方案需要在单个像素的面积范围之内使用到较多的电子元器件，从而使得像素上光电二极管（pd）的感光面积或像素的填充系数（ff）小于现有的图像传感器，而且本发明方案当前的设计中因没有使用到传统的信号放大单元，这也可能会影响到本图像传感器的信噪比。但此处的图像传感器面对的并非是消费级的市场，所以对成本并不敏感，尤其在考虑现有的高速相机的价格和性能之后，因此感光面积或填充系数（ff）低的问题可以通过增大单个像素所占的硅基底的面积，使用更加精细的半导体制成工艺或借助mems工艺用微透镜阵列将光进一步地聚焦到各像素的光电二极管区域解决。另外，因为在像素单元的比较器（com）之后传递的信号即为0/1的数字信号，对外界的扰动并不敏感，所以可以将各个像素单元中占很大面积的存储单元组从各自像素单元独立出来，独自形成一个阵列，相应的像素单元中的比较器与存储单元组用透明的导线连接，这样导线可以直接从光电二极管（pd）的表面通过。通过这种处理，像素单元只需要包括图像1中到比较器（com）的部分即可，因此通过这种方式也可以大大提高光电二极管（pd）的面积或填充系数（ff）。接着，可能存在的信噪比低的问题，可以通过增加被拍摄物体的光强，降低芯片的温度来部分地解决。另外，像素单元的比较器（com）也起到了类似信号放大的作用，其次，如果在像素单元上增加传统的信号放大单元，像素级的信号放大单元虽然很难平衡各像素单元上放大倍数，但是因为模数转换之后，光电转换电压（△vo）即转化成了二进制数值，所以放大倍数的修正，可以通过使用校准光源生成各像素的修正系数，此修正系数与光电转换电压（△vo）的二进制数值相乘即可完成修正过程，修正过程可以在图像数据读取传输过程并行完成，从而能够做到不占用传感器的成像时间。同时，如果像素单元中的第一电荷存储电容（fd1）和第二电荷存储电容（fd2）存在电容不匹配的问题，可以将像素中的光电二极管（pd）部分采用4t-aps的结构，即在光电二极管（pd）和第一差分开关（tx1）/第二差分开关（tx2）之间加上一个开关、公共电容和一个源随器，从而使得第一电荷存储电容（fd1）和第二电荷存储电容（fd2）上的电压都是由公共电容映射过去，从而消除可能存在的电容不匹配的问题。

本图像传感器除了具有非常高的帧频以外，还具有以下的优点：

1）在结合芯片级的高速数字数据传输方案之后，本图像传感器能够形成一个单硅片级的片上（soc）高速成像系统，从而可以极大地拓展本图像传感器高速相机的应用范围。以带宽所允许的图像读取传输速率为100g/s，图像尺寸为256像素x256像素，输出精度为8位为例，本图像传感器的成像速率可高达2x10⁵帧/秒。

2）在图像数据的n位物理精度以下，本图像传感器可以输出任意精度或压缩格式的图像数据。成像过程中，在完成模数转换之后，图像数据就已经以二进制数据的形式存储在了各像素的存储单元组中，所以图像数据读取传输单元可以根据实际需求，从像素阵列中读取所需精度或压缩格式的图像数据，从而可以进一步提升成像速率。

3）本图像传感器还可以直接与处理器相结合，从而可以形成一个单硅片（soc）的高速图像拍摄、处理系统，因此能够为需要瞬时或高通量特征提取的领域，例如高速细胞辨别筛选，无人驾驶或飞机发动机高速运转的时域机械振动模式识别等领域，提供简捷、有效、经济的解决方案。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。