实时时间标记的cmos异步时间域图像传感器的制造方法
【专利摘要】本发明涉及微电子学的集成电路设计领域和数字图像处理领域，为解决AER异步输出方式带来的事件-时间不匹配问题，实现图像行间时间精确标记输出，提高获得图像在时间域内的准确性，为达到上述目的，本发明采取的技术方案是，实时时间标记的CMOS异步时间域图像传感器，包括由光强变化感知电路CD和双采样脉冲宽度调制电路PWM，还包括：(1)行/列复位控制电路；(2)行仲裁电路；(3)行级时间标记电路；(4)行/列地址编码电路：行地址编码电路接收行轮权仲裁结构发出的行选中信号，输出选中的行地址；行地址编码电路由输出像素的CD电路输出信号触发。本发明主要应用于图像传感器的设计制造。
【专利说明】实时时间标记的CMOS异步时间域图像传感器
【技术领域】
[0001]本发明涉及微电子学的集成电路设计领域和数字图像处理领域，具体讲，涉及实现实时时间标记的CMOS异步时间域图像传感器。
【背景技术】
[0002]相对于传统“帧”图像采集方式，异步时间域CMOS图像传感器(CIS)模仿生物视觉的工作机理，采用异步地址一事件表示(Address-Event Representation, AER),仅输出发生光强变化的像素地址和信息，而不是依次读出“帧”内每个像素信息。具有场景变化实时动态响应、图像超稀疏表示、时域变化事件异步输出等特点，可解决“帧”图像采集方式带来的闻几余、闻延迟、闻噪声、低动态范围、传输瓶颈等缺陷。
[0003]AER异步表示方法将发生特定事件的像素对外部进行通信请求，请求获准后输出量为该像素所在坐标位置(x，y)及发生的事件。如图1所示，对于一维单一事件异步并行输出，事件引起其所在行的地址编码器实时输出行地址，后续接收处理电路根据接收到的行地址及接收编码的时间间隔还原事件属性及所在行。
[0004]异步时间域像素结构如图2所示，由光强变化感知电路(change detector,⑶)和双采样脉冲宽度调制(Pulse-Width-Modulation，PWM)电路组成。CD电路通过光电流探测、比较放大、输出比较及逻辑修正用于探测该像素光强是否发生超过阈值的变化，是AER异步方式的基础。双采样PWM电路工作原理如图3所示，复位管MRst2复位后，光电二极管Η)2开始曝光。此时，开关SI闭合，S2断开，比较器的负端接高参考电压VrefJL随着曝光的过程，Vint电压线性降低，到达Vref_H时，比较器输出翻转，触发计时模块复位，并开始计数。随机，开关SI断开，S2闭合，比较器的负端接低参考电压Vref_L，Vint下降至Vref_L时再次产生比较器输出翻转，此时结束计数，并将8位计数结果存储在像素级存储器中，等待输出。
[0005]在异步时间域图像传感器中，当有大量数据同时产生，需要输出时，将会由仲裁模块控制数据的输出顺序。由此,原本同时的数据将变成不同时的输出，并且,异步AER方式的特殊性，无法预测数据的间隔及数据量，这就导致输出数据在时间上的不匹配，即某一帧内的各像素的数据有可能应属于其他帧的情况发生。所以，传感器内进行实时时间标记可对于这种不匹配进行修正，提高AER异步方式的准确性。
【发明内容】
[0006]本发明旨在克服现有技术的不足，解决AER异步输出方式带来的事件-时间不匹配问题，实现图像行间时间精确标记输出，提高获得图像在时间域内的准确性，提供一种，为达到上述目的，本发明采取的技术方案是，实时时间标记的CMOS异步时间域图像传感器，包括由光强变化感知电路CD和双采样脉冲宽度调制电路PWM，还包括:
[0007](I)行/列复位控制电路:列复位控制电路控制各像素CD电路的复位，列复位控制信号列共用；行复位控制电路控制各像素双采样PWM电路的复位，行控制信号行共用；[0008](2)行仲裁电路:光照发生变化时，像素内的CD电路输出使双采样PWM电路开始曝光工作，光强结果存储在像素级8位存储器中，等待输出；当不同像素同时发出输出请求时，行轮权仲裁结构仲裁，输出请求信号y_Req，接收信号y_Ack为行共用；
[0009](3)行级时间标记电路；为16位计时器，计时器精度由量化精度决定，以像素发出请求信号y_Req为标记事件触发信号，在8bit量化信号前输出；
[0010](4)行/列地址编码电路:行地址编码电路接收行轮权仲裁结构发出的行选中信号，输出选中的行地址；行地址编码电路由输出像素的⑶电路输出信号触发。
[0011]行仲裁电路输出请求信号y_Req，接收信号y_Ack为行共用，行轮权仲裁方式遵循“先进先出”的原则，每次仲裁按照第一行依次至最后一行的顺序决定优先权，使每行优先权相对平均。
[0012]利用像素级光强变化感知电路探测光强变化，双采样PWM电路量化光强；采用地址-事件(AER)表达方式及实时时间标记。
[0013]行轮权仲裁结构的结构由二选一仲裁单元构成，当一个二选一仲裁单元发生第一次冲突时，优先选中端口一，当第二次发生冲突时，优先选中端口二。
[0014]本发明的技术特点及效果:
[0015]本发明通过仅采集变化像素信息，能够在源头上消除冗余信息，各像素的测量及输出由光强变化驱动，实现了异步工作输出，时间域量化，脱离了传统图像传感器“帧”的束缚，并扩大动态范围。同时，能够在片上进行实时时间标记，结合行仲裁电路，对于事件-时间的扭曲进行修正，提高AER异步方式的准确性。输出数据可以满足任何量化编码需要，提高了图像传感器效率，具有数据量小，动态范围大，帧频高的特点，适用于高速目标跟踪、视频监控、微粒研究等领域。
【专利附图】
【附图说明】
[0016]图1 一维单一事件AER表达原理。
[0017]图2异步时间域像素结构。
[0018]图3采样PWM电路工作原理。
[0019]图4本发明的异步时间域CIS结构。
[0020]图5本发明结构图。
[0021]图6由多个轮权仲裁单元组成的多路仲裁结构图。
【具体实施方式】
[0022]本发明传感器采用128*128像素阵列，结构如图4所示，由行/列复位控制电路、行仲裁电路、行时间标记电路及行/列地址编码电路组成。
[0023](I)行/列复位控制电路。列复位控制电路(x_reset control)控制各像素⑶电路的复位，控制信号x_Rst列共用。行复位控制电路(y_reset control)控制各像素双采样PWM电路的复位，控制信号y_Rst行共用。将CD电路和双采样PWM电路分别设置复位的好处是，当进行全局拍摄模式或快照模式时可直接控制双采样PWM电路，而使CD电路处于待命状态。
[0024](2)行仲裁电路(y_arbiter)。光照发生变化时，像素内的⑶电路输出使双采样PWM电路开始曝光工作，光强结果存储在像素级8位存储器中，等待输出。当不同像素同时发出输出请求时，需要仲裁的方法决定输出顺序。本结构中采用行轮权仲裁结构，输出请求信号y_Req，接收信号y_Ack为行共用。行轮权仲裁方式遵循“先进先出”的原则，每次仲裁按照第一行依次至最后一行的顺序决定优先权，可使每行优先权相对平均。适用于需要对全景信息采集，但对帧频要求较低的视觉图像采集领域。
[0025](3)行级时间标记电路(Time stamp)。采用16位计时器,计时器精度由量化精度决定，以像素发出请求信号y_Req为标记事件触发信号，在8bit量化信号前输出。
[0026](4)行/列地址编码电路(address encoder)。本设计遵循AER表示原理,需输出光强变化事件及所在像素坐标(X，y)。本结构要求时间标记有较高实时性，故在结构中优先输出时间标记及时间测量，由确定的事件输出触发地址编码即可，并且行/列的编码可异步进行。行地址编码电路(y_address encoder)接收行仲裁发出的行选中信号,输出选中的行地址。行地址编码电路(x_address encoder)由输出像素的⑶电路输出信号触发。
[0027]应用于一个128 X 128的有源像素阵列，输出图像精度为8bit，地址位为14bit，时间标记位为20bit。仲裁方式采用轮权制。采用0.18um标准CMOS工艺实现，适用于高速实时视觉芯片系统。
[0028](5)轮权仲裁结构。轮权仲裁的特点是仲裁器的输入各个端口具有相同的权重，是一种公平仲裁。当一个二选一仲裁单元发生第一次冲突时，优先选中端口一，那么当它第二次发生冲突时，优先选中端口二。一个二选一轮权仲裁单元的基本结构如图5所示:其中
(a)是二选一轮权仲裁单元的基本结构；(b)是预选单元的一种实现结构，其中ps信号可以标识这是第一次冲突还是第二次冲突。(C)是一个基本仲裁单元，它在ps的控制下实现轮权选择。(d)是确认单元和输出请求部分的结构。
[0029]图6所示为由多个轮权仲裁单元组成的多路仲裁结构，它是由多个轮权仲裁单元组成树状结构，可以根据行列数目的需要扩展仲裁的数目。
【权利要求】
1.一种实时时间标记的CMOS异步时间域图像传感器，包括由光强变化感知电路CD和双采样脉冲宽度调制电路PWM，其特征是，还包括: (1)行/列复位控制电路:列复位控制电路控制各像素CD电路的复位，列复位控制信号列共用；行复位控制电路控制各像素双采样PWM电路的复位，行控制信号行共用； (2)行仲裁电路:光照发生变化时，像素内的CD电路输出使双采样PWM电路开始曝光工作，光强结果存储在像素级8位存储器中，等待输出；当不同像素同时发出输出请求时，行轮权仲裁结构仲裁，输出请求信号y_Req，接收信号y_Ack为行共用； (3)行级时间标记电路；为16位计时器，计时器精度由量化精度决定，以像素发出请求信号y_Req为标记事件触发信号，在8bit量化信号前输出； (4)行/列地址编码电路:行地址编码电路接收行轮权仲裁结构发出的行选中信号，输出选中的行地址；行地址编码电路由输出像素的⑶电路输出信号触发。
2.如权利要求1所述的实时时间标记的CMOS异步时间域图像传感器，其特征是，行仲裁电路输出请求信号y_Req，接收信号y_Ack为行共用，行轮权仲裁方式遵循“先进先出”的原则，每次仲裁按照第一行依次至最后一行的顺序决定优先权，使每行优先权相对平均。
3.如权利要求1所述的实时时间标记的CMOS异步时间域图像传感器，其特征是利用像素级光强变化感知电路探测光强变化，双采样PWM电路量化光强；采用地址-事件(AER)表达方式及实时时间标记。
4.如权利要求1所述的实时时间标记的CMOS异步时间域图像传感器，其特征是，行轮权仲裁结构的结构由二选一仲裁单元构成，当一个二选一仲裁单元发生第一次冲突时，优先选中端口一，当第二次发生冲突时，优先选中端口二。
【文档编号】H04N5/345GK103595931SQ201310542731
【公开日】2014年2月19日 申请日期:2013年11月5日 优先权日:2013年11月5日
【发明者】姚素英, 于璐, 徐江涛, 高静, 史再峰, 聂凯明 申请人:天津大学