[0001]
本申请涉及运动图像采集领域,特别涉及一种像素采集电路、动态视觉传感器以及图像采集设备。
背景技术:[0002]
随着科学技术的发展,运动图像采集领域对采集图像的质量有了越来越高的要求。一般摄像头每秒可采集约25帧至30帧,难以捕捉高速运动的物体。目前,运动图像采集技术主要有两种:基于“帧”的高速摄像头和基于“事件”采集图像的摄像头(event based camera)。基于“帧”的高速摄像头每秒可采集约1000帧,能够捕捉到高速运动的物体,但是需要采集的数据量大,能耗高,效率不佳。相比之下,基于“事件”的高速摄像头不同于基于“帧”的高速摄像头,是一种仿生学的研究成果,能够响应由于运动引起的视场中光照的像素级变化而产生的脉冲,当“事件”发生(如视场中光照强度变亮或变暗)时才进行图像采集,若无“事件”发生则不采集图像。由于基于“事件”的高速摄像头数据采集快,采集量不高,功耗偏低,因而在运动图像采集领域得到了广泛应用。
[0003]
动态视觉传感器(dynamic vision sensor,dvs),也称为类脑摄像头dvs,是基于“事件”采集图像的摄像头中的图像传感器。dvs中的像素采集电路模仿视网膜的成像原理,包括:图像接收器、差分电路和比较与输出电路。其中,差分电路在运动的捕捉上起着至关重要的作用。但是,由于像素采集电路为模拟电路,处理的也都是模拟信号,这些模拟信号容易受到噪声的干扰,使信号的信息发生改变、图像失真,严重时还会出现信号中断。
技术实现要素:[0004]
本申请提供了一种像素采集电路、动态视觉传感器以及图像采集设备,以降低噪声,减少干扰,方便调试。
[0005]
第一方面,本申请提供一种像素采集电路,该像素采集电路可以设置于基于“事件”的高速摄像头中,例如,手机、监控摄像头、行车记录仪等设备中的高速摄像头。这些设备可以应被配置为辅助驾驶、自动驾驶、智慧家庭、平安城市等场景中。那么,该像素采集电路可以包括:光电转换电路、模数转换电路、差分电路以及比较电路;其中,首先,光电转换电路将采集到的光信号转换成模拟信号,并将模拟信号输出给模数转换电路;然后,模数转换电路接收来自光电转换电路的模拟信号;以及,模数转换电路通过对模拟信号进行模数转换获得数字信号,并将数字信号输出给差分电路;接下来,差分电路接收来自模数转换电路的数字信号;以及,差分电路获得上一触发时刻的数字信号与当前触发时刻的数字信号的差值信号,并将差值信号输出给比较电路;最后,比较电路接收来自差分电路的差值信号,并将差值信号与预设阈值进行比较,输出脉冲信号,这里,脉冲信号被配置为表示事件是否发生。
[0006]
在本申请中,上一触发时刻和当前触发时刻至少由数字时钟信号确定;上述事件可以为光电转换电路所采集的光信号是否发生改变,也就是说视场内的光照强度是否发生
变化,如变亮或者变暗。
[0007]
在本申请中,通过利用数字元器件来实现dvs中的像素采集电路,减弱dvs中由于模拟信号的不稳定而引入的噪声,进而减少dvs中的干扰;进一步地,由数字元器件实现的像素采集电路结构较为简单,方便调试。
[0008]
基于第一方面,在一些可能的实施方式中,差分电路包括:存储电路以及减法电路;其中,存储电路的输入端与模数转换电路的输出端电连接,存储电路的输出端与减法电路的第一输入端电连接,减法电路的第二输入端与模数转换电路的输出端电连接,减法电路的输出端与比较电路的输入端电连接;存储电路与减法电路的触发时刻不同;存储电路,被配置为在触发时刻缓存模数转换电路输出的数字信号,并向减法电路输出当前触发时刻缓存的数字信号;以及,在非触发时刻向减法电路输出上一触发时刻缓存的数字信号;减法电路,被配置为根据存储电路输出的数字信号以及模数转换电路输出的数字信号,计算差值信号,并将差值信号输出给比较电路。
[0009]
在本申请中,存储电路输出的数字信号可以为当前触发时刻模数转换电路输出的数字信号,也可以为上一触发时刻模数转换电路输出的数字信号。
[0010]
基于第一方面,在一些可能的实施方式中,存储电路为以下数字元器件中的一种:存储器、锁存器、触发器、寄存器。
[0011]
基于第一方面,在一些可能的实施方式中,像素采集电路,还包括:重置电路,被配置为根据脉冲信号生成重置信号,并输出给存储电路。
[0012]
基于第一方面,在一些可能的实施方式中,重置信号用于与数字时钟信号共同控制存储电路的状态。可选的,重置信号被配置为与处于使能状态的数字时钟信号共同控制存储电路更新缓存的数字信号。
[0013]
基于第一方面,在一些可能的实施方式中,重置电路的输入端与比较电路的输出端电连接,重置电路的输出端与存储电路的重置信号输入端电连接;重置电路,被配置为当脉冲信号表示事件发生时,生成重置信号,并输出给存储电路。
[0014]
基于第一方面,在一些可能的实施方式中预设阈值包括第一阈值和第二阈值,第一阈值大于第二阈值;比较电路,被配置为当差值信号大于或等于第一阈值时,输出电平为第一值的脉冲信号;或者,当差值信号小于或等于第二阈值时,输出电平为第二值的脉冲信号;或者,当差值信号小于第一阈值且大于第二阈值时,输出电平为第三值的脉冲信号;或者,当比较电路未被触发时,输出电平为第四值的脉冲信号;其中,当脉冲信号为第一值或第二值时,表示事件发生;当脉冲信号为第三值或第四值时,表示事件未发生。
[0015]
基于第一方面,在一些可能的实施方式中,减法电路包括绝对值减法器,被配置为根据存储电路输出的上一触发时刻的数字信号以及模数转换电路输出的当前触发时刻的数字信号,计算差值信号的绝对值,并将差值信号的绝对值输出给比较电路;比较电路,被配置为当差值信号的绝对值大于预设阈值时,输出电平为第五值的脉冲信号;或者,当差值信号的绝对值小于或等于预设阈值时,输出电平为第六值的脉冲信号;其中,当脉冲信号为第五值时,表示事件发生;或者,当脉冲信号为第六值时,表示事件未发生。
[0016]
基于第一方面,在一些可能的实施方式中,像素采集电路还包括:累加电路,被配置为在非触发时刻累加来自光电转换电路输出的模拟信号,并在触发时刻将累加后的模拟信号输出给模数转换电路;或者,还被配置为在非触发时刻累加来自模数转换电路输出的
数字信号,并在触发时刻输出给差分电路。
[0017]
基于第一方面,在一些可能的实施方式中,像素采集电路还包括:开关电路,开关电路的第一输入端与模数转换电路的输出端电连接,开关电路的第二输入端与比较电路的输出端电连接;开关电路,被配置为接收模数转换电路输出的数字信号以及比较电路输出的脉冲信号;当脉冲信号表示事件发生时,输出数字信号。
[0018]
基于第一方面,在一些可能的实施方式中,开关电路的第一输入端与光电转换电路的输出端电连接,或者,开关电路的第一输入端与累加电路的输出端电连接;开关电路的第二输入端与比较电路的输出端电连接;开关电路,被配置为接收光电转换电路输出的模拟信号以及比较电路输出的脉冲信号;当脉冲信号表示事件发生时,输出模拟信号;或者,开关电路,还被配置为接收累加电路输出的累加后的模拟信号以及比较电路输出的脉冲信号;当脉冲信号表示事件发生时,输出数字累加后的模拟信号。
[0019]
基于第一方面,在一些可能的实施方式中,开关电路,还被配置为当脉冲信号表示事件未发生时,保持输出上一触发时刻的数字信号;或者,当脉冲信号表示事件未发生时,不输出信号;或者,当脉冲信号表示事件未发生时,输出低电平信号。
[0020]
基于第一方面,在一些可能的实施方式中,累加电路包括模拟缓存器或数字缓存器;其中,模拟缓存器的输入端与光电转换电路的输出端电连接,模拟缓存器的输出端与模数转换电路的输入端电连接;数字缓存器的输入端与模数转换电路的输出端电连接,数字缓存器的输出端与差分电路的输入端电连接。
[0021]
第二方面,本申请提供一种动态视觉传感器,包括:动态视觉传感器阵列和外围电路,动态视觉传感器阵列包括多个第一方面及其各个可能的实施方式中任一项所述的像素采集电路;其中,像素采集电路,被配置为根据光信号生成脉冲信号,并将脉冲信号输出给外围电路;外围电路,被配置为根据脉冲信号生成地址事件表示。
[0022]
第三方面,本申请一种图像采集设备,包括:第二方面及其各个可能的实施方式中任一项所述的动态视觉传感器,被配置为根据光信号生成地址事件表示;工作电路,被配置为根据地址事件表示生成图像。
[0023]
应当理解的是,本申请的第二方面和第三方面与本申请的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
[0024]
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
[0025]
图1为本申请实施例中的仿视网膜成像原理设计的像素采集电路的结构示意图;
[0026]
图2为本申请实施例中的像素采集电路的结构示意图;
[0027]
图3为本申请实施例中的光电转换电路的示意图;
[0028]
图4为本申请实施例中的差分电路的示意图;
[0029]
图5a为本申请实施例中的比较电路的示意图一;
[0030]
图5b为本申请实施例中的比较电路的示意图二;
[0031]
图6为本申请实施例中的开关电路的示意图;
[0032]
图7为本申请实施例中的像素采集电路的电路示意图一;
[0033]
图8为本申请实施例中的像素采集电路的时序示意图;
[0034]
图9为本申请实施例中的像素采集电路的电路示意图二;
[0035]
图10为本申请实施例中的像素采集电路的电路示意图三;
[0036]
图11为本申请实施例中的像素采集电路的电路示意图四
[0037]
图12为本申请实施例中的dvs的结构示意图;
[0038]
图13为本申请实施例中的图像采集设备的结构示意图。
具体实施方式
[0039]
下面结合本申请实施例中的附图对本申请实施例进行描述。以下描述中,参考形成本申请一部分并以说明之方式示出本申请实施例的具体方面或可使用本申请实施例的具体方面的附图。应理解,本申请实施例可在其它方面中使用,并可包括附图中未描绘的结构或逻辑变化。因此,以下详细描述不应以限制性的意义来理解,且本申请的范围由所附权利要求书界定。例如,应理解,结合所描述方法的揭示内容可以同样适用于用于执行所述方法的对应设备或系统,且反之亦然。例如,如果描述一个或多个具体方法步骤,则对应的设备可以包含如功能单元等一个或多个单元,来执行所描述的一个或多个方法步骤(例如,一个单元执行一个或多个步骤,或多个单元,其中每个都执行多个步骤中的一个或多个),即使附图中未明确描述或说明这种一个或多个单元。另一方面,例如,如果基于如功能单元等一个或多个单元描述具体装置,则对应的方法可以包含一个步骤来执行一个或多个单元的功能性(例如,一个步骤执行一个或多个单元的功能性,或多个步骤,其中每个执行多个单元中一个或多个单元的功能性),即使附图中未明确描述或说明这种一个或多个步骤。进一步,应理解的是,除非另外明确提出,本文中所描述的各示例性实施例和/或方面的特征可以相互组合。
[0040]
在本申请实施例中,运动图像采集技术主要有两种:基于“帧”的高速摄像头和基于“事件”采集图像的摄像头(event based camera)。基于“帧”的高速摄像头每秒可采集约1000帧,能够捕捉到高速运动的物体,但是需要采集的数据量大,能耗高,效率不佳。相比之下,基于“事件”的高速摄像头不同于基于“帧”的高速摄像头,是一种仿生学的研究成果,能够响应由于运动引起的视场中光照的像素级变化而产生的脉冲,当“事件”发生(如视场中光照强度变亮或变暗)时才进行图像采集,若无“事件”发生则不采集图像。由于基于“事件”的高速摄像头数据采集快,采集量不高,功耗偏低,因而在运动图像采集领域得到了广泛应用。
[0041]
基于“事件”的高速摄像头中的图像传感器可以为动态视觉传感器(dynamic vision sensor,dvs),也称为类脑摄像头dvs。dvs中的像素采集电路模仿了视网膜的成像原理,图1为本申请实施例中的仿视网膜成像原理设计的像素采集电路的结构示意图,参见图1所示,该像素采集电路10可以包括:图像接收器11、差分电路12和比较与输出电路13。其中,图像接收器11、差分电路12和比较与输出电路13分别对应于视神经20中的光感受器21、双极细胞22以及给光(on)-撤光(off)神经节细胞23。
[0042]
在视网膜的成像过程中,双极细胞22接收光感受器21的信号输入,在整合后传递到神经节细胞23,将视觉信号分流为on信号和off信号,并将持续性的分级电位转化为瞬变性的神经活动。在dvs中的像素采集电路中,图像接收器11将感受到的光信号转换为电信
号,在v
log
处形成对数电压值,差分电路12将v
log
作为输入,经过差分放大器a,输出放大之后的电压差v
diff
,最后,比较器将输入的v
diff
与设定的阈值电压作比较,输出脉冲信号,比如v
diff
大于正阈值则输出正脉冲信号,小于负阈值则输出负脉冲信号,正脉冲信号和/或负脉冲信号通过握手协议传入外部电路,进行数据通信,同时也反馈给差分电路12中的复位开关rs,电压复位,以便在下一个“事件”到来时进行数据通信。如此,通过上述过程,当“事件”发生(如视场中光照强度变亮或变暗)时,才会产生脉冲信号,与外部电路进行数据通信,实现图像采集,由此很大程度上减小了数据采集量,降低能耗。
[0043]
但是,在上述像素采集电路中的v
log
和v
diff
均为模拟信号,容易受到噪声的干扰,使得在长距离传输和多次加工、放大过程中模拟信号的波形会发生改变,由此就会导致信号的信息发生改变、图像失真,严重时出现信号中断。进一步地,图像接收器、差分电路和比较与输出电路均为模拟电路,如果要解决上述干扰、失真等问题,电路结构就会较为复杂,调试也会较为困难。
[0044]
那么,为了解决上述问题,本申请实施例提供一种像素采集电路,该像素采集电路可以应用于dvs中。该dvs可以设置于上述基于“事件”的高速摄像头中,例如,手机、监控摄像头、行车记录仪等设备上的高速摄像头。这些设备可以应用于如辅助驾驶、自动驾驶、智慧家庭、平安城市等场景中。
[0045]
图2为本申请实施例中的像素采集电路的结构示意图,参见图2所示,像素采集电路200可以包括:光电转换电路201、模数转换电路(analog-to-digital converter,adc)202、差分电路203以及比较电路204。
[0046]
这里,首先,光电转换电路201将采集到的光信号转换成模拟信号,并将模拟信号输出给adc 202;然后,adc 202对模拟信号进行模数转换,获得当前触发时刻的数字信号,并将当前触发时刻的数字信号输出给差分电路203;接下来,差分电路203获得上一触发时刻的数字信号与当前触发时刻的数字信号的差值信号,并将差值信号输出给比较电路204;最后,比较电路204将差值信号与预设阈值进行比较,输出脉冲信号,这里,脉冲信号用于表示事件是否发生。可见,通过adc 202将模拟信号转换成数字信号,并利用数字元器件来实现dvs中的像素采集电路,由此来减弱dvs中由于模拟信号的不稳定而引入的噪声,进而减少dvs中的干扰;进一步地,由数字元器件实现的像素采集电路结构较为简单,方便调试。
[0047]
需要说明的是,上述事件可以为光电转换电路所采集的光信号是否发生改变,也就是说光电转换电路采集的视场中的光照强度是否发生变化,如光强变亮或者变暗。
[0048]
下面对上述像素采集电路进行详细的说明。
[0049]
首先,介绍光电转换电路201。
[0050]
光电转换电路201被配置为将接收到的光信号转换为电信号,生成对应的光感电压(即模拟信号),并发送给adc 202。光电转换电路202的一种可能实现方式可以参见图3所示,光信号的输入通过光电二极管301,经如图3所示的光电转换电路202之后转换为光感电压。当然,光电转换电路201还可以以任何其他形式的具有光电转换功能的电路或装置实现,本申请实施例中不做具体限定。
[0051]
这里,光感电压的大小通常与光的强度成线性正比关系。例如,光感电压可以为由放大器a输出的原始电压值v,也可以为如上述实施例中的对数电压值v
log
(v
log
是对原始电压值v进行对数运算之后得到的值),当然,光感电压还可以为一小段时间内累积的电压值。
在实际应用中,光感电压还可以为其他情况,相应地,对于不同的光感电压,上述光电转换电路还可以为其他形式的电路或装置,本申请实施例不做具体限定。
[0052]
其次,介绍adc 202。
[0053]
adc 202被配置为将光电转换电路201输入的光感电压转换为数字信号,并输出给差分电路203。例如,通过adc 202,将模拟的原始电压值v转换为数字信号d1,并将d1输出给差分电路203。在实际应用中,adc 202可以为并联比较型adc、逐次逼近型adc、积分型adc、压频变换型adc等,本申请实施例不做具体限定。较优地,为保证转换速度以匹配dvs的高速拍照要求,adc 202可以选择并联比较型adc或逐次逼近型adc来实现。当然,acd 202还可以采用其他形式的具有模数装换的电路或者装置实现,本申请实施例不做具体限定。
[0054]
进一步地,为了满足dvs的拍照要求,adc的分辨率(也就是数字信号的位数)可以按需设置,例如,可以设置为2位、4位、8位、16位等,对此不做具体限定。当位数越大时,adc的精度越大,但是,会导致像素采集电路中元器件增加,使得像素采集电路整体的功耗和面积增大,本领域技术人员可根据实际需要选择合适的分辨率。
[0055]
举例来说,对于2位的电压adc,如果将参考电压设置为1v,那么,adc输出的数字信号可以为00、01、10以及11共4种编码,这4种编码可以对应于由光电转换电路输入的光感电压:0v~0.25v、0.26v~0.5v、0.51v~0.75v以及0.76v~1v。假设,当光电转换电路输入adc的光感电压为0.8v时,adc输出的数字信号为11。
[0056]
对于4位的电压adc,如果将参考电压设置为1v,那么,adc输出的数字信号有0000、0001、0010、0011、0100、0101、0110、0111、1000、1001、1010、1011、1100、1101、1110以及1111共16种编码,这16种编码可以对应于由光电转换电路输入的光感电压:0v~0.0625v、0.0626v~0.125v、
……
、0.8750~0.9375v以及0.9376v~1v。假设,当光电转换电路输入adc的光感电压为0.8v时,adc输出的数字信号为1100。
[0057]
再次,介绍差分电路203。
[0058]
差分电路203被配置为获得上一触发时刻的数字信号与当前触发时刻的数字信号的差值信号,并将差值信号输出给比较电路204。
[0059]
可选的,差分电路203可以包括:存储电路以及减法电路;其中,存储电路的输入端与adc的输出端电连接,存储电路的输出端与减法电路的第一输入端电连接,减法电路的第二输入端与adc的输出端电连接,减法电路的输出端与比较电路的输入端电连接。
[0060]
存储电路,被配置为在触发时刻缓存adc输出的数字信号,并向减法电路输出当前触发时刻缓存的数字信号;以及,在非触发时刻保持缓存值不变,向减法电路输出上一触发时刻缓存的数字信号;减法电路,被配置为根据存储电路输出的上一触发时刻的数字信号以及adc输出的当前触发时刻的数字信号,计算差值信号,并将差值信号输出给比较电路。
[0061]
需要说明的是,存储电路与减法电路的触发时刻不同。
[0062]
在实际应用中,上述存储电路可以采用以下数字元器件中的一种:存储器、锁存器、触发器、寄存器。当然,存储电路还可以采用其他具有存储功能的数字元器件或者电路来实现,对此不做具体限定;上述减法电路可以采用减法器来实现,或者还可以采用其他具有差值运算能力的数字元器件或者电路来实现,对此不做具体限定。存储电路的位数与adc的分辨率一致。
[0063]
举例来说,图4为本申请实施例中的差分电路的示意图,参见图4所示,差分电路
203包括:锁存器411和减法器412,adc 202输出d1给锁存器411的输入端,锁存器411在触发时刻对d1进行缓存,并输出缓存后的数字信号d2,此时,d1和d2可以相同,也可以不同。锁存器411将d2输出给减法器412的第一输入端,adc 202输出d1给减法器412的第二输入端,减法器412在触发时刻对d1和d2进行差值运算,得到差值信号δd=d1-d2,减法器412输出δd给比较电路204。
[0064]
需要说明的是,由于锁存器411和减法器412不同时触发,那么,当锁存器411在t1时刻被触发时,锁存器411存入t1时刻的数字信号d1,并输出缓存后的d2,此时,d2=d1,那么,当减法器412在t2时刻被触发时,减法器412计算δd=d1-d2=0;而当锁存器411在t1时刻未被触发时,锁存器411输出缓存后的d2,实际上就是锁存器411在上一时刻t0存入的数字信号d1',此时,d2≠d1,那么,当减法器412在t2时刻被触发时,减法器412计算δd=d1-d2=d1-d1'。
[0065]
在一些可能的实施方式中,上述减法电路还可以采用绝对值减法器来实现,绝对值减法器被配置为根据存储电路输出的上一触发时刻缓存的数字信号以及adc输出的当前触发时刻的数字信号,计算差值信号的绝对值。仍参见图4所示,减法器412(即绝对值减法器)在触发时刻对d1和d2进行差值运算,并获得差值信号的绝对值,此时,δd=∣d1-d2∣。
[0066]
接下来,介绍比较电路204。
[0067]
比较电路204被配置为将差值信号或者差值信号的绝对值与预设阈值进行比较,输出脉冲信号,这里,脉冲信号用于表示事件是否发生。
[0068]
在实际应用中,比较电路204可以采用数值比较器来实现,数值比较器与减法器的触发时刻不同,数值比较器与存储器的触发时刻相同。当然,也可以采用其他具有数值比较功能的数字元器件或者电路来实现,本申请实施例不做具体限定。
[0069]
具体来说,上述事件是指视场中光照强度是否变暗或者变亮,相应地,上述预设阈值可以设置为第一阈值th1和第二阈值th2,第一阈值th1大于第二阈值th2;那么,图5a为本申请实施例中的比较电路的示意图一,参见图5a所示,上述减法电路在得到差值信号δd之后,将差值信号δd输出给比较器501,比较器501将差值信号δd分别与第一阈值th1和第二阈值th2进行比较,当差值信号δd大于或等于第一阈值th1时,比较器501输出电平为第一值(如d0=10)的脉冲信号d0,此时,脉冲信号d0表示事件发生,视场中的光照强度变亮;当差值信号δd小于或等于第二阈值th2时,比较器501输出电平为第二值(如d0=11)的脉冲信号d0,此时,脉冲信号d0表示事件发生,视场中的光照强度变暗;当差值信号δd小于第一阈值th1且大于第二阈值th2时,比较器501输出电平为第三值(如d0=01)的脉冲信号d0,此时,脉冲信号d0表示事件未发生,视场中的光照强度未发生改变或者发生微弱改变;当比较器501未触发时,比较器501输出电平为第四值(如d0=00)的脉冲信号d0,此时,脉冲信号d0表示事件未发生。
[0070]
需要说明的是,第一阈值th1和第二阈值th2可以为经验值,本领域技术人员可以根据需求设定,本申请实施例不做具体限定。
[0071]
进一步地,为了简化像素采集电路的电路结构,上述减法电路采用绝对值减法器,此时,可以设置一个预设阈值th3来表示上述事件是否发生,那么,图5b为本申请实施例中的比较电路的示意图二,参见图5b所示,上述减法电路在得到差值信号δd之后,将差值信号δd输出给比较器501,比较器501将差值信号δd与预设阈值th3进行比较,当差值信号的
绝对值δd大于预设阈值th3时,比较器51输出电平为第五值(如d0=1)的脉冲信号d0,此时,脉冲信号d0表示事件发生,视场中的光照强度变亮或者变暗;当差值信号的绝对值δd小于或等于预设阈值th3时,比较器501输出电平为第六值(如d0=0)的脉冲信号d0,此时,脉冲信号d0表示事件未发生,视场中的光照强度未发生改变或者发生微弱改变;当比较器501未触发时,比较器501输出电平为第六值的脉冲信号d0,此时,脉冲信号d0表示事件未发生。
[0072]
需要说明的是,上述预设阈值th3可以为经验值,本领域技术人员可以根据需求设定,本申请实施例不做具体限定。
[0073]
在一些可能的实施方式中,为了保证差分电路203和比较电路202的工作,像素采集电路还可以包括时钟信号发生电路,时钟信号发生电路被配置为生成数字时钟信号x,x分别输入差分电路203和比较电路204,以控制差分电路203和比较电路204。x为具有第一频率的脉冲信号,差分电路203和比较电路204可以在x处于使能状态时被触发。在本申请实施例中,x的频率(即第一频率)与d1的频率相同,也就是说,x与d1的周期是对齐的。当然,d1的频率还可以为x的频率的整数倍,如2倍、3倍、5倍等,只要x与d1的周期对齐即可,本申请实施例不做具体限定。当x处于下降沿时x处于使能状态,当然,在其他实施例中,还可以是当x处于上升沿时x处于使能状态,本申请实施例不做具体限定。
[0074]
进一步地,对于差分电路203来说,可以采用数字时钟信号和重置信号共同控制存储电路,那么,上述像素采集电路还可以包括:重置电路,被配置为根据脉冲信号生成重置信号,并输出给存储电路,其中,重置信号用于与处于使能状态的数字时钟信号共同控制存储电路更新缓存的数字信号。
[0075]
具体来说,重置电路的输入端与比较电路204的输出端电连接,重置电路的输出端与存储电路202的重置信号输入端电连接;此时,由数字时钟信号和重置信号共同控制存储电路,可选的,当数字时钟信号处于使能状态,且存储电路接收到重置信号时触发存储电路更新缓存的数字信号,那么,当脉冲信号表示事件发生时,重置电路生成重置信号,并输出给存储电路,若此时的数字时钟信号处于使能状态(如数字时钟信号处于下降沿),则触发存储电路更新缓存的数字信号。可选的,当脉冲信号表示事件未发生时,重置电路可以不生成重置信号,存储电路就接收不到重置信号,此时,无论数字时钟信号是否处于使能状态,存储电路都不会被触发,存储电路的缓存值保持不变,此时,存储电路的缓存值为上一触发时刻缓存的数字信号。作为可选的,当脉冲信号表示事件发生时,重置电路还可以生成处于使能状态的重置信号(如重置信号为rst1),当脉冲信号表示事件未发生时,重置电路也可以生成处于非使能状态的重置信号(如重置信号为rst2)。在可选的实际应用中,重置电路还可以生成其他形式的重置信号,本申请实施例不做具体限定。可选的,当数字时钟信号和重置信号同时处于使能状态时触发存储电路更新缓存的数字信号,而当数字时钟信号或者重置信号中的一个处于非使能状态时,存储电路未被触发,保持缓存值不变,此时,存储电路的缓存值为上一触发时刻缓存的数字信号。
[0076]
举例来说,结合图4所示,比较电路204将d0输出给重置电路,重置电路在d0表示事件发生时,生成重置信号rst(如rst=rst1),并输出给锁存器411的reset输入端,此时,若x为下降沿(即x处于使能状态),那么,锁存器411被触发,更新缓存值,对adc 202在这一时刻输入的d1进行缓存,并向减法器412输出当前时刻存储的d2=d1;重置电路在d0表示事件未
发生时,生成重置信号rst(如rst=rst2),并输出给锁存器411的reset输入端,此时,若x为上升沿或保持电平不变(即x处于非使能状态),那么,锁存器411未被触发,缓存值d2保持不变,向减法器412输出上一时刻存储的数字信号d2=d1'。这里,rst1≠rst2。例如,当d0=1时,rst=1;当d0=0时,rst=0。在本申请实施例中,上述d0的输出值并不限于上述各值,应可以是其他任何可以区分出彼此状态的值,对此不做限定。
[0077]
在本申请实施例中,当dvs的视场中光照强度比较弱时,为了确定事件是否发生,像素采集电路还可以包括:累加电路;累加电路可以为模拟累加电路,也可以为数字累加电路。当累加电路为模拟累加电路时,累加电路设置于光电转换电路201与adc 202之间,被配置为在非触发时刻累加来自光电转换电路201输出的模拟信号,并在触发时刻将累加后的模拟信号输出给adc 202;当累加电路为数字累加电路时,累加电路设置于adc 202与差分电路203之间,被配置为在非触发时刻累加来自adc 202输出的数字信号,并在触发时刻输出给差分电路203。
[0078]
在实际应用中,当累加电路为模拟累加电路时,累加电路可以采用模拟缓存器来实现,模拟缓存器的输入端与光电转换电路201的输出端电连接,模拟缓存器的输出端与adc 202的输入端电连接;当累加电路为数字累加电路时,累加电路可以采用数字缓存器来实现,数字缓存器的输入端与adc 202的输出端电连接,数字缓存器的输出端与差分电路203的输入端电连接。
[0079]
需要说明的是,数字缓存器需要数字时钟信号y触发工作,数字时钟信号y为具有第二频率的脉冲信号,通常数字时钟信号y的第二频率可以与上述数字时钟信号x的第一频率相同,数字时钟信号y与数字时钟信号x的周期是对齐的。
[0080]
在一些可能的实施方式中,像素采集电路还可以包括:开关电路;图6为本申请实施例中的开关电路的示意图,参见图6所示,该开关电路601的第一输入端与adc 202的输出端电连接,开关电路601的第二输入端与比较电路204的输出端电连接;那么,开关电路601,被配置为接收adc 202输出的数字信号d1以及比较电路204输出的脉冲信号d0;当脉冲信号d0表示事件发生时,输出数字信号o。例如,当d0=1时,开关电路导通,输出o=d1;当d0=0时,开关电路断开,输出o=0或不输出o;当然,当d0=1时,开关电路导通,输出o=d1;当d0=0时,开关电路保持导通,保持输出o=d1。在本申请实施例中,上述d0的输出值并不限于上述各值,应可以是其他任何可以区分出彼此状态的值,对此不做限定。
[0081]
在一些可能的实施方式中,开关电路的第一输入端除了输入adc 202之后的数字信号d1外,还可以光电转换电路201输出的原始模拟信号,那么,开关电路接收光电转换电路201输出的模拟信号以及比较电路204输出的脉冲信号,当脉冲信号表示事件发生时,输出模拟信号;或者,开关电路的第一输入端还可以输入由模拟累加电路输出的累加后的模拟信号,那么,开关电路接收累加电路输出的累加后的模拟信号以及比较电路204输出的脉冲信号,当脉冲信号表示事件发生时,输出累加后的模拟信号。对此,本申请实施例不做具体限定。
[0082]
在实际应用中,开关电路可以采用继电器、双刀双掷开关等元器件来实现,当然,还可以采用其他具有双输入单输出开关功能的数字元器件或电路,本申请实施例不做具体限定。
[0083]
下面以具体例子来对上述像素采集电路进行说明。
[0084]
实施例一:
[0085]
图7为本申请实施例中的像素采集电路的电路示意图一,参见图7所示,像素采集电路包括:光电转换电路201、adc 202、锁存器411、减法器412、重置电路701、比较器501、开关电路601;那么,光电转换电路201采集视场内的光信号,并转换成模拟信号输出给adc 202,adc 202将模拟信号转换成数字信号d1,d1输入锁存器411、减法器412以及开关电路601,锁存器411对d1进行缓存,并输出缓存值d2给减法器412,减法器412对输入的d1和d2进行差值运算,生成差值信号δd,δd输入比较器501,并与第一阈值th1和第二阈值th2进行比较,当δd大于或者等于th1和/或δd小于或者等于th2时,比较器501输出d0=1,表明事件发生,反之,当δd小于th1且大于th2或者比较器501未被触发时,比较器501输出d0=0,表明事件未发生。然后,比较器501将d0输出给开关电路601,当d0=1时,开关电路601导通,输出o=d1,而当d0=0时,开关电路601断开,输出o=0或者不输出。
[0086]
进一步地,当d0=1时,重置电路701被触发,输出重置信号rst或者输出rst=1,与数字时钟信号x(此时x处于下降沿)共同触发锁存器411,锁存器411更新缓存值,并输出;当d0=0时,重置电路701未被触发,不输出重置信号rst或者输出rst=0,此时,锁存器411未被触发,锁存器411保持缓存值不变,输出上一触发时刻的缓存值。
[0087]
结合上述图7所示的电路,图8为本申请实施例中的像素采集电路的时序示意图,参见图8所示,假设adc 202转换后的d1按时间顺序:d1=3(011)、1(001)、4(100)、0(000)、3(011)、1(001)、2(010)、0(000),按照上述实施例所述的,x的频率为d1的一倍(也就是说x与d1周期相同),因此,在初始时刻,d2=0(000),th1=3,th2=-3,此时,δd=3,等于th1,d0=10,o=3,在x第一个周期的后半周期,rst和x触发锁存器411,锁存d1的值,即d2=3(011);在x的第二个周期,d1=1(001),d2=3(011),此时,δd=-2,δd小于th1且大于th2,d0=01,锁存器411未被触发,不锁存当前d1的值,保留原始的值,即d2=3(011)。由此可以得到,减法器412按时间顺序其输出
△
d的值为3、-2、1、-3、3、-2、-1、-3。那么,d0的输出为:10、01、01、11、10、01、01、11、01。在本实施例中,锁存器411在x的后半个周期触发,减法器412在x的前半个周期触发(减法器在后半个周期保持输出不变),但是在实际应用中也可以进行不同的设置,让锁存器和减法器在不同的时刻触发,对此,本申请实施例不做具体限定。
[0088]
进一步地,仍参考图8所示,o在d0=10或11的时刻输出d1的当前值,分别为3、0、3、0;而o在d0=01或00的时刻,维持前一时刻的输出。当然,在实际应用中,o在d0=01或00的时刻还可以不输出信号,或者输出o=0,对此,本申请实施例不做具体限定,只要o的输出值能够表示事件是否发生即可。
[0089]
实施例二:
[0090]
在上述实施例一的基础上,本实施例在光电转换电路和adc之间增加模拟缓存器,用来获得一段时间内视场内光照强度的和,那么,在光照强度微弱的情况下,例如黑夜,可通过收集一段时间内的总光照强度,再进入后续的电路进行dvs。缓存器的触发器每隔一段时间为缓存器发送一个触发信号,在两个触发信号之间,就是缓存器累积光照强度的区间。图9为本申请实施例中的像素采集电路的电路示意图二,参见图9所示,像素采集电路包括:光电转换电路201、缓存器901、触发器902、adc 202、锁存器411、减法器412、重置电路701、比较器501、开关电路601;那么,光电转换电路201采集视场内的光信号,并转换成模拟信号
输出给缓存器901,由缓存器901在一段时间内对模拟信号进行累加,并向adc 202输出累加后的模拟信号,adc 202将累加后的模拟信号转换成数字信号d1,d1输入锁存器411以及减法器412,锁存器411对d1进行缓存,并输出缓存值d2给减法器412,减法器412对输入的d1和d2进行差值运算,生成差值信号δd,δd输入比较器501,并与第一阈值th1和第二阈值th2进行比较,当δd大于或者等于th1和/或δd小于或者等于th2时,比较器501输出d0=1,表明事件发生,反之,当δd小于th1且大于th2或者比较器501未被触发时,比较器501输出d0=0,表明事件未发生。然后,比较器501将d0输出给开关电路601,当d0=1时,开关电路601导通,输出o为原始的模拟信号,而当d0=0时,开关电路601断开,输出o=0或者不输出。
[0091]
进一步地,当d0=1时,重置电路701被触发,输出重置信号rst或者输出rst=1,与数字时钟信号x(此时x处于下降沿)共同触发锁存器411,锁存器411更新缓存值,并输出;当d0=0时,重置电路701未被触发,不输出重置信号rst或者输出rst=0,锁存器411未被触发,锁存器411保持缓存值不变,输出上一触发时刻的缓存值。
[0092]
另外,在图9中,开关电路601的输入可以为光电转换电路201输出的原始的模拟信号。应可理解,开关电路601的输入还可以是缓存器901累加后的模拟信号,也可以是adc 202输出的d1,本申请实施例不做具体限定。
[0093]
上述图9所示的像素采集电路的工作时序与上述实施例一类似,在此不再赘述。
[0094]
实施例三:
[0095]
在上述实施例一或二的基础上,本实施例在adc和锁存器411之间增加数字缓存器,用来对adc转换后的数字信号进行缓存。与实施例二中的模拟缓存器类似,数字时钟信号y每隔一段时间触发数字缓存器,在两个触发时刻之间,就是缓存器累积数字信号的区间。相对于实施例二中的模拟缓存器,数字缓存器的精度更高,系统输出更稳定。图10为本申请实施例中的像素采集电路的电路示意图三,参见图10所示,像素采集电路包括:光电转换电路201、adc 202、数字缓存器1001、锁存器411、减法器412、重置电路701、比较器501、开关电路601;那么,光电转换电路201采集视场内的光信号,并转换成模拟信号输出给adc 202,adc 202将模拟信号转换成数字信号d1,并将d1输出给数字缓存器1001,由数字缓存器1001在一段时间内对d1进行累加,并将累加后的d1输入锁存器411以及减法器412,锁存器411对累加后的d1进行缓存,并输出缓存值d2给减法器412,减法器412对输入的累加后的d1和d2进行差值运算,生成差值信号δd,δd输入比较器501,并与第一阈值th1和第二阈值th2进行比较,当δd大于或者等于th1和/或δd小于或者等于th2时,比较器501输出d0=1,表明事件发生,反之,当δd小于th1且大于th2或者比较器501未被触发时,比较器501输出d0=0,表明事件未发生。然后,比较器501将d0输出给开关电路601,当d0=1时,开关电路601导通,输出o为原始的模拟信号,而当d0=0时,开关电路601断开,输出o=0或者不输出。
[0096]
进一步地,当d0=1时,重置电路701被触发,输出重置信号r或者输出r=1,与数字时钟信号x(此时x处于下降沿)共同触发锁存器411,锁存器411更新缓存值,并输出;当d0=0时,重置电路701未被触发,不输出重置信号rst或者输出rst=0,锁存器411未被触发,锁存器411保持缓存值不变,输出上一触发时刻的缓存值。
[0097]
另外,在图10中,开关电路601的输入可以为adc 202输出的d1。
[0098]
上述图10所示的像素采集电路的工作时序与上述实施例一和二类似,在此不再赘述。
[0099]
实施例四:
[0100]
在上述实施例一的基础上,为了简化像素采集电路的结构,去掉了开关电路,并仅使用绝对值减法器以及一个预设阈值th3来与δd进行比较。在本实施例中,减法器的输出为d1和d2之差的绝对值,即δd=|d2-d1|。图11为本申请实施例中的像素采集电路的电路示意图四,参见图11所示,像素采集电路包括:光电转换电路201、adc 202、锁存器411、绝对值减法器1101、重置电路701以及比较器501;那么,光电转换电路201采集视场内的光信号,并转换成模拟信号输出给adc 202,adc 202将模拟信号转换成数字信号d1,d1输入锁存器411以及绝对值减法器1101,锁存器411对d1进行缓存,并输出缓存值d2给绝对值减法器1101,绝对值减法器1101对输入的d1和d2进行差值运算,生成差值的绝对值信号δd,δd输入比较器501,并与预设阈值th3,当δd大于或者等于th3时,比较器501输出d0=1,表明事件发生,反之,当δd小于th3或者比较器501未被触发时,比较器501输出d0=0,表明事件未发生。
[0101]
进一步地,当d0=1时,重置电路701被触发,输出重置信号r或者输出r=1,与数字时钟信号x(此时x处于下降沿)共同触发锁存器411,锁存器411更新缓存值,并输出;当d0=0时,重置电路701未被触发,不输出重置信号r或者输出rst=0,锁存器411未被触发,锁存器411保持缓存值不变,输出上一触发时刻的缓存值。
[0102]
上述图11所示的像素采集电路的工作时序与上述实施例一、二和三类似,在此不再赘述。
[0103]
需要说明的是,本申请实施例中所述的像素采集电路可以且不限于上述实例以及附图所示,还可以包含其他元器件及电路,本申请实施例不做具体限定。
[0104]
在本申请实施例中,通过利用数字元器件来实现dvs中的像素采集电路,减弱dvs中由于模拟信号的不稳定而引入的噪声,进而减少dvs中的干扰;进一步地,由数字元器件实现的像素采集电路结构较为简单,方便调试。
[0105]
基于与上述方法相同的发明构思,本申请实施例提供一种dvs,包括:动态视觉传感器阵列和外围电路,动态视觉传感器阵列包括多个本申请实施例中记载的任意一种像素采集电路;其中,像素采集电路,被配置为根据光信号生成脉冲信号,并将脉冲信号输出给外围电路;外围电路,被配置为根据脉冲信号生成地址事件表示。
[0106]
具体来说,图12为本申请实施例中的dvs的结构示意图,参见图12所示,dvs1200包括动态视觉传感器阵列1201、行地址编码器1202、列地址编码器1203、第一编码器1204和第一缓存1205。
[0107]
其中,动态视觉传感器阵列1201包括多个本申请实施例中记载的任意一种像素采集电路。像素采集电路能够根据光信号生成脉冲信号,并将脉冲信号输出给外围电路,具体生成方式请参见图2至图11中的相关描述,此处不再赘述。传感器阵列1201中的像素采集电路会将脉冲信号分别发送给行地址编码器1202和列地址编码器1203。如此,行地址编码器1202可以在接收到像素采集电路发送的脉冲信号后,将生成该脉冲信号的像素采集电路的行坐标连同脉冲信号一起发送给第一编码器1204;而列地址编码器1203可以在接收到像素采集电路发送的脉冲信号后,将生成该脉冲信号的像素采集电路的列坐标连同脉冲信号一起发送给第一编码器1204。然后,第一编码器1204根据收到的脉冲信号和坐标,生成地址事件表示,并对地址事件表示进行编码,生成二进制码信息。
[0108]
第一缓存450用于存储编码器编码的地址事件表示,以供外部设备调用。第一缓存450还用于存储列地址编码器430输出的信息。在一些可能的实施方式中,第一缓存450还可以用于存储行地址编码器420输出的信息,此处不做限定。
[0109]
基于与上述方法相同的发明构思,本申请实施例提供一种图像采集设备,该图像采集设备可以上述实施例所述的基于“事件”的高速摄像头,例如,手机、监控摄像头、行车记录仪等设备上的高速摄像头。这些设备可以应用于如辅助驾驶、自动驾驶、智慧家庭、平安城市等场景中。图13为本申请实施例中的图像采集设备的结构示意图,参见图13所示,图像采集设备1300可以包括:本申请实施例中记载的任意一种dvs 1301,被配置为根据光信号生成地址事件表示;工作电路1302,被配置为根据地址事件表示生成图像。
[0110]
本领域技术人员能够领会,本申请的技术可在各种各样的装置或设备中实施,包含无线手持机、集成电路(ic)或一组ic(例如,芯片组)。本申请中描述各种组件、模块或单元是为了强调被配置为执行所揭示的技术的装置的功能方面,但未必需要由不同硬件单元实现。实际上,如上文所描述,各种单元可结合合适的软件和/或固件组合在编码解码器硬件单元中,或者通过互操作硬件单元(包含如上文所描述的一或多个处理器)来提供。
[0111]
在上述实施例中,对各个实施例的描述各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0112]
以上所述,仅为本申请示例性的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。