一种基于仿生视觉机理的电子复眼系统的制作方法

本发明涉及图像传感器成像系统领域，更具体的说，是涉及一种基于仿生视觉机理的电子复眼系统。

背景技术：

目前广泛应用的传统cmos图像传感器均是基于“帧”的工作方式，即像素阵列周期性的进行复位、曝光和图像信息读出，每次曝光输出一帧数据。随着视觉系统性能的提高，帧方式的图像传感器必须在分辨率与帧频方面进行提升，从而导致了庞大的数据量，大幅提升系统在功耗、传输带宽、数据计算能力方面的要求。

视觉传感技术和智能识别与控制技术，在图像获取、智能识别、自主控制等领域已经得到了广泛的应用。随着这些应用对视场广度、响应速度、灵敏度等成像指标以及体积质量、功耗、智能化探测等方面的要求日益严苛，传统的单孔视觉传感系统越来越难以适应上述应用。

技术实现要素：

本发明的目的是为了克服现有技术中的不足，提供一种基于仿生视觉机理的电子复眼系统，借助其体积小、重量轻、大视场、对运动目标敏感、低冗余和低延时等优点，应用于高速目标识别、追踪等高端领域。

本发明的目的是通过以下技术方案实现的：

一种基于仿生视觉机理的电子复眼系统，由多镜头多传感器阵列和多级并行智能处理网络组成，所述多镜头多传感器阵列包括从上到下依次设置的微透镜阵列、光分离层和像素阵列，所述微透镜阵列、光分离层和像素阵列分别由微透镜单元、光分离层单元和aer图像传感器单元组成，从上到下依次相对应的每个微透镜单元、光分离层单元和aer图像传感器单元构成小眼单元；aer图像传感器作为图像信息采集单元对动态目标通过光信号采集与转换作用形成为地址-事件数据，所述地址-事件数据经aer图像传感器内的预处理模块处理后得到的信息传输至多级并行智能处理网络，所述多级并行智能处理网络应用神经网络算法对信息进行最终处理。

所述光分离层用于使每个小眼单元的成像互不影响。

所述微透镜阵列的每个微透镜单元充当了镜头的作用。

所述预处理模块的处理流程为：接收到地址-事件数据后根据时间节点对事件进行时间校正，之后对地址-事件数据进行数据编解码，同时将随机产生的噪声事件消除。

所述并行智能处理网络接收到信息后，采用事件簇统计的目标定位和追踪算法提取到目标事件集，再通过多层卷积完成特征提取，最后在神经网络中完成图象重构、场景学习、目标识别和追踪的功能。

与现有技术相比，本发明的技术方案所带来的有益效果是：

本发明系统在保留复眼大视场、高分辨能力、高灵敏度、微光响应以及对运动物体敏感等特性的基础上，进一步集成提取场景的有效信息，从源头减少数据冗余的功能，从而具备仿生视觉传感器高速响应、大动态范围、低功耗与低硬件开销的特点。

附图说明

图1本发明电子复眼系统的组成结构示意图。

图2传统图像传感器与aer图像传感器的对比示意图。

图3是aer图像传感器架构图。

图4生物复眼的结构示意图。

图5多层并行智能处理网络结构的脉冲神经网络架构图。

具体实施方式

下面结合附图对本发明作进一步的描述:

针对传统单孔径成像系统视场范围小、角度分辨能力弱、微光条件下信噪比低、串行处理同步性差等缺陷，本发明提出了一种基于仿生视觉机理的电子复眼系统，其结构如图1所示，主要包括多镜头多传感器(multiplelensandmultiplesensors，mlms)阵列和基于事件触发的多级并行智能处理网络。多镜头多传感器阵列包括从上到下依次设置的微透镜阵列、光分离层和像素阵列，微透镜阵列、光分离层和像素阵列分别由微透镜单元、光分离层单元和aer图像传感器单元组成，从上到下依次相对应的每个微透镜单元、光分离层单元和aer图像传感器单元构成小眼单元；本实施例中多镜头多传感器阵列大小为2×2，像素阵列大小为64×64，微透镜阵列受加工工艺的限制，采用平面型结构；采用仿视网膜原理的aer图像传感器作为图像信息采集单元，应用神经网络算法对采集到的信息进行智能化处理，包括学习和识别等，从而使本发明系统拥有类似人脑的思维模式和学习进化功能，实现比现行图像采集与处理手段更高、更快的处理能力。aer图像传感器根据生物视觉大规模并行、超稀疏表示、事件驱动、异步输出的特点，将动态目标的光强变化转换为事件，再进行仲裁判断之后输出地址-事件数据。其中，多镜头多传感器阵列的每个小眼通过各自的微透镜单元单独成像，应用图像处理器进行高分辨率图像重建或是动态目标追踪检测；设置在aer图像传感器内的预处理模块在接收到原始数据之后根据时间节点对事件进行时间校正，之后对数据进行重新编码，同时将随机产生的噪声事件去除，保留有效信息；之后将多个芯片预处理得到的有效信息送至多级并行智能处理网络后，采用事件簇统计的目标定位和追踪算法提取到目标事件集，再通过多层卷积完成特征提取，最后再神经网络中完成图像重构、场景学习、目标识别与追踪等高级智能功能。

进一步的，本实施例中采用的基于视网膜原理的aer图像传感器具有以下特点：aer图像传感器可连续探测时间域变化，只有那些感知到事件的像素自主地产生异步输出，延迟时间短，冗余量小。这些异步的空间、时间和颜色变化信息采用异步地址－事件表示(address-eventrepresentation,aer)，通过具有仲裁功能的高速串行总线模仿生物低速、并行的激励传导方式，异步输出变化的地址和性质，显著降低输出数据量。传统图像传感器与aer图像传感器对比如图2所示。

aer图像传感器的结构如图3所示，该传感器采用地址-事件表示作为像素动态信息格式，每个像素使用对数光电转换将光信号转换为电信号再由误差放大器放大动态差异，最终由比较器产生事件信息；事件信息通过片上仲裁和异步通信输出到片外；片上集成时间标记，减少输出事件的延迟误差，提高时间准确性；此外增加阈值自适应机制，通过自适应改变变化探测阈值，可以有效抑制低显著事件的产生，从而将输出带宽用于高显著度事件，并在事件发生频繁/不频繁两种条件下，保证输出视频在实时程度和还原度之间的折衷。

进一步的，生物复眼结构是一种多孔径视觉系统，如图4所示，其由众多小视场的小眼单元紧密排列组合，具有体积小、重量轻、视场大、对运动物体敏感和结构紧凑的特点。本实施例多镜头多传感器阵列模拟昆虫复眼的结构，用以解决单孔径光学系统所面临的种种限制。多镜头多传感器阵列由像素阵列、光分离层和微透镜阵列三部分组成。像素阵列由多个aer图像传感器单元构成，具备aer图像传感器的特点；光分离层把所有小眼单元分隔开，使得每个小眼的成像互不影响；微透镜阵列由多个微透镜单元构成，每个微透镜单元对应一个小眼单元，在其中充当了镜头的作用。

进一步的，基于事件触发的多级并行智能处理网络是根据aer图像传感器成像机理和特点，结合视觉皮层腹部通路的分层模型，将神经网络算法用于本发明电子复眼系统，延续aer图像传感器数据低冗余的优势，将事件驱动的概念应用于系统的所有信息处理阶段，进一步降低后续处理的资源消耗。

如图5所示，本实施例中拟采用的多级并行智能处理网络的技术具体如下：选用伽柏(gabor)进行特征提取，并且使用多层提取机制，模拟由简单细胞层到复杂细胞层逐层进行的信息过滤；使用脉冲神经网络(snn)对特征信息进行识别，该网络由积分激发(lif)神经元构成，结合尖峰时间相关可塑性规则(stdp)，完成学习和识别操作；在分类操作过程中引入多神经元投票机制，增强特征识别的准确率；在特征结果和神经网络之间增加地址矫正，由时间预处理器判断目标尺寸、角度、位置等信息，进行初步调整后再由地址校正对目标特征进行校正，提升识别系统的适用范围和鲁棒性。

本实施例中，级并行智能处理网络中的采用4尺度、4角度共16个gabor进行特征提取，使用脉冲神经网络进行特征识别。aer图像传感器对目标场景进行周期性曝光，每一次曝光之后，4个传感器产生的地址-事件数据经过数据融合送到后续的多级并行智能处理网络中进行处理。在多级并行智能处理网络中，首先使用gabor滤波器进行特征提取，提取出aer图像传感器拍摄到场景中目标物最显著的特征，被提取的特征主要是尺度信息和角度信息。为了降低数据量，保证信息的显著性，我们会使用多层提取机制，多次提取特征信息。其次，提取后的特征信息会经过一个地址查找表，对目标特征进行地址校正，保证事件和地址的一致性。最后使用脉冲神经网络对特征信息进行识别，以此达到对拍摄场景中的目标进行识别的目的。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。