一种端侧轮廓增强的仿生视觉传感器的制作方法

1.本发明涉及神经形态智能视觉传感领域，尤其是涉及一种端侧轮廓增强的仿生视觉传感器。


背景技术：

2.视觉传感器是相机的核心感光元件，是物联网的基石，也是制造业未来智能化的基础。视觉传感器是整个机器视觉系统信息的直接来源，主要由一个或者两个图像传感器组成，有时还要配以光投射器及其他辅助设备。视觉传感器的主要功能是获取足够的机器视觉系统要处理的最原始图像。
3.图像传感器是20世纪50年代以光电倍增管pmt的研发成功为标志而出现；60年代末，ccd图像传感器在bell实验室发明，依靠其高量子效率、高灵敏度、低暗电流、高一致性、低噪音等性能，成为图像传感器市场的主导。90年代末，步入cmos时代。直到现在，图像传感器朝着高分辨率、高帧率、低噪声等方向发展。目前市场主流的是ccd和cmos图像传感器。图像传感器采集信号，将信号直接传输给处理系统，经过算法对有效信息进行提取，随着分辨率的增高，像素点增多，冗余信息的处理是如何加快成像速度的难点。
4.传统的视觉图像采集方式以固定频率采集的“帧”为基础，拍摄延迟大，容易产生像糊，得到的数据量大，且存在大量同类数据的重复和冗余。这些特性加大了后期数据计算的难度、降低了处理效率、增加了系统延时，增加了能耗。并且传统视觉传感器受光线影响较大，在强光或是极暗的情况下，拍摄画面效果不稳定，可能出现曝光过度和曝光不足的问题。另外，传感器对于光线的快速变化也很难及时做出调整，鲁棒性相对较低。
5.面对以上问题，业界的解决方案主要集中在通过提高后端处理器算力和优化算法。然而，视觉传感器作为信息输入的最前端，其已成为限制机器智能发展的主要瓶颈。算力提升和算法优化已无法继续提升整体性能。
6.近年来，随着仿生概念的盛行，越来越多的科研人员将视觉传感器聚焦在生物的视觉原理上。在人的眼球中，视神经纤维约占感光细胞的1%，因此在视网膜上已经实现的视觉信息的预加工，由此衍生出仿神经形态的视觉传感器。
7.文献(gu, l., poddar, s., lin, y. et al. a biomimetic eye with a hemispherical perovskite nanowire array retina. nature 581, 278
–
282 (2020).)中首次成功的制作了“人工眼球”的原型，一种人工视觉系统，该系统使用球形仿生电化学眼睛和半球形视网膜（由高密度钙钛矿纳米线阵列制成）。但是类似传统的图形传感器，只有信息的提取，冗余信息没有处理。
8.文献(shuang wang, chen-yu wang, feng miao, et al. networking retinomorphic sensor with memristive crossbar for brain-inspired visual perception, national science review, 8, 2, (2021), nwaa172.) 中将视网膜形态传感阵列和忆阻交叉阵列结合为一体，提出和实现了“垂直结构”的类脑视觉系统，为未来实现类脑机器视觉提供了一个可行的思路。但是该设计中需要人为控制的进行栅源电压的调
控，无法实现一个自适应的功能。
9.文献(zhou f, zhou z, chen j, choy th, wang j, zhang n, lin z, yu s, kang j, wong hp, chai y. optoelectronic resistive random access memory for neuromorphic vision sensors. nat nanotechnol. 2019 aug;14(8):776-782.) 展示了简单的双端光电电阻随机存取存储器（orram）突触器件，用于高效的神经形态视觉系统，具有非易失性光学电阻开关和光可调突触行为。但是该设计中是对多次图像训练的一个增强，无法实现一个自适应的功能。
10.综上可知，目前的成像传感器侧重于垂直方向上信号传输的处理，尚无成像单元之间信息传输、交换的技术方案，无法实现类似生物体视觉的视网膜轮廓提取、卷积计算等功能。


技术实现要素：

11.本发明的目的在于提供一种端侧轮廓增强的仿生视觉传感器。
12.本发明中的视觉传感器基于人视网膜中水平细胞的侧抑制功能，在图像采集的基础上，可通过像素内元件间拮抗作用，从而在硬件层面上达到端侧轮廓增强，实现图像特征的提取，从而减少信息冗余，加快成像速度，且自适应、自调控、无需人为调控。
13.本发明采用的具体技术方案如下：一种端侧轮廓增强的仿生视觉传感器，包括：传感器主体元件模块，包含一个或多个像素，每个像素包含多个具有感光能力的元件，用于将光信号转换为电信号，每个像素内的元件间通过电路连接，具有光强度信息交换能力，通过光强度信息交换实现元件灵敏度调控，实现对光强度差异的放大，达到轮廓增强的目的。
14.在一些优选的实施方案中，所述传感器的主体元件模块可以是一个元件调控另外一个元件，也可以是一个元件调控另外多个元件，也可以是多个元件调控另外多个元件。其中，调控的元件称为主控元件，被调控的元件称为被控元件，则所述每个像素包含多个用于将光信号转换为电信号的元件具体为：一组或多组一个主控元件与一个被控元件，和/或一组或多组一个主控元件与多个被控元件。
15.在一些优选的实施方案中，所述传感器的元件之间实现光强度信息交换的电路结构可以是电桥结构，也可以是其他高灵敏度的实现信息交换的电路等。
16.在一些优选的实施方案中，所述电路为以光敏场效应管（fet）、电阻、电源为电路元件的差分电桥电路，具体为：主控元件的源极和漏极与一电阻串联为电桥的一侧通路，被控元件的源极和漏极与一电阻串联为电桥的另一侧通路，两条通路并联，并联的电路上设有为差分电桥电路提供电源的第二电源；主控元件的源极、被控元件的源极通过一差分通路连接，主控元件的源极连接到被控元件的栅极，控制被控元件的输出，主控元件的栅极直接或通过第一电源与被控元件的源极连通，第一电源为主控元件的栅极提供电压；所述差分通路为一差值电阻或是两条由硅二极管、差值电阻、锗二极管串联组成的支路的并联电路；
其中，主控元件与被控元件通过电路连接仿视网膜中水平细胞的侧抑制功能产生的中心-周围拮抗作用，将主控元件的源极接到被控元件的栅极，实现像素内元件间拮抗作用，从而达到端侧轮廓增强、减少数据冗余的功能。
17.在一些优选的实施方案中，所述传感器主体元件模块的像素可以是一个也可以是多个。
18.在一些优选的实施方案中，所述传感器主体元件模块的一个像素中元件的排列形式可以是线形、圆形、三角形、四边形等等。
19.在一些优选的实施方案中，所述元件为微/纳米线结构或薄膜结构的光敏场效应管。
20.在一些优选的实施方案中，所述微/纳米线结构的光敏场效应管具体包括：具有导电功能的微/纳米管（碳微/纳米管）、具有光敏功能的光电导半导体微/纳米线和绝缘层，其中具有导电功能的微/纳米管隔着绝缘体层搭在具有光敏功能的光电导半导体微/纳米线上，具有导电功能的微/纳米管作为栅极；所述薄膜结构的光敏场效应管具体包括：从上到下依次叠放的导电层，绝缘层和光电导半导体层，其中导电层作为栅极，光电导半导体层作为导电沟道层。
21.在一些优选的实施方案中，所述传感器的光电导半导体微/纳米线、光电导半导体层的材料可以是氧化锌材料、钙钛矿材料或其他合适的光电半导体材料。
22.在一些优选的实施方案中，所述传感器的光电导半导体微/纳米线、光电导半导体层的材料可以是si、ge、te等单元素光电半导体材料，也可以是mos2、inp、wse2、zno、gan、algan、cdte、cdznte、hgcdte、ch3nh3pbi3等化合物光电半导体材料。
23.在一些优选的实施方案中，所述传感器的单个元件可以用于可见光、红外光、紫外光或x射线的光传感。
24.在一些优选的实施方案中，所述传感器还包括：信号传输模块，用于给传感器主体元件模块传输所需电信号以及将传感器主体元件模块的信号传输给信号处理模块；所述传感器的信号传输线可以是铜线、银线等连接线，也可以是印刷电路板上的连接线。
25.信号处理模块，用于将信号传输模块传输的数据进行处理。
26.相比现有技术，本发明具有如下有益效果：1. 本发明通过简单的电互联实现仿视网膜水平细胞的中心周围拮抗功能，在硬件水平上达到端侧轮廓增强、减少数据冗余的功能；2. 不仅可以实现高分辨率成像，而且无需人为控制即可实现端侧轮廓增强功能；3. 不降低分辨率，不增加传感层电路复杂程度，与神经形态传感兼容，为攻克感存算一体的仿生视觉传感器的关键技术难点提供一种方案。
附图说明
27.图1示出本发明一示例性的传感器主体元件模块。
28.图2示出本发明一示例性的传感器单个像素中元件之间的一种调控方式。
29.图3示出本发明一示例性的传感器单个像素中元件之间的另一种调控方式。
30.图4示出本发明一示例性的传感器单个像素中元件之间的另一种调控方式。
31.图5示出为本发明一示例性的传感器电路结构示意图。
32.图6示出为本发明一示例性的另一种传感器电路结构示意图。
33.图7示出为本发明一示例性的另一种传感器电路结构示意图。
34.图8示出为一幅亮度差别很小的测试图。
35.图9示出为传统视觉传感器ccd/cmos成像原理图。
36.图10示出为本发明的传感器成像原理图。
37.图11示出为本发明的传感器与普通cis视觉传感器的成像对比图。
38.图中，1-像素，2-传感器主体元件模块，3-元件，4-光强度信息交换，5-省略未画的多个像素，6-省略未画的多个元件，18-调控元件区，7-差值电阻rx，8-主控元件，9-被控元件，10-第一电源，11-第二电源，12-第一电阻r1，13-第二电阻r2，14-成像物体低亮度区，15-成像物体高亮度区，16-传统相机图像编码的像素，17-传统相机图像对应轮廓区，21-硅二极管d1，22-硅二极管d2，23-差值电阻r4，24-锗二极管d4，25-锗二极管d3，26-差值电阻r3，181-传统相机编码的低亮度区，182-传统相机编码的高亮度区，183-传统相机编码的轮廓亮度区，191-本发明视觉传感器编码的第一个区域，192-本发明视觉传感器编码的第二个区域，193-本发明视觉传感器编码的第三个区域，20-本发明视觉传感器编码对应轮廓区，211-本发明视觉传感器的拮抗轮廓区（暗），212-本发明视觉传感器的拮抗轮廓区（亮）。
具体实施方式
39.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
40.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。
41.在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
42.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
43.本发明公开的一种端侧轮廓增强的仿生视觉传感器，包括传感器主体元件模块；图1示出为本发明一示例性的传感器主体元件模块，如图1所示，传感器主体元件模块2由多个像素1组成，每个像素点由多个元件3组成，元件3之间通过电路连接，具有光强度信息交换4的能力，通过光强度信息交换实现元件灵敏度调控，实现对光强度差异的放大，达到轮廓增强的目的。具体地，包括：一组或多组一个主控元件与一个被控元件，和/或一组或多组一个主控元件与多个被控元件，其中，主控元件与被控元件具有光强度信息交换能力，主控元件通过光强度信息交换实现对被控元件的灵敏度调控，实现
主控元件与被控元件之间的光强度差异的放大。
44.每个元件采集光信号并将光信号转换为电信号，再传输出去。
45.如图2所示，本发明公开了传感器单个像素中元件之间的一种调控方式。此图中，元件3之间为一个主控元件与一个被控元件的调控。
46.如图3所示，本发明公开了传感器单个像素中元件之间的另一种调控方式。元件3之间为一个主控元件与八个被控元件的调控。且元件的排布为正方形排布。
47.如图4所示，本发明公开了传感器单个像素中元件之间的另一种调控方式。元件3之间为多对多的调控。主控元件区18为主控元件，对外圈的被控元件进行一对多调控，外圈的被控元件相互之间进行一对一调控。
48.本发明中的元件可以为微/纳米线结构或薄膜结构的光敏场效应管，可以用于可见光、红外光、紫外光或x射线的光传感。
49.所述微/纳米线结构的光电场效应晶体管具体包括：具有导电功能的微/纳米管、具有光敏功能的光电导半导体微/纳米线和绝缘层，其中具有导电功能的微/纳米管隔着绝缘体层搭在具有光敏功能的光电导半导体微/纳米线上，具有导电功能的微/纳米管作为栅极。
50.所述薄膜结构的光电场效应晶体管具体包括：导电层和光电导半导体层，其中导电层作为栅极，光电导半导体层作为导电沟道层。
51.所述薄膜结构的光电场效应晶体管具体包括：从上到下依次叠放的导电层，绝缘层和光电导半导体层，其中导电层作为栅极，光电导半导体层作为导电沟道层。
52.光电导半导体微/纳米线、光电导半导体层的材料为si、ge、te等单元素光电半导体材料，或mos2、inp、wse2、zno、gan、algan、cdte、cdznte、hgcdte、ch3nh3pbi3等化合物光电半导体材料。
53.其中，所述传感器的元件之间实现光强度信息交换的电路结构可以是电桥结构，也可以是其他高灵敏度的实现信息交换的电路等。示例性地，传感器电路设计以光敏场效应管（fet）、电阻、电源为电路元件，以差分电桥电路为电路结构。仿视网膜中水平细胞的侧抑制功能产生的中心-周围拮抗作用，将主控元件（主光敏fet）的源极接到被控元件（辅光敏fet）的栅极，实现像素内元件间拮抗作用，从而达到端侧轮廓增强、减少数据冗余的功能。
54.具体地，一个主控元件与一个被控元件为例，如图5所示，包括差值电阻（rx）7，主控元件（t1）8，被控元件（t2）9，第一电源10，第二电源11，第一电阻（r1）12，第二电阻（r2）13。主控元件8和被控元件9的源极s1端和s2端为该像素的两个输出。主控元件8和第一电阻12串联为电桥的一侧通路，被控元件9和第二电阻13串联为电桥的另一侧通路，两条通路并联。正常通电但不工作时的阻值关系为：r
t1
/r
t2
=r1/r2，r
t1
、r
t2
分别为主控元件8和被控元件9的电阻，此时s1端和s2端的电位相等，连接于两端之间的差值电阻7上没有电流。第二电源11为整个电桥提供电源。第一电源10为被控元件9的栅极g2提供电压，数值大小等于正常通电但不工作时s1端的电位数值大小。仿视网膜中水平细胞的侧抑制功能产生的中心-周围拮抗作用，将主控元件8的源极s1连接到被控元件9的栅极g2，使主控元件8的输出调控被控元件9的栅极电压，被控元件9会随栅极电压数值升高而导电通道变窄，随栅极电压数值降低而导电通道变宽，实现中心-周围拮抗作用，从而在硬件层面上达到端侧轮廓增强、减少
数据冗余的功能。
55.本发明中传感器的主体元件模块输出为每个像素中的每个元件所输出的光信号，其中，被控元件输出的电信号为已经经过调控后的电信号。
56.工作原理具体为：当主控元件8接收的光信号亮度大于被控元件9接收的光信号亮度如主控元件8接收亮度为（100，100，100）的光信号输入，被控元件9接收亮度为（80，80，80）的光信号输入时，主控元件8的电阻减小率比被控元件9的电阻减小率更大，s1端和s2端的电位会失衡，v
s1
大于v
s2
，即被控元件9的g端和s端之间的电压v
gs
变大，为正值，进而调控导电通道变窄，导致被控元件9的输出的电信号变小，实际输出的电信号的信息为（50，50，50）的光信号，实现“暗的更暗”；同理，当主控元件8接收的光信号亮度小于被控元件9接收的光信号亮度如主控元件8接收亮度为（100，100，100）的光信号输入，被控元件9接收亮度为（120，120，120）的光信号输入时，主控元件8的电阻减小率比被控元件9的电阻减小率更小，v
s1
小于v
s2
，即被控元件9的g端和s端之间的电压v
gs
变小，为负值，进而调控导电通道变宽，导致被控元件9的输出的电信号变大，实际输出电信号的信息为（140，140，140）的光信号，实现“亮的更亮”；当主控元件8和被控元件9处于同一亮度区时，主控元件8的电阻减小率与被控元件9的电阻减小率相同，v
s1
等于v
s2
，两者之间没有调控影响。上述数值大小变化只为举例。
57.图6所示为另一种传感器电路结构示意图，其中，去掉图5中的第一电源10，将主控元件8的栅极g1直接连接在源极s1端，即a点（其余连接结构与图5相同），可以解决动态中栅极g1和g2电势不相同的问题，并且减少一个电源，使电路更简洁。
58.图7所示为另一种传感器电路结构示意图，其中，将图5与图6中rx所在的差分通路改为硅二极管d1 21、差值电阻r3 26和锗二极管d3 25串联于a（s1端）、b（s2端）之间，硅二极管d2 22、差值电阻r4 23和锗二极管d4 24串联于a、b之间，这两条支路并联。采用硅二极管d1 21、硅二极管d2 22的压降0.7v为上限，解决闭环反馈中一直循环到饱和或截至的问题；锗二极管d3 25、锗二极管d4 24为压降大约为0.2v的二极管，利用正向导通特性，单向导通。避免因工艺问题导致主控元件8、被控元件9特性不同导致a、b两点电势不同进入反馈的问题；而且a、b电势差需大于二极管的导通电压才能导通，留出误差限，从而可以解决缓变对比度图像所引起的误差的问题。
59.图8所示为一幅亮度差别很小的测试图。包括成像物体低亮度区14，成像物体高亮度区15。可以看到两个区域亮度差别很小，对于视觉传感器的成像是非常大的挑战。
60.图9所示为以图8测试图为例的传统视觉传感器ccd/cmos成像原理图。包括传统相机图像编码的像素16，传统相机图像对应轮廓区17，传统相机编码的低亮度区181，传统相机编码的高亮度区182，传统相机编码的轮廓亮度区183。传统视觉传感器ccd/cmos成像过程为对视野中每一个像素16进行亮度信息采集，随后存入存储区，最后由输出端口进行串行输出。例如，对低亮度区181的亮度信息编码为（166,166,166），对高亮度区182的亮度信息编码为（172,172,172），对轮廓亮度区183的亮度信息编码为（170,170,170）。输出到后端处理器的信息为所有像素的信息，后端处理器需对所有的数据进行处理，造成数据冗余，且传感器采集到的亮度信息编码差异不大，误差大。亮度信息编码范围为0-255，其中编码值0为黑，255为白。
61.图10所示为以图8测试图为例的本发明一种端侧轮廓增强的仿生视觉传感器的成
像原理图。包括本发明视觉传感器编码的第一个区域191，本发明视觉传感器编码的第二个区域192，本发明视觉传感器编码的第三个区域193，本发明视觉传感器编码对应轮廓区20，其中，与图8测试图相对应的，第一个区域191为低亮度区，第二个区域192、第三个区域193为高亮度区，假设高亮度区编码为（172,172,172），低亮度区编码为（166,166,166），则轮廓区20亮度介于高亮度区和低亮度区的亮度之间，位于轮廓区20的像素中的元件会放大两侧的亮度差异，从而增强轮廓，以图3所示的像素排布为例，其中，在第三个区域193即三角形右侧轮廓靠近高亮度区附近的像素，由于左侧被控元件位于高亮度区，主控元件在轮廓区20，被控元件的亮度被增强，会产生一个亮带，即编码为（185,185,185）的拮抗轮廓区（亮）212。在第三个区域193即三角形右侧靠近低亮度区附近的像素，由于右侧被控元件位于低亮度区，主控元件在轮廓区20，被控元件的亮度被减弱，会产生一个暗带，即编码为（145,145,145）的拮抗轮廓区（暗）211。亮度梯度发生变化的地方为图形的轮廓，本发明中的视觉传感器会加大图形轮廓两侧附近的亮度梯度，即“亮的更亮，暗的更暗”，使图形轮廓两侧附近的亮暗程度发生剧烈的变化，也就是本发明所述的端侧轮廓增强功能。
62.在图10中，本发明的视觉传感器使图形不明显的轮廓清晰，减小了图像识别的误差。对于如图8所示的测试图，图像轮廓已经提取，后端处理器只需对本发明视觉传感器编码的第一个区域191、本发明视觉传感器编码的第二个区域192、本发明视觉传感器编码的第三个区域193这三个区域分别进行统一编码，即可代替对区域内每个像素进行编码，减少数据的冗余。
63.图11示出为本发明的传感器与普通cis视觉传感器的成像对比图，同样地，区别于普通cis视觉传感器的成像方式，在图像采集的基础上，可通过像素内元件间拮抗作用，从而在硬件层面上达到端侧轮廓增强，实现图像特征的提取，从而减少信息冗余，加快成像速度，且自适应、自调控、无需人为调控。
64.显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。