一种局域关联感内计算单元及局域关联图像处理方法

本发明属于半导体光电器件与电路，具体为一种局域关联感内计算单元及相应的局域关联图像处理方法。

背景技术：

1、低对比度光学场景中的弱目标边缘与轮廓等重要特征的提取与分析，是弱目标高精度检测、识别与追踪的关键。现有基于硅基cmos或ccd图像传感器的传统机器视觉系统中，传感器内的每个感光像元都是独立工作的，并且所有像元的光电响应度都是固定的且一致的，在低对比度图像中的弱目标检测与识别方面面临挑战。具体表现在如下两方面：

2、一、传感器成像输出的模拟电信号中，目标物对应的电信号与背景电信号间的强度差异极小。由于信号向后传输信道中不可避免的耦合、串扰与噪声，使得本来就微弱的弱目标信号很容易受到干扰而退化，引起严重的特征丢失与错误问题，极大影响后端图像处理器(神经网络)对弱目标的识别准确度；

3、二、传感器成像后输出的电信号中同时包含无用的背景信号和与之强度相近的微弱目标信号。要从冗杂的背景信号中准确提取出显著性极低的弱目标特征信号，需要在后端处理器中增加复杂的数据重整化处理与对比度增强算法，带来额外的传输带宽占用与计算资源开销，并造成严重的功耗与延时问题。

4、因此，有必要直接在前端传感器内完成弱目标边缘与轮廓等关键特征的提取与分析，使得传感器向后传输的信号中已经是经过放大与增强处理后的弱目标特征信号，而不再是原本的成像信息。为此，需要开发适用于低对比度光学环境下的弱目标高速、高准确度、与高鲁棒性的特征增强与识别的感内计算技术。

5、现有的机器视觉系统由前端ccd或cmos图像传感器、模拟-数字转换器与后端的数字信号处理器dsp构成。在低对比度光学场景下(包含整体上亮和整体上暗两种低对比度场景)，图像或视野中感兴趣的目标的光强与其周围背景之间的光强差异很小，目标物的强度几乎淹没在背景强度之中。在这种情况下，传统ccd或cmos图像传感器通常需要采用延长曝光时间以及增加相机感光度/增益(iso)的方式，实现低对比度光学场景下的弱目标成像。但是，延长曝光时间会降低传感器的速度，制约了传感器的帧率，限制了高帧率连续曝光场景下的应用。同时，长曝光时间也会引入更多的噪声。增大感光度与增益(iso)，虽然有助于弱目标成像，但是也会引入更严重的噪声问题，降低图像整体的信噪比，对成像质量产生严重影响。

技术实现思路

1、发明目的：为解决现有图像传感器在低对比度图像下弱目标信息处理能力方面不足的问题，本发明提出了一种局域关联感内计算单元及局域关联图像处理方法，直接在光电传感器内实现模拟计算与图像信息处理，完成低对比度图像中弱目标边缘与轮廓等关键特征的增强提取并输出，进而实现弱目标高精度、高鲁棒性识别与追踪。

2、技术方案：一种局域关联感内计算单元，包括一个主动光电器件和多个被动光电器件；所述主动光电器件位于局域关联感内计算单元的中心处，所述多个被动光电器件环绕主动光电器件位于局域关联感内计算单元的外周；

3、局域关联感内计算单元内的所有被动光电器件的光电响应度一致且固定不变，主动光电器件的光电响应度基于局域光强梯度进行调整；

4、所述局域光强梯度由被动光电器件进行感光并输出各自的光电流，通过对被动光电器件的光电流进行计算得到；

5、所述的基于局域光强梯度进行调整，包括：当局域光强梯度超过预先设定的阈值时，将主动光电器件的光电响应度从原本的a值调整至b值；当局域光强梯度未超过预先设定的阈值时，维持主动光电器件原本的光电响应度a值不变；

6、一个主动光电器件和所有被动光电器件的光电流总和作为局域关联感内计算单元的输出。

7、进一步的，所述被动光电器件为单栅结构的光电场效应晶体管。

8、进一步的，所述主动光电器件为具有顶底双栅结构的光电场效应晶体管，其中，被动光电器件和主动光电器件共用一个全局背栅，全局背栅用于配置光电响应度的基准值，主动光电器件的顶栅结构用于基于局域光强梯度对其光电响应度进行调整，主动光电器件的光电响应度大小由顶底两个栅极电压共同决定，主动光电器件的光电响应度的正负由源漏电压的极性决定。

9、进一步的，对于任意一个主动或被动光电器件，晶体管的沟道作为感光部分，该沟道为单一材料构成的沟道或是异质结光电二极管构成的沟道。

10、进一步的，所述沟道为由锗/石墨烯混合维异质结构成的沟道。

11、本发明公开了一种局域关联图像处理方法，包括以下步骤：

12、步骤1：将多个局域关联感内计算单元阵列排布在传感器焦平面上，每个局域关联感内计算单元均为上述公开的一种局域关联感内计算单元；

13、步骤2：在一帧图像曝光的周期内，逐行选通一整行的局域关联感内计算单元，对于任意一个被选通的局域关联感内计算单元内部，使能被动光电器件，被动光电器件进行感光并输出各自的光电流，对被动光电器件的光电流进行计算，获得该局域关联感内计算单元所处位置的图像的局域光强梯度；

14、步骤3：将该局域光强梯度与预先设定的阈值进行比较，若局域光强梯度超过预先设定的阈值，则增大主动光电器件的光电响应度；若局域光强梯度未超过预先设定的阈值，则维持主动光电器件的光电响应度不变；

15、步骤4：将该行的每个局域关联感内计算单元内的所有光电器件的光电流求和，作为该行每个单元的最终输出结果，以同样的方式循环选通其余各行，即可得到该帧图像曝光下的完整的传感器内图像处理结果。

16、进一步的，所述光电流为光强与光电响应度的乘积，同时，光电流也是光电器件照光状态下的电流与光电器件不照光情况下电流的差值。

17、有益效果：本发明与现有技术相比，具有以下优点：

18、(1)本发明方法将传感器面阵划分为多个局域关联感内计算单元，每个局域关联感内计算单元内包含主动光电器件和被动光电器件两种类型，通过主动光电器件和被动光电器件之间的关联控制，实现对图像局域光强梯度的计算并根据图像局域光强梯度选择性放大与增强弱目标的边缘与轮廓；

19、(2)本发明方法利用感光器件光电响应率多端口可调控与可编程的特性，通过电路设计在邻近光电器件之间建立信号关联与反馈控制回路，实现传感器内高阶、动态、非线性图像信息处理与丰富的模拟计算功能。同时，本发明公开基于顶底双栅的多端口可调控的光电器件设计方案，通过顶栅及底栅两个电极的电压偏置操作可以对器件光电响应率的大小进行同时调控，通过施加不同极性的源漏电压可以调控器件光电响应率的正负，从而使器件光电响应度的大小与正负能够在可见到红外宽光谱范围内被灵活调控与编程；

20、(3)采用本发明方法在传感器内对弱目标信号特征进行增强处理，可以显著提升传感器输出信号的信噪比，增强信号传输过程中的鲁棒性，同时可以加速后端神经网络识别的收敛速度与识别的准确率，通过前端处理提升后端网络在不同对比度情况下目标识别的鲁棒性；

21、(4)本发明方法在低对比度光学环境下弱目标特征增强与准确提取方面具有突出效果，为后端神经网络硬件进行高精度目标识别与追踪提供了前提条件与基础。