可重构的人工智能传感器芯片架构的制作方法

1.本发明涉及人工智能系统设计和应用领域，尤其涉及一种可重构的人工智能系统传感器芯片架构设计技术。


背景技术：

2.随着人工智能技术(ai，artificial intelligence)的发展和应用，图像传感器成为人工智能系统不可或缺的组成部分，可以说是人工智能系统的重要部分之一，主要用于对应用环境中图像获取、识别及分析判断等，包括物体，人像，周围环境等。例如，机器人对场景中目标物体的识别，无人驾驶汽车在行驶过程中对周围环境的识别及分析判断。目前大多数人工智能系统应用设计架构采用的是将图像传感器输出未经处理过的原始数据(raw data)发送到云端处理器(cloud processor)或者边缘处理端(edge processor)，计算后的数据再反馈到前端用以对人工智能系统的操作控制。但是随着应用发展，通常在人工智能系统中会同时包含多个图像传感器装置，多个图像传感器所产生的大量未经处理的原始数据在传输到云端或边缘处理端的过程中会出现带宽瓶颈，从而限制了人工智能系统应用的实时性和准确性，导致客户体验过程较差的问题。举例来说，目前的无人汽车系统通常采用多个图像传感器对汽车周围的信息进行采集、反馈等。随着无人汽车所采用图像传感器数量的增加及分辨率的提升，会产生大量的传输数据，从而在图像传感器和主控设备之间产生数据传输瓶颈。并且如此大量的原始数据不可能实时地由主控设备进行计算分析，这样会限制整个人工智能系统的实时性和分辨率的提升。这些问题会影响无人汽车系统在使用过程中的行驶速度，以及对周围环境判断的及时性和准确性，严重时可能会导致无人汽车在行驶过程中的危险问题。
3.基于上述多种问题，本发明旨在对于现有技术中人工智能系统多个图像传感器输出的大量原始数据采取针对感兴趣的数据进行先期处理的芯片架构设计方案，针对输出冗余的不必要的数据信息不进行处理或者按低要求处理，以简化系统后端运算，改善和提升人工智能系统的工作效率和性能。


技术实现要素：

4.本发明目的在于提供一种可重构的人工智能传感器芯片架构设计，该芯片架构设计包括：
5.第一芯片，图像传感器的像素阵列设置于第一芯片层，用于图像信息的采集；
6.第二芯片，处理电路层，处理电路包括图像数据处理单元、ai算法单元及输出电路；
7.第一芯片和第二芯片通过半导体混合接合(hybrid bond)工艺方式进行芯片内电连接，第一芯片的像素阵列采集的图像数据通过芯片内连接并传输到处理电路进行处理；
8.可选的，该芯片架构还可以包括第三芯片，设置在第一芯片和第二芯片之间，第三芯片包括图像数据存储单元，用于缓存图像数据；图像数据存储单元可为动态随机存取存
储器dram；
9.上述芯片架构根据应用具有多种可重构实现方式：
10.可选的，处理电路根据应用对边缘信息进行运算处理，或是对事件触发信息进行运算处理；
11.可选的，处理电路根据应用对感兴趣区域(roi，region of interest)图像数据进行处理，输出电路输出感兴趣区域的图像数据，或者可以同时输出包括不同分辨率的非感兴趣区域的图像数据；所输出的感兴趣区域为高分辨率的图像数据，所述非感兴趣区域为低分辨率的图像数据，以实现数据传输实时、快速，节省传输带宽；
12.可选的，采用云端处理器(cloud processor)或边缘处理器(edge processor)的中央处理单元配合图像数据处理单元及图像数据存储单元、可编程逻辑单元fpga对图像数据进行处理；
13.可选的，像素阵列采用bsi设计结构，提升像素输出的感度及信噪比。
14.本发明提出的可重构的人工智能传感器芯片架构技术方案，采用可重构的传感器芯片结构设计对图像数据进行预先处理再传输到后端应用的实现方式，解决了现有技术中大量图像数据传输到后端进行运算处理会导致传输带宽受限，影响数据传输的实时性和准确性的问题，能够有效提升人工智能系统的工作效率和性能，并且本发明给出的传感器芯片架构实现方案能够满足多种应用人工智能系统的设计需求。
附图说明
15.图1是现有技术中一个图像传感器的结构图；
16.图2是本发明的第一实施例ai图像传感器芯片架构结构示意图；
17.图3是本发明的第二实施例ai图像传感器芯片架构结构示意图；及
18.图4是本发明的人工智能图像传感器平台架构示意图。
具体实施方式
19.为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明所提供的多个附图，对本发明实施例中的技术方案进行清楚、完整的描述。本领域技术人员可以理解的是，此处所记载的实施例是本发明能够实现的实施例中的一部分，并非穷尽全部实施例。其他多个可实现本发明技术方案的应用实施例也属于本发明所保护的内容范围内。在本专利说明书中“一个实例”，“一个实施例”或者“一个应用例”指的是结合实例中描述的特定特征、结构或特性包含于本发明的至少一个实例中。因此，贯穿本说明书在不同位置中出现短语“在一个实例中”，“在一个实施例中”或“在一个应用例中”未必都是指同一个实例。此外，在一个或多个实例中，特定特征、结构或特性可以任何合适方式组合。
20.以下结合本发明给出的多个附图及实施例方案，对本发明内容进行详细的说明。图1为现有技术中一个图像传感器系统的基本结构图，如图1中所示，图像传感器系统100包括像素阵列101，连接到像素阵列101的读出电路102和控制电路104，图像数据处理/存储模块103连接到读出电路102，对像素电路的输出进行数据处理及存储等操作处理，状态/时序控制模块105连接到读出电路102和控制电路104，实现对像素阵列101的读取控制。像素阵列101包括按行(r1，r2，r3
…
ry)和列(c1，c2，c3
…
cx)分布设置的多个像素单元，像素阵列
101输出的像素信号经列线输出至读出电路102。在一个实施例中，每一像素单元获取图像数据后，图像数据根据状态/时序控制模块105指定读出模式的读出电路102读出，然后传输到图像数据处理/存储模块103。在具体应用中，读出电路102可包括模数转换电路(adc)，放大电路及其他，实现模拟信号到数字信号的转换及对输出信号进行放大。在某些应用实施例中，状态/时序控制模块105可包含有程序化选择用以确定读出是通过全局曝光模式读出或者是滚动曝光模式读出。图像数据处理/存储模块103可以仅存储图像数据或通过图像效果应用或处理的图像数据。在一个应用例中，读出电路102可沿读出列线(如图1中所示)一次读出一行图像数据，或者可采用多种其他方式，比如同时读出多行的方式读出数据。控制电路104的操作可通过状态/时序控制模块105的当前设置确定。例如，控制电路104产生一个快门信号用于控制图像获取。在某些应用例中，此快门信号可以是一个全局曝光信号以使像素阵列101的所有像素通过单一获取窗口同时获取其图像数据。
21.图2是本发明给出的第一实施例ai图像传感器芯片架构结构示意图，如图中所示，第一实施例中的ai图像传感器芯片架构设计包括第一芯片和第二芯片，第一芯片包含图像传感器的像素阵列，为图像采集层。本实施例中不对像素阵列中像素单元的具体电路设计构成限制，各种像素单元电路设计结构的像素阵列均可设置于第一芯片。第一芯片内的像素阵列可以设计为背照式传感器像素(bsi，backside illumination)，以提升感度及信噪比，提升图像传感器的性能。第二芯片为处理电路层，第二芯片包括除像素阵列之外的传感器其他电路设计。包括但不限于图像数据处理单元，输出电路，以及ai算法单元等，同时第二芯片内还包括对像素阵列进行图像数据进行模拟数字信号转换的电路adc、放大电路等，将模拟图像信号转换为数字信号并进行放大，进行后续数据处理。处理电路层为采用先进的逻辑电路以增加逻辑密度，提升运算能力。第一芯片和第二芯片通过半导体混合接合工艺进行内部电连接形成一颗完整的芯片形式。第一芯片的像素阵列采集的图像数据通过芯片内传输到第二芯片的处理电路层，数据传输速度快效率非常高。
22.本发明方案中第二芯片为处理电路层，像素阵列采集的图像数据通过芯片内传输到处理电路，处理电路根据ai应用以可重构方式对所采集的图像数据进行先期的处理。为降低处理和传输的数据量，不对冗余的非后端计算所需的图像数据进行处理，本发明方案仅对感兴趣的数据进行处理，以降低处理和传输的数据量。输出电路将处理后的感兴趣数据传输到后端的处理器，例如边缘处理器或云端处理器，继续进行运算处理再根据运算处理结果对ai系统进行控制。这种实现方式能有效节省数据传输的带宽，降低后端处理和计算的数据量，简化后端计算过程，进一步提升系统的效率和性能。在本发明方案中，根据可重构方式，感兴趣的数据可以包含多种形式的数据。
23.在本发明一个应用例中，人工智能系统可以为无人驾驶汽车系统，无人汽车系统通常需要设计采用多个传感器，包括图像传感器(摄像头)，雷达，激光扫描仪，gps等装置。在正常行驶过程中多个传感器所采集的数据量非常大，针对多个摄像头采集的数据来说，这些数据传输到后端进行处理的过程会存在传输带宽的限制，同时大量的数据计算过程会非常复杂，数据计算反馈过程效率也会较低，这会对系统使用过程中异常情况处理的及时性和准确性带来影响。本发明提出的技术方案，根据可重构方式，传感器芯片可以设计成把处理过程实现为进行边缘运算或者是事件触发(event trigger)信息的运算，处理电路对数据进行先期预处理，例如分类，标记，压缩，增强等，计算处理后驱动执行器件进行处理。
边缘计算更靠近执行单元，能够快速的响应。这种方式能够简化处理电路所运算处理的数据量，对于非必要的图像数据不进行处理，即处理电路仅处理感兴趣的数据。或者可以针对触发事件的数据进行处理，例如，无人汽车在行驶过程中，仅对出现在摄像头场景内的人或物体的突发事件图像数据进行处理，这样能够有效降低处理电路所需运算和处理的数据量，这部分传输数据可以非常高的帧率传输到后端，边缘处理器或云端处理器，进行后端处理的过程也非常地快速、高效。采用本发明的技术实现方案，传感器芯片所需要处理的数据量大量降低，数据传输和反馈过程及时，对无人汽车系统的危险性防控和处理提供及时的数据反馈，有效的边缘计算是保证无人驾驶汽车安全性非常重要的组成部分。
24.在本发明另一个应用例中，传感器芯片的处理电路根据可重构方式，对感兴趣区域的图像数据进行处理。例如当ai系统为人脸识别应用系统，传感器芯片的处理电路根据所采集的图像信息，图像数据处理单元仅对ai系统所感兴趣的人脸区域的图像数据进行处理，例如剪裁，尺寸定义，检测，跟踪等，感兴趣区域可以为一个或多个图像区域。输出电路可以仅输出感兴趣的人脸部分的高分辨率的图像数据。针对人脸图像周围的其他系统不关心的图像数据，处理电路可不输出这部分数据，或者以较低分辨率图像数据输出，输出的感兴趣区域的图像数据通过网络传输到后端处理器进行分析和处理使用。由于处理电路所处理的为仅包含感兴趣区域的图像数据，其运算处理的数据量少，图像可以高帧率输出，数据传输过程效率会非常高。同时，所输出的感兴趣的人脸部分的图像清晰度会很高，图像质量相对较高，能够有效提高人脸识别系统应用的准确度和效率。
25.图3为本发明第二实施例ai图像传感器芯片架构结构示意图，如图中所示，与第一实施例中给出的发明方案内容不同的是，第二实施例发明方案提出的图像传感器芯片架构除包括第一芯片层和第二芯片层外，还包括第三芯片。第三芯片设置在第一芯片和第二芯片之间，通过半导体混合接合的方式与第一芯片和第二芯片在芯片内电连接，形成一颗完整的芯片结构。第三芯片为图像数据存储单元设计dram，用于缓存图像数据，提升传输效率。第二实施例给出的发明方案同样适用于上述多种可重构设计，根据不同的应用本实施例中的第二芯片处理电路同样实现为对感兴趣的数据进行预先处理后传输至后端处理器。
26.根据本发明的另一个应用例，可以采用云端处理器或边缘处理器的中央处理单元cpu配合传感器芯片的图像数据处理单元和图像数据存储单元，以及可编程逻辑单元fpga对ai系统感兴趣的数据进行处理，数据进行处理并缓存后输出至后端处理器进行处理和控制操作。这种实现方式能够有效提升ai系统数据计算和传输的效率，优化控制过程，进一步提升ai系统的性能。
27.图4是本发明给出的人工智能图像传感器平台架构示意图。如图4中所示，左侧为包含本发明多个传感器芯片的结构示意，通常在ai系统应用中会同时包含多个图像传感器。图中所示的图像传感器芯片结构图描述仅为示意说明的目的，并非对本发明芯片层的描述构成限制。结合本发明给出的上述多个实施例方案，多个图像传感器芯片采集图像数据后，根据不同应用对感兴趣的数据进行处理，将处理后的感兴趣数据传输到边缘处理器soc或者云端处理器进一步进行运算处理，根据处理结果对ai系统进行进一步控制操作。数据传输可以通过无线网络传输的方式，由于所传输的数据量少，其传输的带宽可以有效的降低，传输的效率得到提升，可以满足多种ai系统应用需求。
28.本发明给出的各个实施例及附图，是为了说明的目的，在不背离本发明更广泛的
主旨和范围下，不同形式的等效修改是可行的。根据上述详细的说明可对本发明实施例进行修改，其修改视为落入本发明所保护的范围内。用于权利要求中的术语不应解释为限定于本发明具体实施内容和权利要求部分中所揭露的具体实施例。相反地，权利要求中完整确定的内容应理解为根据权利要求解释确立的范围。本发明的说明书和附图应被看作是解释性的，而不是约束性的。