技术特征：
1.一种装置，其包括：图像传感器，其配置成产生所述装置的视场的图像数据；至少一个处理单元，其配置成执行具有矩阵操作数的指令；随机存取存储器，其配置成存储表示人工神经网络的权重的第一数据且存储表示指令的第二数据，所述指令能够由所述至少一个处理单元执行以使用表示所述人工神经网络的所述权重的所述第一数据实施所述人工神经网络的矩阵计算；收发器，其配置成与计算机系统通信，所述计算机系统与所述装置分离；以及控制器，其与所述收发器、所述传感器和所述随机存取存储器耦合，其中所述控制器配置成将所述图像数据写入到所述随机存取存储器作为到所述人工神经网络的输入；其中所述至少一个处理单元进一步配置成执行由存储于所述随机存取存储器中的所述第二数据表示的所述指令，以至少部分地基于存储于所述随机存取存储器中的所述第一数据和所述图像数据产生所述人工神经网络的输出；且其中所述控制器进一步配置成基于所述人工神经网络的所述输出提供表示在所述图像数据中捕捉的项目或事件的描述的第三数据，且控制所述收发器将表示所述描述的所述第三数据提供到所述计算机系统。2.根据权利要求1所述的装置，其中所述人工神经网络的所述输出包含物件、人或特征的识别、分类或类别以及所述物件、人或特征的位置和大小；并且所述描述是基于所述识别、分类或类别，且基于所述位置和大小。3.根据权利要求2所述的装置，其中所述人工神经网络的所述输出包含与所述物件、人或特征相关联的事件的识别；并且所述描述包含所述事件的所述识别。4.根据权利要求3所述的装置，其中所述控制器进一步配置成控制所述收发器向所述计算机系统提供基于所述人工神经网络的所述输出提取的所述物件、人或特征的代表性图像。5.根据权利要求4所述的装置，其中所述控制器配置成使所述收发器将所述描述和所述代表性图像一起传送到所述计算机系统。6.根据权利要求4所述的装置，其中所述控制器配置成使所述收发器响应于来自所述计算机系统的关于所述描述的请求而将所述代表性图像传送到所述计算机系统。7.根据权利要求4所述的装置，其中所述控制器配置成基于所述人工神经网络的所述输出选择性地存储图像数据以用于传输到所述计算机系统。8.根据权利要求7所述的装置，其进一步包括：实施深度学习加速器的现场可编程门阵列(fpga)或专用集成电路(asic)的集成电路裸片，所述深度学习加速器包括所述至少一个处理单元以及控制单元，所述控制单元配置成从所述随机存取存储器加载所述指令以用于执行。9.根据权利要求8所述的装置，其中所述控制单元包含所述控制器。10.根据权利要求8所述的装置，其进一步包括：集成电路封装，其配置成至少围封fpga或asic的所述集成电路裸片和所述随机存取存储器的一或多个集成电路裸片；以及其中所述图像传感器中的电路使用硅穿孔(tsv)连接到所述随机存取存储器的所述一或多个集成电路裸片。
11.根据权利要求10所述的装置，其中所述至少一个处理单元包含配置成对指令的两个矩阵操作数进行操作的矩阵-矩阵单元；其中所述矩阵-矩阵单元包含配置成并行操作的多个矩阵-向量单元；其中所述多个矩阵-向量单元中的每一个包含配置成并行操作的多个向量-向量单元；其中所述多个向量-向量单元中的每一个包含配置成并行操作的多个乘累加单元；且其中所述多个乘累加单元中的每一个包含配置成经由模拟电路执行乘累加运算的神经形态存储器。12.根据权利要求11所述的装置，其中所述随机存取存储器和所述深度学习加速器形成于独立集成电路裸片上，且由硅穿孔(tsv)连接。13.根据权利要求12所述的装置，其中所述收发器配置成根据无线个域网或无线局域网的通信协议通信。14.一种方法，其包括：将表示人工神经网络的权重的第一数据和存储表示指令的第二数据存储在数码相机的随机存取存储器中，所述指令能够由所述数码相机的至少一个处理单元执行以使用表示所述权重的所述第一数据实施所述人工神经网络的矩阵计算；由所述数码相机的图像传感器产生捕捉所述数码相机的视场的图像数据；将所述图像数据存储到所述数码相机的所述随机存取存储器中作为到所述人工神经网络的输入；由所述至少一个处理单元执行由存储于所述数码相机的所述随机存取存储器中的所述第二数据表示的所述指令，以至少部分地基于存储于所述数码相机的所述随机存取存储器中的所述第一数据和所述图像数据计算来自所述人工神经网络的输出；由所述数码相机基于所述人工神经网络的所述输出产生表示所述图像数据中的所述视场中的项目或事件的描述的第三数据；以及经由所述数码相机的收发器将表示所述描述的所述第三数据传送到计算机系统。15.根据权利要求14所述的方法，其进一步包括：由所述数码相机基于所述计算机系统中的所述描述的处理结果确定是否丢弃所述图像数据。16.根据权利要求14所述的方法，其进一步包括：由所述数码相机基于所述计算机系统中的所述描述的处理结果确定是否传送所述图像数据的一部分。17.根据权利要求16所述的方法，其进一步包括：基于所述项目或事件的识别而提取所述图像数据的所述部分，其中所述人工神经网络的所述输出包含所述项目或事件的所述识别。18.根据权利要求17所述的方法，其中所述项目或事件的所述识别包含所述项目的大小和位置。19.一种设备，其包括：外壳；镜头；图像传感器，其定位在所述镜头后方以产生通过所述镜头捕捉所述设备的视场的图像
数据；随机存取存储器，其配置成存储人工神经网络的模型；现场可编程门阵列(fpga)或专用集成电路(asic)，其具有：存储器接口，其用以存取所述随机存取存储器；以及至少一个处理单元，其配置成执行具有矩阵操作数的指令以根据所述模型实施所述人工神经网络的计算；以及收发器，其配置成使用有线或无线连接与计算机系统通信；其中所述图像传感器配置成将所述图像数据存储到所述随机存取存储器中作为到所述人工神经网络的输入；其中所述fpga或asic配置成根据所述模型执行所述人工神经网络的所述计算，以将所述输入转换成来自所述人工神经网络的输出；且其中所述设备配置成产生在所述图像数据中捕捉的所述视场中的项目或事件的描述，且将其传送到所述计算机系统。20.根据权利要求19所述的设备，其中所述随机存取存储器包含配置成存储所述人工神经网络的所述模型的非易失性存储器；所述模型包含能够由所述fpga或asic执行的指令；并且所述至少一个处理单元包含配置成对指令的两个矩阵操作数进行操作的矩阵-矩阵单元。
技术总结
描述了与深度学习加速器和存储器相关的系统、装置和方法。举例来说，一种数码相机可配置成执行具有矩阵操作数的指令且配置有：外壳；镜头；图像传感器，其定位在所述镜头后方以产生所述数码相机的视场的图像数据；随机存取存储器，其用以存储可由所述深度学习加速器执行的指令且存储人工神经网络的矩阵；收发器；以及控制器，其配置成基于接收所述图像数据作为输入的所述人工神经网络的输出产生在所述图像数据中捕捉的所述视场中的项目或事件的描述，且使用所述收发器将其传送到独立计算机。所述独立计算机可基于所述描述的处理选择性地向所述数码相机请求图像数据的一部分。性地向所述数码相机请求图像数据的一部分。性地向所述数码相机请求图像数据的一部分。
技术研发人员：P
受保护的技术使用者：美光科技公司
技术研发日：2021.06.15
技术公布日：2023/2/13