一种基于深度学习的互联网摄像系统及其实现方法与流程

本发明涉及互联网摄像产品领域，尤其是一种基于深度学习的互联网摄像系统及其实现方法。

背景技术：

互联网摄像产品是传统摄像产品与网络视频技术相结合的产物，它通过网络将视频前端采集到的视频数据传输到网络远端分析保存。现有的大多数互联网摄像产品的视频采集传输流程如附图1所示，网络视频前端传感器采集外部图像数据并保存到内存中，接着对内存中的图像数据进行图像增强，然后使用视频编码技术对图像数据进行压缩编码，并保存为视频数据，最后通过网络传输到远端服务器。然而这样的互联网摄像产品缺少必要的智能分析功能，视频数据中的有效信息难以得到及时的分析处理，使得大量无效的视频数据占用了服务器海量的存储空间。

现在基于深度学习神经网络技术的人工智能分析功能开始应用到互联网摄像产品中。相比以前的图像识别算法，基于深度学习网络技术的智能分析算法具有更高的识别成功率、更好的容错性，能够达到甚至超过人类的分析水平，同时计算量也更巨大。目前，为互联网摄像产品增加人工智能分析功能主要有以下两种实现方法：

(1)在服务器端增加人工智能分析功能，即待视频数据传输至服务器之后，由服务器对其进行数据的人工智能分析。由于互联网摄像产品前端时时刻刻都在进行视频数据的采集工作，视频数据的数量相当大，尤其对于那些连接多个互联网摄像产品前端的服务器而言，网络传输开销十分巨大；并且在视频数据的人工智能分析阶段，多对一(多数据来源，一个服务器)的处理模式也大大增加了服务器的工作负担，智能分析的性能较差。

(2)在互联网摄像产品前端芯片加入人工智能分析功能。该方法与方法(1)相比，解决了网络开销大和服务器工作负担大的问题。然而，人工智能分析算法计算量大，对内存访问需求巨大，而现有的视频前端处理已经占用了大部分系统计算资源和内存带宽资源，加入人工智能分析功能将进一步扩大系统资源需求，增加系统实现成本。

技术实现要素：

为解决上述技术问题，本发明的目的在于：提供一种能够降低服务器端的负载和视频前端的内存带宽占用率、且系统成本低的，基于深度学习的互联网摄像系统及其实现方法。

本发明所采取的第一技术方案是：

一种基于深度学习的互联网摄像系统，包括视频前端芯片和人工智能芯片，

其中，所述视频前端芯片，用于对原始图像信息进行预处理、编码和存储；

所述人工智能芯片，用于采用深度学习方法对图像进行智能分析；

所述视频前端芯片还将智能分析的结果进行上传；

所述视频前端芯片通过usb接口与人工智能芯片连接。

进一步，所述人工智能芯片的数量为一个或多个。

进一步，所述视频前端芯片包括：

图像处理模块，用于对原始图像信息进行图像前处理，然后进行图像后处理；

微处理器，用于对图像后处理得到的图像进行分割处理；

编码模块，用于对分割处理得到的子图像进行编码处理；

第一存储器，用于对编码模块的处理结果进行存储；

第一usb控制器，用于将编码模块的处理结果传输到人工智能芯片；

网络接口，用于实现视频前端芯片与外部设备的数据通讯；

所述第一usb控制器与人工智能芯片连接。

进一步，所述人工智能芯片包括第二usb控制器，所述第二usb控制器，用于将人工智能芯片中的智能分析结果传输到视频前端芯片，所述第二usb控制器与视频前端芯片连接。

进一步，所述人工智能芯片还包括：

解码模块，用于对视频前端芯片发送的数据进行解码处理；

深度学习网络模块，用于根据深度学习网络模型，对解码处理的结果进行智能分析；

第二存储器，用于对深度学习网络模块的智能分析结果进行存储。

本发明所采取的第二技术方案是：

一种基于深度学习的互联网摄像系统的实现方法，包括以下步骤：

通过视频前端芯片对原始图像信息进行预处理，并通过usb接口将预处理后的图像信息发送至人工智能芯片；

根据深度学习网络模型，通过人工智能芯片对预处理后的图像信息进行智能分析，所述智能分析包括人脸识别；

根据智能分析的结果，通过视频前端芯片进行后续处理，所述后续处理包括将智能分析结果上传。

进一步，所述人工智能芯片的数量为一个或多个。

进一步，所述通过视频前端芯片对原始图像信息进行预处理这一步骤，包括以下步骤：

对原始图像信息进行图像前处理，然后进行图像后处理；

对图像后处理得到的图像进行分割处理；

对分割处理得到的子图像进行编码处理。

进一步，所述对图像后处理得到的图像进行分割处理这一步骤，具体为：

将原始图像进行纵向分割或者横向分割，得到多个子图像；

或者，从原始图像中提取多个包含对象的方框，并将每个方框切割成多个子图像。

进一步，所述根据智能分析的结果，通过视频前端芯片进行后续处理这一步骤，包括以下步骤：

通过视频前端芯片对智能分析结果进行整合处理，得到完整图像的智能分析结果；

根据完整图像的智能分析结果，通过视频前端芯片进行后续处理。

本发明的有益效果是：本发明新增的人工智能芯片通过usb接口就可以与传统的视频前端处理芯片连接，使传统的视频前端芯片不用重新设计便可具备人工智能分析功能，系统成本低；另外，本发明通过人工智能芯片进行智能分析，可以减少无效无关视频数据的网络传输开销，降低了服务器端的负载和视频前端的内存带宽占用率。进一步，本发明通过多个人工智能芯片进行并行计算，能够提高智能分析的性能。

附图说明

图1为现有互联网摄像机视频采集传输的步骤流程图；

图2为本发明一种基于深度学习的互联网摄像系统的整体结构框图；

图3为视频前端芯片的图像分块传输示意图；

图4为本发明互联网摄像机视频采集传输流程的示意图；

图5为本发明深度学习网络模型的一种示意图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图2，一种基于深度学习的互联网摄像系统，包括视频前端芯片和人工智能芯片，

其中，所述视频前端芯片，用于对原始图像信息进行预处理、编码和存储；

所述人工智能芯片，用于采用深度学习方法对图像进行智能分析，所述智能分析包括人脸识别；

所述视频前端芯片还将智能分析的结果进行上传；

所述视频前端芯片通过usb接口与人工智能芯片连接。

进一步作为优选的实施方式，所述人工智能芯片的数量为一个或多个。

进一步作为优选的实施方式，所述视频前端芯片包括：

图像处理模块，用于对原始图像信息进行图像前处理，然后进行图像后处理；

微处理器，用于对图像后处理得到的图像进行分割处理；

编码模块，用于对分割处理得到的子图像进行编码处理；

第一存储器，用于对编码模块的处理结果进行存储；

第一usb控制器，用于将编码模块的处理结果传输到人工智能芯片；

网络接口，用于实现视频前端芯片与外部设备的数据通讯，其中，外部设备包括服务器、计算机和智能手机终端等；

所述第一usb控制器与人工智能芯片连接。

其中，所述图像处理模块、编码模块、微处理器、第一usb控制器和网络接口均与第一存储器连接。

进一步作为优选的实施方式，所述人工智能芯片包括第二usb控制器，所述第二usb控制器，用于将人工智能芯片中的智能分析结果传输到视频前端芯片，所述第二usb控制器与视频前端芯片连接。

进一步作为优选的实施方式，所述人工智能芯片还包括：

解码模块，用于对视频前端芯片发送的数据进行解码处理；

深度学习网络模块，用于根据深度学习网络模型，对解码处理的结果进行智能分析；

第二存储器，用于对深度学习网络模块的智能分析结果进行存储。

其中，所述解码模块、深度学习网络模块和第二usb控制器均与第二存储器连接。

应用如图2所示的系统，本发明一种基于深度学习的互联网摄像系统的实现方法，包括以下步骤：

通过视频前端芯片对原始图像信息进行预处理，并通过usb接口将预处理后的图像信息发送至人工智能芯片；

根据深度学习网络模型，通过人工智能芯片对预处理后的图像信息进行智能分析，所述智能分析包括人脸识别；

根据智能分析的结果，通过视频前端芯片进行后续处理，所述后续处理包括将智能分析结果上传。

进一步作为优选的实施方式，所述人工智能芯片的数量为一个或多个。

进一步作为优选的实施方式，所述通过视频前端芯片对原始图像信息进行预处理这一步骤，包括以下步骤：

对原始图像信息进行图像前处理，然后进行图像后处理；

对图像后处理得到的图像进行分割处理；

对分割处理得到的子图像进行编码处理。

进一步作为优选的实施方式，所述对图像后处理得到的图像进行分割处理这一步骤，具体为：

将原始图像进行纵向分割或者横向分割，得到多个子图像；

或者，从原始图像中提取多个包含对象的方框，并将每个方框切割成多个子图像。

进一步作为优选的实施方式，所述根据智能分析的结果，通过视频前端芯片进行后续处理这一步骤，包括以下步骤：

通过视频前端芯片对智能分析结果进行整合处理，得到完整图像的智能分析结果；

根据完整图像的智能分析结果，通过视频前端芯片进行后续处理。

本发明的互联网摄像系统可以应用于人形识别领域，基于高准确率的人物检测识别技术，当侦测到有人进入场景时，就自动采取后续操作，比如启动视频录像工作等。下面以人脸识别的应用场景为例，详细介绍本发明一种基于深度学习的互联网摄像系统的实现方法的具体实施步骤：

s1、如图2所示，视频前端芯片与5个人工智能芯片通过usb相连。系统启动时，视频前端芯片微处理器从外部存储器(flash)中读取离线(off-line)训练好的深度学习网络模型(本实施例采用如图5所示的深度学习网络模型)和模型参数，并通过usb将这些数据传输给5个人工智能芯片；

s2、人工智能芯片接收到视频前端芯片发送的深度学习网络模型和模型参数后，将这些数据保存到各自的第二存储器中，并传入深度神经网络模块；

s3、视频前端芯片以25帧/秒的速度采集图像并进行图像处理工作，所述图像处理工作包括对图像的前处理和后处理等；

s4、视频前端芯片对图像进行分割，平均分成多块(如图3所示，将图像分成5个子图像)，然后对图像进行压缩；

其中，步骤s4具体为：将原始图像进行纵向分割或者横向分割，得到多个子图像；或者，从原始图像中提取多个包含对象的方框，并将每个方框切割成多个子图像。

另外，本实施例通过调用jpeg编码模块来对图像进行压缩。

s5、视频前端芯片通过usb将jpeg图像数据分别传输给多个人工智能芯片(如图3所示，本实施例设有5个人工智能芯片)；

s6、各个人工智能芯片在接收jpeg图像后，调用jpeg解码模块解码出图像数据；

s7、人工智能芯片将解码后的图像数据传入深度学习网络模块中处理。本实施例使用如图5所示的深度学习网络模型，其中data表示输入的图像数据，conv表示卷积操作(convolution)，relu表示线性整流函数(rectifiedlinearunit)，norm表示局部响应归一化(localresponsenormalization)，pool表示池化(pooling)，fc表示全链接(fullyconnected)，softmax表示分类函数。通过使用训练好的模型参数和附图5所示的深度学习网络模型结构，输入图像在经过一系列的函数计算后将得到智能分析计算结果；

其中，步骤s7具体包括以下步骤：

s71、卷积层1：输入数据data通过使用96个3×11×11的卷积核进行卷积操作得到96个55×55的特征图，并使用relu函数进行非线性激活，使用norm进行归一化；接着，利用3×3的最大值池化得到96个27×27的特征图。

s72、卷积层2：96×27×27的特征图通过使用256个96×5×5的卷积核进行卷积操作得到256个27×27的特征图，并使用relu函数进行非线性激活，使用norm进行归一化；接着，利用3×3的最大值池化得到256个13×13的特征图。

s73、卷积层3：256×13×13的特征图通过使用384个256×3×3的卷积核进行卷积操作得到384个13×13的特征图，并使用relu函数进行非线性激活。

s74、卷积层4：384×13×13的特征图通过使用384个384×3×3的卷积核进行卷积操作得到384个13×13的特征图，并使用relu函数进行非线性激活。

s75、卷积层5：384×13×13的特征图通过使用256个384×3×3的卷积核进行卷积操作得到256个13×13的特征图，并使用relu函数进行非线性激活；接着，利用3×3的最大值池化得到256个6×6的特征图。

s76、全链接层1：256×6×6的特征图通过全链接操作得到1×4096的特征图，并使用relu函数进行非线性激活。

s77、全链接层2：1×4096的特征图通过全链接操作得到1×4096的特征图，并使用relu函数进行非线性激活。

s78、全链接层3：1×4096的特征图通过全链接操作得到1×1000的特征图。

s79、通过调用softmax函数将1×1000的特征图转化为智能分析分类结果。

s8、人工智能芯片将分析结果通过usb传输给视频前端芯片；

s9、视频前端芯片接收到各个人工智能芯片对子图像的分析结果后，进行综合整理，并得到整个图像的人工智能分析结果；

s10、视频前端芯片微处理器根据人工智能分析结果，判断是否有人进入摄像场景，如果有人进入则启动视频录像工作；如果场景中不存在人物，则停止视频录像工作。

s11、重复进行步骤s3-s10的操作处理，直至停止视频录像工作。其中，s3-s10的具体处理流程如图4所示。

综上所述，本发明一种基于深度学习的互联网摄像系统及其实现方法具有以下优点：

(1)本发明在视频编码传输到服务器前就进行人工智能分析，可以减少视频数据的网络传输开销，也降低了服务器的视频存储容量需求。

(2)本发明在视频前端进行人工智能分析，可以减少在服务器端进行人工智能分析的计算量，当服务器连接多个视频前端时，更可以大量减少服务器端对多路视频的分析计算量。

(3)本发明减少了视频前端处理芯片的工作负载，由于人工智能分析工作在人工智能芯片上完成，避免了神经网络计算占用视频前端芯片的资源，保障了图像处理和视频编码所需的系统资源。

(4)本发明新增了人工智能芯片，通过usb接口可以与传统的视频前端芯片相连，使传统的视频前端芯片不用重新设计便可具备人工智能分析的功能。

(5)本发明扩展性强，可由多个人工智能芯片并行计算，无需更改芯片设计就可以提高系统的人工智能分析性能。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。