本发明涉及图像处理技术领域,具体涉及基于神经网络的模式识别系统及识别方法。
背景技术:
在现有技术中,人的行为模式识别研究具有重要的理论研究价值,其涉及计算机视觉、传感器技术、模式识别和人工智能等多个学科。而传统的模式识别是对全部的视频帧信息进行识别,这样人体行为包含的信息多,需要处理的信息量大,人体行为识别的任务重,识别时间长。除此之外,对于硬件的要求也较苛刻,进一步地,对于人脸上的条件反射和非条件反射识别,由于动作微小更是被大众所忽略。
而“人工神经网络”(ARTIFICIAL NEURAL NETWORK,简称ANN)是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。通过“人工神经网络”的深度卷积分析能力、自主学习能力、及数据分析能力,已经在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。而目前市面上还没有出现将神经网络应用在模式识别分析的系统或者方法。
技术实现要素:
为了有效解决上述问题,本发明提供基于神经网络的模式识别系统及识别方法。
本发明的具体技术方案如下:基于神经网络的模式识别系统,所述识别系统包括一个芯片终端、一个图像传感单元、及一个神经网络处理单元,所述图像传感单元与神经网络处理单元共同集成设置在芯片终端上,并通过数据传输网络进行数据传输;
所述神经网络处理单元通过分析识别所述图像传感单元捕获的人物面部行为模式,所述芯片终端根据识别的人物面部行为模式与预设行为模式进行匹配比对,并将相应的识别结果通过UART串行通讯端口输出。
进一步地,所述神经网络处理单元包括图像输入模块、预处理模块、数据缓存模块、匹配模块;
所述图像输入模块与所述图像传感单元通过数据传输网络进行数据传输,所述图像输入模块与预处理模块通过数据传输网络进行数据传输,所述预处理模块将图像预处理数据输入所述数据缓存模块、及匹配模块。
进一步地,所述神经网络处理单元还包括神经处理阵列,所述数据缓存模块将图像数据输入所述神经处理阵列进行神经元数据识别分析,并将识别结果输入所述匹配模块;
所述匹配模块将神经处理阵列的识别结果界定为第一数值,将预处理模块的识别结果界定为第二数值,通过第一数值与第二数值的容差度计算,判断准确的识别结果。
进一步地,所述神经网络处理单元还包括指令存储模块、全局控制模块,所述指令存储模块与全局控制模块连接,所述指令存储模块与图像输入模块连接。
进一步地,所述全局控制模块包括译码电路、配置缓存模块,所述全局控制模块根据指令存储模块中的指令利用译码电路为其他模块提供控制逻辑;
所述全局控制模块根据配置缓存模块中存储配置信息实现对不同网络结构和类型的配置。
进一步地,所述神经处理阵列包括若干个神经处理单元,所述神经处理单元包括局部缓存单元、运算单元、控制单元,所述局部缓存单元为一个双页存储器,所述双页存储器用于进行乒乓操作交替读写;
所述运算单元包括乘累加器单元MAC、分段线性表和结果缓存器acc reg,用于对图像数据进行卷积运算、全连接运算、多层感知器运算、非线性函数运算、池化运算;
所述控制单元于接受全局控制模块发送的配置信息和指令信息,按照配置信息的指示设置为不同的工作状态,以使系统适应不同神经网络类型和网络结构。
基于神经网络的模式识别方法,所述识别方法包括以下步骤:
步骤1预设系统:用户通过图像传感单元进行人脸行为模式预设,所述芯片终端的报警信号传送至外部的安防系统;
步骤2获取图像:所述人体测距传感单元检测到人体靠近所述识别系统,所述识别系统启动所述图像传感单元获取当前的场景图像,并记录所述人体测距传感单元所检测到最接近所述识别系统的人物距离;
步骤3初步分析图像:所述图像传感单元将图像输入神经网络处理单元中,进行处理,若识别结果是当前图像为一个人物的图像则执行步骤S4-S4.3,若识别结果是当前图像为至少两个人物时则执行步骤S5-S5.3;
步骤4图像传感单元通过分析人物图像,根据两点图像特征、及距离特征,判断出人物的双眼位置,从而锁定人物的人脸位置;
步骤4.1所述图像传感单元选择人脸位置后,再次连续获取人脸位置的图像特征,生成一段人脸特征的视频流数据,所述视频流时间为3-10s;
步骤4.2神经网络处理单元对人脸特征视频流数据进行神经网络分析,在人脸位置处根据人物眼睛位置将人脸图像划分为眼部区域、及嘴部区域;
步骤4.3所述神经网络处理单元根据人物双眼位置判定眼部区域,并以该眼部区域向下位置的6-12cm,界定为嘴部区域,所述神经网络处理单元重点分析眼部区域、及嘴部区域的行为动作,并与步骤1的人脸行为模式进行相互匹配比对;
步骤5图像传感单元通过分析人物信息后,再次根据人体测距传感单元的反馈数据,根据人体测距传感单元获得最接近识别系统的人物距离,再次进行摄像对焦,并重点捕捉最接近所述识别系统的人物的人脸图像特征;
步骤5.1所述图像传感单元选择人脸位置后,再次连续获取人脸位置的图像特征,生成一段人脸特征的视频流数据,所述视频流时间为3-10s;
步骤5.2在人脸位置处根据人物眼睛位置将人脸图像划分为眼部区域、及嘴部区域;
步骤5.3所述神经网络处理单元根据人物双眼位置判定眼部区域,并以该眼部区域向下位置的6-12cm,界定为嘴部区域,所述神经网络处理单元重点分析眼部区域、及嘴部区域的行为动作;
步骤6所述神经网络处理单元将视频流数据,针对眼部区域、及嘴部区域,与步骤1的人脸行为模式进行进行深度人脸行为模式识别;
步骤7神经网络处理单元输出识别结果与模式预设行为不一致时,则执行步骤8;
步骤8所述识别系统确定当前用户为安全身份,自动打开门禁,允许进入门内。
进一步地,所述识别系统还包括用于计数进入门内人数的计数系统,所述识别系统包括第一光电组、及第二光电组、及安全灯,所述第一光电组设置在门的内侧处;
所述第二光电组设置在远离门的方向上,并距离第一光电组的距离为100-300cm的位置处,所述第一光电组、第二光电组的检测光线相互水平,并平行于地面;
所述第一光电组、第二光电组、及安全灯分别与所述芯片终端连接。
进一步地,所述人脸行为模式预设包括眼部区域动作、嘴巴区域动作。
本发明的有益之处:应用本发明所述模式识别系统及识别方法,在扫描模式的场景中,利用所述模式识别系统,通过一体化芯片终端神经网络的分析能力、自学习和自适应能力,根据识别的人物面部行为模式与预设行为模式进行匹配比对,并将相应的识别结果通过UART串行通讯端口输出。提高神经网络处理识别准确度,并在门禁安防中通过人物面部识别、及面部动作模式识别,模式识别动作小,极大提高所述识别系统的识别系统的流畅度、及门禁安防的安全性。
附图说明
图1为本发明第一实施例所述模式识别系统的结构框图;
图2为本发明第一实施例所述神经处理单元的结构框图;
图3为本发明第二实施例所述识别方法的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
相反,本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本发明有更好的了解,在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
如图1所示,为本发明第一实施例的整体结构示意图,该实施例提供了基于神经网络的模式识别系统,所述识别系统包括一个芯片终端1、图像传感单元2、神经网络处理单元3、及一个UART串行通讯端口4,所述芯片终端1用于承载、控制所述图像传感单元2、神经网络处理单元3、及UART串行通讯端口4,所述图像传感单元2用于获取用户行为模式的图像,所述神经网络处理单元3用于解析人物行为图像的内容信息,并通过UART串行通讯端口输出相应的字符、数据等识别结果;
所述芯片终端1上分别集成设置所述图像传感单元2、神经网络处理单元3、及UART串行通讯端口4,所述图像传感单元2与所述神经网络处理单元4逻辑连接,具体为,所述图像传感单元2为具有摄像功能的CMOS图像传感器,所述CMOS图像传感器通过像敏单元捕获图像,并将图像生成标准数据格式通过数据输出端口输出至所述神经网络处理单元3;
所述芯片终端1为本领域具有数据存储、数据计算等一系列功能的微型处理器,在此不做具体限定。
进一步地,所述识别系统固定设置在门口处,用于检测用户身份、及实现安防功能,所述识别系统还包括一个外壳体、人体测距单元,所述外壳体内固定设置所述芯片终端1,所述芯片终端1与所述人体测距单元连接,所述图像传感单元2的摄像方向朝向门口向外的一侧,用于测量用户与所述识别系统的距离;
所述人体测距单元与所述图像传感单元2连接,在所述人体测距单元检测到距离所述识别系统最近的人体信号时,将人体测距单元检测人体的距离反馈至所述图像传感单元2中,所述人体测距单元包括但不限于红外测距传感器、超声波测距传感器、人体接近传感器等,所述图像传感单元2根据人体测距单元反馈最接近所述识别系统的距离,进行再一次的图像对焦,并进行相应的图像捕捉;
所述神经网络处理单元3接收图像传感单元2的图像数据,并进行相关的神经网络处理,所述神经网络处理单元3包括图像输入模块31、预处理模块32、数据缓存模块33、神经处理单元阵列34、匹配模块35、指令存储模块36、数据传输网络37和全局控制模块38;
所述图像输入模块31与所述图像传感单元2通过数据传输网络37连接,将所述图像传感单元2捕获的图像输入所述神经网络处理单元3,所述图像输入模块31与预处理模块32通过数据传输网络37连接,所述预处理模块32主要将非标准格式图像进行标准化处理,初步生成神经处理单元阵列34可分析判断的图像,并对该图像去除干扰、模糊,改善给定图像的质量,生成非线性的特征图像,将经过预处理模块32初步处理的图像同时输入数据缓存模块33、及匹配模块35;
所述数据缓存模块33包括一个双页存储器,通过乒乓操作实现外部存储器和处理器高速数据交换,用于缓存图像输入模块发送的图像或网络权重数据,并转发到神经处理单元阵列34;用于缓存神经处理单元阵列34产生的运算结果,并转发到匹配模块35。
所述指令存储模块36,用于接受全局控制模块38、及图像传感单元2的指令。
所述数据传输网络37,用于给图像传感单元2、数据缓存模块33和神经处理单元阵列34提供数据传输通路,传输图像数据、网络权重数据或运算结果,所述的数据传输网络37由多条直接存储器访问DMA通道构成,处理器运行时启动多个直接存储器访问DMA通道进行数据传输。
所述匹配模块35接收所述神经处理单元阵列的分析结果,所述神经处理单元阵列34分析结果为第一数值;所述匹配模块35接收所述预处理模块32的图像后,进行初级图像分析,所述初级图像分析主要为定位校正图像、图像曝光色彩处理、及图像机器识别,所述初级图像分析为本领域的常规图像分析,从而获得可初步判断图像内容的第二数值;在本实施例中,所述第一数值、及第二数值的在匹配模块中,均以二进制形式表现,并在匹配模块35中进行比较判断,通过比较两者在相同长度的字符长度中,不同的字符数量占比,从而获得两者结果的容差度,经过大量实验数据获得,所述容差度为12%-20%时,所述神经处理单元阵列34对全局控制模块38输出识别结果,该识别结果稳定为准确的数值结果,若容差度>8%,则该图像重新进行图像识别分析,重新获取容差度。
进一步地,所述全局控制模块38,由指令存储模块36、译码电路381、配置缓存模块382、及输出模块383构成,全局控制模块28根据指令存储模块36中的指令利用译码电路381为其他模块提供控制逻辑,控制所述的图像输入模块31、数据缓存模块33、神经处理单元阵列34、指令存储模块36和数据传输网络37,用于对读入的图像或网络权重数据进行乘累加、卷积、比较运算、输出运算结果;全局控制模块38根据配置缓存模块382中存储配置信息实现对不同网络结构和类型的配置,所述输出模块383与UART串行通讯端口4连接,进行数据传输;
在所述匹配模块35确认第一数值与第二数值的容差度满足设定值时,将极小的文件图像识别结果,以相应的字符、数据,输出至输出模块383,所述输出模块383对相应的加密处理后,通过UART串行通讯端口4输出外部的读取设备,所述读取设备为本领域的常规设备,在此不做具体分析。
所述数据缓存模块33与神经处理单元阵列34通过数据传输网络37连接;所述的神经处理单元阵列34由多个神经处理单元341组成,每个神经处理单元341包括一个局部数据缓存单元A;所述图像输入模块31和指令存储模块36通过数据传输网络37连接;所述全局控制模块38通过控制总线连接其他所有模块。
所述神经处理单元阵列34,包括N*M个神经处理单元341,每个神经处理单元341都可以单独完成神经网络的所需的所有操作类型;神经处理单元阵列34用于接受数据缓存模块33发送的图像或网络权重数据,在运算类型和运算数制支持下进行运算操作,并将运算结果发送到数据缓存模块33;所述的神经处理单元阵列34支持的运算类型是指可选择以下运算类型中的任意一种,运算类型包括卷积乘累加运算、全连接乘加运算、多层感知器乘累加运算,池化运算和非线性函数运算;所述的神经处理单元阵列34支持的运算数制包括浮点数制和定点数制;所述的非线性函数运算是指,从分段线性表中读取斜率和截距后发送至乘累加器,完成非线性函数运算;神经处理单元341被排列成N行M列;N行分别编号为:第0行、第1行、…第N-1行,M列分别编号为:第0列、第1列…第M-1列,为完成最大池化操作,第0行和第1行对应,第2行和第3行对应,依次类推,神经处理单元阵列34内部设计了多个池化操作的专用池化通道,偶数行神经处理单元和对应的奇数行神经处理单元之间有M个专用池化通道;卷积运算完成时,偶数行运算单元和奇数行运算单元都会产生一个卷积运算结果,奇数行处理器单元利用所述专用池化通道将运算结果发送到偶数行神经处理单元进行池化操作。
如图2所示,神经处理单元341包括局部缓存单元A、运算单元B和控制单元C。
局部缓存单元A包括一个双页存储器,工作时进行乒乓操作交替读写,以保证数据高效传输,用于接收数据缓存模块发送的数据,将运算单元B。
运算单元B,包括乘累加器单元MAC、分段线性表和结果缓存器acc reg,乘累加器用于进行卷积运算、全连接运算、多层感知器运算、非线性函数运算、池化运算,产生的结果存储到结果缓存器acc reg中;进行非线性函数时将中间运算结果作为地址输入分段线性表中,分段性表输出斜率和截距,然后使用乘累加器MAC将中间运算结果和斜率相乘,所得乘积和截距相加,最后得到的加和作为非线性函数的输出值,将其输出到控制单元C中的rs0中。
控制单元C,包括参数可配置状态、rs0、rs1和rs out,可配置状态用于接受全局控制模块发送的配置信息和指令信息,按照配置信息的指示设置为不同的工作状态,以使系统适应不同神经网络类型和网络结构;根据指令信息中的操作码控制局部缓存单元A、运算单元B进行不同的操作逐层完成神经网运算,rs0用于接受运算单元B发送的非线性函数运算结果,偶数行神经处理单元中的rs1用于接受对应奇数行神经处理单元阵列发送的结果,根据rs0和rs1进行池化操作。
如图3所示,在本发明的第二实施例中,所述芯片终端1与外部的安防系统进行有线连接,所述安防系统为在接收到触发信号后,可以自动将图像传感单元2的图像数据传送、并存储至安防系统中,并自动报警;
基于神经网络的模式识别方法包括以下具体步骤:
步骤1预设系统:用户通过图像传感单元2进行人脸行为模式预设,在本实施例中,所述人脸行为模式预设为用户眼睛通过频繁眨眼方式,触发所述芯片终端1的报警信号,并将报警信号传送至外部的安防系统;
步骤2获取图像:所述人体测距传感单元检测到人体靠近所述识别系统,所述识别系统启动所述图像传感单元2获取当前的场景图像,并记录所述人体测距传感单元所检测到最接近所述识别系统的人物距离;
步骤3初步分析图像:所述图像传感单元2将图像输入神经网络处理单元3中间,进行处理,若识别结果是当前图像为一个人物的图像则执行步骤S4-S4.3,若识别结果是当前图像为至少两个人物时则执行步骤S5-S5.3;
步骤4图像传感单元2通过分析人物图像,根据两点图像特征、及距离特征,判断出人物的双眼位置,从而锁定人物的人脸位置;
步骤4.1所述图像传感单元2选择人脸位置后,再次连续获取人脸位置的图像特征,生成一段人脸特征的视频流数据,所述视频流时间为3-10s;
步骤4.2神经网络处理单元3对人脸特征视频流数据进行神经网络分析,在人脸位置处根据人物眼睛位置将人脸图像划分为眼部区域、及嘴部区域;
步骤4.3所述神经网络处理单元3根据人物双眼位置判定眼部区域,并以该眼部区域向下位置的6-12cm,界定为嘴部区域,所述神经网络处理单元3重点分析眼部区域、及嘴部区域的行为动作,并与步骤1的人脸行为模式进行相互匹配比对;
步骤5图像传感单元2通过分析人物信息后,再次根据人体测距传感单元的反馈数据,根据人体测距传感单元获得最接近识别系统的人物距离,再次进行摄像对焦,并重点捕捉最接近所述识别系统的人物的人脸图像特征;
步骤5.1所述图像传感单元2选择人脸位置后,再次连续获取人脸位置的图像特征,生成一段人脸特征的视频流数据,所述视频流时间为3-10s;
步骤5.2在人脸位置处根据人物眼睛位置将人脸图像划分为眼部区域、及嘴部区域;
步骤5.3所述神经网络处理单元3根据人物双眼位置判定眼部区域,并以该眼部区域向下位置的6-12cm,界定为嘴部区域,所述神经网络处理单元3重点分析眼部区域、及嘴部区域的行为动作;
步骤6所述神经网络处理单元3将视频流数据,针对眼部区域、及嘴部区域,与步骤1的人脸行为模式进行进行深度人脸行为模式识别;
步骤7神经网络处理单元3输出识别结果与模式预设行为不一致时,则执行步骤8;
若与模式预设的行为结果一致时,所述芯片终端1触发相应的动作指令,并将相应的视频流数据传送至安防系统,完成所述识别系统的预设动作,所述安防系统处理所述识别系统的自动报警动作;
在步骤1预设系统所述模式预设的行为包括但不限于眨眼睛、单闭一只眼睛、张大嘴巴等动作;
步骤8所述识别系统确定当前用户为安全身份,自动打开门禁,允许进入门内。
所述识别系统与门的电子锁为本领域常规的自动开关门方式,在此不做具体限定。
在另一实施例中,所述识别系统还包括用于计数进入门内人数的计数系统,所述识别系统包括第一光电组、及第二光电组、及安全灯,所述第一光电组设置在门的内侧处,仅以在门开关时,不影响光电组计数统计的距离为准,所述第二光电组设置在远离门的方向上,并距离第一光电组的距离为100-300cm的位置处,所述第一光电组、第二光电组的检测光线相互水平,并平行于地面,用于检测在门开口进入门内的人数,所述第一光电组、第二光电组分别与芯片终端1连接,并实时反馈检测数据,所述安全灯与所述芯片终端1连接,所述安全灯在门内侧还连接一个物理开关,用于用户手动开关所述安全灯,所述识别系统在上述识别步骤大部分相同,唯不同之处在于,在所述步骤3中,所述神经网络处理3在识别当前图像人物时,根据图像中的人脸特征分析,统计了图像中人物数量,并将人物数量界定为图像统计人物数量;
所述第一光电组、第二光电组为本领域的常规装置,在此不做具体限定;
在所述识别系统通过上述步骤确定用户的安全身份后,打开门,用户依次通过所述第一光电组、第二光电组,所述第一光电组、第二光电组依次被触发,从而统计通过门口的人数,此处人物数量数据为光电统计人物数量,所述芯片终端1将图像统计人物数量与光电统计人物数量进行比较判断,若芯片终端1判定图像统计人物数量与光电统计人物数量一致,则判定为安全情况,所述安全灯为关闭状态,若芯片终端1判定图像统计人物数量与光电统计人物数量不一致时,则判定为非安全情况,此时安全灯亮起,若在合理时间内,用户没有手动将安全灯关闭,所述芯片终端1触发报警信号,进行自动报警动作,若在合理时间内,用户手动将安全灯关闭,所述芯片终端1判定为识别误判信息,将不触发报警信号,在实际应用所述识别过程中,通过两种不同原理的人数统计,准确计算进入门内的人数,保证所述识别系统的准确安全性,所述识别系统还设置有安全灯,克服了因为身高原因而导致所述识别系统没有完全识别出人物数量的的情况,使得所述识别系统适用于多种门禁安防场景;
应用神经网络的模式识别系统的场景中,通过一体化芯片终端神经网络的分析能力、自学习和自适应能力,自动在图像中检测人物动态表情特征,并进行及相应的行为分析、结果输出等一系列算法运算,所述识别系统根据神经网络处理的大数据图像处理能力,提高神经网络处理识别准确度,并在门禁安防中通过人物面部识别、及面部动作模式识别,模式识别动作小,隐蔽性强,通过图像识别与视频流数据的结合应用,极大提高所述识别系统的识别系统的流畅度、及门禁安防的安全性。
对于本领域的普通技术人员而言,根据本发明的教导,在不脱离本发明的原理与精神的情况下,对实施方式所进行的改变、修改、替换和变形仍落入本发明的保护范围之内。