基于人脸识别和猫眼的智能锁系统的制作方法

1.本发明涉及一种基于人脸识别和猫眼的智能锁系统，属于智能锁控制技术领域。


背景技术：

2.随着科技的发展，智能锁广泛应用于家庭、办公室等场所。现有的智能锁系统普遍存在功能单一，操作不方便等缺点。


技术实现要素：

3.本发明为了克服现有技术存在的不足，提供一种基于人脸识别和猫眼的智能锁系统。
4.本发明可以通过采取以下技术方案予以实现：
5.一种基于人脸识别和猫眼的智能锁系统，包括人脸识别模块、猫眼模块、锁控模块和wifi图传模块，所述人脸识别模块分别与所述猫眼模块和所述锁控模块连接，所述猫眼模块和所述锁控模块分别与wifi图传模块连接，
6.所述人脸识别模块将对人脸识别信息传送至锁控模块和猫眼模块；
7.所述锁控模块根据人脸识别模块提供的人脸识别信息对智能锁进行锁控操作并将锁控信息通过所述wifi图传模块传送至云端，所述云端将锁控信息传到客户端；
8.所述猫眼模块将人脸识别模块的人脸图像信息进行显示或通过所述wifi图传模块传到云端，所述云端将人脸识别图像传送到客户端；
9.所述客户端与所述云端实现交互，并根据锁控信息和/或人脸图像信息发生控制指令至云端，所述云端将控制指令通过wifi图传模块送到锁控制模块和/或猫眼模块；
10.所述锁控模块根据控制指令进行锁控操作或控制人脸识别模块进行视频对话；
11.所述猫眼模块根据控制指令进行显示。
12.优选的是，所述客户端为微信小程序或手机app。
13.优选的是，所述人脸识别模块包括摄像头组件和控制组件，所述摄像头组件包括ir摄像头、补光灯和rgb摄像头，所述控制组件包括主控制器、电源管理单元和存储单元，
14.所述ir摄像头和所述rgb摄像头与所述主控制器连接，将拍摄到的人脸的ir图像和rgb图像经图像处理单元处理后送至所述主控制器；
15.所述补光灯包括上下设置并封装一起的白光led灯珠和红外led灯珠，所述补光灯与所述ir摄像头和所述rgb摄像头集成在一起，根据环境光线条件给所述ir摄像头和所述rgb摄像头进行补光；
16.所述主控制器对ir图像和rgb图像进行红外图像活体检测和彩色图像活体检测，若ir图像和rgb图像均符合活体标准后，再对ir图像和rgb图像进行与数据库对比进行识别，并输出识别结果；所述主控制器将识别结果输送至所述锁控模块和将ir图像和rgb图像输送至所述猫眼模块，或接收所述猫眼模块的控制指令来驱动所述ir摄像头、所述补光灯和所述rgb摄像头工作；
17.所述电源管理单元与所述主控制器连接，为所述主控制器提供电源；
18.所述存储单元与所述主控制器连接，用于存储数据和程序。
19.优选的是，所述人脸识别模块与所述猫眼模块通过usb接口连接。
20.优选的是，所述人脸识别模块与所述锁控模块之间通过第一uart接口连接。
21.优选的是，所述猫眼模块与所述wifi图传模块之间通过spi接口连接。
22.优选的是，所述锁控模块与所述wifi图传模块通过第二uart接口连接。
23.与现有技术相比较，本发明的有益效果是：本发明通过人脸识别模块将人脸识别信息传送至锁控模块，锁控模块控制智能锁操作同时将操作信息传送到wifi图传模块，人脸识别模块将图像信息传送到猫眼模块，猫眼模块再将图像信息传送至wifi图传模块，wifi图传模块将智能锁的操作信息和图像信息传送云端，方便监控和远程操作；同时，人脸识别的智能化和猫眼操作的人工化结合，使整个智能锁系统更方便实用。
附图说明
24.图1是本发明的基于人脸识别和猫眼的智能锁系统的整体结构框图；
25.图2是本发明的人脸识别模块的结构框图；
26.图3是本发明的摄像头组件的结构示意图；
27.图4是本发明的人脸识别模块的工作流程图；
28.图5是本发明的猫眼模块的结构框图；
29.图6是本发明的锁控模块的结构框图；
30.图7是本发明的wifi图传模块的结构框图。
具体实施方式
31.以下结合附图对本发明的具体实施方式作详细描述。
32.实施例1
33.如图1至图7所示，本实施例的基于人脸识别和猫眼的智能锁系统包括人脸识别模块3、猫眼模块4、锁控模块5和wifi图传模块6，所述人脸识别模块3分别与所述猫眼模块4和所述锁控模块5连接，所述猫眼模块4和所述锁控模块5分别与wifi图传模块6连接，其中，所述人脸识别模块3与所述猫眼模块4通过usb接口连接，所述人脸识别模块3与所述锁控模块5之间通过第一uart接口连接，所述猫眼模块4与所述wifi图传模块6之间通过spi接口连接，所述锁控模块5与所述wifi图传模块6通过第二uart接口连接；
34.所述人脸识别模块3将对人脸识别信息传送至锁控模块5和猫眼模块4；
35.所述锁控模块5根据人脸识别模块3提供的人脸识别信息对智能锁进行锁控操作并将锁控信息通过所述wifi图传模块6传送至云端，所述云端将锁控信息传到客户端；所述客户端为微信小程序或手机app等；
36.所述猫眼模块4将人脸识别模块3的人脸图像信息进行显示或通过所述wifi图传模块6传到云端，所述云端将人脸识别图像传送到客户端；实现开门记录、抓拍图片、异常报警等信息能够实时推送给手机app(微信小程序或手机app)
37.所述客户端与所述云端实现交互，并根据锁控信息和/或人脸图像信息发生控制指令至云端，该控制指令如开锁，设置时间，查询开门记录，报警记录，用户数据等，所述云
端将控制指令通过wifi图传模块6送到锁控制模块5和/或猫眼模块4；
38.所述锁控模块5根据控制指令进行锁控操作或控制人脸识别模块3进行视频对话，所述猫眼模块4根据控制指令进行显示，两者配合实现远程开门、视频对讲等功能。
39.在本实施例中，所述人脸识别模块3包括摄像头组件1和控制组件2，所述摄像头组件包括ir摄像头13、rgb摄像头11和补光灯12，所述控制组件2包括主控制器21、电源管理单元27、存储单元26，
40.所述ir摄像头13和所述rgb摄像头11与所述主控制器21连接，将拍摄到的人脸的ir图像和rgb图像经图像处理单元处理后送至所述主控制器21；
41.所述补光灯12与所述ir摄像头13和所述rgb摄像头11集成在一起且分别与所述主控制器21连接，根据环境光线条件给所述ir摄像头13和所述rgb摄像头11进行补光。
42.其中，rgb摄像头11和ir摄像头13放置在模组支架14的两端，补充光12放置在模组支架14的中间处，该补充光12将红外led灯珠121和白光led灯珠122封装在一起，优选的采用上下结构封装，其中优选的将白光led灯珠122放置在上方，可有效保证白光和红外光都能在中心位置的均匀覆盖；两个led灯珠的角度覆盖摄像头的视窗范围，优选的采用120度大角度灯珠；优选的补光灯12与所述ir摄像头13和所述rgb摄像头11在同一水平面上；摄像头组件1与核心板之间优选的通过fpc线连接。
43.所述主控制器21对ir图像和rgb图像进行红外图像活体检测和彩色图像活体检测，若ir图像和rgb图像均符合活体标准后，再对ir图像和rgb图像进行与数据库对比进行识别，并输出识别结果；
44.所述电源管理单元27与所述主控制器21连接，为所述主控制器21提供电源；
45.所述存储单元26与所述主控制器21连接，用于存储数据和程序。
46.所述ir摄像头13与所述主控制器21之间通过dvp接口连接，所述rgb摄像头11与所述主控制器21之间通过mipi接口连接，方便主控制器21用于连接ir+rgb摄像头获取图像信息。
47.所述控制组件2还包括与所述主控制器21连接的语音接口28、usb接口22、uart接口23、lcd接口24和tp接口25，其中，lcd接口24用于连接显示屏，显示摄像头获取的图像信息及菜单信息。usb接口22用于与猫眼模块4通信，通过uvc协议实现图像传输。uart接口23用于与锁控模块5通信，传输人脸识别结果相关信息。tp接口25用于外接触摸屏，可实现人机交互输入功能。语音接口28用于外接喇叭，输出语音信息。
48.在本实施例中，如图5所示，所述猫眼模块4包括其自身的主控制器41以及与之连接的电源管理单元42、存储单元43、lcd接口44、usb接口45、spi接口46和sd卡接口47。主控制器41实现上述猫眼模块4的主要功能；电源管理单元42用于猫眼模块4的电源控制；存储单元43用于程序和数据的存储；lcd接口44用于连接显示屏，显示图像视频及猫眼模块菜单功能；usb接口45用于与人脸识别模块通信，通过uvc协议实现图像传输。spi接口46用于与wifi图传模块通信，实现图像及视频高速传输功能；sd卡接口47用于外部sd卡存储功能，可以存储抓拍照片及视频。
49.如图6所示，所述锁控模块5包括其自身的主控制器51以及与之连接的电源管理单元52、存储单元53、显示屏54、语音接口55、电动驱动接口56、uart1接口57、uart2接口58、uart3接口59、nfc510和触摸按键511。主控制器51实现锁控模块5的主要功能，电源管理单
元52用于锁控模块的电源控制；存储单元53用于程序和数据的存储；显示屏54用于人机交互显示界面；语音接口55用于外接喇叭播放语音信息；电机驱动接口56用于驱动半自动电机；uart1接口57用于接指纹模块；uart2接口58用于接人脸识别模块；uart3接口59用于全自动锁控板通信；nfc 510用于智能锁刷卡功能；触摸按键511用于人机交互输入功能。
50.如图7所示，所述wifi图传模块6包括其自身的主控制器61以及与之连接的电源管理单元62、内部存储单元63、spi接口64和uart接口65。主控制器61实现wifi图传模块6的主要功能；电源管理单元62用于wifi图传模块的电源控制；内部存储单元63用于程序和数据的存储；spi接口64用于与猫眼模块的通信；uart接口65用于与锁控模块的通信。
51.在本实施例中，人脸识别模块的工作过程如下：
52.(1)ir摄像头13和rgb摄像头11对人脸进行拍摄，所述ir摄像头13和所述rgb摄像头11分别进行测光，检测环境光线条件，并根据各自测得的数据分别进行智能动态曝光调整，拍摄得到ir图像和rgb图像并经图像处理单元处理后送至主控制器21；
53.(2)所述主控制器21的ir图像活体检测单元和rgb图像活体检测单元分别对ir图像和rgb图像进行活体检测，若ir图像活体检测单元和rgb图像活体检测单元的检测结果均为活体，即进行下一步；若ir图像活体检测单元和rgb图像活体检测单元的检测结果中任一个为非活体，则输出检测不符合结果；
54.(3)所述主控制器21的ir图像识别单元和rgb图像识别单元根据数据库里的人脸信息对ir图像和rgb图像进行人脸识别，若未匹配到数据库中人脸信息，则输出未匹配到人脸信息；若匹配到数据库中某一人脸信息，则输出相应的匹配人脸信息。
55.在上述过程中，具体操作如下：
56.1、模组上电启动后，关闭补光灯12，用rgb摄像头11采集一幅图像，计算图像相应的亮度均值x，当x大于设定阈值时判断环境光为强光环境，将ir摄像头13的ir传感器的曝光值等参数通过iic初始化为对应的预设值，同时调整rgb摄像头11的rgb传感器的曝光值等参数；
57.2、ir传感器采用曝光值1初始化完成，在初始化生效前采集一帧rgb图像trgb1，并定位人脸位置，若定位到人脸则调用rgb防伪模型进行rgb活体防伪判断，若未定位到人脸信息(此时可能为黑暗环境或人脸处于背向光线状态，采集到到人脸图像很黑)则等待ir传感器到人脸定位信息；
58.3、ir传感器生效，在接收到帧同步(vsync)信号开始采集图像时，将红外led灯瞬间开启，亮度调整到100％，ir传感器采集第一帧有效图像tir1，该ir传感器优选的cmos采用全局曝光器件，若采用非全局曝光cmos时需严格按采集图像时序，保持led灯在cmos曝光期间亮度一致。
59.4、将红外led灯珠亮度快速调整到30％，ir传感器采用曝光值2进行初始化；
60.5、ir传感器初始化生效期间，根据ir图像tir1定位人脸位置信息，如未定位到人脸则在采集完下一帧图像后继续进入第3步骤循环。若定位到人脸信息，则将tir1定位到的人脸位置信息映射到trgb1图像上，对该人脸区域进行亮度判断，重新调整rgb传感器的曝光值等参数，有效针对该脸部区域进行单独曝光。
61.由于传统自动曝光针对的是整幅图像的调整，当在有较强的外界光干扰时，由于人脸在整幅图像中的比重较小，因此传感器往往会将背景调暗，此时人脸会跟着变的更暗，
导致人脸定位失败。而通过该方法即使利用普通的ir cmos传感器也可以做得针对局部的有效成像，从而提升在强光下的人脸定位及活体防伪判断。
62.6、在红外led灯珠亮度在30％时，采集到红外图像tir2，基于tir1和tir2进行活体检测判断，主要流程如下：
63.将两幅图像以鼻子为中心，定位出人脸区域，并划分成9宫格；
64.分别计算出两幅图像对应宫格的亮度均值lxy；
65.将两幅图像对应宫格进行方差运算，对应公式得出对应宫格的均方差s(σ)y；
66.综合判断每个宫格的均方差，当s(σ)大于设定的阈值时，判断为假体，否则为活体。
67.针对tir1和tir2的图像通过大量采样后送到神经网络算法中训练后，实际效果会更好。
68.7、根据trgb2图像调用神经网络rgb防伪模型进行判断，若判断图像质量差无法判断则开启白光led灯珠进行瞬间补光，并采集新的图像trgbn，再次调用rgb防伪模型进行活体检测判断，若为假体则返回3进行重复流程；
69.8、ir图像和rgb图像活体检测同时通过，则进入图像识别流程。分别对ir和rgb图像进行比对识别，若识别通过则流程结束。
70.ir图像识别的步骤如下：注册图像处理工序，根据所输入的注册人脸图像生成注册数据；和识别图像处理工序，对采集的人脸图像进行识别，其中，所述注册图像处理工序包括：注册人脸图像特征提取步骤，由多个注册人脸图像提取注册人脸图像的特征，而生成注册数据，所述识别图像处理工序包括：转换图像生成步骤，根据预先设定的学习信息，由待识别人脸ir图像得到转换图像；遮挡区域确定步骤，根据所述待识别人脸ir图像和所述转换图像的差异图像，得到因遮挡物而产生的差异部分；待识别人脸图像特征提取步骤，对所采集的待识别人脸图像提取待识别人脸图像的特征；和相似度计算评价步骤，根据所述注册人脸图像的特征和所述待识别人脸图像的特征，舍去在所述遮挡区域确定步骤中识别的所述差异部分，而计算所述注册人脸图像和所述待识别人脸图像的相似度；所述学习信息为，根据在无遮挡情况下对人脸图像进行拍摄的多个学习样本图像，而生成的从样本图像空间到注册人脸图像特征空间的转换公式；在所述转换图像生成步骤中，图像根据所述转换公式，由所述待识别人脸图像得到无遮挡人脸图像空间的特征，再使用所述转换公式的逆运算转回到原空间，得到相似无遮挡人脸的转换图像；在所述遮挡区域确定步骤中，将所述待识别人脸图像减去所述转换图像，生成所述差异图像，将所述差异图像二值化后，根据差异图像中像素的大小和分布生成所述差异部分。
71.rgb图像识别的步骤可跟ir图像识别步骤相同，在此不再描述。
72.上述ir图像活体检测、rgb图像活体检测、ir图像识别和rgb图像识别还可以采用其他常用方法，只要能识别活体和人脸图像即可。
73.在实际使用过程中，人脸识别和图像传输可以同时进行，如自动抓拍人脸识别智能锁。当有人在门前时，智能锁的人脸识别模块自动抓拍图像并经猫眼模块和wifi图传模块上传到云端，同时进行人脸识别。系统被唤醒后，人脸识别模块开始工作，rgb摄像头采集
第一张图像，根据图像进行自动曝光调整，多帧图像被存储在主控制器的缓存中，并通过usb接口输出给猫眼模块。人脸识别计算时不破坏原有图像，保证了图像边采集传输边识别。该系统将独立的猫眼模块用人脸识别模块的rgb摄像头来实现，同时在软件上实现图像采集后传输与识别同时进行。
74.以上结合较佳实施例对本发明进行了描述，但本发明并不局限于以上揭示的实施例，而应当涵盖各种根据本发明的本质进行的修改、等效组合。