技术特征：
1.一种基于人脸识别的智能门锁，其特征在于，包括信息采集端、信息处理端及智能开锁模块；所述信息采集端获取视频图像以及传感器数据；信息处理端对获取的视频图像及传感器数据进行矩阵向量化；智能开锁模块对信息处理端的信息采用卷积神经网络处理，当满足设定阈值时则开锁，否则继续保持闭锁状态；所述传感器数据包括声音传感器获取的声音信息，声音信息y
n
(t)由说话声音分量x
n
(t)和脚步声音分量v
n
(t)组成，声源信息为s(t),声源反馈参数为g
n
,n＝1,2，t为时间，声音信息满足：y
n
(t)＝s(t)*g
n
+v
n
(t)＝x
n
(t)+v
n
(t)；所述矩阵向量化具体为，将获取的时间段t内的视频图像与传感器数据，进行特征提取形成矩阵向量h，将矩阵向量h输入至训练好的卷积神经网络；所述卷积神经网络采用损失函数为q：l
i
＝y
i
log(p
i
)+(1-y
i
)(1-log(p
i
))其中，p
i
表示第i个视频图像样本中是房主本人人脸及躯干的概率，y
i
表示为房主本人的人脸及躯干特征参数，n表示将视频图像分成n段，s表示幅度冗余值，由房主人脸及躯干的特征确定，m表示角度冗余值，cosθ
i
表示第i个视频图像样本向量与房主本人特征向量的余弦值。2.根据权利要求1所述的一种基于人脸识别的智能门锁，其特征在于，所述卷积神经网络由三层网络结构组成，第一层是p-net，第二层是r-net，第三层是o-net，所述p-net将输入数据构建5层特征金字塔；所述o-net输出最终的人脸和躯干候选框、人脸和躯干置信度和关键点信息。3.根据权利要求1所述的一种基于人脸识别的智能门锁，其特征在于，所述信息处理端采用csi摄像机通过移动行业处理器接口mipi连接到配备了深度学习库的jetson nano嵌入式系统，通过gpio接口连接。4.根据权利要求1所述的一种基于人脸识别的智能门锁，其特征在于，所述矩阵向量化包括对获取的视频图像数据以及传感器数据进行数字化，具体的将视频图像数据的像素、坐标、采集时间以及传感器数据的说话声音、脚步声音、脚步频率值进行编码形成矩阵向量。5.根据权利要求1所述的一种基于人脸识别的智能门锁，其特征在于，所述当满足设定阈值时则开锁，否则继续保持闭锁状态，即通过卷积网络输出计算结果的置信度，当矩阵向量h与数据服务器存储的矩阵向量相似度满足设定阈值时，则开锁，否则闭锁。6.一种基于人脸识别的智能门锁开锁方法，其特征在于，包括步骤：s1：信息采集，信息采集端获取视频图像以及传感器数据；s2：信息处理，信息处理端对获取的视频图像及传感器数据进行矩阵向量化；s3：智能开锁，智能开锁模块对信息处理端的信息采用卷积神经网络处理，当满足设定阈值时则开锁，否则继续保持闭锁状态；其中，所述传感器数据包括声音传感器获取的声音信息，声音信息y
n
(t)由说话声音分量x
n
(t)和脚步声音分量v
n
(t)组成，声源信息为s(t),声源反馈参数为g
n
,n＝1,2，t为时间，声音信息满足：y
n
(t)＝s(t)*g
n
+v
n
(t)＝x
n
(t)+v
n
(t)；所述矩阵向量化具体为，将获取的时间段t内的视频图像与传感器数据，进行特征提取形成矩阵向量h，将矩阵向量h输入至训练
好的卷积神经网络；所述卷积神经网络采用损失函数为q：l
i
＝y
i
log(p
i
)+(1-y
i
)(1-log(p
i
))其中，p
i
表示第i个视频图像样本中是房主本人人脸及躯干的概率，y
i
表示为房主本人的人脸及躯干特征参数，将视频图像分成n段，s表示幅度冗余值，由房主人脸及躯干的特征确定，m表示角度冗余值，cosθ
i
表示第i个视频图像样本向量与房主本人特征向量的余弦值。7.根据权利要求6所述的一种基于人脸识别的智能门锁开锁方法，其特征在于，所述卷积神经网络由三层网络结构组成，第一层是p-net，第二层是r-net，第三层是o-net，所述p-net将输入数据构建5层特征金字塔；所述o-net输出最终的人脸和躯干候选框、人脸和躯干置信度和关键点信息。8.根据权利要求7所述的一种基于人脸识别的智能门锁开锁方法，其特征在于，所述信息处理端采用csi摄像机通过移动行业处理器接口mipi连接到配备了深度学习库的jetson nano嵌入式系统，通过gpio接口连接。9.根据权利要求7所述的一种基于人脸识别的智能门锁开锁方法，其特征在于，所述矩阵向量化包括对获取的视频图像数据以及传感器数据进行数字化，具体的将视频图像数据的像素、坐标、采集时间以及传感器数据的说话声音、脚步声音、脚步频率值进行编码形成向量矩阵。10.根据权利要求7所述的一种基于人脸识别的智能门锁开锁方法，其特征在于，所述当满足设定阈值时则开锁，否则继续保持闭锁状态，即通过卷积网络输出计算结果的置信度，当矩阵向量h与数据服务器存储的矩阵向量相似度满足设定阈值时，则开锁，否则闭锁。
技术总结
一种基于人脸识别的智能门锁及开锁方法，包括信息采集端，信息处理端，智能开锁模块；所述信息采集端获取视频图像以及传感器数据；信息处理端对获取的视频图像及传感器数据进行矩阵向量化；智能开锁模块对信息处理端的信息采用卷积神经网络处理，当满足设定阈值时则开锁，否则继续保持闭锁状态。本发明将获取的时间段T内的视频图像与传感器数据，进行特征提取形成矩阵向量H，将矩阵向量H输入至训练好的卷积神经网络；所述卷积神经网络采用损失函数为Q；计算损失函数中，通过将参数L
技术研发人员：龙文瑞 卢英桂 龙梁容
受保护的技术使用者：深圳牛智技术科技有限公司
技术研发日：2022.07.15
技术公布日：2022/10/20