一种基于卷积神经网络和多人脸识别的课堂考勤方法与流程

本发明涉及一种基于多人脸识别的课堂考勤方法，特别是一种基于卷积神经网络和多人脸识别的课堂考勤方法。

背景技术：

中国大学生的课堂考勤一直是一个未能真正解决的问题，课堂人工考勤的方式耗时多，还很难避免代人考勤等问题。此外，使用额外设备考勤的方式，例如：指纹考勤，手机考勤，扫二维码考勤，摄像头自动捕捉考勤等，它们都或多或少的衍生出一些问题，例如：时耗长、准确度不高、或者价格不菲，效率低下。目前，最有希望的方向是使用人工智能来辅助课堂考勤。

文献“基于人脸识别的移动课堂考勤系统的设计与实现[j].软件，2018，39(01)：5-8.”公开了一种基于多人脸识别的考勤方法。该方法拍摄一张全班合照，上传到其自建系统，进行人脸识别，得出考勤结果。其自建系统需要提前进行人脸图像采集与预处理，检测与定位，特征提取，最后才可以实现人脸图像匹配与识别。其中利用了主成分分析技术pca，测量人脸图像中眼睛、颧骨、嘴巴、下巴等之间的间距来进行身份认证。该方法的主要问题是实现过程复杂，算法过时，效果不佳，准确率仅有75％，而且其严重缺乏相关的实验数据样本，仅有的数据样本只有一个25人的班级，无法达到真正的实用价值。

一种基于卷积神经网络和多人脸识别的课堂考勤方法能够有效的解决此类课堂考勤的问题。

技术实现要素：

为了解决现有的基于人脸识别的课堂考勤系统的问题，如：设备昂贵，考勤速度慢，准确率低，容易受环境光照，照片噪点、姿态和表情等的影响。本发明提供了一种基于卷积神经网络和多人脸识别的课堂考勤方法。本方法基于解决人脸检测和人脸识别两个大模块，分别使用基于卷积神经网络的yolov3算法，和用于深度人脸识别的arcface算法也称insightface算法。yolov3网络和insightface网络使用公开的海量数据集提前训练好，然后用来检测和识别课堂考勤情况。本方法不需要训练目标系统中的数据，使用开源的人脸数据集widerface训练即可，训练好的网络可以直接使用。此方法的特点是速度极快，准确率极高，额外成本几乎为0。yolov3一秒可以检测30张照片并切割出人脸图像，insightface的识别速度同样是毫秒级别，准确率都存99％以上，远大于人眼的97％。并且可以不受光照、噪点、姿态和表情等的影响。可以很好的解决大学课堂考勤耗时多又缺乏准确率的问题。

为了解决上述技术问题，如图2所示，本发明采用的技术方案为：一种基于卷积神经网络和多人脸识别的课堂考勤方法，包括步骤，

s01通过手机采集全班正脸清晰合照，并将采集的全班正脸清晰合照上传至云端服务器；

s02通过卷积神经网络yolov3对全班正脸清晰合照进行人脸识别和人脸分割，得到分割后的全部正脸小照片；

s03通过卷积神经网络insightface将全班正脸小照片与学生人脸数据库进行比对，分别得到全班每个学生的考勤情况，学生人脸数据库，由两部分构成，分别是学校教务系统已有的人脸照片或者是学生自己上传的正脸人像照片；

s04再将全班每个学生的考勤情况发送至学生考勤系统，得到全班考勤结果；

s05将全班考勤结果发送至手机客户端供老师和学生查看，手机客户端可以是app或者微信小程序。

步骤s01中，所述由手机采集全班正脸清晰合照无需使用额外设备。

步骤s02中，所述yolov3是一种基于卷积神经网络的目标检测分割网络，该网络可高效地检测和分割人脸合照，并得到分割后的小照片。

步骤s03中，insightface是一种基于卷积神经网络的人脸识别网络，其可与已有的学生人脸数据库进行高效的人脸比对和识别。

步骤s04中，学生考勤系统获取insightface处理后的人脸比对和识别结果，得到全班考勤结果。

步骤s05中，拥有可以实时查看结果的app或者微信小程序手机客户端，可以与学生及时反馈更正，保证时效性。

一种基于卷积神经网络和多人脸识别的课堂考勤方法，包括手机客户端、云端服务器、人脸检测分割卷积神经网络yolov3、人脸比对识别卷积神经网络insightface、学生考勤模块、学生人脸数据库。

附图说明

图1为本发明的原理框图。

图2为本发明的流程示意图。

图3为本发明的人脸数据库组成程流程图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图予以详细说明。

本发明最关键的构思在于：课堂多人脸考勤无需额外的图像采集设备亦或是云端上传的设备，普通的个人手机就可以办到，只需要上课前使用手机随手拍摄一张全班正脸合照，上传到云端服务器，利用卷积神经网络yolov3和insightface处理后得到每个学生的正脸小照片，与学生人脸数据库比对识别后即可得到考勤结果。之所以采用手机替代复杂的外设，主要是基于现有的卷积神经网络的飞速发展，其精度和效率已经远远超出课堂多人脸考勤的需求。采用手机拍摄合照的方式可以有效的避免学生代替点到，极大地节约上课点到的时间和精确度。

本发明提供了一种基于卷积神经网络和多人脸识别的课堂考勤方法，包括学生人脸数据库的建立流程和考勤系统工作流程；

所述学生人脸数据库的建立流程，如图3所示，包括步骤，

s1)云端服务器直接获取学校教务系统已有的学生人脸数据库；

s2)当学校人脸数据库无法满足要求时，学生自行注册进行人脸数据采集，更新到云端服务器的人脸数据库；

所述考勤系统工作流程包括将采集的全班正脸合照通过卷积神经网络yolov3和insightface处理后，得到每个学生的正脸小照片与云端服务器的人脸数据库进行比对，并得到考勤结果的过程。

从上述描述可知，本发明的有益效果在于：只需要上课前使用手机随手拍摄一张全班正脸合照，上传云端服务器后即可得到考勤结果。该方法简单且可以有效的避免学生代替点到，极大地节约上课点到的时间和精确度。此方法的特点是速度快，准确率高，额外成本几乎为0。yolov3一秒可以检测30张照片并切割出人脸图像，insightface的识别速度同样是毫秒级别，准确率都在99％以上，远大于人眼的97％，并且可以不受光照、噪点、姿态和表情等的影响，可以很好的解决大学课堂考勤耗时多又缺乏准确率的问题。

实施例1：

上述考勤系统工作流程还包括手机移动端更正考勤结果，如图1所示，手机移动端更正考勤结果包括以下步骤：

s11)教师课前使用手机随手拍摄一张全班正脸合照，上传云端服务器；

s12)云端服务器通过卷积神经网络处理合照；

s13)自动考勤系统接收合照处理结果并得到考勤结果；

s14)教师或学生手机移动端获取考勤结果；

s15)教师或学生对考勤结果有异议，可重新拍摄合照并重复上面的步骤，或者教师手动更正考勤结果；

s16)结果无异议，输出最终考勤结果供教师和学生查看。

实施例2：

进一步的，上述手机移动端更正考勤结果中通过卷积神经网络yolov3和卷积神经网络insightface实现步骤s12，

卷积神经网络yolov3主要用于目标检测，是yolo的第三个版本也是最新版本，由华盛顿大学的josephredmon和alifarhadi提出，通过在yolo中加入设计细节的改进，新模型在取得相当准确率的情况下实现了检测速度的极大提升，一般请款下它比r-cnn快1000倍，比fastr-cnn快100倍，现如今成为了开源通用目标检测算法的首选；

卷积神经网络insighfacet基于arcface由jiaguo和jiankangdeng提出，insightface的代码是在mit许可下发布的，对于学术和商业用途没有限制，其网络主干包括resnet，mobilefacenet，mobilenet，inceptionresnet_v2，densenet，dpn，损失函数包括softmax，sphereface，cosineface，arcface和triplet(euclidean/angular)loss，目前insightface在人脸识别领域，不管是效果还是性能都明显领先。

实施例3：

上述学生人脸数据库的建立流程中还包括人脸注册流程，该人脸注册流程包括步骤：

s21)学生打开手机考勤app或微信小程序；

s22)采集清晰正面人脸图像；

s23)使用yolov3和insightface对人脸图像进行处理并得到分割后的人脸小图片；

s24)将分割后的人脸小图片与学号和姓名等关键信息存入人脸数据库中。

实施例4：

本专利的具体流程步骤包括图像采集，上传服务器，多人脸检测分割，多人脸比对识别，返回考勤情况，缺勤人员确认，最终信息上传至服务器。

下面，就本专利的具体流程步骤进行说明：

s31)图像采集

使用普通千元手机拍摄一张清晰的全班正脸合照，被采集者无需注意表情的控制，教师也无需关注环境的光照、阴影等其他外在条件。

s32)上传服务器

通过手机移动流量或者wifi网络，将采集的清晰正脸图像，上传至云端服务器。

s33)多人脸检测分割

yolov3对接收到的图像进行人脸检测和人脸分割操作。

s34)多人脸比对识别

insightface将yolov3处理后的人脸分割小图像与人脸数据库进行人脸比对和识别。通常情况下，这个人脸数据库不需要额外创建，现如今，几乎所有的学校都有自己的学生管理系统，这个系统有现成的学生信息和学生的人脸数据库。所以，只需要接入学校现有的学生管理系统，以班级为单位进行人脸比对。当学校人脸数据库无法满足要求时，也可以先由学生自行注册个人人脸数据库，再与学校人脸数据库归并统一。

s35)返回考勤情况

自动考勤系统接收insightface的结果，并将相关的结果发送回教师的手机客户端，提供教师和学生预览。

s36)缺勤人员确认

为了确保考勤结果的准确性，学生可以对确认结果提出异议，老师可以修改结果。

s37)最终信息上传至服务器

教师将最终结果再次提交服务器，提供老师和学生查看更正。

改进后的基于卷积神经网络和多人脸识别的课堂考勤方法有如下几个特点：

(1)通过卷积神经网络yolov3和insightface对合照图像进行高精度人脸检测分割并比对识别。其中，yolov3一秒可以检测30张照片并切割出人脸图像，insightface的识别速度同样是毫秒级别，准确率都在99％以上，远大于人眼的97％。由于该方法引入了最新的人工智能，只需要使用其他开源的人脸数据集提前训练好，便可以投入实际使用，提高了结果的精确度和可信度，同时可避免人为因素带来的纰漏，可以很好的解决大学课堂考勤耗时多又缺乏准确率的问题。

(2)只需一部手机就可以完成课堂考勤，无需配置额外的设备。

(3)由于采用了人工智能，照片的采集无需考虑照片的噪点、环境的光照阴影、人物的姿态和表情等，合照的采集也仅需几秒钟。

(4)人脸数据库即可以从学校教务系统获取，也可以让学生自行注册归并，确保人脸数据库的及时性和准确性。

(5)此方法的考勤结果可以经过教师与学生的交互完成确认，确保最终的结果公正性。

(6)将考勤结果存入云端数据库，可随时查看。

综上所述，本方法提供了一种高精度、高效率的课堂考勤方法，通过引入人工智能yolov3网络和insightface网络，此方法的特点是速度极快，准确率极高，每次考勤几乎没有成本，并且可以不受光照、噪点、姿态和表情等的影响，可以很好的解决大学课堂考勤耗时多又缺乏准确率的问题。考勤结果需要教师和学生的交互确认，考勤数据存入云端随时可查，保证了考勤结果的公信力。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，其依然可以对前述各实施例的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所做的任何修改、改进、等效替换等，均应包含在本发明的保护范围之内。