基于人脸识别的考勤方法、系统、电子设备及存储介质与流程

1.本发明涉及人脸识别技术领域，更具体地说，涉及一种基于人脸识别的考 勤方法、系统、电子设备及存储介质。


背景技术：

2.人脸识别考勤机是一种新型的存储类考勤机，事先只需采集员工的面像， 并建立档案，当员工上下班站在人脸识别考勤机的识别区域内，考勤机上就会 快速的记录考勤状况并保存记录。现有技术中做法是，仅仅扫描人脸，人脸信 息存储到考勤机里，再将人脸与考勤机里存储的人脸信息进行比对，如果识别 通过则通过。这样当用户增加时，还有现在越来越多的相似脸(网红脸)，则这 样考勤方式考勤效率低，比对方式过于简单，容易误比对达不到考勤的效果。
3.因此，现有技术亟待有很大的进步。


技术实现要素：

4.本发明要解决的技术问题在于当前考勤方式过于简单容易误比对误考勤， 针对现有技术的上述的缺陷，本发明一方面提供一种基于人脸识别的考勤方法， 包括：
5.考勤机获取第一人脸图像,存储所述第一人脸图像且提取第一人脸特征，生 成人脸特征数据库；
6.所述考勤机获取第二人脸图像，以及与所述第二人脸图像对应的附加信息， 提取所述第二人脸图像的人脸特征和附加特征信息；
7.将所述第二人脸图像的人脸特征与所述人脸特征基础数据库中的人脸特征 进行比对，识别成功后则更新对应的人脸特征数据库；
8.将所述附加特征信息、人脸特征与所述人脸特征数据库进行比对，识别成 功则考勤成功。
9.在本发明所述的基于人脸识别的考勤方法中，第一人脸图像与所述第二人 脸图像相同或者不同。
10.在本发明所述的基于人脸识别的考勤方法中，所述附加信息包括服饰信息、 发型信息、表情信息。
11.在本发明所述的基于人脸识别的考勤方法中，将所服饰信息、发型信息、 表情信息中的任何一种或者多种信息组合，再和所述人脸特征与所述人脸特征 数据库进行比对，识别成功则考勤成功。
12.另一方面，本发明还提供一种基于人脸识别的考勤系统，包括：考勤机、 摄像头；所述摄像头用于拍摄第一人脸图像、第二人脸图像；
13.所述考勤机获取第一人脸图像,存储所述第一人脸图像且提取第一人脸特 征，生成人脸特征数据库；
14.所述考勤机获取第二人脸图像，以及与所述第二人脸图像对应的附加信息， 提取
所述第二人脸图像的人脸特征和附加特征信息；
15.将所述第二人脸图像的人脸特征与所述人脸特征基础数据库中的人脸特征 进行比对，识别成功后则更新对应的人脸特征数据库；
16.将所述附加特征信息、人脸特征与所述人脸特征数据库进行比对，识别成 功则考勤成功。
17.在本发明所述的基于人脸识别的考勤系统中，所述第一人脸图像与所述第 二人脸图像相同或者不同。
18.在本发明所述的基于人脸识别的考勤系统中，所述附加信息包括服饰信息、 发型信息、表情信息。
19.在本发明所述的基于人脸识别的考勤系统中，所述将所服饰信息、发型信 息、表情信息中的任何一种或者多种信息组合，再和所述人脸特征与所述人脸 特征数据库进行比对，识别成功则考勤成功。
20.另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存 储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现 上述基于人脸识别的考勤方法的步骤。
21.另一方面，本发明还提供一种存储介质，所述存储介质存储有计算机程序， 所述计算机程序被处理器执行时实现上述基于人脸识别的考勤方法的步骤。
22.实施本发明的基于人脸识别的考勤方法、系统、电子设备及存储介质，具 有以下有益效果：通过人脸识别、服饰、发型、表情等多方面组合进行多维度 考勤识别，增加考勤打卡的趣味性，考勤精度高，避免误比对等缺陷。
附图说明
23.通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点 和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选 实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附 图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造 性劳动的前提下，还可以根据这些附图获得其他的附图。
24.下面将结合附图及实施例对本发明作进一步说明，附图中：
25.图1是本发明一种基于人脸识别的考勤方法流程图。
26.图2是本发明一种基于人脸识别的考勤系统结构示意图。
27.图3是本发明又一种基于人脸识别的考勤系统结构示意图。
28.图4为根据本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
29.下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、 完整地描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全 部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性 劳动的前提下，所获得的所有其他实施例，都属于本申请保护的范围。
30.本申请实施例提供的基于人脸识别的考勤方法可应用于各种服务器端、终 端。该
服务器端、终端设备包括但不限于个人计算机、服务器计算机、手持式 或膝上型设备、移动设备(如手机、移动电话、平板电脑、pda、媒体播放器等)、 消费型电子设备、车载计算机、智能手表、电视机，以及其他具有显示屏幕的 终端设备等等。
31.实施例一
32.请参阅图1，为本发明基于人脸识别的考勤方法流程图。如图1所示，在本 发明第一实施例提供的基于人脸识别的考勤方法中，至少包括步骤，
33.s11、考勤机获取第一人脸图像,存储所述第一人脸图像且提取第一人脸特 征，生成人脸特征数据库；
34.第一人脸图像由摄像头拍摄捕捉，可以实现多角度、多方位、多状态的图 像获取。从第一人脸图像中提取第一人脸特征，生成人脸特征数据库。
35.s12、所述考勤机获取第二人脸图像，以及与所述第二人脸图像对应的附加 信息，提取所述第二人脸图像的人脸特征和附加特征信息；
36.第二人脸图像由摄像头拍摄捕捉，可以实现多角度、多方位、多状态的图 像获取。第一人脸图像与第二人脸图像可以相同或者不同。与第二人脸图像一 起采集的，还有与所述第二人脸图像对应的附加信息，例如服饰信息、发型信 息、表情信息等。
37.s13、将所述第二人脸图像的人脸特征与所述人脸特征基础数据库中的人脸 特征进行比对，识别成功后则更新对应的人脸特征数据库；
38.如果识别成功，则将从所述第二人脸图像对应的附加信息中提取的附加特 征信息一并存储到人脸特征数据库中，更新人脸特征数据库。如果识别不成功， 则为新增的人脸信息和附件信息，则直接存储到人脸特征数据库中。
39.s14、将所述附加特征信息、人脸特征与所述人脸特征数据库进行比对，识 别成功则考勤成功。
40.将所述附加特征信息、人脸特征与所述人脸特征数据库进行比对，增加比 对的维度，则考勤精度更高，避免网红脸等考勤难度大、效率低的问题。
41.将所服饰信息、发型信息、表情信息中的任何一种或者多种信息组合，再 和所述人脸特征与所述人脸特征数据库进行比对，识别成功则考勤成功。
42.具体实施时，考虑到有些考勤机遇到断电不续电，系统时间错乱的问题， 则考勤机设有蓝牙模块。每当正常使用时，采集人脸图像时，还可以多线程采 集用户使用的手持终端如手机上的时间。采集及时时间后，则自动更新到考勤 机上。这样避免每次断电时手动设置考勤机时间的问题。
43.工作过程是：人脸识别考勤机主要用于对公司员工的出勤统计,员工签到时 需要通过摄像头采集到员工面部照片,再通过人脸识别算法从采集到的照片中 取得特征值并与数据库中预先存入的员工人脸照片的特征值进行分析比较,识 别成功后报出员工的姓名,则考勤成功。
44.例如，摄像头采集用户a第一人脸图像，考勤机存储该用户a第一人脸图 像，同时存储该用户a姓名、年龄及对应的身份资料等信息。考勤机提取该用 户a第一人脸图像中的人脸特征。采集若干个用户信息后，生成人脸特征数据 库。当随机用户如用户b进行第一次考勤时，考勤机里能够从人脸特征数据库 中匹配到用户b的人脸特征信息，再采集用户b的服饰、发型、表情等信息， 提取用户b的服饰、发型、表情等特征信息，将存储在人脸特征数
据库中的用 户b的信息进行更新，如随同用户b的人脸图像、人脸特征信息之外，还补充 用户b的服饰、发型、表情等特征信息。这样当用户b再次进行考勤时，检测 到用户b的服饰、发型、表情等单个特征信息时，可以再将用户b的人脸特征 或者将用户b的服饰、发型、表情等单个特征组合进行二次比对，再次确认对 用户b的考勤信息是否准确，提升了考勤的准确性。
45.通过人脸识别、服饰、发型、表情等多方面组合进行多维度考勤识别，增 加考勤打卡的趣味性，考勤精度高，避免误比对等缺陷。
46.实施例二
47.请参阅图1，为本发明基于人脸识别的考勤系统结构示意图。如图2所示， 在本发明第一实施例提供的基于人脸识别的考勤系统中，至少包括考勤机、摄 像头；所述摄像头用于拍摄第一人脸图像、第二人脸图像；
48.所述考勤机获取第一人脸图像,存储所述第一人脸图像且提取第一人脸特 征，生成人脸特征数据库；
49.第一人脸图像由摄像头拍摄捕捉，可以实现多角度、多方位、多状态的图 像获取。从第一人脸图像中提取第一人脸特征，生成人脸特征数据库。
50.所述考勤机获取第二人脸图像，以及与所述第二人脸图像对应的附加信息， 提取所述第二人脸图像的人脸特征和附加特征信息；
51.将所述第二人脸图像的人脸特征与所述人脸特征基础数据库中的人脸特征 进行比对，识别成功后则更新对应的人脸特征数据库；
52.第二人脸图像由摄像头拍摄捕捉，可以实现多角度、多方位、多状态的图 像获取。第一人脸图像与第二人脸图像可以相同或者不同。与第二人脸图像一 起采集的，还有与所述第二人脸图像对应的附加信息，例如服饰信息、发型信 息、表情信息等。
53.将所述附加特征信息、人脸特征与所述人脸特征数据库进行比对，识别成 功则考勤成功。
54.如果识别成功，则将从所述第二人脸图像对应的附加信息中提取的附加特 征信息一并存储到人脸特征数据库中，更新人脸特征数据库。如果识别不成功， 则为新增的人脸信息和附件信息，则直接存储到人脸特征数据库中。
55.所述将所服饰信息、发型信息、表情信息中的任何一种或者多种信息组合， 再和所述人脸特征与所述人脸特征数据库进行比对，识别成功则考勤成功。
56.例如，摄像头采集用户a第一人脸图像，考勤机存储该用户a第一人脸图 像，同时存储该用户a姓名、年龄及对应的身份资料等信息。考勤机提取该用 户a第一人脸图像中的人脸特征。采集若干个用户信息后，生成人脸特征数据 库。当随机用户如用户b进行第一次考勤时，考勤机里能够从人脸特征数据库 中匹配到用户b的人脸特征信息，再采集用户b的服饰、发型、表情等信息， 提取用户b的服饰、发型、表情等特征信息，将存储在人脸特征数据库中的用 户b的信息进行更新，如随同用户b的人脸图像、人脸特征信息之外，还补充 用户b的服饰、发型、表情等特征信息。这样当用户b再次进行考勤时，检测 到用户b的服饰、发型、表情等单个特征信息时，可以再将用户b的人脸特征 或者将用户b的服饰、发型、表情等单个特征组合进行二次比对，再次确认对 用户b的考勤信息是否准确，提升了考勤的准确性。
57.首先，通过摄像头等图像采集工具采集包括人体正面图像、人体侧面图像 和包含人体头部图像、服饰、表情等图像数据。接着，分别对上述图像进行预 处理，利用图像增强算法、灰度图转换、图像光照优化等方法实现对于光照、 噪点问题的处理。然后对包含人体头部信息图像的处理，通过图像预处理获得 初始测试图像，根据肤色检测算法、高斯梯度方法以及构建的协方差矩阵实现 对于图像可用性的检测，在可用的基础上使用asm方法实现人脸特征点的定位。 最后是对于发型的分类，通过在人脸图像中使用现有技术中肤色检测算法、人 脸检测算法将头部或者脸部的外接包围盒确定下来，根据上述步骤中的人脸特 征点的提取方法将图像五官位置的信息保存下来，然后使用轮廓提取方法和分 割算法将头发部分分割出来，对于分割出的各种头发样式使用pca+svm的方法 进行分类。在获取正面的发型类别之后，通过对人体侧面图像的处理，根据侧 面图像与人体面部或者身高的对应比例等数据信息确定侧面的发型类别。最后， 综合人脸正面以及人体侧面图像的数据信息最终将测试图像的发型类别确定下 来。
58.分析判断服饰颜色、样式，将用户所属的服饰及服饰特征信息存储下来。
59.可以采用传统的方法对人脸表情进行识别。静态图像呈现的是表情发生时 单幅图像的表情状态，动态图像呈现的是表情在多幅图像之间的运动过程。因 此根据表情发生时的状态和处理对象来区分，表情特征提取算法大体分为基于 静态图像的特征提取方法和基于动态图像的特征提取方法。其中基于静态图像 的特征提取算法可分为整体法和局部法，基于动态图像的特征提取算法又分为 光流法、模型法和几何法。
60.基于静态图像的特征提取方法：
61.(1)整体法
62.人脸表情依靠肌肉的运动来体现。人脸表情静态图像直观地显示了表情发 生时人脸肌肉运动所产生的面部形体和纹理的变化。从整体上看，这种变化造 成了面部器官的明显形变，会对人脸图像的全局信息带来影响，因此出现了从 整体角度考虑表情特征的人脸表情识别算法。
63.整体法中的经典算法包括主元分析法(pca)、独立分量分析法(ica)和 线性判别分析法(lda)。采用fastica算法提取表情特征，该方法不但继承了 ica算法能够提取像素间隐藏信息的特点，而且可以通过迭代，快速地完成对表 情特征的分离。采用支持向量鉴别分析(svda)算法，该算法以fisher线性判 别分析和支持向量机基础，能够在小样本数据情况下，使表情数据具有最大的 类间分离性，而且不需要构建svm算法所需要的决策函数。依靠二维离散余弦 变换，通过频域空间对人脸图像进行映射，结合神经网络实现对表情特征的分 类。
64.(2)局部法
65.静态图像上的人脸表情不仅有整体的变化，也存在局部的变化。面部肌肉 的纹理、皱褶等局部形变所蕴含的信息，有助于精确地判断表情的属性。局部 法的经典方法是gabor小波法和lbp算子法。
66.基于动态图像的特征提取方法：
67.动态图像与静态图像的不同之处在于：动态图像反映了人脸表情发生的过 程。因此动态图像的表情特征主要表现在人脸的持续形变和面部不同区域的肌 肉运动上。目前基于动态图像的特征提取方法主要分为光流法、模型法和几何 法。
68.(1)光流法
69.光流法是反映动态图像中不同帧之间相应物体灰度变化的方法。早期的人 脸表情识别算法多采用光流法提取动态图像的表情特征，这主要在于光流法具 有突出人脸形变、反映人脸运动趋势的优点。因此该算法依旧是传统方法中来 研究动态图像表情识别的重要方法。采用连续帧之间的光流场和梯度场，分别 表示图像的时空变化，实现每帧人脸图像的表情区域跟踪；然后通过特征区域 运动方向的变化，表示人脸肌肉的运动，进而对应不同的表情。
70.(2)模型法
71.人脸表情识别中的模型法是指对动态图像的表情信息进行参数化描述的统 计方法。常用算法主要包括主动形状模型法(asm)和主动外观模型法(aam)， 两种算法都可分为形状模型和主观模型两部分。就表观模型而言，asm反映的是 图像的局部纹理信息，而aam反映的是图像的全局纹理信息。借助图像的地形 特征模型来识别人脸动作和表情；利用aam和人工标记的方法跟踪人脸特征点， 并按照特征点取得人脸表情区域；通过计算人脸表情区域的地形直方图来获得 地形特征，从而实现表情识别。也可以基于二维表观特征和三维形状特征的aam 算法，在人脸位置发生偏移的环境下，实现了对表情特征的提取。
72.(3)几何法
73.在表情特征提取方法中，研究者考虑到表情的产生与表达在很大程度上是 依靠面部器官的变化来反映的。人脸的主要器官及其褶皱部分都会成为表情特 征集中的区域。因此在面部器官区域标记特征点，计算特征点之间的距离和特 征点所在曲线的曲率，就成为了采用几何形式提取人脸表情的方法。使用形变 网格对不同表情的人脸进行网格化表示，将第一帧与该序列表情最大帧之间的 网格节点坐标变化作为几何特征，实现对表情的识别。
74.具体实施时，考虑到有些考勤机遇到断电不续电，系统时间错乱的问题， 则考勤机设有蓝牙模块。每当正常使用时，采集人脸图像时，还可以多线程采 集用户使用的手持终端如手机上的时间。采集及时时间后，则自动更新到考勤 机上。这样避免每次断电时手动设置考勤机时间的问题。
75.通过人脸识别、服饰、发型、表情等多方面组合进行多维度考勤识别，增 加考勤打卡的趣味性，考勤精度高，避免误比对等缺陷。
76.实施例三
77.在采集处理后的图像上基于人的脸部特征，先检测人脸是否存在，再从检 测识别到的人脸图像对每张人脸的位置、结构、大小及各个主要面部器官的位 置进行分析计算，并且根据这些信息，从数据库中匹配人脸图像中的特征信息， 并将这些信息与实时识别到的人脸图像进行比对，从而确认每张人脸对应的身 份信息。人脸识别考勤系统主要分为三个模块：信息录入、人脸考勤和信息查 询。信息录入包括基本信息录入和人脸信息录入。基本信息包括人员姓名、年 龄及对应的身份资料信息，人脸信息是指人脸图像进行采集处理和特征信息提 取保存；人脸考勤是将采集到的考勤人员图像经过stm32系列单片机检测识别 后，确认考勤信息，并将考勤信息保存到数据库中，信息查询可以运用云服务 器上的sql、mysql等数据库系统与终端进行信息交互，实施查询人员的出勤记 录及已录入的基本信息和人脸信息。
78.在本系统上，执行基于人脸识别的考勤方法，基于人脸识别的考勤方法至 少包括步骤：
79.s11、考勤机获取第一人脸图像,存储所述第一人脸图像且提取第一人脸特 征，生成人脸特征数据库；
80.第一人脸图像由摄像头拍摄捕捉，可以实现多角度、多方位、多状态的图 像获取。从第一人脸图像中提取第一人脸特征，生成人脸特征数据库。
81.s12、所述考勤机获取第二人脸图像，以及与所述第二人脸图像对应的附加 信息，提取所述第二人脸图像的人脸特征和附加特征信息；
82.第二人脸图像由摄像头拍摄捕捉，可以实现多角度、多方位、多状态的图 像获取。第一人脸图像与第二人脸图像可以相同或者不同。与第二人脸图像一 起采集的，还有与所述第二人脸图像对应的附加信息，例如服饰信息、发型信 息、表情信息等。
83.s13、将所述第二人脸图像的人脸特征与所述人脸特征基础数据库中的人脸 特征进行比对，识别成功后则更新对应的人脸特征数据库；
84.如果识别成功，则将从所述第二人脸图像对应的附加信息中提取的附加特 征信息一并存储到人脸特征数据库中，更新人脸特征数据库。如果识别不成功， 则为新增的人脸信息和附件信息，则直接存储到人脸特征数据库中。
85.s14、将所述附加特征信息、人脸特征与所述人脸特征数据库进行比对，识 别成功则考勤成功。
86.通过人脸识别、服饰、发型、表情等多方面组合进行多维度考勤识别，增 加考勤打卡的趣味性，考勤精度高，避免误比对等缺陷。
87.实施例四
88.图4为根据本发明实施例提供的电子设备的实体结构示意图。基于上述实 施例的内容，如图4所示，该电子设备可以包括：处理器(processor)301、 存储器(memory)302和总线303；其中，处理器301和存储器302通过总线303 完成相互间的通信；处理器301用于调用存储在存储器302中并可在处理器301 上运行的计算机程序指令，以执行上述各方法实施例所提供的基于人脸识别的 考勤方法，例如包括：
89.s11、考勤机获取第一人脸图像,存储所述第一人脸图像且提取第一人脸特 征，生成人脸特征数据库；
90.s12、所述考勤机获取第二人脸图像，以及与所述第二人脸图像对应的附加 信息，提取所述第二人脸图像的人脸特征和附加特征信息；
91.s13、将所述第二人脸图像的人脸特征与所述人脸特征基础数据库中的人脸 特征进行比对，识别成功后则更新对应的人脸特征数据库；
92.s14、将所述附加特征信息、人脸特征与所述人脸特征数据库进行比对，识 别成功则考勤成功。此外，上述的存储器302中的逻辑指令可以通过软件功能 单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读 取存储介质中。基于这样的理解，本发明实施例的技术方案实质上或者说对现 有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出 来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计 算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实 施例基于人脸识别生成备忘录的方法的全部或部分步骤。而前述的存储介质
包 括：u盘、移动硬盘，只读存储器(rom，read-only memory)、随机存储存储器 (ram，random access memory)、磁碟或者光盘等各种存储程序代码的介质。
93.采用本实施例，通过人脸识别、服饰、发型、表情等多方面组合进行多维 度考勤识别，增加考勤打卡的趣味性，考勤精度高，避免误比对等缺陷。
94.实施例五
95.本发明另一实施例公开一种计算机程序产品，计算机程序产品包括存储在 非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程 序指令被计算机执行时，计算机能够执行上述各实施例所提供的基于人脸识别 的考勤方法，例如包括步骤：
96.s11、考勤机获取第一人脸图像,存储所述第一人脸图像且提取第一人脸特 征，生成人脸特征数据库；
97.s12、所述考勤机获取第二人脸图像，以及与所述第二人脸图像对应的附加 信息，提取所述第二人脸图像的人脸特征和附加特征信息；
98.s13、将所述第二人脸图像的人脸特征与所述人脸特征基础数据库中的人脸 特征进行比对，识别成功后则更新对应的人脸特征数据库；
99.s14、将所述附加特征信息、人脸特征与所述人脸特征数据库进行比对，识 别成功则考勤成功。采用本实施例，通过人脸识别、服饰、发型、表情等多方 面组合进行多维度考勤识别，增加考勤打卡的趣味性，考勤精度高，避免误比 对等缺陷。
100.实施例六
101.本发明另一实施例提供-种存储介质,存储介质存储计算机指令,计算机指 令使计算机执行上述各方法实施例所提供的基于人脸识别的考勤方法，例如包 括步骤：
102.s11、考勤机获取第一人脸图像,存储所述第一人脸图像且提取第一人脸特 征，生成人脸特征数据库；
103.s12、所述考勤机获取第二人脸图像，以及与所述第二人脸图像对应的附加 信息，提取所述第二人脸图像的人脸特征和附加特征信息；
104.s13、将所述第二人脸图像的人脸特征与所述人脸特征基础数据库中的人脸 特征进行比对，识别成功后则更新对应的人脸特征数据库；
105.s14、将所述附加特征信息、人脸特征与所述人脸特征数据库进行比对，识 别成功则考勤成功。采用本实施例，通过人脸识别、服饰、发型、表情等多方 面组合进行多维度考勤识别，增加考勤打卡的趣味性，考勤精度高，避免误比 对等缺陷。
106.综上所述，本发明通过以上实施例的设计，其有益效果是：通过人脸识别、 服饰、发型、表情等多方面组合进行多维度考勤识别，增加考勤打卡的趣味性， 考勤精度高，避免误比对等缺陷。
107.本发明是根据特定实施例进行描述的，但本领域的技术人员应明白在不脱 离本发明范围时，可进行各种变化和等同替换。此外，为适应本发明技术的特 定场合，可对本发明进行诸多修改而不脱离其保护范围。因此，本发明并不限 于在此公开的特定实施例，而包括所有落入到权利要求保护范围的实施例。