一种基于人脸特征动态更新的人脸识别系统和方法与流程

本发明涉及人脸识别领域，特别是一种基于人脸特征动态更新的人脸识别系统和方法。

背景技术：

随着深度学习和计算机视觉的发展，人脸识别的准确率已经越来越高，而人脸识别网络也越来越大。如何让计算资源及其有限的移动设备上运行准确的人脸识别系统成了一个难题。

人脸识别系统面临的一个很大的难题是，不同于指纹，人脸是会随着时间不断变换的。不同的识别的角度，不同的眼镜，不同的发型，不同的妆容等都会影响人脸识别系统做出的判断。

目前也有一些比较成功的人脸识别系统如苹果的人脸识别系统，但是它借助了三维结构光这种特殊的硬件，能对人脸进行三维建模，得到更多的人脸信息，并且采用了神经网络加速器对人脸识别模型进行加速，虽然得到了很好的效果，但是成本高昂，且实现复杂。支付宝的刷脸技术也取得了不错的效果，但是这是基于在线的人脸识别，人脸信息会被送至服务器端进行对比，所以几乎没有计算资源的限制。

如何在保证网络规模不变的条件下，有效的提高识别的性能。这对于计算资源有限的设备来说是至关重要的。加大人脸识别网络可以一定程度上减小人脸变换对系统性能的影响，但是会带来更多的计算，而且模型规模和性能的关系往往不是线性的。往往为了提高一点点的性能，需要增加数倍的计算量。为了在不增加计算量的条件下应对变化的人脸，适时的更新人脸特征是一种可行的方式。

有一些系统会每次识别成功后将人脸特征替换为此次的提取的人脸向量，但是这不能保证每次更新的人脸向量具有代表性。

技术实现要素：

本发明的目的在于提供一种基于人脸特征动态更新的人脸识别系统和方法，主要解决上述现有技术存在的问题，它是一套适用于实际场景，不会随着时间推移而降低识别性能的高效准确的人脸识别方案。

为了实现上述目的，本发明所采用的技术方案是提供一种基于人脸特征动态更新的人脸识别系统，其特征在于，包含图像采集单元、人脸图像标准化单元、人脸特征对比单元和人脸特征更新单元；

所述图像采集单元获取需要进行人脸识别的原始图像，预处理后传递给所述人脸图像标准化单元；

所述人脸图像标准化单元对所述图像采集单元预处理后的图像进行标准化处理，得到统一的标准化输入图像作为所述人脸特征对比单元的输入；

所述人脸特征对比单元包含人脸特征提取模块、人脸特征比对模块和人脸id库；所述人脸id库中存储的信息包含用户id、预存人脸特征集合和用以记录所述用户id和所述预存人脸特征集合一对一映射关系的对应关系表；每个所述预存人脸特征集合包含一个或者多个预存特征向量；

所述人脸特征对比单元以所述标准化输入图像作为输入，利用所述人脸特征提取模块从所述标准化输入图像中提取出待检测特征向量，然后利用所述人脸特征比对模块遍历所述预存人脸特征集合，逐个计算所述预存人脸特征集合与所述待检测特征向量的候选相似度，并根据所述候选相似度、所述对应关系表和人脸识别阈值，判定所述标准化输入图像对应的人脸是否与所述人脸id库中的一个用户id对应；

所述人脸特征更新单元用以添加或者更新所述用户id对应的所述预存人脸特征集合中的所述预存特征向量。

进一步地，所述人脸特征对比单元，利用所述人脸特征比对模块遍历所述预存人脸特征集合，逐个计算所述预存人脸特征集合与所述待检测特征向量的所述候选相似度；当所述候选相似度大于所述人脸识别阈值时，根据所述对应关系表，将所述预存人脸特征集合对应的所述用户id和所述候选相似度加入候选列表；遍历完成后，若所述候选列表为空，判定所述标准化输入图像对应的人脸为陌生人；反之，从所述候选列表中选出最高相似度对应的所述用户id，判定所述标准化输入图像对应的人脸是此所述用户id。

进一步地，所述人脸特征对比单元，利用所述人脸特征比对模块遍历所述预存人脸特征集合，逐个计算所述预存人脸特征集合与所述待检测特征向量的候选相似度，并在所有候选相似度中选出最高相似度；当所述最高相似度大于所述人脸识别阈值时，根据所述对应关系表，选出所述最高相似度对应的所述用户id，并判定所述标准化输入图像对应的人脸是此所述用户id；反之，判断所述标准化输入图像为陌生人。

进一步地，所述图像采集单元包含图像采集模块和图像预处理模块；

所述图像采集模块获取需要进行人脸识别的所述原始图像；所述图像预处理模块根据所述原始图像的质量，选择性地对所述原始图像进图像预处理操作。

进一步地，所述图像预处理操作包含去噪、色彩矫正和光照矫正。

进一步地，所述人脸图像标准化单元包含人脸检测模块、人脸对齐模块和人脸预处理模块；

所述人脸检测模块判断所述原始图像中是否存在待检测人脸，如果存在，则找出所述人脸的人脸所在位置，并得到人脸关键点坐标；

所述人脸对齐模块根据所述人脸关键点坐标，对所述原始图像中的所述待检测人脸进行对齐，得到对齐后人脸图像；

所述人脸预处理模块将所述对齐后人脸图像进行人脸数据归一化和数据格式转换，得到所述标准化输入图像。

进一步地，所述人脸对齐模块采用相似变换或者仿射变换，得到所述对齐后人脸图像。

进一步地，所述人脸特征对比单元还包含人脸录入模块；

当有录入请求时，所述人脸录入模块根据所述人脸所在位置计算的人脸个数大于1个，或根据所述人脸关键点坐标推算的人脸角度过于侧时，则判定为不符合录入条件，不进行录入；反之，则判定为符合录入条件，要求用户提供一个待录入用户id；所述人脸录入模块将提取到的所述待检测特征向量作为所述预存人脸特征集合的第一个所述预存特征向量，并在所述预存人脸特征集合和所述待录入用户id之间建立映射，更新所述对应关系表，最后将所述预存人脸特征集合、所述待录入用户id和更新后的所述对应关系表存入所述人脸id库。

进一步地，所述人脸特征更新单元包含特征更新预判断模块、特征更新模块和特征多样性评判模块；

所述特征更新预判断模块在所述人脸特征对比单元得到的全部所述候选相似度中，选出最高相似度和次高相似度；若只有一个所述候选相似度，那么所述最高相似度等于此所述候选相似度，所述次高相似度为0；若所述最高相似度大于设定的第一阈值，且所述次高相似度低于设定的第二阈值，则将所述待检测特征向量和所述预存人脸特征集合作为输入送入所述特征更新模块；所述第一阈值不小于所述第二阈值；

所述特征更新模块收到输入后，如果所述预存人脸特征集合的已存特征向量数目未达到预设的特征向量数目上限时，直接将所述待检测特征向量添加至所述预存人脸特征集合中；若所述已存特征数目已到达所述特征向量数目上限，则依次将所述待检测特征向量替换所述预存人脸特征集合中除正脸特征向量外的每个所述预存特征向量；每次替换都得到一个候选人脸特征集合；利用所述特征多样性模块计算每一个所述候选人脸特征集合的多样性评分，从中选出多样性评分最高的最高得分候选人脸特征集合；若所述最高得分候选人脸特征集合的多样性评分高于原所述预存人脸特征集合的多样性评分，则将所述最高得分候选人脸特征集合作为新的所述预存人脸特征集合，反之则不更新所述预存人脸特征集合；

所述特征多样性评判模块对所述预存人脸特征集合或者所述候选人脸特征集合进行多样性评分。

进一步地，所述特征多样性评判模块将所述预存人脸特征集合或者所述候选人脸特征集合，作为一个向量组；然后采用下面三种方式中的一种，得到多样性评分：

方式1、将所述向量组中每一个特征向量与所述向量组中全部特征向量的平均向量的平均欧氏距离作为多样性评分；

方式2、将所述向量组中所有特征向量两两之间的向量相似度的均值作为多样性评分；

方式3、训练一个浅层神经网络给所述向量组完成多样性评分。

进一步地，所述人脸特征比对模块计算所述候选相似度的方式使用如下两种方式中的一种：

方式1、将所述待检测特征向量与所述预存人脸特征集合中每一个所述预存特征向量的向量相似度的加权平均，作为所述待检测特征向量与所述预存人脸特征集合的候选相似度；

方式2、将所述待检测特征向量与所述预存人脸特征集合中每一个所述预存特征向量的向量相似度的最大值，作为所述待检测特征向量与所述预存人脸特征集合的候选相似度。

进一步地，所述向量相似度包括余弦相似度或者欧式相似度。

本发明还提供了一种使用基于人脸特征动态更新的人脸识别系统进行的人脸识别方法，其特征在于，包含以下步骤：

步骤101、利用所述图像采集单元获得所述原始图像，并对所述原始图像进行预处理，以提升人脸识别的准确率；

步骤102、利用所述人脸图像标准化单元对预处理后的所述原始图像进行标准化处理，得到统一的标准化输入图像；

步骤103、利用所述人脸特征对比单元从所述标准化输入图像中提取出所述待检测特征向量；

步骤104、遍历所述预存人脸特征集合，逐个计算所述预存人脸特征集合与所述待检测特征向量的候选相似度，并根据所述候选相似度、所述对应关系表和所述人脸识别阈值，判定所述标准化输入图像对应的人脸是否与所人脸id库中的一个用户id对应；

步骤105、如果判定所述标准化输入图像对应的是陌生人，跳转到步骤107；反之，跳转到步骤106；

步骤106、所述人脸特征更新单元决策所述待检测特征向量是否需要被添加或者更新至所述预存人脸特征集合；如需要，则完成添加或者更新；

步骤107，人脸识别结束。

鉴于上述技术特征，本发明具有如下优点：

本发明通过多特征信息来表述一个人脸id。多特征信息能够更好的表达不同状态下的同一id。在识别过程中，本发明根据特征多样性原则，动态的更新已有id的特征信息，让id中的不同特征信息都具有代表性。并且通过人脸特征点预测分析此时人脸的角度信息，保证在人脸特征中始终存有正脸特征信息。针对多特征信息的比对，本发明也提供了多种特征比对方法。

该系统有着以下优点：

1.部署简单，在传统的人脸识别系统的基础上进行简单的扩展就能实现。

2.在不提高人脸识别网络规模的条件下提高了人脸识别系统的准确率，高效使用现有的网络。

3.用户使用简单，不需要用户做特别的设置与操作，所有的特征更新都是自动化的。

4.随着时间的推移，当使用环境或者用户妆容发生改变时，系统能快速有效的适应这种变化。

附图说明

图1是本发明人脸识别系统的一个实施例的系统示意图；

图2是本发明人脸识别系统的进行人脸识别的流程图。

图中：1-图像采集单元，1.1-图像采集模块，1.2-图像预处理模块；2-人脸图像标准化单元，2.1-人脸检测模块、2.2-人脸对齐模块，2.3-人脸预处理模块；3-人脸特征对比单元，3.1-人脸特征提取模块，3.2-人脸特征比对模块，3.3-人脸录入模块；4-人脸特征更新单元，4.1-特征更新预判断模块，4.2-特征更新模块，4.3-特征多样性评判模块。

具体实施方式

下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

请参阅图1，本实施例的一种基于人脸特征动态更新的人脸识别系统，包含图像采集单元1、人脸图像标准化单元2、人脸特征对比单元3和人脸特征更新单元4。

原始图像由图像采集单元1采集后，经过人脸图像标准化单元2进一步处理得到人脸特征对比单元3的标准输入。人脸特征对比单元3完成人脸特征向量的提取和比对，确定原始图像是否属于某一个用户id或者是陌生人。人脸特征对比单元3还提供用户id的人脸特征向量录入。人脸特征更新单元4结合人脸特征对比单元3，在正常业务流程中完成人脸特性向量的自动更新，提升人脸识别的可靠性和正确率。

图像采集单元1由图像采集模块1.1和图像预处理模块1.2组成。图像采集模块1.1用于获取需要进行人脸识别的原始图像。图像预处理模块1.2根据图像采集模块1.1的采集的原始图像的图像质量，选择性的对原始图像进行去噪，色彩矫正，光照矫正等图像处理操作，以便于后续的检测与识别。

人脸图像标准化单元2由人脸检测模块2.1、人脸对齐模块2.2，人脸预处理模块2.3组成。人脸检测模块2.1用于判断原始图像中是否存在人脸，并找出人脸所在的位置和人脸的关键点坐标。人脸对齐模块2.2根据人脸关键点的坐标，对人脸进行对齐，对齐的具体方式根据特征提取模块的需要进行选择，如相似变换，仿射变换等。人脸预处理模块2.3将对齐后的人脸图像进行处理得到特征提取模块所要求的输入格式，得到标准化输入图像。具体的方法包含人脸数据归一化，数据格式转换等操作。

人脸特征对比单元3由人脸特征提取模块3.1、人脸特征比对模块3.2、人脸录入模块3.3和人脸id库组成。

人脸id库中存储的信息包含用户id、预存人脸特征集合和用以记录用户id和预存人脸特征集合一对一映射关系的对应关系表；每个预存人脸特征集合包含至少一个预存特征向量；

人脸特征提取模块3.1用于人脸特征向量的提取，由神经网络构成。标准化输入图像经过该模块后会转换成高维向量，并对高维向量进行单位化，该向量即为输入人脸的表征(待检测特征向量)。

人脸特征比对模块3.2用于完成待检测特征向量和人脸id库中数据的比对，得到对应的相似度(即候选相似度)。并根据候选相似度和对应关系表，判定标准化输入图像对应的人脸是否与人脸id库中的一个用户id对应。在本实施例中，由于一个用户id可以对应大于一个的人脸特征向量，所以相似度的衡量是在一个待检测特征向量和一个或者多个预存人脸特征向量构成的向量组之间进行的，具体的相似度衡量有多种形式，包含：

1、采用待检测特征向量与每个用户id对应的多个预存人脸特征向量的向量相似度的加权平均作为待检测特征向量与该用户id的候选相似度。

2、采用待检测特征向量与每个用户id对应的多个预存人脸特征向量的向量相似度的最大值作为待检测特征向量与该用户id的候选相似度。

其中，待检测特征向量与每个预存人脸特征向量的向量相似度，可以采用余弦相似度(cos<x1,x2>)或是欧式相似度(1-||x1,x2||)计算。

判定是否为陌生人的具体方式，可以是：遍历人脸id库中的数据，逐个计算待检测特征向量与人脸id库中预存人脸特征集合的候选相似度；当候选相似度大于人脸识别阈值时，根据对应关系表，将预存人脸特征集合对应的用户id和候选相似度加入候选列表；在遍历完成后，若候选列表为空，判定为陌生人；反之，从候选列表中选出最高相似度对应的用户id，判定输入对应的是此用户id。

判定是否为陌生人的具体方式，也可以是：遍历人脸id库中的数据，逐个计算待检测特征向量与人脸id库中预存人脸特征集合的候选相似度，并在其中选出最高相似度；当最高候似度大于人脸识别阈值时，根据对应关系表，选出最高相似度对应的用户id，并判定标准化输入图像对应的人脸是此用户id；反之则判为陌生人。

在一些实施例中，逐个计算待检测特征向量与人脸id库中预存人脸特征集合的候选相似度后，即可确定对应于该待检测特征向量的最高相似度与次高相似度。

人脸录入模块3.3用于人脸的录入。当有录入请求时，人脸录入模块3.3会根据人脸检测模块2.1提供的人脸所在的位置和人脸的关键点坐标信息，进行判定是否录入：若人脸数目大于1，或根据对齐后的人脸关键点的坐标推算的人脸角度过于侧时，会判定该环境不符合录入条件,，反之符号录入条件。若符合录入条件，则会将用户提供的用户id与此时由人脸特征提取模块3.1提取的人脸特征向量绑定，建立映射关系，即待检测特征向量成为此用户id对应的预存人脸特征集合中的一个预存特征向量。

人脸特征更新单元4由特征更新预判断模块4.1、特征更新模块4.2，特征多样性评判模块4.3组成。

特征更新预判断模块4.1用于判定待检测特征向量是否需要被更新至预存人脸特征集合，如果需要，则将待检测特征向量送至特征更新模块，用于人脸特征更新的初步筛选。一种简易的判定方式是根据人脸特征比对模块3.2的输出，若该待检测特征向量与人脸id库中的比对中得到的最高相似度大于特征更新预判断模块4.1设定的第一阈值，且次高相似度低于第二阈值，则会将该待检测特征向量和对应的预存人脸特征集合送入特征更新模块4.2。第一阈值可以和第二阈值不同，且第一阈值不小于第二阈值。第一阈值可以与人脸识别阈值相等。

特征更新模块4.2用于决策并实施人脸特征的更新，如果此时该预存人脸特征集合中保存的预存特征向量的数目并未超过预设的每个用户id的特征数时，会直接将此时的待检测特征向量添加至预存人脸特征集合中。若此时该预存人脸特征集合中保存的预存特征向量的数目已到达预设上限，则会将待检测特征向量依次替换预存人脸特征集合中除正脸特征外的每个预存特征向量，并送入特征多样性评判模块4.3得到特征多样性评分。若得到的最高特征多样性评分高于原预存人脸特征集合的特征多样性评分，则将此时最高特征多样性评分对应的特征向量组合作为用户id的新特征向量组合(取代原预存人脸特征集合)，反之，则不更新特征向量组合，依然使用原预存人脸特征集合作为对应用户id的特征向量组合。

特征多样性评判模块4.3用于对一个特征集合的多样性进行评分。一个特征集合中特征向量之间的多样性评分越低，那么就代表这组特征向量之间的相似性就越高，每个特征向量就不具有代表性，也就意味着此特征集合存在冗余。从人脸识别可靠性的角度考虑，需要让对应同一个用户id的特征集合(多个特征向量组合)都具有代表性，因为这个表示了不同光照环境，不同妆容打扮，不同姿态下的同一个人，此时的特征向量组合会具有很高的多样性。特征多样性评判模块4.3就是依据一些标准或方法，将这种多样性进行量化的模块。特征多样性评判模块4.3可以有很多不同的实现的方式，包含：

1、采用向量组中每一个向量和向量组平均向量的平均欧氏距离作为多样性评分。

2、采用向量组中向量两两之间相似度的均值作为多样性评分。

3、训练一个浅层神经网络用于给向量组评分。

其中，两个人脸特征向量的向量相似度，可以采用余弦相似度(cos<x1,x2>)或是欧式相似度(1-||x1,x2||)计算。

请参阅图2，本实施例还包含利用此人脸识别系统进行人脸识别的方法，包含以下步骤：

步骤101、利用图像采集单元获得原始图像，并对原始图像进行预处理，以提升人脸识别的准确率；

步骤102、利用人脸图像标准化单元对预处理后的原始图像进行标准化处理，得到统一的标准化输入图像；

步骤103、利用人脸特征对比单元从标准化输入图像中提取出待检测特征向量；

步骤104、遍历预存人脸特征集合，逐个计算预存人脸特征集合与待检测特征向量的候选相似度，并根据候选相似度、对应关系表和人脸识别阈值，判定标准化输入图像对应的人脸是否与人脸id库中的一个用户id对应；

步骤105、如果判定标准化输入图像对应的是陌生人，跳转到步骤107；反之，跳转到步骤106；

步骤106、决策待检测特征向量是否需要被添加或者更新至预存人脸特征集合；如需要，则完成添加或者更新；

步骤107，人脸识别结束。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。