面部不自然度的自动评级方法和装置与流程

本发明属于整形外科领域，图像处理技术领域，康复器械领域，心理学领域，具体涉及一种评估人面部不自然度的实时评估方法和装置。

背景技术：

随着生活质量水平的提高，人们对体貌的要求也越来越高，对于因交通事故、外伤、肿瘤等原因导致的体貌不佳以及美容等原因，选择整形外科来改善体貌缺陷的人越来越多。整形外科手术中的设计及方法受个人习惯、经验等主观因素影响，效果不具有预见性，随意性和盲目性较大，同时还是一个医疗纠纷高发的学科。除此之外，面肌控制异常也会影响面部不自然度，影响仪容美观。

目前，对人脸面部自然度的评估，仅仅是通过人眼观察，主观性很强，且只有面部不自然量变到一定程度后才可以被人眼识别，没有对面部不自然度进行准确量化自动评级的方法和装置。本发明装置中，通过采集患者术后人脸的静态和动态数据，并通过前期训练好的分类器对其进行分类自动评级。更加客观真实地反映测试者人脸不自然情况，对测试者面部不自然程度进行量化评估，例如可以为测试者美容失败维权提供相应资料，具有较强的法律意义；也可以在日常生活中，为测试者自行进行面部不自然度评估提供简单可靠的方法装置。

“测谎仪”(liedetector)可以在犯罪调查中用来协助侦讯，以了解受询问的嫌疑人的心理状况，从而判断其是否涉及刑案。“测谎”不是测“谎言”本身，而是测心理所受刺激引起的生理参量的变化，如脉搏、呼吸和皮肤电阻(简称“皮电”)。其中，皮电最敏感，是测谎的主要根据，目前全国已有不少城市把测谎仪引入到公安、司法界。但是，测谎仪能否发挥正常的作用，跟测试的外部环境、被测试者个体状态、测试师的水平以及问题的设计都密切相关。有的测试也会因为条件不够，最终一无所获。在本发明装置中，通过对面部不自然度的评级评估，来判断受试者是否存在说谎嫌疑，更为省时省力，且不受条件拘束。

技术实现要素：

本发明旨在提供一种人脸面部不自然度的自动评级装置，为受试者提供脸部自我审查的方法，便携且操作简单，使自动精确评估人脸不自然度，并对面部不自然部位进行定位成为可能。

本发明提供一种面部不自然度的实时评估装置，包括：依次设置的数据采集模块、数据预处理模块、训练分类器和人面部不自然度自动评级模块。所述数据采集模块包含人面部静态数据采集单元和人脸动态数据采集单元；所述数据预处理模块由人脸静态数据预处理单元、人脸动态数据预处理单元。

相应的，本发明还提供一种采用面部不自然度的实时评估装置的方法，包括以下几个步骤：

步骤a：对受试者的面部进行数据采集；；

步骤b：对所采集的数据进行预处理；

步骤c：用机器学习的方法进行面部不自然度评估分类器的学习；

步骤d：用训练好的分类器，对受试者的面部不自然度进行评级。

本发明采用以上技术方案，其优点在于，一种能够自动实时采集、监测和评估人面部不自然度的方法和装置，客观的反映人面部不自然度。可精确评估受试者人脸面部不自然情况，并对面部不自然部位进行定位，进而为受试者提供整形美容术后评估手段，为可能的整形失败纠纷案提供医疗鉴定材料；或者在日常生活中，为测试者自动面部评估提供可靠的手段。或者为测谎审查提供有效的依据。

优选的，所述步骤b中，对采集的图像数据进行增强，去噪处理以备后用。

优选的，步骤c中，包括如下几个步骤：

步骤c1:通过大量人脸照片作为样本，进行训练学习；

步骤c1:提取面部不自然度的静态和动态特征，进而找到对应于面部不自然度的强特征；

基于人脸表情的生理结构，ekman等定义了相应的量化规律，即每种表情由哪些肌肉产生，每个肌肉是如何作用产生特定的表情，各个肌肉如何协同产生特定的表情。我们将这些量化规律作为静态特征。所述的静态特征可以包含，大小、颜色、轮廓和形状等。

例如静态特征可根据人脸在每个视频中的空间域模式来提取特征，如左右眼睛的大小，对称性，眉眼间距等；动态特征根据人脸在多帧之间的变化模式来提取特征，可包含速度和运动方向。速度可通过光流场或块匹配等运动估计算法得到。

光流是运动物体被观测表面上像素点运动的二维瞬时速度场，可用的计算方法为灰度微分法、区域匹配法、基于能量的方法和基于相位的方法。以基于相位的方法为例：

将序列中每一帧图像输入到一组gabor滤波器，进行带通滤波预处理，gabor滤波器的输出响应为r(x,t)＝ρ(x,t)e^jφ(x,t)，其中x＝(x1,x2)为平面图像上各像素点位置，φ(x,t)为输出相位。对于等相位轮廓线上点x，需满足φ(x,t)＝c，c为常数。上式两端同时对t求导得

是某一像素点的速度，φx(φx,φy)为相位梯度。当相位梯度归一化方向上的速度vn＝αn，其中为归一化方向。联立得

或者，采用深度网络自动学习进行高级特征提取；

或者，结合先验知识所得特征和深度学习得出的特征作为训练输入，以标签为监督，以卷积神经网络结构对特征和标签进行处理，生成训练好的分类器。

其中，标签为可以为自然、较不自然、很不自然、十分不自然为设定。

本发明进一步采用以上技术方案，其优点在于，以深度学习为例，可通过大量人脸照片作为样本输入，可放入卷积神经网络，训练学习得到基于数据的强特征。或者依据先验知识，选用主动形状模型算法(activeshapemodel,asm)提取人脸面部的主要特征点：眼角、眼睛中心、眉毛、鼻尖、颧骨、嘴角、下巴轮廓等；然后划分人脸子区域，利用提取的特征点确定面部器官及区域肌肉的位置，根据各个器官大小及各区域面部肌肉的面积选择合适像素大小的采样窗，提取出各子区域的采样块；求取面部区域隶属度向量，将各子区域与平均脸进行比较求差异；辅佐多位专业人员对面部不自然度的综合评价进行监督学习训练，在大数据中自动提取人面部不自然度的特征，得到训练良好的分类器—分类器模型神经网络。

优选的，所述步骤d中，可包括以下几个步骤：

步骤d1：针对新进待处理人脸数据，采用依据先验知识的特征提取方法或者深度学习得到的强特征索引，确定特征集。

步骤d2：将特征集合接入分类器，输出面部不自然度。

本发明采用以上技术方案，其优点在于，自动提取人面部不自然度的评级指标，对预处理后的人脸面部的静态及动态数据，采用机器学习的方法，自动提取表征人面部不自然度的特征参数，同时对面部不自然部位进行定位。

优选的，所述步骤d1中的具体指标如：面部肌肉收缩速度、面部肌肉运动方向多样性、人脸表情联动性、人脸左右局部不对称性，局部异常抽搐，并将综合分析各个指标给予权重，计算与机器学习模型平均脸的偏差和传递函数，从而得到量化评估的结果。

优选的，评级标准包括：对预处理后的静态图像数据，提取人脸表情参数；

本发明进一步采用以上技术方案，其优点在于，对预处理后的动态图像数据可提取随时间变化面部肌肉的收缩过程。将人面部雕塑定级为0，将面部表情丰富的喜剧演员定级为100，对提取的人面部不自然度的评估的各个指标分配权重，为人面部表情自然度分级评分。

优选的，提取人脸表情参数包括：面部肌肉收缩速度可由连续帧图像之间的运动估计、面部肌肉运动方向多样性，、人脸表情联动性、人脸左右不对称性和对预处理后的动态图像数据可提取随时间变化面部肌肉的收缩过程中的至少一种。

本发明进一步采用以上技术方案，其优点在于，提取人脸表情参数包括：面部肌肉收缩速度可由连续帧图像之间的运动估计，如，块匹配或光流方法来计算得到；面部肌肉运动方向多样性，将检测出的特征点坐标向量转换为相应的表情肌运动效果的描述，作为度量系统的输入，经由训练分类器训练之后得到分类，以此计算得到度量结果；人脸表情联动性，可以基于au组合的表情分析在haar特征基础上采用联合haar特征来编码人脸的局部联动变化；人脸左右不对称性，通过几何预处理和灰度预处理，建立归一化的人脸数据，比较左右脸的相似度)；对预处理后的动态图像数据可提取随时间变化面部肌肉的收缩过程等。将人面部雕塑定级为0，将面部表情丰富的喜剧演员定级为100，对提取的人面部不自然度的评估的各个指标分配权重，为人面部表情自然度分级评分。

本发明的有益效果是：实时监测和评估人面部情况，进而实时并客观地评价人面部不自然程度，相比较于现有的主观评判方法，省时省力，不受人为偏差影响。并可对面部不自然部位进行定位。受试者可根据客观量化的指标，为术后美容整形纠纷案件提供医疗鉴定材料，或者在日常生活中，为测试者自动面部评估提供客观的方便手段。或者为测谎审查提供非生理参数(表情参数)依据。

附图说明

图1面部特征点检测结果。

图2人面部不自然度自动评级方法和装置框图。

图3静态数据采集处理模块。

图4动态数据采集处理模块。

图5人面部不自然度评估流程图。

具体实施方式

下面结合附图，对本发明的较优的实施例作进一步的详细说明：

本发明通过采集人面部状况的静态数据及动态数据，并实时评估人面部不自然度的集成化装置，为受试者提供个性化的面部不自然度评估方案，为术后美容整形纠纷案件提供医疗鉴定材料，或者在日常生活中，为测试者自动面部评估提供可靠的手段。或者为测谎审查提供非生理参数(表情参数)依据。

本发明以人面部整容手术术后面部不自然度的自动评级为实施实例，进行进一步详细说明。本实施实例中的“面部不自然度”是指反映人面部肌肉收缩活动时的异常程度，如面部不对称性、面部僵硬程度等。本实施实例涉及使用机器学习来分类数据，首先由专家对样本数据进行分析并打评分，然后将样本和标签作为输入来训练分类器。具体可以将数据提供给使用多个分类器的模型或者经过多个训练数据或者测试数据集训练的深度学习模型。在实例中，可以将数据与分类器的匹配程度来生成置信度并与数据的分类相关联。在实施实例中，数据集合不限于需要分类的图像视频信息，还可以包含有助于准确分类人类不易发掘的数据附加信息。在实例中，数据库是可以持续更新的。

本发明中该集成化装置的结构框图如图2所示，具体如下：

步骤1：数据采集模块

本实施实例中，该模块是基于摄像机的数据采集装置，包含了人面部静态数据采集和人脸动态数据采集，如图3所示。在动态数据采集时，1)按照要求作如下指定动作，如：大哭、大笑、怒等，可按照动作顺序切分成10秒的视频片段，每个视频片段称为一个样本；2)采集受试者切换表情的过程，如由喜转悲、由怒转喜等。可切分成20秒的视频片段，每个视频片段可作为一个样本。

步骤2：数据预处理模块

本实施实例中，本模块主要是同步地、独立地对上述模块采集到的静态和动态数据预处理，以便于后续的处理，如图4所示，该模块由人脸静态数据预处理、人脸动态数据预处理两个小模块组成。其中，对采集的图像数据进行增强，去噪等处理以备后用。

步骤3：训练分类器

本实施实例中，该模块主要是通过大量人脸照片作为样本，且参照专业人士标定结果，进行训练学习，可提取面部不自然度的静态(个别帧中)和动态特征(多帧间)，进而找到对应于面部不自然度的强特征，亦可采用深度网络自动学习进行高级特征提取，亦可结合先验知识所得特征和深度学习得出的特征作为训练输入，进而得到训练良好的分类器，其中过程的输出是表示系统分类的所有数据的集合。

步骤4：人面部不自然度自动评级

本实施实例中，该模块主要是将预处理的数据和平均脸的动作差异进行比较，来判断人脸局部肌肉收缩活动带来的不自然。用已经训练好的分类器对预处理的数据进行量化指标提取，具体指标如：面部肌肉收缩速度、面部肌肉运动方向多样性、人脸表情联动性、人脸左右局部不对称性，局部异常抽搐，并将综合分析各个指标给予权重，计算与机器学习模型平均脸的偏差和传递函数，该结果可作为人面部不自然度的量化评估。

评级标准：对预处理后的静态动态图像数据，提取人脸表情参数(如，面部肌肉收缩速度可由连续帧图像之间的运动估计，如，块匹配或光流方法来计算得到；面部肌肉运动方向多样性，将检测出的特征点坐标向量转换为相应的表情肌运动效果的描述，作为度量系统的输入，经由训练分类器训练之后得到分类，以此计算得到度量结果；人脸表情联动性，可以基于au组合的表情分析在haar特征基础上采用联合haar特征来编码人脸的局部联动变化；人脸左右不对称性，通过几何预处理和灰度预处理，建立归一化的人脸数据，比较左右脸的相似度)；对预处理后的动态图像数据可提取随时间变化面部肌肉的收缩过程等。

将人面部雕塑定级为0，将面部表情丰富的喜剧演员定级为100，可采用house-brackmann评分作为分级基础，级内分数由各部位不自然度加权求得，加权系数可由特征在训练网络中的权重归一化后决定，强特征所对应面部位置、纹理、动作等权重高。也可线性回归不同特征选取所得分类结果与专家评分，排序r平方值来调整，r平方值高者如嘴部权重最高。该权重体系随数据量增加不断动态调整。

在本发明中，本实施实例的具体实施的流程如图5所示，详细步骤如下：

步骤1：接受人面部不自然度评估的受试者，需静坐在人脸数据采集仪器(如摄像机)前。

步骤2：待一切准备工作就绪后，开始数据采集。

步骤3：对采集的数据进行预处理，包含数据的归一化，去除背景光照差异影响等操作。

步骤4：用机器学习的方法，以深度学习为例，可通过大量人脸照片作为样本输入，可放入卷积神经网络，进行训练学习。首先提取人脸特征点，例如可以选用主动形状模型算法(activeshapemodel,asm)提取人脸面部的主要特征点：眼角、眼睛中心、眉毛、鼻尖、颧骨、嘴角、下巴轮廓等；然后划分人脸子区域，利用提取的特征点确定面部器官及区域肌肉的位置，根据各个器官大小及各区域面部肌肉的面积选择合适像素大小的采样窗，提取出各子区域的采样块；求取面部区域隶属度向量，将各子区域与平均脸进行比较求差异；辅佐多位专业人员对面部不自然度的综合评价进行完全监督学习训练，在大数据中自动提取人面部不自然度的特征，得到训练良好的分类器—分类器模型神经网络。

步骤5：用训练好的分类器，对受试者的面部不自然度进行评级。

步骤6：选择打印评级结果。

保护点

1.本发明中，采用机器学习的方法对人脸数据进行处理分析，实现面部不自然度的量化评估，并准确定位，在本专利的保护范围内。

2.基于本发明中的实施实例，本专利涉及的领域的技术人员在没有做出创造性劳动前提下所获的所有其他实施实例，都属于本专利保护的范围。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。