基于表情识别的心理健康评估方法、装置和存储介质与流程

本申请涉及图像识别
技术领域：
，尤其涉及基于表情识别的心理健康评估方法、装置和存储介质。
背景技术：
：心理健康(mentalhealth)是指心理的各个方面及活动过程处于一种良好或正常的状态。心理健康的理想状态是保持性格完美、智力正常、认知正确、情感适当、意志合理、态度积极、行为恰当和适应良好的状态。抑郁是人类心理失调的最主要和最经常出现的问题之一，从心理学的角度看，抑郁是无效应对生活压力的后果，以情绪失调为核心，包括沮丧、无价值感、无助与绝望感以及躯体活动水平下降等一系列身心不适表现。面部表情是人的心理情绪的直观表现，利用面部表情能够客观的识别出用户是否有抑郁情绪。目前，对用户的心理健康评估主要依据用户的自我陈述，例如，用户回答通用的心理健康问卷，然后根据评估规则以及用户的回答结果来评估用户的心理状况。然而，现有的心理健康评估方法无法针对用户自身的实际心理，因此，难以实时、全面以及客观地反映出用户的真实的心理健康状态。技术实现要素：本申请的主要目的在于解决现有的心理健康评估方法缺乏实时性和准确性等技术问题，提出了一种基于表情识别的心理健康评估方法，通过表情识别模型对用户上传的各面部图像进行表情识别；根据表情类型与心理健康程度的映射关系，分别得到与表情对应的心理健康值，计算各心理健康值的平均值；该平均值基于用户平常的生活表情得到，能够实时、全面以及客观地的反映出用户在若干天内的心理健康状态；此外，根据该平均值对用户做出心理健康评价和心理健康指导，可以有效地协助用户调整心态，从而改善用户的心理健康状况。一种基于表情识别的心理健康评估方法，包括：获取多个面部图像；每个所述面部图像中携带同一个用户的面部特征；每个所述面部图像的拍摄日期不相同；通过卷积神经网络分别提取每个所述面部图像中的面部特征，得到面部特征集合；将所述面部特征集合输入至表情识别模型，获得所述表情识别模型输出的表情集合；所述表情集合包括多个表情，各所述表情与各面部特征一一对应；根据表情类型与心理健康参数之间的映射关系，分别得到每个所述表情对应的所述心理健康值；计算各所述心理健康值的平均值；根据所述平均值、心理健康评价结果和心理健康指导结果之间的映射关系，得到与所述平均值对应的所述心理健康评价结果和所述心理健康指导结果。可选地，所述通过卷积神经网络分别提取每个所述面部图像中的面部特征，包括：通所述过卷积神经网络的卷积层以相同的权重参数分别提取每个所述面部图像中的目标数据；通过所述卷积神经网络的池化层分别对每个所述目标数据进行去冗余处理，得到每个所述面部图像中的面部特征。可选地，在所述获取多个面部图像之后，以及所述通过卷积神经网络分别提取每个所述面部图像中的面部特征之前，所述方法还包括：对所述面部图像进行平滑滤波处理，得到平滑图像；对所述平滑图像进行光线补偿处理，得到补偿图像；对所述补偿图像进行灰度化处理，得到灰度图像。所述通过卷积神经网络分别提取每个所述面部图像中的面部特征，包括：通过所述卷积神经网络分别提取每个所述灰度图像中的面部特征。可选地，所述平滑滤波处理的算法表达式为：其中，f(x，y)表示所述面部图像中像素点(x，y)经过平滑滤波处理后的灰度值，x表示横坐标，y表示纵坐标，δ为非0的常数。可选地，所述灰度化处理的算法表达式为：其中，h(x,y)表示所述补偿图像中像素点(x，y)的灰度值，g(x,y)表示所述像素点(x，y)经过灰度化处理后的灰度值，h1表示所述像素点(x，y)满足时的最大灰度值，h2表示所述像素点(x，y)满足时的最小灰度值，hist[]表示所述灰度图像的灰度值直方图，n表示所述灰度图像的像素点个数。可选地，所述表情识别模型的算法表达式为：其中，t表示所述表情识别模型中的回归器的级联序号，τt[]表示所述表情识别模型中的当前级的回归器，每个回归器由多棵回归树组成，s(t)为所述表情识别模型的形状估计；每个回归器τt[]根据s(t)和当前输入的面部特征i来预测s(t)的增量可选地，所述卷积层为5*5像素宽度的卷积窗。基于相同的技术构思，本申请还提供了一种基于表情识别的心理健康评估装置，包括：获取模块，用于获取多个面部图像。每个所述面部图像中携带同一个用户的面部特征；每个所述面部图像的拍摄日期不相同。处理模块，用于通过卷积神经网络分别提取所述获取模块所获取的每个所述面部图像中的面部特征，得到面部特征集合；将所述面部特征集合输入至表情识别模型，获得所述表情识别模型输出的表情集合；所述表情集合包括多个表情，各所述表情与各面部特征一一对应；根据表情类型与心理健康参数之间的映射关系，分别得到每个所述表情对应的所述心理健康值；计算各所述心理健康值的平均值；根据所述平均值、心理健康评价结果和心理健康指导结果之间的映射关系，得到与所述平均值对应的所述心理健康评价结果和所述心理健康指导结果。可选地，所述处理模块具体用于通所述过卷积神经网络的卷积层以相同的权重参数分别提取每个所述面部图像中的目标数据；通过所述卷积神经网络的池化层分别对每个所述目标数据进行去冗余处理，得到每个所述面部图像中的面部特征。可选地，所述处理模块还用于对所述面部图像进行平滑滤波处理，得到平滑图像；对所述平滑图像进行光线补偿处理，得到补偿图像；对所述补偿图像进行灰度化处理，得到灰度图像。所述通过卷积神经网络分别提取每个所述面部图像中的面部特征，包括：通过所述卷积神经网络分别提取每个所述灰度图像中的面部特征。可选地，所述平滑滤波处理的算法表达式为：其中，f(x，y)表示所述面部图像中像素点(x，y)经过平滑滤波处理后的灰度值，x表示横坐标，y表示纵坐标，δ为非0的常数。可选地，所述灰度化处理的算法表达式为：其中，h(x,y)表示所述补偿图像中像素点(x，y)的灰度值，g(x,y)表示所述像素点(x，y)经过灰度化处理后的灰度值，h1表示所述像素点(x，y)满足时的最大灰度值，h2表示所述像素点(x，y)满足时的最小灰度值，hist[]表示所述灰度图像的灰度值直方图，n表示所述灰度图像的像素点个数可选地，所述卷积层为5*5像素宽度的卷积窗。基于相同的技术构思，本申请还提供了一种计算机设备，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上述的基于表情识别的心理健康评估方法中的步骤。基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述的基于表情识别的心理健康评估方法中的步骤。本申请的有益效果：通过表情识别模型对用户上传的各面部图像进行表情识别；根据表情类型与心理健康程度的映射关系，分别得到与表情对应的心理健康值，计算各心理健康值的平均值；该平均值基于用户平常的生活表情得到，能够实时、全面以及客观地的反映出用户在若干天内的心理健康状态，有效提高心理健康评估的准确率；此外，根据该平均值对用户做出心理健康评价和心理健康指导，可以有效地协助用户调整心态，从而改善用户的心理健康状况。附图说明图1为本申请实施例中基于表情识别的心理健康评估方法的流程示意图。图2为本申请实施例中基于表情识别的心理健康评估装置的结构示意图。图3为本申请实施例中计算机设备的结构示意图。具体实施方式应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。本
技术领域：
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可以包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、程序、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、程序、步骤、操作、元件、组件和/或它们的组。图1为本申请一些实施方式中一种基于表情识别的心理健康评估方法的流程图，该基于表情识别的心理健康评估方法由基于表情识别的心理健康评估设备执行，基于表情识别的心理健康评估设备可以是电脑或手机等设备，如图1所示，可以包括以下步骤s1-s6：s1、获取多个面部图像。每个所述面部图像中携带同一个用户的面部特征。每个所述面部图像的拍摄日期不相同。一些实施方式中，面部特征包括眼睛、额头、眉毛、鼻子、嘴巴以及下颌等轮廓特征。一些实施方式中，使用带有web服务功能的摄像头，该摄像头用于拍摄用户的面部图像。该摄像头能以水平和垂直两种方式旋转，其中水平转角为270度，垂直转角为120度，摄像头通过水平旋转和垂直旋转的组合可以精确对准人脸。该摄像头采用cmos的图像传感器，并且能支持tcp/ip等基本协议。s2、通过卷积神经网络(convolutionalneuralnetworks，cnn)分别提取每个所述面部图像中的面部特征，得到面部特征集合。所述卷积神经网络仿造生物的视知觉(visualperception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-liketopology)特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(featureengineering)要求。一些实施方式中，步骤s2包括以下步骤s21-s22：s21、通所述过卷积神经网络的卷积层以相同的权重参数分别提取每个所述面部图像中的目标数据。可选地，所述卷积层为5*5像素宽度的卷积窗，通过卷积窗从面部图像的起始位置开始，逐步对面部图像的数据进行遍历，对面部图像进行取样。s22、通过所述卷积神经网络的池化层分别对每个所述目标数据进行去冗余处理，得到每个所述面部图像中的面部特征。所述卷积神经网络通过卷积层提取图像的不同特征，通过池化层对提取到的特征进行采样，以去除由于图像内部相邻像素之间存在较强的相关性所造成的空间冗余信息。在一个卷积神经网络中可以包含多个卷积层以及多个池化层。本实施例中通过所述卷积神经网络进行面部特征提取，所述卷积神经网络中同一层中的权重参数可以共享，因为同一张图像的各个不同区域具有一定的相似性，这样解决了全连接计算量过大问题。一些实施方式中，在步骤s1之后，以及步骤s2之前，该方法还包括以下步骤s11-s13：s11、对所述面部图像进行平滑滤波处理，得到平滑图像。一些实施方式中，所述平滑滤波处理的算法表达式为：其中，f(x，y)表示所述面部图像中像素点(x，y)经过平滑滤波处理后的灰度值，x表示横坐标，y表示纵坐标，δ为非0的常数。上述表达式，对整幅面部图像进行加权平均，每一个像素点的值都由其本身和邻域内的其他像素值经过加权平均后得到，从而有效抑制服从正态分布的噪声。s12、对所述平滑图像进行光线补偿处理，得到补偿图像。当光照条件发生变化时，人脸颜色也会发生一定的变化。当平滑图像的亮度较亮时，即光线较强时，人脸大部分区域的颜色不会超出正常光照条件下人脸颜色的变化范围，但是，当平滑图像的亮度较低时，即光线较暗时，人脸颜色的变化受亮度降低的影响较大，此时平滑图像中人脸的颜色很可能超出正常光照条件下人脸颜色的变化范围。因此，需要对平滑图像进行光线补偿处理，以进行亮度补偿。一些实施方式中，将平滑图像中所有像素经过非线性伽马(gamma)校正后的亮度值按从高到低的顺序进行排列，取前5％的像素的亮度值作为“参考白”，也就是将其色彩的红(r)、绿(g)、蓝(l)分量值都调整为最大值255。整个平滑图像的其他像素的色彩值均按照这一调整尺度进行变换，为了避免由于光照不均匀造成的漏检，可以将红(r)分量值设置的大一些。s13、对所述补偿图像进行灰度化处理，得到灰度图像。一些实施方式中，所述灰度化处理的算法表达式为：其中，h(x,y)表示所述补偿图像中像素点(x，y)的灰度值，g(x,y)表示所述像素点(x，y)经过灰度化处理后的灰度值，h1表示所述像素点(x，y)满足时的最大灰度值，h2表示所述像素点(x，y)满足时的最小灰度值，hist[]表示所述灰度图像的灰度值直方图，n表示所述灰度图像的像素点个数。相应地，步骤s2包括以下步骤：通过所述卷积神经网络分别提取每个所述灰度图像中的面部特征。s3、将所述面部特征集合输入至表情识别模型，获得所述表情识别模型输出的表情集合。所述表情集合包括多个表情，各所述表情与各面部特征一一对应。一些实施方式中，所述表情识别模型的算法表达式为：其中，t表示所述表情识别模型中的回归器的级联序号，τt[]表示所述表情识别模型中的当前级的回归器，每个回归器由多棵回归树组成，s(t)为所述表情识别模型的形状估计；每个回归器τt[]根据s(t)和当前输入的面部特征i来预测s(t)的增量在所述表情识别模型训练的过程中，从n张样本图像的每张样本图像的t个特征点中取一部分特征点训练出第一棵回归树，将第一棵回归树的预测值与所述部分特征点的真实值的残差用来训练第二棵树...依次类推，直到训练出第n棵树的预测值与所述部分特征点的真实值接近于0，得到所述表情识别模型算法的所有回归树，根据这些回归树得到关于面部特征点的表情识别模型。s4、根据表情类型与心理健康参数之间的映射关系，分别得到每个所述表情对应的所述心理健康值。一些实施方式中，所述表情类型包括6种基本表情，即高兴、悲伤、惊讶、恐惧、愤怒和厌恶，还包括惊喜(高兴+惊讶)、悲愤(悲伤+愤怒)等15种可被区分的复合表情。可根据情绪程度将每种表情细分成多级，例如将高兴表情划分为“一般高兴”、“高兴”和“很高兴”3个级别。人的心理健康情况与日常的内心情绪有关，人的面部表情往往容易表现出人的内心情绪。例如，高兴的表情反映了人的心情愉悦；心理学认为，长时间保持心情愉悦的人，心态乐观，一般心理会比较健康。相反，长时间的悲伤、恐惧、愤怒和厌恶等表情，反映了人的悲观心态，心理健康情况不佳。本申请，结合心理学领域中大数据的分析结果，为不同的表情设置对应的心理健康值，旨在通过人的表情识别出人的心理健康情况。例如，高兴的表情一般反映了人的心理健康情况很好，将表情‘很高兴’所对应的心理健康值设置为10分，表情‘高兴’所对应的心理健康值设置为9分，表情‘一般高兴’所对应的心理健康值设置为8分；同理，悲伤的表情一般反映了人的心理健康情况很差，将表情‘很悲伤’所对应的心理健康值设置为0.5分，表情‘悲伤’所对应的心理健康值设置为1分，表情‘一般悲伤’所对应的心理健康值设置为1.5分。s5、计算各所述心理健康值的平均值。由于各所述面部图像的拍摄日期不相同，所以每张所述面部图像所对应的表情反映了用户各天的内心情绪，也反映了用户多天的心理健康情况。对用户若干天内的心理健康值求平均，得到的所述平均值，可以更客观的反映出用户在若干天内的心理健康状态。s6、根据所述平均值、心理健康评价结果和心理健康指导结果之间的映射关系，得到与所述平均值对应的所述心理健康评价结果和所述心理健康指导结果。一些实施方式中，预先划分心理健康等级，所述心理健康等级包括a、b、c、d、e五个等级，所述心理健康等级、心理健康评价和心理健康指导相映射，映射关系如下表1所示。心理健康等级心理健康评价心理健康指导a级(9分～10分)优保持心情b级(8分～8.9分)良保持心情，再接再厉c级(7分～7.9分)一般调整心情d级(6分～6.9分)差调整心情，建议咨询心理医生e级(6分以下)很差急需调整心情并咨询心理医生表1根据表1确定所述平均值对应的所述心理健康等级，然后确定与所述心理健康等级对应的所述心理健康评价结果和所述心理健康指导结果。例如，所述平均值等于7.5分，则与所述平均值对应的所述心理健康等级为c级，则与所述平均值对应的所述心理健康评价结果为“一般”和所述心理健康指导结果为需要“调整心情”。对于需要调整心情的用户，推送一些“开心段子”、“心灵鸡汤”等，以调节用户情绪，或是可以通过机器人来进行语音互动疏导。上述实施例中，通过表情识别模型对用户上传的各面部图像进行表情识别；根据表情类型与心理健康参数的映射关系，分别得到与表情对应的心理健康值，计算各心理健康值的平均值；该平均值基于用户平常的生活表情得到，能够实时、全面以及客观地的反映出用户在若干天内的心理健康状态；此外，根据该平均值对用户做出心理健康评价和心理健康指导，可以有效地协助用户调整心态，从而改善用户的心理健康状况。基于相同的技术构思，本申请还提供了一种基于表情识别的心理健康评估装置，其可用于根据用户的面部表情识别用户的心理健康状态，本申请实施例中的装置能够实现对应于上述图1所对应的实施例中所执行的基于表情识别的心理健康评估的方法的步骤。该装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。如图2所示，该装置包括获取模块1和处理模块2。所述处理模块2和获取模块2的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。所述处理模块2可用于控制所述获取模块1的收发操作。所述获取模块1，用于获取多个面部图像。每个所述面部图像中携带同一个用户的面部特征；每个所述面部图像的拍摄日期不相同。所述处理模块2，用于用于通过卷积神经网络分别提取所述获取模块1所获取的每个所述面部图像中的面部特征，得到面部特征集合；将所述面部特征集合输入至表情识别模型，获得所述表情识别模型输出的表情集合；所述表情集合包括多个表情，各所述表情与各面部特征一一对应；根据表情类型与心理健康参数之间的映射关系，分别得到每个所述表情对应的所述心理健康值；计算各所述心理健康值的平均值；根据所述平均值、心理健康评价结果和心理健康指导结果之间的映射关系，得到与所述平均值对应的所述心理健康评价结果和所述心理健康指导结果。一些实施方式中，所述处理模块2具体用于通所述过卷积神经网络的卷积层以相同的权重参数分别提取每个所述面部图像中的目标数据；通过所述卷积神经网络的池化层分别对每个所述目标数据进行去冗余处理，得到每个所述面部图像中的面部特征。一些实施方式中，所述处理模块2还用于对所述面部图像进行平滑滤波处理，得到平滑图像；对所述平滑图像进行光线补偿处理，得到补偿图像；对所述补偿图像进行灰度化处理，得到灰度图像。相应地，所述处理模块2用于通过所述卷积神经网络分别提取每个所述灰度图像中的面部特征。一些实施方式中，所述平滑滤波处理的算法表达式为：其中，f(x，y)表示所述面部图像中像素点(x，y)经过平滑滤波处理后的灰度值，x表示横坐标，y表示纵坐标，δ为非0的常数。一些实施方式中，所述灰度化处理的算法表达式为：其中，h(x,y)表示所述补偿图像中像素点(x，y)的灰度值，g(x,y)表示所述像素点(x，y)经过灰度化处理后的灰度值，h1表示所述像素点(x，y)满足时的最大灰度值，h2表示所述像素点(x，y)满足时的最小灰度值，hist[]表示所述灰度图像的灰度值直方图，n表示所述灰度图像的像素点个数一些实施方式中，所述卷积层为5*5像素宽度的卷积窗。上述实施例中，通过表情识别模型对用户上传的各面部图像进行表情识别；根据表情类型与心理健康参数的映射关系，分别得到与表情对应的心理健康值，计算各心理健康值的平均值；该平均值基于用户平常的生活表情得到，能够实时、全面以及客观地的反映出用户在若干天内的心理健康状态；此外，根据该平均值对用户做出心理健康评价和心理健康指导，可以有效地协助用户调整心态，从而改善用户的心理健康状况。基于相同的技术构思，本申请还提供了一种计算机设备，如图3所示，该计算机设备包括输入输出单元31、处理器32和存储器33，所述存储器33中存储有计算机可读指令，所述计算机可读指令被所述处理器32执行时，使得所述处理器执行上述各实施方式中的所述的基于表情识别的心理健康评估方法的步骤。图2中所示的获取模块1对应的实体设备为图3所示的输入输出单元31，该输入输出单元31能够实现获取模块1部分或全部的功能，或者实现与获取模块1相同或相似的功能。图2中所示的处理模块2对应的实体设备为图3所示的处理器32，该处理器32能够实现处理模块2部分或全部的功能，或者实现与处理模块2相同或相似的功能。基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施方式中的所述的基于表情识别的心理健康评估方法的步骤。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
技术领域：
，这些均属于本申请的保护之内。当前第1页12