一种基于识别人脸表情精准预测人类情绪的方法、系统和装置与流程

本发明涉及计算机视觉、深度学习以及情感分析，特别涉及一种基于识别人脸表情精准预测人类情绪的方法。

背景技术：

1、在计算机视觉和情感分析领域，已有一些方法和装置旨在识别人脸表情并预测情绪状态。这些技术多数基于图像处理和模式识别的方法，使用了传统的特征提取和机器学习技术。这些方法在一定程度上取得了一些成果，但存在一些局限性：

2、1.传统特征提取方法的限制：许多现有技术仍然依赖于传统的手工设计特征提取方法，这些方法难以充分捕捉人脸表情中的复杂和微妙的变化，从而影响了情感预测的准确性。

3、2.模型泛化能力不足：一些现有技术的模型泛化能力有限，往往在不同光照、表情、角度等情况下出现性能下降，难以适应真实世界的多变性。

4、3.复杂情感状态识别的挑战：许多情感是复杂的、多样化的，传统方法在对复杂情感状态的准确预测上存在困难。

5、4.实时性与效率问题：部分现有技术在大规模数据和实时应用场景下表现出处理速度不足的问题。

技术实现思路

1、本发明要解决的技术问题是提供一种基于识别人脸表情精准预测人类情绪的方法，克服背景技术中提及的传统方法的局限性，提高人脸表情识别和情感预测的精确性、准确性和实时性。

2、为了解决上述技术问题，本发明的技术方案为：

3、一种基于识别人脸表情精准预测人类情绪的方法，包括以下步骤：

4、(1)获取人脸图像，并对图像进行预处理；

5、(2)通过人脸检测算法确定图像中的人脸位置以及重要的关键点；

6、(3)利用深度学习和训练的vgg16模型对人脸图像进行深度特征提取；

7、(4)提取的特征输送到lstm模型进行时序特征处理；

8、(5)将经过时序特征处理的特征输送到transformer进行模型空间和全局关系建模，并从transformer获得最终的特征输出；

9、(6)基于transformer的输出，构建一个情感分类模型，使用softmax激活函数得到每种情感的概率分布；

10、(7)输出最高概率的情感标签作为最终预测或提供每种情感的概率供用户参考。

11、进一步的，vgg16模型对人脸图像进行深度特征提取的步骤包括：

12、(1)输入图像通过多个卷积层，使用3x3的卷积核进行卷积操作；

13、(2)卷积操作的公式：y＝x*k，其中x是输入特征图，k是卷积核，*表示卷积操作；

14、(3)接着，每个卷积操作后有relu激活函数和2x2最大池化操作；

15、(4)最终，图像的特征通过3个全连接层。

16、进一步的，时序特征处理的步骤包括：

17、(1)将vgg16的每一帧输出作为lstm的输入；

18、(2)lstm通过其内部的“记忆单元”来处理时序数据，为下一步的transformer提供增强的时序特征。

19、进一步的，模型空间和全局关系建模步骤包括：

20、(1)lstm的输出作为transformer的输入；

21、(2)transformer通过其自注意力机制分析输入特征中的各种关系，transformer的自注意力机制允许捕捉长期依赖关系，进一步权衡并识别图像中的情感关键部分，具体算法如下：

22、a.计算query、key、value(q,k,v)

23、b.使用dot-product计算注意力分数：

24、c.通过softmax函数归一化得到注意力权重。

25、d.使用这些权重计算加权的value总和：

26、attention output＝softmax(score)v。

27、进一步的，vgg16模型的深度学习和训练步骤包括：

28、(1)前向传播：输入图像，通过卷积和池化层逐步提取特征，得到最终的特征表示；

29、(2)计算损失：使用损失函数衡量预测输出与实际标签之间的差异；

30、(3)反向传播：通过反向传播计算参数的梯度；

31、(4)参数更新：使用优化算法更新参数；

32、(5)迭代训练：重复上述步骤，多次迭代直到收敛。

33、本发明还提供了一种基于识别人脸表情精准预测人类情绪的系统，其搭载或存储有可实现上述的基于识别人脸表情精准预测人类情绪的方法的程序。

34、本发明还提供了一种基于识别人脸表情精准预测人类情绪的装置，包括依次进行数据传输的图像输入源模块、预处理模块、人脸检测和关键点定位模块、特征提取模块、情感分类模型模块、情感预测模块以及输出模块；

35、其中图像输入源模块用于获取待识别的人脸图像，为后续的人脸表情识别和情感预测提供数据基础；

36、预处理模块用于将人脸图像经过一系列处理步骤，包括裁剪、尺度归一化和灰度化，这些步骤将图像转化为标准化的输入数据，为特征提取和情感分类模型的建立提供了清晰、一致的数据；

37、人脸检测和关键点定位模块，该模块用于定位图像中的人脸区域，并对人脸的关键点进行定位；

38、特征提取模块，采用深度卷积神经网络作为核心方法，从预处理后的人脸图像中提取高级特征；

39、情感分类模型模块，用于构建情感分类模型和预测人脸表情对应的情感状态；

40、情感预测模块，用于将待预测的人脸特征输入到情感分类模块，通过模型的学习和推理，生成对应于输入人脸的情感状态预测结果；

41、输出模块用于将预测结果以可读的方式呈现给用户。

42、本发明的优点在于：

43、本发明引入了先进的深度学习技术，构建了针对人脸表情的情感分类模型，从而克服了现有技术的不足之处，具体创新点包括：

44、1.自动特征学习：本发明采用深度学习技术，能够自动从图像中学习特征，更好地捕捉人脸表情的细微变化，提升情感预测的精确性。

45、2.优化模型泛化能力：深度学习模型的引入提高了模型的泛化能力，使其在不同场景下也能保持较高的预测准确度。

46、3.多情感状态识别：通过深度学习模型，本发明能够更好地处理复杂的情感状态，识别细微的情感变化。

47、4.实时性与效率提升：本发明结合现代计算机硬件，能够在大规模数据和实时应用场景下实现高效处理，提升了实时性和效率。

技术特征：

1.一种基于识别人脸表情精准预测人类情绪的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于识别人脸表情精准预测人类情绪的方法，其特征在于，vgg16模型对人脸图像进行深度特征提取的步骤包括：

3.根据权利要求1所述的基于识别人脸表情精准预测人类情绪的方法，其特征在于，时序特征处理的步骤包括：

4.根据权利要求1所述的基于识别人脸表情精准预测人类情绪的方法，其特征在于，模型空间和全局关系建模步骤包括：

5.根据权利要求1-5任一项所述的基于识别人脸表情精准预测人类情绪的方法，其特征在于，vgg16模型的深度学习和训练步骤包括：

6.一种基于识别人脸表情精准预测人类情绪的系统，其特征在于：其搭载或存储有可实现权利要求1-5中的任一项所述的基于识别人脸表情精准预测人类情绪的方法的程序。

7.一种基于识别人脸表情精准预测人类情绪的装置，其特征在于：包括依次进行数据传输的图像输入源模块、预处理模块、人脸检测和关键点定位模块、特征提取模块、情感分类模型模块、情感预测模块以及输出模块；

技术总结
本发明公开了一种基于识别人脸表情精准预测人类情绪的方法，包括以下步骤：1)获取人脸图像，并对图像进行预处理；2)确定图像中的人脸位置以及重要的关键点；3)对人脸图像进行深度特征提取；4)时序特征处理；5)模型空间和全局关系建模；6)情感分类模型，得到每种情感的概率分布；7)输出最高概率的情感标签作为最终预测或提供每种情感的概率供用户参考。本发明能够自动从图像中学习特征，更好地捕捉人脸表情的细微变化，提升情感预测的精确性，深度学习模型的引入提高了模型的泛化能力，使其在不同场景下也能保持较高的预测准确度，更好地处理复杂的情感状态，能够在大规模数据和实时应用场景下实现高效处理，提升了实时性和效率。

技术研发人员：魏永强,李建州,杨兴海,杨兴荣
受保护的技术使用者：世纪恒通科技股份有限公司
技术研发日：
技术公布日：2024/1/15