模型训练方法、表情识别方法、装置以及计算机存储介质与流程

本申请涉及人工智能领域，特别是涉及一种模型训练方法、表情识别方法、装置以及计算机存储介质。

背景技术：

1、表情是人类传递和表达感情的一个重要方式，它最为直接的反应人类实时的情绪和心理状况。我们可以通过面部表情向他人传递自己的情绪，也可以通过对方的表情了解他人的真实想法和情感。著名的心理学家提出将人面部表情划分为最基本的六类：愉快、惊奇、悲伤、厌恶、愤怒和惧怕。目前无数研究者致力于表情识别的研究，提出了许多表情识别的方法。虽然说表情识别相关研究合计数愈发成熟，但人脸面部表情识别是一种非常复杂的研究工作。因为人类有不同的状态，不同的年龄，不同脸型的区别，这些因素都会对人脸表情识别正确率提升造成很大的影响。

2、虽然人脸表情识别方面出现大量的研究成果，但是在实际场景中表情识别仍然是一个困难的问题。对于同一种情感，不同的人往往会表现出不同强度和视觉感官。而且即使是同一个人与会表现出不同的强度，比如嘴角弧度、面部肌肉运动状态等。在日常生活中不同状态、不同状态的表情的识别难易程度不同。

技术实现思路

1、为解决上述技术问题，本申请提出了一种模型训练方法、表情识别方法、装置以及计算机存储介质。

2、为解决上述技术问题，本申请提出了一种模型训练方法，包括：

3、获取训练样本，其中，所述训练样本为表情数据集中同一表情的至少两帧表情图像；获取待训练模型的特征提取层输出的第一帧表情图像的第一图像特征，以及第二帧表情图像的第二图像特征；获取所述第一图像特征和所述第二图像特征的特征差异值；按照所述特征差异值确定所述待训练模型的第一损失值；基于所述第一损失值对所述待训练模型进行训练。

4、其中，所述特征差异值包括中层特征差异值和深层特征差异值；所述获取待训练模型的特征提取层输出的第一帧表情图像的第一图像特征，以及第二帧表情图像的第二图像特征，包括：获取所述待训练模型的中层特征提取层输出的第一帧表情图像的第三图像特征，以及第二帧表情图像的第四图像特征；获取所述待训练模型的深层特征提取层输出的第一帧表情图像的第五图像特征，以及第二帧表情图像的第六图像特征；所述获取所述第一图像特征和所述第二图像特征的特征差异值，包括：获取所述第三图像特征和所述第四图像特征的中层特征差异值；获取所述第五图像特征和所述第六图像特征的深层特征差异值；所述按照所述特征差异值确定所述待训练模型的第一损失值，包括：按照所述中层特征差异值和所述深层特征差异值确定所述待训练模型的第一损失值。

5、其中，所述第一损失值包括中层特征损失值和深层特征损失值；所述基于所述第一损失值对所述待训练模型进行训练，包括：基于所述中层特征损失值和所述深层特征损失值对所述待训练模型进行训练。

6、其中，所述至少两帧表情图像包括同一表情的起点表情图像、过渡表情图像以及峰值表情图像，其中，起点表情图像、过渡表情图像以及峰值表情图像按照时间序列排序。

7、其中，所述获取训练样本，包括：获取所述表情数据集中的若干表情序列帧；计算所述若干表情序列帧两两之间的相似度；按照所述相似度对所述若干表情序列帧进行聚类划分；将同一聚类中心的预设数量表情序列帧，按照时间序列组成所述训练样本。

8、其中，所述模型训练方法还包括：获取所述待训练模型的特征识别层输出的第一帧表情图像的第一网络预测标签，以及第二帧表情图像的第二网络预测标签；获取所述第一网络预测标签、所述第二网络预测标签与表情真实标签的表情识别误差；按照所述表情识别误差确定所述待训练模型的第二损失值；所述基于所述第一损失值对所述待训练模型进行训练包括：基于所述第一损失值和所述第二损失值对所述待训练模型进行训练。

9、其中，所述基于所述第一损失值对所述待训练模型进行训练之后，所述模型训练方法还包括：获取测试样本，其中，所述测试样本为所述表情数据集中任意一帧表情图像；将所述表情图像输入所述待训练模型，获取所述待训练模型输出的表情测试标签；按照所述表情测试标签以及表情真实标签确定所述待训练模型的训练情况。

10、为解决上述技术问题，本申请提出一种表情识别方法，所述表情识别方法包括：获取视频图像；将所述视频图像输入到预先训练好的表情识别模型中，获取所述表情识别模型输出的表情识别结果；根据所述表情识别结果确定所述视频图像对应的表情类型；其中，所述表情识别模型由上述的模型训练方法训练所得。

11、为解决上述技术问题，本申请提出一种表情识别装置，所述表情识别装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现上述的模型训练方法，和/或上述表情识别方法。

12、为解决上述技术问题，本申请提出一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的模型训练方法，和/或上述的表情识别方法。

13、与现有技术相比，本申请的有益效果是：表情识别装置获取训练样本，其中，训练样本为表情数据集中同一表情的至少两帧表情图像；获取待训练模型的特征提取层输出的第一帧表情图像的第一图像特征，以及第二帧表情图像的第二图像特征；获取第一图像特征和所述第二图像特征的特征差异值；按照特征差异值确定所述待训练模型的第一损失值；基于第一损失值对所述待训练模型进行训练。通过上述方式，本申请利用特征差异值引导不同状态表情之间的特征转换，增大了不同状态表情的细节识别效果，提高表情识别的模型训练效果。

技术特征：

1.一种模型训练方法，其特征在于，所述模型训练方法包括：

2.根据权利要求1所述的模型训练方法，其特征在于，

3.根据权利要求2所述的模型训练方法，其特征在于，

4.根据权利要求1所述的模型训练方法，其特征在于，

5.根据权利要求4所述的模型训练方法，其特征在于，

6.根据权利要求1所述的模型训练方法，其特征在于，

7.根据权利要求1或6所述的模型训练方法，其特征在于，

8.一种表情识别方法，其特征在于，所述表情识别方法包括：

9.一种表情识别装置，其特征在于，所述表情识别装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如权利要求1至7任一项所述的模型训练方法，和/或权利要求8所述的表情识别方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1至7任一项所述的模型训练方法，和/或权利要求8所述的表情识别方法。

技术总结
本申请提出一种模型训练方法、表情识别方法、装置以及计算机存储介质，所述模型训练方法包括：获取训练样本，其中，训练样本为表情数据集中同一表情的至少两帧表情图像；获取待训练模型的特征提取层输出的第一帧表情图像的第一图像特征，以及第二帧表情图像的第二图像特征；获取第一图像特征和所述第二图像特征的特征差异值；按照特征差异值确定所述待训练模型的第一损失值；基于第一损失值对所述待训练模型进行训练。通过上述方式，本申请利用特征差异值引导不同状态表情之间的特征转换，增大了不同状态表情的细节识别效果，提高表情识别的模型训练效果。

技术研发人员：朱睿,王康,熊宇鹏,陈波扬
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/1/12