基于脸部微表情的认知状态识别系统及方法与流程

文档序号:23583098发布日期:2021-01-08 14:13阅读:来源:国知局

技术特征:

1.一种基于脸部微表情的认知状态识别系统,其特征在于,包括,数据获取模块、数据处理模块和认知分类模型;

所述数据获取模块用于获取用于训练的视频数据,所述视频数据包含认知状态正常的测试对象的视频数据和认知状态异常的测试对象的视频数据;

所述数据处理模块用于对所述视频数据进行处理,将所述视频数据截取为固定帧数的短视频;

所述认知分类模型包括:au区域划分模块、特征提取模块、预测模块、检验模块和分类模块;

将所述数据处理模块处理好的短视频输入所述认知分类模型对其进行训练;

所述au区域划分模块用于针对短视频中的每一帧图像进行面部特征点识别,将每一帧图像划分成不同的au区域;

所述特征提取模块用于将每一个au区域输入对应的cnn,得到相应au区域的特征向量,将每一帧图像的所有au区域的特征向量进行串联得到每一帧图像的多标签au特征;

所述预测模块用于将每一帧图像的多标签au特征输入lstm网络进行au预测,得到每个短视频对应的不同的au出现的概率;

所述检验模块用于对所述预测模块的结果进行显著性检验,确定差异au;

所述分类模块用于将认知状态正常和状态异常作为类别标签,将所述差异au的概率作为特征标签,使用svm进行二分类,完成所述认知状态评估模型训练工作;

所述数据获取模块还用于获取未知状态的测试对象的待识别视频数据并输入至训练好的所述认知分类模型;

所述认知分类模型输出评估结果。

2.根据权利要求1所述的基于脸部微表情的认知状态识别系统,其特征在于,

所述认知状态评估模型还包括预处理模块;

所述预处理模块用于通过vgg网络对输入至所述认知分类模型的短视频中的每一帧图像进行预处理后输入至所述au区域划分模块。

3.根据权利要求1所述的基于脸部微表情的认知状态识别系统,其特征在于,

所述数据处理模块将所述视频数据截取为固定帧数的短视频,且相邻的短视频具有部分重叠帧数。

4.根据权利要求3所述的基于脸部微表情的认知状态识别系统,其特征在于,

所述数据处理模块将所述视频数据截取为固定帧数为n的短视频,且相邻的短视频具有部分重叠帧数为0.1n-0.4n。

5.一种基于脸部微表情的认知状态识别方法,其特征在于,包含以下步骤:

通过数据获取模块获取用于训练的视频数据,所述视频数据包含认知状态正常的测试对象的视频数据和认知状态异常的测试对象的视频数据;

通过数据处理模块对所述视频数据进行处理,将所述视频数据截取为固定帧数的短视频;

搭建认知状态评估模型并通过处理后的短视频对所述认知状态评估模型进行训练;

再通过所述数据获取模块获取未知状态的测试对象的待识别视频数据并输入训练好的所述认知状态评估模型得到评估结果;

所述认知状态评估模型包括:au区域划分模块、特征提取模块、预测模块、检验模块和分类模块;

所述通过处理后的短视频对所述认知状态评估模型进行训练的具体方法为:

所述数据处理模块将处理后的短视频输入至所述认知状态评估模型;

通过所述au区域划分模块针对短视频中的每一帧图像进行面部特征点识别,将每一帧图像划分成不同的au区域;

通过所述特征提取模块将每一个au区域输入对应的cnn,得到相应au区域的特征向量,将每一帧图像的所有au区域的特征向量进行串联得到每一帧图像的多标签au特征;

通过所述预测模块将每一帧图像的多标签au特征输入lstm网络进行au预测,得到每个短视频对应的不同的au出现的概率;

通过所述检验模块对所述预测模块的结果进行显著性检验,确定差异au;

将所述差异au输入所述分类模块,将认知状态正常和状态异常作为类别标签,将所述差异au的概率作为特征标签,使用svm进行二分类,完成所述认知状态评估模型训练工作。

6.根据权利要求5所述的基于脸部微表情的认知状态识别方法,其特征在于,

所述认知状态评估模型还包括预处理模块;

在通过所述au区域划分模块对图像进行划分之前,

先将所述短视频输入所述预处理模块,所述预处理模块通过vgg网络对短视频中的每一帧图像进行预处理。

7.根据权利要求6所述的基于脸部微表情的认知状态识别方法,其特征在于,

所述将所述视频数据截取为固定帧数的短视频的具体方法为:

将所述视频数据截取为固定帧数的短视频,且相邻的短视频具有部分重叠帧数。

8.根据权利要求7所述的基于脸部微表情的认知状态识别方法,其特征在于,

所述将所述视频数据截取为固定帧数的短视频的具体方法为:

将所述视频数据截取为固定帧数为n的短视频,且相邻的短视频具有部分重叠帧数为0.1n-0.4n。

9.根据权利要求6所述的基于脸部微表情的认知状态识别方法,其特征在于,

认知状态异常的测试对象为患有帕金森综合征的患者。

10.根据权利要求6所述的基于脸部微表情的认知状态识别方法,其特征在于,

认知状态异常的测试对象为患有阿尔茨海默症的患者。


技术总结
本发明公开了一种基于脸部微表情的认知状态识别系统及方法,该系统包括:数据获取模块、数据处理模块和认知分类模型;数据获取模块用于获取用于训练的视频数据;数据处理模块用于对视频数据进行处理,将视频数据截取为固定帧数的短视频;将数据处理模块处理好的短视频输入认知分类模型对其进行训练;数据获取模块还用于获取未知状态的测试对象的待识别视频数据并输入至训练好的认知分类模型;认知分类模型输出评估结果。本发明的基于脸部微表情的认知状态识别系统及方法,能够对测试对象的脸部视频数据进行分析处理,并自动对该测试对象的认知状态进行归类识别。

技术研发人员:丁鼐;高佳欣;罗本燕;彭国平
受保护的技术使用者:浙江大学;浙江大学医学院附属第一医院
技术研发日:2020.09.29
技术公布日:2021.01.08
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1