一种基于多模态信息融合的抑郁症评估系统及设备

1.本发明涉及抑郁症智能评估的技术领域，尤其是涉及一种基于多模态信息融合的抑郁症评估系统及设备。


背景技术：

2.目前，随着我国工业化和城镇化进程的不断推进，生活方式由传统向现代转变，经济社会高速发展，思想观念快速变革，这给和谐社会的发展带来了诸多问题和矛盾，人们学习、工作和生活的压力也变得越来越大，出现心理疾病以及行为障碍的幅度也越来越大，越来越多的人受到心理以及精神方面疾病的困扰，尤其是抑郁症问题给公众的心理健康状况带来巨大的挑战。同时，恶劣的心理健康状况不仅会给患者及其家庭带来痛苦，也会给全社会造成更加沉重的疾病负担。
3.当前，对抑郁症患者的评估方法主要依靠咨询心理医生或借助心理评测报告和各类测评量表，而心理测评量表系统是以问卷调查和数据报表为基础，根据以往调查分析的结果形成的模型作参考，对照被测评人对相关问题的回答，进行心理评估。
4.上述中的方案获得的抑郁症患者的信息是分立的，缺乏有效整合，对大学生心理评估的信度和效度都有不良影响，且影响深度无从评价，不仅费时耗力，而且评估结果还具有很强的主观性。


技术实现要素：

5.为了解决上述背景技术中提出的的问题，本发明提供一种基于多模态信息融合的抑郁症评估系统及设备。
6.第一方面，本发明提供一种基于多模态信息融合的抑郁症评估系统，采用如下的技术方案：一种基于多模态信息融合的抑郁症评估系统，包括：无感智能数据采集模块，用于采集被测人员的多种模态数据特征；单模态特征处理模块，用于对多种模态数据特征分别进行打分，并综合得到被测人员抑郁症程度的评估结果一；信号特征提取模块，用于将多种模态数据特征转换为同模态数据特征；智能融合模块，用于将所述同模态数据特征输入至多模态神经网络进行提取得到多种数据模态的融合特征；融合特征处理模块，用于对多种数据模态的融合特征进行打分，同时分类得到被测人员抑郁症程度的评估结果二；预测及分类模块，用于将获取的评估结果一和评估结果二输入至基于mbp和注意力机制的数据融合模型，综合得到被测人员患抑郁症程度的最终评估结果。
7.通过采用上述技术方案，采集被测人员的多种模态数据特征，并将其高效融合得到融合特征，通过设置单模态特征处理模块和融合特征处理模块分别对单模态数据特征和
融合特征处理，得到基于单模态的抑郁症程度评估结果和基于融合特征的抑郁症程度评估结果，将两种结果融合得到最终评估结果，提高了抑郁症程度评估的准确性和客观性，减少了主观性。
8.优选的，所述多种模态数据特征至少包括行为信号和生理信号；所述行为信号包括音频特征和面部特征，所述音频特征包括语音信号和语义信号，所述面部特征包括面部行为和面部表情；所述生理信号包括脑电信号、心跳信号、血压信号、体温信号和呼吸信号。
9.优选的，所述单模态特征处理模块包括用于处理音频特征的语音处理单元和用于处理面部特征的面部处理单元。
10.优选的，所述语音处理单元具体包括：第一转换组件，用于将所述语音信号和语义信号转换为语音单模态数据；第一评估组件，用于将所述语音单模态数据发送至预先构建的基于语音信号的情绪心理状态识别模型，进行打分并分类，得到关于语音的评估结果三。
11.优选的，所述基于语音信号的情绪心理状态识别模型包括：第一采集单元，用于获取第一初始模型和第一数据集，所述第一数据集为enterface05数据库中的音频模态，所述第一初始模型为vanilla cldnn网络模型；第一分类单元，用于通过musan语料库中的噪声对所述第一数据集进行扩充，并将扩充处理后的分成加入噪声的第一训练集、第一验证集和第一测试集；第一训练单元，用于根据第一训练集、第一验证集和第一测试集对所述第一初始模型进行log-mels训练，得到基于语音信号的情绪心理状态识别模型。
12.优选的，所述面部处理单元具体包括：第二转换组件，用于将所述面部行为和面部表情转换为面部表情单模态数据；第二评估组件，用于将所述面部表情单模态数据发送至预先构建的基于面部表情的情绪心理状态识别模型，进行打分并分类，得到关于面部表情的评估结果四。
13.优选的，所述基于面部表情的情绪心理状态识别模型包括：第二采集单元，用于获取第二数据集和第二初始模型，所述第二数据集为enterface05数据库中的每段视频图像中的面部表情图像，所述第二初始模型为convnet网络模型；第二分类单元，用于所述第二数据集在enterface05数据库的作用下自动分为第二训练集、第二验证集和第二测试集；第二训练单元，用于根据第二训练集、第二验证集和第二测试集对所述第二初始模型进行训练得到基于面部表情的情绪心理状态识别模型。
14.优选的，所述单模态特征处理模块还包括：获取单元，用于获取关于语音的评估结果三和关于面部表情的评估结果四；融合单元，用于将所述关于语音的评估结果三和关于面部表情的评估结果四发送至预先构建的基于mbp和注意力机制的数据融合模型并进行融合处理，得到被测人员抑郁症程度的评估结果一。
15.通过采用上述技术方案，将单模态数据的处理结果进行融合，进而提高被测人员抑郁程度评估的精准度。
16.优选的，所述基于mbp和注意力机制的数据融合模型的具体生成步骤如下：
第三采集单元，用于获取第三数据集和第三初始模型，所述第三初始模型为mbp模型和自注意力机制模型；第三分类单元，用于将所述第三数据集分为第三训练集和第三测试集，所述第三训练集和第三测试集的比例为4:1；第三训练单元，用于通过所述第三训练集对所述第三初始模型进行训练，得到基于mbp和注意力机制的数据融合模型。
17.第二方面，本发明提供一种基于抑郁症评估的电子设备，采用如下的技术方案：一种基于抑郁症评估的电子设备，包括：可读存储介质，存储有上述基于多模态信息融合的抑郁症评估系统所用的软件指令，其中包括有用于实现为多模态信息融合的抑郁症评估系统所设计的计算机程序；处理器，用于执行所述可读存储介质所存储的计算机程序；触摸显示屏，用于人机实时交互，可视化的显示多种模态数据和评测结果。
18.综上所述，本发明具有如下的有益技术效果：1.本发明通过采集被测人员的多种模态数据特征，并进行了高效融合，对单模态数据特征和融合特征分别进行处理，并将结果融合，量化感知被测人员的心理健康程度，提高了对于被测人员是否患抑郁症可能性以及抑郁症程度的精准度；2.本发明减少了人为的主观判断，提高了心理健康评估的准确性和客观性。
附图说明
19.图1是本发明的处理流程示意图。
具体实施方式
20.以下结合图1对本发明作进一步详细说明。
21.本发明实施例公开一种基于多模态信息融合的抑郁症评估系统。参照图1，一种基于多模态信息融合的抑郁症评估系统具体包括：无感智能数据采集模块、单模态特征处理模块、信号特征提取模块、智能融合模块、融合特征处理模块和预测及分类模块。
22.具体地，无感智能数据采集模块，用于采集被测人员的多种模态数据特征；具体的，多种模态数据特征至少包括行为信号和生理信号；行为信号包括音频特征和面部特征，音频特征包括语音信号和语义信号，面部特征包括面部行为和面部表情；生理信号包括脑电信号、心跳信号、血压信号、体温信号和呼吸信号；上述行为信号可以通过摄像机捕捉视频信号、语音信号和语义信号，在视频信号中获取被测人员的面部行为和面部表情；上述生理信号可通过给被测人员佩戴脑电波头带、手环等便携式设备，获取被测人员的脑电信号、心跳信号、血压信号、体温信号和呼吸信号。
23.单模态特征处理模块，用于对多种模态数据特征分别进行打分，并综合得到被测人员抑郁症程度的评估结果一；其中，单模态特征处理模块包括用于处理音频特征的语音处理单元和用于处理面
部特征的面部处理单元；语音处理单元具体包括：第一转换组件，用于将语音信号和语义信号转换为语音单模态数据；语音信号和语义信号通过opensmile等开源工具进行数据处理，提取深层数据特征，得到语音单模态数据；第一评估组件，用于将语音单模态数据发送至预先构建的基于语音信号的情绪心理状态识别模型并进行处理，得到关于语音的评估结果三。
24.需要说明的是，上述中基于语音信号的情绪心理状态识别模型包括：第一采集单元，用于获取第一初始模型和第一数据集，所述第一数据集为enterface05数据库中1257段音频模态，所述第一初始模型为vanilla cldnn网络模型，所述cldnn网络模型包括：包含两个具有32个特征图的卷积层和一个最大池化层的特征模块、包含一个具有长短记忆选通的双向递归神经网络层（blstm）的时间模块、包含4个fc层的分类器模块，所述分类器模块中前3个fc层为relu激活函数，最后一个fc层为softmax函数；第一分类单元，用于通过musan语料库中的噪声对所述第一数据集进行扩充，并在musan语料库的作用下将扩充处理后的分成加入噪声的第一训练集、第一验证集和第一测试集；第一训练单元，用于根据第一训练集、第一验证集和第一测试集对所述第一初始模型进行log-mels训练，得到基于语音信号的情绪心理状态识别模型。
25.另外，面部处理单元具体包括：第二转换组件，用于将所述面部行为和面部表情转换为面部表情单模态数据；面部行为和面部表情通过openface等开源工具进行数据处理，提取深层数据特征，得到面部表情单模态数据；第二评估组件，用于将面部表情单模态数据发送至预先构建的基于面部表情的情绪心理状态识别模型并进行处理，得到关于面部表情的评估结果四。
26.需要说明的是，上述中基于面部表情的情绪心理状态识别模型包括：第二采集单元，用于获取第二数据集和第二初始模型，所述第二数据集为enterface05数据库中的每段视频图像中的面部表情图像，所述第二初始模型为convnet网络模型，所述convnet网络模型包括4个阶段，第一阶段包含1个卷积层、1个最大池化层和1个局部响应归一化层；第二阶段包含1个卷积层、1个平均池化层和一个局部响应归一化层；第三阶段包含1个卷积层和一个平均池化层；第四阶段即分类阶段，包含一个全连接层和一个输出层，输出层通过softmax函数，实现特征与分类概率分布间的映射；第二分类单元，用于第二数据集在enterface05数据库的作用下自动分为第二训练集、第二验证集和第二测试集；第二训练单元，用于根据第二训练集、第二验证集和第二测试集对所述第二初始模型进行训练得到基于面部表情的情绪心理状态识别模型。
27.其中，所述单模态特征处理模块还包括：获取单元，用于获取关于语音的评估结果三和关于面部表情的评估结果四；融合单元，用于将关于语音的评估结果三和关于面部表情的评估结果四发送至预先构建的基于mbp和注意力机制的数据融合模型并进行融合处理，得到被测人员抑郁症程
度的评估结果一。
28.需要说明的是，上述基于mbp和注意力机制的数据融合模型包括：第三采集单元，用于获取第三数据集和第三初始模型，第三初始模型为mbp模型（multimodal bilinear pooling）和自注意力机制模型；第三分类单元，用于将第三数据集分为第三训练集和第三测试集，第三训练集和第三测试集的比例为4:1；第三训练单元，用于通过第三训练集对第三初始模型进行训练，得到基于mbp和注意力机制的数据融合模型；以第二测试集上的误差作为基于mbp和注意力机制的数据融合模型应对现实场景的泛化误差。
29.信号特征提取模块，用于将多种模态数据特征转换为同模态数据特征；具体为对多模态数据特征分别提取特征后得到的各模态特征智能融合模块，用于将所述同模态数据特征输入至多模态神经网络进行提取得到多种数据模态的融合特征；具体的，将同模态数据特征进行特征融合，得到高维特征表达；基于高维特征表达，获取多种单模态数据在高维空间上的共性，即多种单模态数据的统一表征；将共性与基于中间融合的多模态数据融合模型的中间层进行融合得到融合特征。
30.具体的，将提取的单模态特征发送至基于中间融合的多模态数据融合模型进行打分，即权重计算，权重为单模态特征融合为多模态特征时的参数，打分完成得到单模态特征的融合比率（融合权重），将各权重与各单模态特征进行计算，得到融合特征。
31.融合特征处理模块，用于对多种数据模态的融合特征进行打分，同时分类得到被测人员抑郁症程度的评估结果二；具体的，将融合特征发送至基于中间融合的多模态数据融合模型，通过对融合特征进行打分并分类，得到被测人员抑郁症程度的评估结果二。
32.预测及分类模块，用于将获取的评估结果一和评估结果二输入至基于mbp和注意力机制的数据融合模型，综合得到被测人员患抑郁症程度的最终评估结果，具体步骤如下：获取评估结果一和评估结果二；将评估结果一和评估结果二发送至预先构建的基于mbp和注意力机制的数据融合模型，得到被测人员患抑郁症程度的最终评估结果。
33.本发明实施例的的实施原理为：通过无感智能数据采集模块采集被测人员的行为信号和生理信号，信号特征提取模块将不同模态数据特征转换为同模态数据特征，智能融合模块将同模态数据特征进行提取得到多种数据模态的融合特征，通过单模态特征处理模块对多种模态数据特征分别进行打分得到评估结果一，通过融合特征处理模块对融合特征进行打分得到评估结果二，通过预测及分类模块将评估结果一和评估结果二进行综合，得到被测人员患抑郁症程度的最终评估结果。
34.本发明实施例还公开一种基于抑郁症评估的电子设备，包括：可读存储介质，存储有上述基于多模态信息融合地抑郁症评估系统所用的软件指令，其中包括有用于实现多模态信息融合的的抑郁症评估系统所设计的计算机程序；
处理器，用于执行所述可读存储介质所存储的计算机程序；触摸显示屏，用于人机实时交互，可视化的显示多种模态数据和评测结果。
35.以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。