一种基于多模态数据用户情绪自测系统

本发明涉及数据收集与处理，尤其涉及一种基于多模态数据用户情绪自测系统。

背景技术：

1、抑郁症是一种世界范围内常见的精神疾病，主要表现为情绪低落、思维缓慢、意志活动减弱等。抑郁症已经成为主要的健康问题之一，全球约有3亿人受到抑郁症的影响。根据世界卫生组织(世卫组织)2021年青少年心理健康报告，全世界10～19岁的人群中，每7人中就有1人患有精神障碍，抑郁症是这一年龄组的主要病因之一。

2、抑郁症是一种典型的心理障碍，随着病情恶化，可能会导致患者发生自杀、自残等行为。青少年正处于成长的关键时期，因此抑郁症对其而言更加危险。幸运的是，早期发现和诊断有助于防止病情恶化，减少抑郁症造成的损害。因此，早期发现和诊断对于预防和治疗抑郁症至关重要。

3、现有技术方案包括有问卷调查、神经影像技术、生物标志物、行为和认知测试等等。其中，问卷调查是一种广泛使用的抑郁症研究数据收集方法，使用标准化的抑郁症问卷来评估受试者的心理状况，但存在回忆偏差和主观性等局限性。神经影像技术通过收集大量关于抑郁症患者神经系统结构和功能的信息，以诊断抑郁症。生物标志物是一种物理或化学指标，可以提供与抑郁症患者的生理状况相关的信息，以及可能与抑郁症发病机制有关的生化通路的信息。行为和认知测试可以评估抑郁症患者的认知和行为功能，如反应时间测试、工作记忆测试和认知柔性测试等测试。以上方案需要患者亲自前往医院或诊所，且需要医生陪同完成，诊断效率低，诊断结果受医生主观因素影响，医疗成本高，无法实现远程诊断。

技术实现思路

1、鉴于此，本发明实施例提供了一种基于多模态数据用户情绪自测系统，以消除或改善现有技术中存在的一个或更多个缺陷，解决现有的情绪/心理检测治疗技术方案中存在的诊断效率低、诊断结果受医生主观因素影响、医疗成本高、无法实现远程诊断的问题。

2、本发明提供一种基于多模态数据用户情绪自测系统，其特征在于，所述系统关联至预设平台，以应用程序的形式展现，所述系统包括：

3、多模态数据处理模块；所述多模态数据处理模块包括量表自测模块、语音检测模块和视频检测模块；

4、所述量表自测模块响应于用户请求提供多种情绪测试表，接收所述用户反馈的情绪测试表填报结果，并根据所述情绪测试表填报结果生成对应的自测分数；

5、所述语音检测模块响应于所述用户请求以文字形式提供多种带有情感激发的问题，并接收所述用户针对所述问题反馈的答复语音；对所述答复语音进行语音端点检测处理，将所述答复语音合并为短音频；将所述短音频输入预训练得到的音频特征提取模型中，得到用于判断用户情感的音频特征；在离线状态下，将所述答复语音转换为文本数据，并基于预设算法得到所述文本数据的文本情感特征；

6、所述视频检测模块响应于所述用户请求以视频形式提供多种带有情感激发的视频片段，并同步采集所述用户在观看所述视频片段过程中的行为视频，所述行为视频包括用户的表情和动作；对所述行为视频进行预处理后输入预训练得到的视频特征提取模型中，得到用于判断用户情感的视频特征；

7、数据存储模块，用于存储所述自测分数、所述答复语音、所述文本数据、所述文本情感特征、所述音频特征、所述行为视频和所述视频特征；

8、评估模块，根据所述自测分数、所述文本情感特征、所述音频特征和所述视频特征，得到用户的情绪分析数据及评估值。

9、在本发明的一些实施例中，所述系统还包括：

10、所述量表自测模块响应于用户请求提供多种抑郁量表，所述抑郁量表包括汉密尔顿量表、贝克抑郁量表、患者健康问卷和自评抑郁量表；接收所述用户反馈的抑郁量表填报结果，并根据所述抑郁量表填报结果生成对应的自测分数；

11、所述语音检测模块响应于所述用户请求以文字形式提供用于诊断抑郁症的多种带有积极情感、消极情感、中性情感激发的问题，并接收所述用户针对所述问题反馈的答复语音；对所述答复语音进行语音端点检测处理，将所述答复语音合并为短音频；将所述短音频输入预训练得到的音频特征提取模型中，得到用于判断用户情感的音频特征；在离线状态下，将所述答复语音转换为文本数据，并基于预设算法得到所述文本数据的文本情感特征；

12、所述视频检测模块响应于所述用户请求以视频形式提供用于诊断抑郁症的多种带有积极情感、消极情感、中性情感激发的视频片段，并同步采集所述用户在观看所述视频片段过程中的行为视频，所述行为视频包括用户的表情和动作；对所述行为视频进行预处理后输入预训练得到的视频特征提取模型中，得到用于判断用户情感的视频特征；

13、评估模块，用于根据所述自测分数、所述文本情感特征、所述音频特征和所述视频特征，得到用户的情绪分析数据以及患有抑郁症的概率值。

14、在本发明的一些实施例中，所述系统还包括信息获取模块，所述信息获取模块用于接收用户输入的个人信息，所述个人信息包括年龄、性别、心理咨询记录。

15、在本发明的一些实施例中，所述信息获取模块和所述多模态数据处理模块均设有用户知情和用户授权模块。

16、在本发明的一些实施例中，所述语音检测模块包括音频质检模块，所述音频质检模块用于预先录制环境音和用户语音样例，并对其计算音频能量及信噪比，以保证后续录制的答复语音的音频质量。

17、在本发明的一些实施例中，所述语音检测模块与预设录音设备连接，所述预设录音设备用于记录用户在回答问题时的答复语音，将所述答复语音上传至所述语音检测模块，并存储于所述数据存储模块。

18、在本发明的一些实施例中，所述语音检测模块包括语音识别模块，所述语音识别模块中设有语音识别模型，将所述答复语音输入所述语音识别模型进行识别，并对识别结果进行数据处理和解码操作，得到所述文本数据；对所述文本数据进行数据预处理，提取所述文本情感特征。

19、在本发明的一些实施例中，所述系统还包括：

20、所述音频特征提取模型是通过采用基于多个用户的答复语音构建的音频训练样本集对初始神经网络模型训练得到的，其中，将各用户对应的自测分数作为所述音频训练样本集的标签；

21、所述视频特征提取模型是通过采用基于多个用户的行为视频构建的视频训练样本集对初始神经网络模型训练得到的，其中，将各用户对应的自测分数作为所述视频训练样本集的标签。

22、在本发明的一些实施例中，所述视频检测模块与预设摄像设备连接，所述预设摄像设备用于记录用户在观看过程中的行为视频，将所述行为视频上传至所述视频检测模块，并存储于所述数据存储模块。

23、在本发明的一些实施例中，所述视频检测模块设有关键点特征提取模块，用于提取所述行为视频中的关键点，所述关键点包括表情关键点和动作关键点，并计算所述行为视频中相邻帧之间所述关键点的运动信息，所述运动信息包括运动方向、运动速度和运动加速度。

24、本发明的有益效果至少是：

25、本发明提供一种基于多模态数据用户情绪自测系统，包括：以组件形式设置于预设平台应用程序中的信息获取模块、多模态数据处理模块、数据存储模块和评估模块；信息获取模块用于接收用户个人信息；多模态数据处理模块中，量表自测模块用于向用户提供情绪测试量表并计算分数；语音检测模块用于向用户发送带有多种情感激发的问题，并收集答复语音；对答复语音进行vad处理后，由预设模型提取音频特征；在离线状态下，将答复语音转换为文本数据，提取文本情感特征；视频检测模块用于向用户发送带有多种情感激发的视频，并收集用户观看时的行为视频，由预设模型提取其中的视频特征；评估模块用于根据上述得到的量表分数、文本情感特征、音频特征和视频特征，得到情绪分析数据及评估值，本发明的系统可被应用于抑郁症等心理疾病的诊断中，其采用平台应用程序为载体，实现在线的数据收集和实时处理，大大提高了数据采集和分析的效率和准确性，同时，应用程序作为一种基于互联网的在线服务平台，可以实现医疗资源共享，实现医疗服务线上化，极大降低医疗成本；收集以不同情感激发为前提的音频、文本和视频的多模态数据，数据全面且质量高，为情绪/心理的诊断和评估提供重要数据支持；支持远程诊断，患者不需要亲自前往医院，即可及时获得专业的医疗服务，降低交通成本。

26、进一步的，在语音检测模块中，采用语音识别模块将答复语音转换为文本数据，并基于自然语言处理提取文本情感特征，采用深度学习模型提取音频特征，在视频检测模块中，采用深度学习模型提取视频特征，实现了自动化及智能化的诊断，极大提高诊断效率，同时，诊断流程标准且客观，诊断结果不再受医生主观因素的影响，诊断准确率得到提升。

27、本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

28、本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。