一种基于语音及视线追踪建立患者心理健康档案的方法与流程

本发明涉及心理健康档案领域，具体为一种基于语音及视线追踪建立患者心理健康档案的方法。

背景技术：

1、心理测试是以测量心理特性为目的，通过各种心理测量客观地对人的心理状态、认识过程、情绪、意志、个性特征等方面进行评估的方法。心理测试一般用设计符合信效度的问卷方式进行，根据功能大致可将现有各种心理测试分成智力测试、人格测试、能力测试和神经心理测试等四类。

2、但在实际心理测试工作中，经常会出现“反应偏差”，即受测者进行心理测验时，由于认识不到位、观念不认同等原因导致对某些特定的内容没有反映出其原本意图的一种偏差。眼球运动是视觉信息输入的主要方式。眼动是人感知外部视觉刺激时发生的神经反射活动，也是反映个体对信息认知加工过程和情绪变化的眼部行为现象。眼动通过注视、眼跳和追随运动等方式，伴随着眨眼和瞳孔大小的变化，接受外界视觉刺激信息并对其进行筛选、加工处理进而形成有关的视觉记忆。眼动可精细地反映出个体“看到了什么”以及人对视觉信息提取和选择的过程与规律，并与人的动机系统、态度体系、注意、信息加工能力及加工方式相关。

3、将语音/眼动/视线追踪应用于心理测试，通过注视时间/注视次数/瞳孔状态/语言意图等等，其可以作为心理健康的判断依据，因此本发明提出一种基于语音及视线追踪建立患者心理健康档案的方法，其基于语音及视线追踪两个依据，通过不同的心理焦虑测评问卷以及场景，来模拟用户的不同场景状态下的心理应激，以此提高心理健康档案建立过程中数据的准确性。

技术实现思路

1、本发明的目的在于提供一种基于语音及视线追踪建立患者心理健康档案的方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于语音及视线追踪建立患者心理健康档案的方法，包括步骤：

3、s1：建立心理焦虑测评问卷数据库，并根据不同的测试目标、测试目的生成不同的测评问卷；

4、s2：建立基于语音及视线追踪的问卷场景，并对受测者进行问卷测试；

5、s3：根据测试结果生成相应的心理健康档案。

6、优选的，s1中心理焦虑测评问卷数据库是通过：构建心理焦虑测评模板，并为心理焦虑测评模板内载的每一栏信息配置对应的结构化数据，配置可基于python爬虫爬取与每一栏信息对用的结构化数据。

7、优选的，s2中基于语音及视线追踪的问卷场景的建立及测试过程包括：

8、s21：配置头戴式vr设备及分析系统，其中头戴式vr设备可根据不同的测试目标生成不同的虚拟设定场景，并根据问卷测评分析报告对受测者进行场景的匹配，头戴式vr设备集成有眼动追踪模块、语音采集模块、音响模块，其中语音采集模块用于采集用户不同问卷测评、不同场景状况下的语音数据；

9、s22：眼动追踪模块采集测评状态下的眼动数据，头戴式vr设备将眼动数据及语音数据发送至分析系统，由分析系统通过卷积神经网络对测评状态下的眼动数据进行提取。

10、优选的，s21中眼动追踪模块采集眼动数据的过程包括：

11、s211：眼动数据采集初始阶段，进行用户专注力标定，即通过配置标定虚拟设定场景，判断用户眼球是否专注；

12、s212：眼动数据采集进行阶段，进行用户心理状态采集，即通过配置不同的测评问卷及配套的虚拟设定场景，通过眼动追踪模块、语音采集模块采集测评状态下的眼动数据、语音数据。

13、优选的，s211中具体过程包括：配置黑色背景以及白色标定物，白色标定物以缩放/展开/旋转的方式在黑色背景前动作，动作时间3-5s，动作后白色标定物消失；基于眼动追踪模块采集并判断眼球是否以白色标定物缩放/展开/旋转方向转动，若是则开始下一虚拟设定场景采集，若否则重新进行专注力标定。

14、优选的，s212中具体过程包括：配置积极、中性、消极不同情绪的虚拟设定场景，场景为图片/视频，持续10-360s；头戴式vr设备调用问卷数据库中与虚拟设定场景配套的测评问卷，在虚拟设定场景开始前/过程中/结束后通过音响模块解析输出；采集测评问卷输出状态下用户的眼动数据及回复的语音数据，并将上述数据传输至分析系统。

15、优选的，s3中分析系统基于卷积神经网络、语音及意图识别模型对眼动数据、语音数据进行特征提取及意图识别，并得到特征数据、意图数据，分析系统将上述数据输入至向量回归模型，得到基于场景分布的焦虑抑郁预测值。

16、优选的，s3中基于卷积神经网络对眼动数据进行特征提取的具体过程包括：

17、s31：建立不同场景、不同心理负荷状态下的眼动数据集，提取眼动数据集中的眼动特征数据，其中眼动特征数据是指眼动类型特征、扫视速度特征、瞳孔直径特征和眼动转移特征；

18、s32：基于卷积神经网络建立心理负荷评估模型，基于眼动数据集中的特征集训练心理负荷评估模型，获得训练好的心理抑郁预测模型；

19、s33：采集待评估用户的眼动数据，并将眼动数据输入至上述评估模型中，得到基于场景分布的焦虑抑郁预测值。

20、与现有技术相比，本发明的有益效果是：

21、本发明基于语音及视线追踪两个依据，通过不同的心理焦虑测评问卷以及场景，来模拟用户的不同场景状态下的心理应激，以此提高心理健康档案建立过程中数据的准确性。

技术特征：

1.一种基于语音及视线追踪建立患者心理健康档案的方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种基于语音及视线追踪建立患者心理健康档案的方法，其特征在于：所述s1中心理焦虑测评问卷数据库是通过：构建心理焦虑测评模板，并为心理焦虑测评模板内载的每一栏信息配置对应的结构化数据，配置可基于python爬虫爬取与每一栏信息对用的结构化数据。

3.根据权利要求1所述的一种基于语音及视线追踪建立患者心理健康档案的方法，其特征在于：所述s2中基于语音及视线追踪的问卷场景的建立及测试过程包括：

4.根据权利要求3所述的一种基于语音及视线追踪建立患者心理健康档案的方法，其特征在于：所述s21中眼动追踪模块采集眼动数据的过程包括：

5.根据权利要求4所述的一种基于语音及视线追踪建立患者心理健康档案的方法，其特征在于：所述s211中具体过程包括：配置黑色背景以及白色标定物，白色标定物以缩放/展开/旋转的方式在黑色背景前动作，动作时间3-5s，动作后白色标定物消失；基于眼动追踪模块采集并判断眼球是否以白色标定物缩放/展开/旋转方向转动，若是则开始下一虚拟设定场景采集，若否则重新进行专注力标定。

6.根据权利要求4所述的一种基于语音及视线追踪建立患者心理健康档案的方法，其特征在于：所述s212中具体过程包括：配置积极、中性、消极不同情绪的虚拟设定场景，场景为图片/视频，持续10-360s；头戴式vr设备调用问卷数据库中与虚拟设定场景配套的测评问卷，在虚拟设定场景开始前/过程中/结束后通过音响模块解析输出；采集测评问卷输出状态下用户的眼动数据及回复的语音数据，并将上述数据传输至分析系统。

7.根据权利要求1所述的一种基于语音及视线追踪建立患者心理健康档案的方法，其特征在于：所述s3中分析系统基于卷积神经网络、语音及意图识别模型对眼动数据、语音数据进行特征提取及意图识别，并得到特征数据、意图数据，分析系统将上述数据输入至向量回归模型，得到基于场景分布的焦虑抑郁预测值。

8.根据权利要求7所述的一种基于语音及视线追踪建立患者心理健康档案的方法，其特征在于：所述s3中基于卷积神经网络对眼动数据进行特征提取的具体过程包括：

技术总结
本发明公开了一种基于语音及视线追踪建立患者心理健康档案的方法，包括步骤：建立心理焦虑测评问卷数据库，并根据不同的测试目标、测试目的生成不同的测评问卷，其中心理焦虑测评问卷数据库构建过程包括：构建心理焦虑测评模板，并为心理焦虑测评模板内载的每一栏信息配置对应的结构化数据，配置可基于Python爬虫爬取与每一栏信息对用的结构化数据；建立基于语音及视线追踪的问卷场景，并对受测者进行问卷测试；根据测试结果生成相应的心理健康档案。本发明基于语音及视线追踪两个依据，通过不同的心理焦虑测评问卷以及场景，来模拟用户的不同场景状态下的心理应激，以此提高心理健康档案建立过程中数据的准确性。

技术研发人员：吕玉娟,王苏丽,宣晨光
受保护的技术使用者：安徽宝葫芦信息科技集团股份有限公司
技术研发日：
技术公布日：2024/2/8