一种视觉诱导虚拟现实晕动症生理数据采集方法及系统

1.本发明涉及脑电数据采集技术领域，具体涉及一种视觉诱导虚拟现实晕动症生理数据采集方法及系统。


背景技术：

2.虚拟现实技术主要以计算机为基础，通过配合相关科技手段，可以在有限空间内构造与现实环境高度相似的视、听、触感等方面的虚拟环境，基于完备的数字化场景装置给用户带来较强的立体感和沉浸感，但也存在着视觉诱导虚拟现实晕动症的弊端。用户在体验以及应用过程中，可能会存在眩晕，继有恶心、面色苍白等症状。
3.所以对于视觉诱导虚拟现实晕动症的评估、研究和检测也是必要的。现在对于视觉诱导虚拟现实晕动症的生理数据是解决该症状的前提和基础，同时也要保证数据的真实性、准确性和易采集性。但是目前对于数据采集的技术发展的还不够完善，现有采集口头报告时主观性较强，导致数据偏差较大，难以满足脑电数据与主观数据的关联对应。


技术实现要素：

4.本发明的目的是针对现有技术存在的缺陷，提供一种视觉诱导虚拟现实晕动症生理数据采集方法及系统，利用口头报告结合问卷调查的方式来获取主观晕动症级别数据，通过当中的问题进行引导计算，获得相对客观的数据，主观偏差不大，结果与测试出的生理数据进行综合分析，使后续脑电数据分析的结果更全面，更具可信性。
5.本发明的目的是提供一种视觉诱导虚拟现实晕动症生理数据采集系统，采用以下方案：
6.包括：
7.获取受试者在使用虚拟现实设备过程中诱发产生的脑电数据，依据受试者的口头报告和书面问卷采集主观虚拟现实晕动症级别数据；
8.根据算法对脑电数据进行处理，获取异常值，依据异常值的标定，体现得到虚拟现实晕动症测试者的反应程度和时间节点；
9.关联主观虚拟现实晕动症级别数据与脑电数据，得到虚拟现实晕动症综合生理数据。
10.进一步地，对不同组受试者通过虚拟现实设备施加画面刺激并采集脑电数据。
11.进一步地，在使用虚拟现实设备过程中，获取受试者的口头报告，在采集脑电数据后，获取受试者的书面问卷。
12.进一步地，处理脑电数据包括：
13.对原始脑电信号进行滤波和降噪；
14.利用滑动窗对脑电信号进行分段，提取脑电信号特征；
15.通过假设检验对脑电信号的异常点进行实时监测并进行提取。
16.进一步地，采集多通道脑电信号，分别针对单个通道脑电信号进行滤波和降噪。
17.进一步地，所述脑电信号特征包括脑电信号的平均值、方差、标准差和短时傅里叶变换。
18.进一步地，对于不同指标特征采用零假设检验进行变化决策，利用高斯模型进行假设检验对脑电信号异常点进行实时监测。
19.进一步地，所述口头报告和书面问卷分别设定评价指标，对书面问卷的多项评价指标附加权重。
20.进一步地，采集对应大脑额叶、中央、顶叶、枕叶和颞叶的脑电数据。
21.本发明的第二目的是提供一种视觉诱导虚拟现实晕动症生理数据采集系统，包括：
22.数据获取模块，被配置为：获取受试者在使用虚拟现实设备过程中诱发产生的脑电数据，依据受试者的口头报告和书面问卷采集主观虚拟现实晕动症级别数据；
23.预处理模块，被配置为：对脑电数据进行处理，获取异常值，依据异常值的标定，得到虚拟现实晕动症测试者的反应程度和时间节点；
24.数据关联模块，被配置为：关联主观虚拟现实晕动症级别数据与脑电数据，得到虚拟现实晕动症综合生理数据。
25.与现有技术相比，本发明具有的优点和积极效果是：
26.1.针对目前口头报告对主观晕动症级别反映效果差的问题，利用口头报告结合问卷调查的方式来获取主观晕动症级别数据，通过当中的问题进行引导计算，获得相对客观的数据，主观偏差不大，结果与测试出的生理数据进行综合分析，使后续脑电数据分析的结果更全面，更具可信性。
27.2.通过对比模拟器眩晕感问卷与脑电图生理数据确定了脑电实验对虚拟现实晕动症评估的可靠性；非侵入式智能脑电系统已形成完整体系，模块化配置，可定制化，与侵入式脑电系统对比，对被试的身体伤害小，不适感大大降低，可以更加精确的获得原始数据；从可用性的标准来看，对脑电数据的收集与分析可以方便日后建立信息系统。
附图说明
28.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
29.图1为本发明实施例1或2中视觉诱导虚拟现实晕动症生理数据采集所利用系统硬件的结构示意图。
30.图2为本发明实施例1或2中视觉诱导虚拟现实晕动症生理数据采集的流程图。
31.图3为本发明实施例1或2中晕动症检测流程示意图。
32.图4为本发明实施例1或2中滤波后的脑电信号示意图。
33.图5为本发明实施例1或2中视觉诱导虚拟现实晕动症生理数据采集方法输出波形图。
具体实施方式
34.实施例1
35.本发明的一个典型实施例中，如图1-图5所示，给出一种视觉诱导虚拟现实晕动症
生理数据采集方法。
36.视觉诱导虚拟现实晕动症生理数据采集方法利用如图1所示的系统硬件进行数据采集，如图1所示的系统硬件的主要结构包括：虚拟现实晕动症测试者预筛模块、人机交互信号采集模块、脑电数据处理模块。
37.其中虚拟现实晕动症测试者预筛系统，主要包括：问卷系统测试、计算机、显示屏。
38.对受试者进行预筛选，选出合适的人群参加系统测试，再通过人机交互信号采集系统，获取受试者在使用虚拟现实设备过程中诱发产生的脑电数据，依据受试者的口头报告和书面问卷采集主观虚拟现实晕动症级别数据；
39.通过脑电数据处理系统，处理脑电数据获取异常值，依据异常值标定虚拟现实晕动症的反应程度和时间节点；
40.关联主观虚拟现实晕动症级别数据与脑电数据，得到虚拟现实晕动症生理数据。
41.被测者首先进入问卷系统，根据显示屏所示测试问题进行回答勾选，再通过提交问卷，计算机自动算出问卷总分值。根据《运动病易感性量表》的评分标准判别测试者是否日常有虚拟现实晕动症相关症状。若符合虚拟现实晕动症相关症状，则被测者可以进行下一步的人机交互信号采集系统的虚拟现实晕动症的深度测试。
42.其中人机交互信号采集系统，主要包括人机交互端和信息采集端。
43.其中人机交互端主要包括：虚拟现实头戴式显示器、定位追踪套件、计算机。其中的定位追踪套件主要包括：运动手柄、信号追踪器、陀螺仪。
44.信息采集端主要包括：脑电帽、铜线、脑电机箱、计算机。
45.人机交互端主要为定位追踪套件中的信号追踪器与虚拟现实头戴式显示器通过无线信号相连，虚拟现实头戴式显示器由测试者进行镜架式头部佩戴，运动手柄由测试者手持进行运动测试。组装完成的虚拟现实头戴式显示器通过数据线与计算机相连。
46.设备屏幕为采用的为双fast lcd屏幕，该设备支持调节700
°
以内的近视对焦调节，确保每位测试者的视力健康或被矫正。再将实验素材导入进电脑中，通过usb导线连接电脑与头戴式虚拟现实显示器设备。使用定位追踪套件辅助用户的视点落于素材画面中心。
47.信息采集端主要为脑电帽通过铜线连接脑电机箱，脑电机箱通过网线连接计算机。
48.测试者通过头戴脑电帽，观看虚拟现实头戴式显示器，手持运动手柄，根据播放的视频进行操作，同时计算机通过软件对实时数据进行采集和显示。
49.脑电数据处理系统主要包括：计算机、matlab软件、人工智能算法。计算机通过matlab软件将实时采集的数据转化为可视化分贝图，并根据智能算法对
50.脑电信号进行降噪，去除伪影干扰，得到大脑的五个区域(额叶、中央、顶叶、枕叶和颞叶)的脑电数据异常值，从而精准判断测试者对虚拟现实晕动症的反应程度和时间节点。
51.电脑以及显示屏提供人机交互端口，以便可视化实时输出的脑电信号波形图。波形图基于pc端软件设计，能够已波形的形式显示脑电数据，最终以.csv格式储存，方便对数据的储存和后续分析。
52.在本实施例中，发放了100份《运动病易感性量表》，从中筛选出问卷得分较高的志
愿者，这些志愿者普遍对虚拟现实晕动症易感。招募了20名18至30岁的无偿参与者。所有参与者都是当地大学校园的本科生。他们都是右撇子，其中有3个参与者有使用头戴式显示器进行3d操作的经验，2人有使用头戴式虚拟现实显示器的经验。实验素材采用《what remains of edith finch》游戏中一段高度刺激运动镜头，通过利用视觉刺激或流场视频在视觉上诱导由被看到但感觉不到的运动引起的疾病。
53.该摄像头运动频率可以较大程度的诱发晕动反应。要求受试者正坐在椅子上，动作受限。每个研究参与者都被解释了整个过程，为了保证每名参与者对剧情的理解，并对每位被试口头解释了视频的前情内容。当实验正式开始时，每位受试者手中放置一个按钮，要求被试在首次感到有关于虚拟现实晕动症的不适症状时摁下按钮。为了最小化其他变量的干扰，要求被试在实验过程中尽量保持静息，并在实验开始前告知被试其需要完成在观看后填写一份关于视频剧情内容问卷的任务，以最大程度的确保被试的注意力集中在视频，而不是分散注意力。
54.实验人员观看的影片有丰富的文字描述帮助他们构筑完整的情境，生理实验数据记录为脑电图。实验结束后，要求被试回答两个口头问题：一个问题要求被试通过1-20的等级评分报告他们的虚拟现实晕动症主观感受水平，另一问题则是报告他们感知到在虚拟环境中的存在感。然后要求参与者完成书面的虚拟现实晕动症问卷。
55.脑电信号是在一个静音无光的实验室中采集的。在本实施例中，将两段完整的32通道脑电图记录进行分析。使用带通滤波器截取0.1-50赫兹的脑电信号，应用小波降噪的硬阈值处理降低数据传输和采集过程中的伪影干扰，得到最终的脑电数据。采样率设置为333赫兹。脑电图数据主要分析大脑的五个区域：额叶、中央、顶叶、枕叶和颞叶。
56.实验数据采用32通道国际标准10-20系统，进行采集，得到32通道脑电信号。
57.在采集脑电信号数据后，对脑电信号数据进行处理，本实施例中，针对原始脑电信号进行滤波处理，并利用滑动窗进行分段。提取特征。提取平均值、方差、标准差、短时傅里叶变换特征，进行后续处理。假设检验。最终利用高斯模型进行假设检验对脑电信号的异常点进行实时监测。再进行异常点的结果输出。
58.具体的，结合图2-图5，脑电数据处理模块的具体算法如下：
59.1.信号预处理
60.采集的原始脑电信号为多通道的，我们选取某单通道脑电信号进行处理，例如：t7通道。原始单通道脑电信号通过带通滤波器得到所使用的0.1-50赫兹的信号。使用硬阈值去噪处理去除各种噪声；得到滤波后的脑电信号序列y。
61.根据脑电采集箱的采样频率，对滤波后的脑电信号使用一秒钟的长度为t滑动窗进行分段处理。得到m段脑电信号，第m段脑电信号序列如下ym＝{y
t
}，t＝1，
…
，t。
62.2.提取特征
63.2.1平均值
64.针对m段脑电信号，平均值计算如下；
[0065][0066]
平均值特征如下：
[0067]
mean＝{mean1，mean2，
…
，meanm，
…
，meanm}
[0068]
2.2方差
[0069]
针对m段脑电信号，方差计算如下；
[0070][0071]
方差特征如下：var＝{var1，var2，
…
，varm，
…
，varm}
[0072]
2.3标准差
[0073]
针对m段脑电信号，标准差计算如下；
[0074][0075]
标准差特征如下：rms＝{rms1，rms2，
…
，rmsm，
…
，rmsm}
[0076]
2.3短时傅里叶变换
[0077]
针对m段脑电信号，采用短时傅立叶变换将其转换为频域，公式如下
[0078][0079]
其中为窗口函数，n为窗口函数移动的时间步长，周期图计算如下：
[0080][0081]
用周期图{p(i，n)}表示fn＝{f(i)}，得到时间索引n的频率分辨率。然后用欧氏距离计算f(i)和f(i-1)之间的距离作为特征即：
[0082]fi
＝|f(i)-f(i-1)|
[0083]
短时傅里叶变换特征：stft＝{f1，f2，
…
，fm，
…fm
}
[0084]
3.假设检验
[0085]
对于不同指标特征mean，var，rms，stft采用零假设检验进行变化决策。对于第i个片段的特征qi，假设检验如下
[0086]
没发生改变：
[0087]
发生改变：
[0088]
这里是由常用的3σ准则定义的置信区间，μ
i-1
和σ
i-1
是前i-1个片段加权异常得分的平均值和标准差。1个片段加权异常得分的平均值和标准差。
[0089]
如图5所示，当相似性指标发生改变，说明此刻脑电信号发生异常，即大脑处于晕动症状态，对实验人员进行提醒。
[0090]
在使用虚拟现实设备过程中，获取受试者的口头报告，在采集脑电数据后，获取受试者的书面问卷。
[0091]
具体操作为：一个问题要求被试通过1-20的等级评分报告他们的晕动症主观感受水平：“你感觉如何？”，0是
‘
根本没有症状’，20是
‘
严重的眩晕反应’；另一问题则是报告他们感知到在虚拟环境中的存在感：“你在多大程度上感觉到在环境中存在，就像你真的在那里一样？”，在0-10的尺度上，0是
‘
根本不存在’，10是
‘
完全存在’。然后要求参与者完成书面虚拟现实晕动症问卷。
[0092]
书面虚拟现实晕动症问卷由16个问题组成。检查晕动症的症状，包括全身不适、疲劳、头痛、恶心、眩晕等。0表示没有症状，3表示严重症状。在本研究中，我们使用了一个简短的书面虚拟现实晕动症问卷版本，包括不适、疲劳、头痛、恶心和眩晕。对模拟器眩晕感问卷结果与脑电波谱数据进行对应分析。
[0093]
口头报告和书面问卷分别设定评价指标，对书面问卷的多项评价指标附加权重；综合主观计算，以及客观算法的计算，对可视化实时输出的脑电信号波形图综合结果输出。
[0094]
关联主观虚拟现实晕动症级别数据与脑电数据，得到虚拟现实晕动症综合生理数据，供后续分析使用。
[0095]
实施例2
[0096]
本发明的另一典型实施方式中，如图1-图5所示，给出一种视觉诱导虚拟现实晕动症生理数据采集系统。
[0097]
包括：
[0098]
数据获取模块，被配置为：获取受试者在使用虚拟现实设备过程中诱发产生的脑电数据，依据受试者的口头报告和书面问卷采集主观虚拟现实晕动症级别数据；
[0099]
预处理模块，被配置为：处理脑电数据获取异常值，依据异常值标定虚拟现实晕动症的反应程度和时间节点；
[0100]
数据关联模块，被配置为：关联主观虚拟现实晕动症级别数据与脑电数据，得到虚拟现实晕动症生理数据。
[0101]
可以理解的是，上述视觉诱导虚拟现实晕动症生理数据采集系统的工作方法与实施例1提供的视觉诱导虚拟现实晕动症生理数据采集方法相同，可以参见上述实施例1中的详细描述，这里不再赘述。
[0102]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。