基于EEG对水平运动引起的立体视觉疲劳影响的评价方法与流程

本发明涉及水平运动引起的视觉疲劳评价领域。

背景技术：

长时间观看3d视频会带来不同程度的生理以及心理反应，比如视觉疲劳、头沉、眩晕等，在3d显示技术相关领域评估人体感知的体验质量也成为至关重要的一个环节，用户的体验也直接决定了技术的前进。目前对于此类方向的评价方式主要有主观评价法和客观评价法。主观评价法包括调查问卷法和心理物理法。客观评价法主要是通过分析采集到的客观数据以及建立相应的数学模型进行分析。而在最近视觉疲劳的评价方法被人们开始和生物信号联系在一起，生物信号的采集以及分析已经成为目前生命科学领域的重要手段之一。目前使用较多的是采集人体的脑电信号进行信号的分析处理，脑电信号分为脑电图(eeg)、脑电地形图(beam)、脑磁电(meg)、肌电图(emg)、诱发电位(ep)。在这些被测信号中脑电eeg相比较于其他的脑部特征信号更易被提取与采集，同此采集到的脑电信号中包含了丰富的人体生理信息，被认为是最具备广泛发展前景的视觉疲劳测试指标。因此，将视疲劳的研究和脑电信号(eeg)紧密联系在一起，区分在2d和3d的显示屏幕上观看刺激材料时受试者的大脑皮层活动的不同，利用信号处理技术和统计方法对记录下的脑电波进行分析，通过比较两者的区别来进一步寻找衡量视觉疲劳的有效指标，可以得到更合理的实验结果。

技术实现要素：

本发明解决的技术问题：提出一种运用脑电技术进行立体视觉疲劳评价方法，基于该分析方法，为水平运动引起的立体视觉疲劳分析提供基础。本发明技术方案如下：

一种基于eeg对水平运动引起的立体视觉疲劳影响的评价方法，包括以下步骤：

1)制作2d和3d实验素材

水平运动物体选取无规则形状的石头，表面覆盖花岗岩花纹的材质，保持石头水平运动的距离不超过立体显示器的最大可视距离，石头的水平运动在屏幕上做时长为两秒的从左往右的固定匀速运动，水平运动的运动单位选择deg/s作为运动的评判单位，设物体的起始位置之间的距离为x，人眼到屏幕的距离为s，人眼在物体运动前后视角变化为θ，运动时间为t，从厘米每秒到角度每秒的换算公式如下：则换算角速度公式为：

θ＝tan^-1(s/x)(1)

v＝θ/t(deg/s)(2)

根据制作出来的视觉体验效果以及运动范围，实验中水平运动模式选取的六个速度分级分别为：6deg/s、8deg/s、10deg/s、12deg/s、14deg/s、16deg/s，水平运动2d素材均是位于零视差平面，3d素材均是位于屏幕前即-0.5deg处，物体运动时长为2s，利用maya渲染完左右两个摄影机视图之后，再利用matlab软件来对左右视图图片进行拼接以及合成为适合立体显示器播放的视频，至此后续需要用到的2d显示和3d显示刺激材料制作完成；

2)水平运动速度按照上述的六个分级让被试做主观问卷评价，观看疲劳程度分为眼睛疲劳和身体疲劳两个方面，疲劳程度分5个指标：1分、2分、3分、4分、5分；

3)2d显示测试实验和3d显示测试实验中在刺激前后对上下箭头进行200次的判断采集行为数据；

4)在2d显示测试实验中利用眨眼测试法，采集被试者观看视频后20分钟的眨眼情况，并以每4分钟作为一个时间段进行数据统计；

5)对被试者的主观实验结果进行分析，即对不同水平运动速度下的疲劳程度分析；

6)选取3d实验素材用于测量被试者的脑电波，并对eeg信号做预处理；

7)对预处理后的脑电信号进行快速傅立变换，计算出θ、α、β三个频段分区在各个电极上的相对能量，绘制出对应的脑电地形图；再根据所有被试者的数据计算得到的各个指标的相对能量，利用双因素方差分析法对刺激前后的时间因素和不同脑区区域因素进行差异性分析，从而确定识别立体水平运动疲劳较好的指标区域。

附图说明：

通过附图，可以使本发明的实施步骤及优点更加凸显，也更容易地理解本发明的流程与操作。

图1(a)2d实验素材其中一帧图像，图1(b)3d实验素材其中一帧图像；

图2电极帽各电极分布图；

图3两种显示技术实验主观问卷结果对比；

图4被试眨眼次数总体趋势图；

图5两种显示技术判断正确率对比图，每组柱状图中，前者为2d测试后，后者为3d测试后；

图6eeg信号带通滤波器；

图7观看刺激前后各个频段相对能量脑电地形图；

图8脑电指标双因素方差分析结果；

图9刺激前后不同脑区脑电指标配对t检验分析结果。

具体实施方式：

为使本发明的方案更加清楚明了，便于实施，以便于更加凸显本发明的优点及目的，对实施方案作详细的阐述与说明。

101：素材的制作

实验选取水平运动模式的物体作为刺激材料，使用软件autodeskmaya和matlab进行刺激材料的制作，如图1(a)、1(b)所示。本实验所制作的刺激场景以蓝天白云为背景，以给被试者最佳的观看体验。水平运动物体选取了无规则形状的石头，表面覆盖花岗岩花纹的材质，保持石头水平运动的距离不超过32寸立体显示器的最大可视距离69cm。石头的水平运动在屏幕上做时长为两秒的从左往右的固定匀速运动。不同于普通的运动模式选取cm/s作为运动单位，水平运动的运动单位选择deg/s作为运动的评判单位。从厘米每秒到角度每秒的换算公式如下：

假设物体的起始位置之间的距离为x，人眼到屏幕的距离为s，人眼在物体运动前后视角变化为θ，运动时间为t，则换算角速度公式为：

θ＝tan^-1(s/x)(1)

v＝θ/t(deg/s)(2)

根据制作出来的视觉体验效果以及运动范围，实验中水平运动模式选取的六个速度分级分别为：6deg/s、8deg/s、10deg/s、12deg/s、14deg/s、16deg/s。本次实验制作的水平运动2d素材均是位于零视差平面，3d素材均是位于-0.5deg处(屏幕前)，物体运动时长为2s。maya软件中的运动时间设置为1秒钟60帧，以便于适配3d显示器的分辨率，避免观看视频时出现闪烁、白屏等干扰被试者的现象。利用maya渲染完左右两个摄影机视图之后，我们需要再利用matlab软件来对左右视图图片进行拼接以及合成为适合立体显示器播放的视频。至此我们后续需要用到的2d显示和3d显示刺激材料制作完成。

102：主观评价

被试者坐在显示屏高度3倍距离处，以最舒适的状态观看刺激视频。

2d显示的测试实验我们利用软件winamp来实现平面视频的随机循环播放。整个实验一共有1050个试次，六段视频每个播放175个试次，每个试次前后共有0.2s的停顿，六个视频呈现随机循环的播放状态，整个刺激过程大概时长45分钟。我们这次所应用到的主观评估法包括主观问卷法、眨眼测试法、以及刺激前后判断正误。主观问卷法需要被试者在观看刺激之后立即对各个疲劳状态程度进行打分。观看疲劳程度分为眼睛疲劳和身体疲劳两个方面共17个症状，每个症状按照1-5分标准进行打分，从1到5分所代表的症状程度分别为：1：无，；2：轻微；3：一般；4：严重；5：非常严重。实验中采用摄影机实时记录被试者的面部信息，选取刺激实验20分钟到40分钟之间的时间进行眨眼次数的记录，以每四分钟为一次记录阶段，每个被试者共记录下5段数据以供后续的进一步分析。刺激前后判断正误法是在被试者观看刺激材料的前后需要对上下箭头进行200次判断，通过比较前后两次的正确率进而分析视疲劳程度。

3d显示测试实验使用软件e-prime2.0实现随机循环呈现，材料呈现和2d显示测试实验相同。使用主观问卷法以及刺激前后判断正误进行主观评价。

103：主观行为数据的统计分析

由图3量化平均值的统计量可以看出，两种显示技术所带来的疲劳症状中，视力模糊、眼睛沉重、眼睛干涩、头沉、头痛的程度较为严重，尤其是在3d显示统计表中视力模糊、眼睛沉重的得分都在4分以上；而相对来收畏光、复视、眼痒、腿沉的症状不太明显，得分都没超过2分。此外，两个不同的显示方式所带来的各疲劳症状程度存在明显差异，由3d显示技术带来的大部分疲劳症状程度均高于2d显示技术带来的疲劳程度，这在很大程度可以体现3d显示技术给观看者带来的疲劳程度远远大于2d显示技术。

从图4被试者眨眼次数的总体趋势图中可以看出被试者在观看刺激视频的后20分钟眨眼次数总体随着时间的增加呈现上升趋势，这表明在被试者未进入疲劳状态或者刚进入疲劳状态的时候，由于被试者的注意力全部集中于刺激材料上，所以此时的眨眼频率比较低；而随着时间的深入眼睛疲劳程度的增加，被试者眨眼的次数明显增加。

我们选择了两种显示技术在刺激后进行判断的正确率进行对比，结果如图5所示。可以明显看到2d显示技术的正确率远远高于3d显示技术，这个结果可以作为辅助依据证明我们在之前得到的结论：相同刺激情况下3d显示技术带来的疲劳程度大于2d显示技术。

104:eeg平台搭建

eeg实验平台的组成包括：高性能计算机2台、neuroscan信号放大器、立体显示器(刺激呈现装置)、32导电极帽(ag-agcl电极，根据国际10-20系统分布)、偏光式立体眼镜。

立体显示器为分辨率为1366×768，刷新频率为60hz的长虹立体电视，用e-prime2.0呈现图像刺激。被试者被要求佩戴偏光式立体眼镜及neuroscan公司的32导电极帽(阻抗小于等于5)。被试距显示屏距离为显示屏垂直高度3倍处(1194cm)。

本次脑电数据的采集共有10位左右利手的被试者参与，其中包括8男2女。他们皆为21到25岁的本科大学生，均通过了严格的视觉检测，具备正常视力或矫正正常视力，没有任何严重的视觉疾病，血糖正常，并且在实验前的24小时内没有喝酒、喝咖啡、摄入尼古丁等易麻痹人脑的行为。考虑到不同时间灯光以及闪烁问题，所有实验均是安排在下午的2点进行，并且实验的环境中灯光被严格控制，让被试者处在一个安静昏暗的环境下进行脑电采集。实验空间较为封闭，避免存在空间电磁干扰对实验数据产生影响。被试者在采集脑电信号前需要洗净头发，不可使用护发素等油脂过多的产品以免是的采集到的数据发生波形失真。

整个实验一共有1050个试次，六段视频每个播放175个试次，每个试次前后共有0.2s的停顿，六个视频呈现随机循环的播放状态，整个刺激过程大概时长45分钟。实验过程排除噪音干扰，并要求被试保持放松状态,不允许有任何实际动作。实验中同时记录被试的脑电信号和行为数据。

105:对原始eeg信号进行预处理

3d刺激实验结束之后，由脑电信号采集软件得到后缀为.cnt的脑电数据文件，利用软件matlab和插件eeglab都脑电信号进行处理分析。eeglab时matlab里面的一个可以对脑电信号进行滤波以及预处理的插件，它包括导入数据、定位各电极位置、滤波、排除伪迹、重建信号、分解信号、叠加取均等功能。脑电数据的后续分析一定需要，就必须要对脑电信号进行滤波以及预处理，尽可能的降低噪音和干扰对最后数据分析的影响。eeglab的滤波主要是应用到如图6所示的滤波器，它的低通和高通频段分别为1hz和30hz。对信号滤完波之后需要利用extractepoch来提取出信号中你需要的信号段，它包含整个的刺激时间段的信息。随后的预处理主要是利用独立成分分析法(ica)分解数据和adjust去除信号的伪迹，至此保存下来的数据可以使用软件matlab进行功率谱密度分析。

106：eeg信号的特征分析

在对读取的脑电信号cnt文件进行滤波和预处理之后，我们利用matlab以及spss对脑电信号进行功率谱以及数学统计分析。我们选取观看刺激前后的2min脑电信号进行分析，将120s的脑电信号按1s分区处理后，再对其以1hz的频率分辨率进行快速傅里叶(fft)。计算三个分区θ、ɑ、β的相对信号能量，利用插件topopolot进行脑电地形图的绘制，如图7所示。

随后我们又根据所有被试者的数据计算得到的各个指标的相对能量，利用双因素方差分析法对刺激前后的时间因素和不同脑区区域因素进行差异性分析。由于人脑一般被划分为八个脑区，各脑区和采集电极的对应关系为：前额对应的fp1、fp2；侧额对应的f7、f8；额区对应的f3、f4、fz；中央区对应的c3、c4、cz；颞区对应的t7、t8；后颞处对应的p7、p8；顶区对应着p3、p4、pz；枕区对应的o1、o2。所以在分析中需要从30个电极选取19个电极进行差异性分析。最终得到的结果如图8所示。

结合图7以及图8我们可以看到，频段θ相对能量在刺激前后未出现显著的差异，而在脑电地形图中也可以看出在刺激前后频段θ相对能量基本没有发生变化；而其余的五种脑电指标均在刺激时间前后出现显著性差异，所有的脑电指标在脑区因素下均表现出显著性差异，两种因素没有出现交互现象。由图7我们可以得出在刺激前后频段ɑ和频段β的相对能量都发生的显著变化，在观看刺激材料之后，频段ɑ的相对能量有显著的增加，而频段β的相对能量有发生了显著的下降。这也就表明在疲劳情况下，频段ɑ的相对能量相对于未疲劳状况时增加了，而频段β的相对能量与之相反，和未出现疲劳症状时相比下降了，两种频段在颞区和顶区的变化最为显著。

随后，我们利用配对t检验对各个指标在不同的脑区及整个脑区进行刺激前后的差异性分析。其结果如图9所示。图9呈现了各个指标在八个脑区和整个脑区上刺激前后的差异性分析结果，可以明显的看到频段θ基本在每个脑区刺激前后的差异性都不显著，这和图7所得到的结论相吻合。再纵观八个脑区的各脑电指标差异性结果，在颞区、中央、顶区这些脑区有较多的脑电指标在刺激前后出现显著性差异，这也和图7所显示的频段ɑ、频段β在颞区和顶区的变化最为显著十分接近。所以我们可以知道在脑电分析中颞区、中央、顶区可以作为识别立体水平运动疲劳较好的指标区域。

107：水平运动引起的立体视觉疲劳评价分析

本发明利用eeg技术，结合主观行为数据对水平运动视觉疲劳进行评价。在主观行为数据方面，人眼眨眼次数频率和人眼视疲劳程度具有密切联系，随着观看时间的增加眨眼频率有显著的上升趋势。长时间观看立体的水平运动会给观看者带来很大程度的疲劳症状，其中视力模糊、眼睛沉重、眼睛干涩的症状尤为严重，同时观看产生的眼睛疲劳和身体疲劳的严重性相差无几，眼睛疲劳症状稍微高于身体疲劳症状。对比平面显示技术和立体显示技术两种技术在相同刺激下带来的视疲劳程度存在明显差异，立体显示技术带来的疲劳程度高于平面显示技术。在客观评价时，记录不同水平运动速度下的脑电信号，通过对脑电信号的分析我们发现，在观看立体水平运动刺激前后，脑电信号的三个频段在脑区会出现相对能量的变化。这其中频段θ出现的变化不太明显，从脑电地形图中看基本没发生变化；而频段ɑ则在出现疲劳症状之后相对能量出现增长，频段β与之相反出现下降。从脑电地形图来看，频段ɑ和频段β在在颞区和顶区的变化最为显著，结合配对t检验的结果，得出颞区、中央、顶区这三个脑区可以作为识别立体水平运动疲劳较为合适有效的指标区域。

综上所述，本发明主要是针对水平运动引起的立体视觉疲劳的评价分析，设计实验记录人在水平运动刺激下的eeg信号，对刺激前后的eeg信号进行特征分析，找到识别立体水平运动疲劳较好的指标区域，为基于视觉的运动目标跟踪研究进行脑电分析提供了理论基础。