水平延时运动对观看舒适度影响的ERP分析方法与流程

技术领域：

本发明涉及分析3d视频舒适度领域，利用erp(event-relatedpotential)脑电技术进行3d视频水平延时运动对观看舒适度的影响的分析方法。

背景技术：
：

目前国内外在评价3d图像/视频舒适度领域主要采用两种分析方法，主观分析法和客观分析法^[1]。主观分析法覆盖范围广，但实验结果容易受被试者的情绪、精神状况等因素影响，得出的结果规律性不够强。客观分析方法分为两种，一种是应用数字图像处理相关算法提取立体视频/图像的特征信息，然后根据特征信息对其进行舒适度的评价。这种方法的优点是操作简单，容易实现，但在数据量较小的情况下与主观实验所得结果差距较大。随着脑电技术的日趋成熟，erp(event-relatedpotential)脑电技术成为一种客观评价的有效方法。立体感是在人的大脑中产生的，生理指标能够最直接地表示人类视觉系统对图像/视频的反应。因此，以erp技术为基础的生理指标评价方法已经成为研究图像/视频质量评价的新方法^[2-4]。将主观实验与以erp为基础的客观评价实验结合起来，将得到更加合理的实验结果。

[1]lij,barkowskym,lecalletp.visualdiscomfortofstereoscopic3dvideos:influenceof3dmotion[j].displays,2014,35(1):49-57.

[2]chenc,lik,wuq,etal.eeg-baseddetectionandevaluationoffatiguecausedbywatching3dtv[j].displays,2013,34(2):81-8.

[3]muns,parkmc,parks,etal.ssvepanderpmeasurementofcognitivefatiguecausedbystereoscopic3d[j].neuroscienceletters,2012,525(2):89-94.

[4]schollers,bosses,trederms,etal.towardadirectmeasureofvideoqualityperceptionusingeeg[j].ieeetransimageprocess,2012,21(5):2619-29.

技术实现要素：
：

本发明提供一种基于erp脑电技术来分析水平延时运动对立体观看舒适度影响的方法，为利用脑电作为3d视频舒适度评价的客观指标的研究打下基础。本发明的技术路线如下：

1.一种水平延时运动对观看舒适度影响的erp分析方法，

1)将3d视频实验素材水平运动速度分别设置为16cm/s，18cm/s，20cm/s，22cm/s，

24cm/s，26cm/s，在每一个运动速度下，分别对右路视图进行四个等级的延时处理，无延时、延时1帧、延时2帧、延时3帧；

2)将主观评定标准划分为两个指标：协调，不协调；

3)对被试者进行主观实验，并对实验结果进行分析，获得：不同水平运动速度下的延时检测率，不同水平运动速度下的平均检测率差异性统计；

4)测量在检测率最一致的水平运动速度下不同延时等级的3d视频所诱发的脑电波，得出不同延时等级的n200和p300成分能，呈现出erp平均波形幅值；

5)对不同延时等级下得到的erp平均波形幅值进行比较分析，并和主观实验结果相比较，得出脑电波n200和p300成分与3d视频水平延时运动对立体舒适度的影响之间的关系。

主观实验得出的水平延时等级对3d视频舒适度的影响结果是确切的，分析不同水平延时等级条件下被试者脑电n200和p300成分的差异，得出其与主观立体舒适度评价结果存在客观上的联系，从而脑电是可以用来作为3d视频舒适度评价的客观指标的。在此基础上，可以做更多基于脑电的3d视频舒适度评价工作。

附图说明：

图1(a)为所用3d视频素材左视图首帧图像，(b)为所用3d视频素材左视图末帧图像，(c)为所用3d视频素材右视图首帧图像，(d)为所用3d视频素材右视图末帧图像；

图2为实验流程图，a为圆点图，b为延时等级随机视频，c为圆点图；

图3为主观实验分别在不同水平运动速度下，不同的延时等级的检测率；

图4为主观实验的平均检测率差异性统计；

图5为cz电极上不同延时等级诱发的n200和p300脑电波形图；

图6为不同延时等级下erp信号幅度差异性统计。

具体实施方式：

为使本发明的方案更加清楚明了，便于实施，同时凸显本发明的优点及目的，对实施方案作详细的阐述与说明。

101：搭建erp平台

erp实验平台的组成包括：高性能计算机2台、neuroscan信号放大器、立体显示器(刺激呈现装置)、64导电极帽(ag-agcl电极，根据国际10-20系统分布)、偏光式立体眼镜。

立体显示器为分辨率为1366×768，刷新频率为60hz的长虹立体电视，用e-prime2.0呈现图像刺激。被试者被要求佩戴偏光式立体眼镜及neuroscan公司的64导电极帽(阻抗小于等于5kω.被试距显示屏距离为显示屏垂直高度3倍处，图像水平视角为32.86°，垂直视角为18.48°。

对被试者的要求及条件为：身体健康，男女比例合适，年龄为22～28岁。所有被试视力正常或矫正视力正常。所有被试精神状态良好，实验开始前签署被试知情同意书，并获得相应补偿，实验前使其熟悉整个实验过程及注意事项，但不被告知实验目的。

实验素材3d视频刺激由autodeskmaya软件生成，为了使立体视频素材更接近真实场景，在素材制作过程中，摄像机参数严格按照真实场景进行设置。摄像机拍摄距离设置为显示器屏幕高度的3倍，由于所用显示器尺寸为21.5inch，所以将摄像机拍摄距离设置为105.42cm。摄像机轴间距离设置为人眼的瞳孔间距6.5cm。如图1所示，视觉刺激为一个半径为5cm的三维立体足球自左向右作匀速直线运动，运动时间为1s，帧频为60hz。分别设置6个速度等级，分别是16cm/s，18cm/s，20cm/s，22cm/s，24cm/s，26cm/s，在每一个运动速度下，对实验素材进行右路视图延时处理。主观实验选取10名具备正常立体感知的被试，男性6人，女性4人，其中有3人有立体显示评价经验；erp实验被试10人，4男6女。所有被试视力正常或矫正视力正常，年龄在22～28岁之间，精神状态良好。

实验采用经典的oddball范式标准刺激呈现概率为70％，靶刺激呈现概率为30％。一共分为500个试次，对于每一个试次，首先在屏幕中间呈现一个白色圆点以使被试者集中注意力，时长为500ms；然后在不同的速度等级下，分别以随机方式呈现不同延时视频；最后在屏幕中间呈现白色圆点，紧接着让被试者判断是否感知到由延时效应引起的不协调感，若判断为不协调则点击鼠标左键，反之则点击鼠标右键，当被试者点击鼠标时即进入下一个试次。实验过程排除噪音干扰，并要求被试保持放松状态,不允许有任何实际动作。实验中同时记录被试的脑电信号和行为数据。实验流程如图2所示。

102：主观行为数据的统计分析

图3为被试在不同速度等级下由延时引起的不协调检测率曲线，可以看出随着延时帧数的增加，检测率明显增大。无延时的情况下，检测率接近于0，当延时帧数分别为1帧、2帧、3帧时，检测率明显增大，均大于50％，最大甚至达到100％。说明被试对延时很敏感。观察6个速度等级，速度越大，被试者越容易感知由延时效应带来的不协调感。当速度为22cm/s时检测率达到最大值，之后检测率有下降的趋势，说明被试虽然能感知到不协调感，但过大的速度也会使被试来不及捕捉这种不协调感，从而导致检测率略有下降。

为了进一步分析不同延时等级所带来的不协调感之间的差异，做出显著性差异分析统计图，如图4。可以看出无延时的平均检测率明显小于有延时的，有延时的平均检测率均达到50％以上，延时3帧甚至接近100％，人们很容易感知到有延时带来的不协调感。这说明，人脑对于水平延时十分敏感，为保证观看3d视频的舒适度，水平方向上运动不应该有延时。

103：测量被试的脑电信号，存储于离线分析

脑电数据由64导联、国际10-20系统的电极帽记录，数据采样频率为1000hz，滤波的低通截止频率为0.05hz、高通截止频率为100hz。参考电极为右侧乳突电极，各个电极电阻值不大于5kω。使用scan软件对脑电数据离线分析，包括合并行为数据、脑电预览、眼电祛除、脑电分段、基线矫正、伪迹祛除、叠加平均、滤波等。分析的数据为刺激出现前100ms至刺激后400ms。

104:对被试的脑电信号进行离线处理，分析相应脑区的erp信号

采用egglab对实验中采集到的脑电信号进行分析。包括：

1.进行带通滤波处理：滤波器范围为0.01hz至35hz，凡是被污染的脑电数据及伪迹大于70μv的脑电数据均被剔除掉。

2.脑电数据的分段叠加处理：根据不同的亮度差异类型，对各个类型的的数据进行分段，然后进行叠加平均处理。

3.脑电数据的初步分类：对叠加平均后的波形校正基线，在相应成分最高点处，以左右正负40ms的时间窗口，计算出平均幅值。潜伏期为这个最高点所对应的时间点。

4.创建study：创建study，所有被试数据进行叠加平均，进行差异性检验。

105：对不同偏差类型的脑电信号进行叠加平均，探测前额、顶叶和枕叶的成分

观察整个大脑电极波形图，在额区、枕叶和后顶叶(cz、oz、o2、p7、p8、pz、p3和p4)，大约在700ms附近出现n200成分，大约在900ms附近出现p300成分，该成分与延时刺激有关。(如图5所示)

106：不同延时等级刺激下erp波形

本实验采用经典oddball范式，观察的主要erp成分为p300。而在实际中，p300之前通常会有一个负波，称作n200，n200反映人脑对刺激的空间加工过程，这个过程发生在对刺激的判断选择之前。

实验选择cz电极进行分析。图6为3d实验素材在大脑皮层诱发的平均erp信号。由图可以看出，在700ms附近出现n200成分的erp波形。随着测试视频延时帧数的增加，erp波形中的n200成分的幅值明显增加。在900ms附近出现p300成分的erp波形，由于分类任务较难，刺激较复杂，所以p300的潜伏期较长，大约为400ms，并且幅值较大。延时1帧、2帧、3帧图像诱发出了p300成分，且随着延时等级的增加，幅值逐渐增大，说明人类大脑对于有延时帧数的视频反应很强烈。p300幅值是信息加工容量的指标，幅值增大说明大脑的整体活动性越强。

进一步对erp波形的幅值进行统计性分析，得到不同时间偏差等级幅值显著性检验统计情况如图6。延时0帧和延时1帧平均幅值无明显差异，但是延时0帧与延时2帧、3帧具有显著性差异，说明有延时的立体视频引起的不协调感更显著，所以建议立体视频在水平运动方向上不应该有延时。

107：偏差阈值

本发明利用erp脑电技术，采用oddball范式设计实验，并将主观行为数据和客观脑电数据相结合。根据主观行为数据可以看出，当速度为22cm/s时检测率达到最大值，之后检测率有下降的趋势，说明被试虽然能感知到不协调感，但过大的速度也会使被试来不及捕捉这种不协调感，从而导致检测率略有下降。检测率差异性统计表明无延时和延时1帧、2帧、3帧平均检测率具有极显著差异。根据erp波形很明显可以看出，立体视频所具有的延时等级越大，波形的幅值越高，说明大脑的整体活动性越强。在无延时的情况下，波形比较平稳，而分别延时1帧、2帧、3帧波形均有明显变化。幅值显著性差异统计所得结果与主观实验和erp波形分析基本一致，人们能够很容易感受到水平运动方向上的延时。综合主观实验和客观实验结果，可以看出水平运动方向上不无延时才能保证观看立体视频的舒适度。

本发明采用的erp脑电技术在分析3d视频水平延时运动对观看舒适度的影响方面取得了优异的表现，而且通过实验证明了其正确性，可以用于3d视频舒适度的分析方法。由于erp脑电信号具有客观性，在本发明的基础之上可以将erp技术用于其他3d视频舒适度的分析方法中。