深度延时运动对观看舒适度影响的erp分析方法
【专利摘要】本发明涉及一种深度延时运动对观看舒适度影响的ERP分析方法，包括：对3D视频右路在不同的位置分别进行不同的延时等级处理。将主观评定标准划分为两个指标：协调，不协调。分析被试者的主观实验结果。测量检测率最一致的视差位置下不同延时等级的3D视频所诱发的脑电波，得出不同延时等级的N200和P300成分能，呈现出ERP平均波形幅值。对不同延时等级下得到的ERP平均波形幅值进行比较分析，并与主观实验结果比较，得出脑电波N200和P300成分与3D视频深度延时运动对立体舒适度影响之间的关系。本发明可以为建立基于ERP的立体图像深度延时运动对观看舒适度客观评价方法提供基础。
【专利说明】
深度延时运动对观看舒适度影响的ERP分析方法
技术领域：
[0001 ]本发明涉及分析3D视频舒适度领域。
【背景技术】：
[0002] 目前国内外在分析3D图像/视频舒适度领域主要采用主观和客观两种类型[1]。主 观分析方法具有覆盖范围广的特点，但由于被试的情绪、思维等差异性因素很容易导致给 出的分析结果没有规律性，所以其应用相对较少。客观分析方法包括两者，一种是利用数字 图像处理的算法提取3D图像/视频的特征，然后根据提取的特征来分析图像/视频的舒适 度，但是这种分析方法在数据量较少的情况下明显存在很大的不足;另外一种就是采用ERP 脑电技术，由于人的立体感是在人的大脑中产生的，因此分析生理指标应该是最能体现人 眼视觉系统对3D图像/视频反应的一种手段。目前以ERP技术为基础的生理指标分析方法已 经成为研究3D图像/视频舒适度的新方法 [24]。将主观行为实验与以ERP为基础的客观实验 结合起来，将得到更加合理的实验结果。
[0003] [l]Li J,Barkowsky M,Le Callet P.Visual discomfort of stereoscopic 3D videos:Influence of 3D motion[J].Displays,2014,35(1):49~57.
[0004] [2]Kim D ff,Yoo J S,Seo Y H.Qualitative analysis of individual and composite content factors of stereoscopic 3D video causing visual discomfort [J],Displays,2013,34(3):223-240.
[0005] [3]Moorthy A K,Su C C,Mittal A,et al.Subjective evaluation of stereoscopic image quality[J].Signal Processing:Image Communication,2013,28 (8):870-883.
[0006] [4]Polonen M,Salmimaa M,HiikkincnJ.Effect of ambient illumination level on perceived autostereoscopic display quality and depth perception!!J] .Displays,2011,32(3):135-141.
【发明内容】
：
[0007] 本发明的目的是提供一种基于ERP脑电技术来分析深度延时运动对立体观看舒适 度影响的方法，为分析3D图像/视频出现延时所诱发的观看舒适度问题提供基础。本发明的 技术路线如下：
[0008] 一种深度延时运动对观看舒适度影响的ERP分析方法，包括以下步骤：
[0009] 1)对3D视频右路在不同的位置分别进行不同的延时等级处理，具体位置为视差-0.6°，-0.4°，-0.2°，0°，+0.2°，+0.4°，+0.6°处，在每一个延时位置设置四种延时等级无延 时、延时1帧、延时2帧、延时3帧。
[0010] 2)将主观评定标准划分为两个指标:协调，不协调。
[0011] 3)分析被试者的主观实验结果，包括:不同视差位置处的延时检测率，不同视差位 置处平均检测率差异性统计。
[0012] 4)测量检测率最一致的视差位置下不同延时等级的3D视频所诱发的脑电波，得出 不同延时等级的N200和P300成分能，呈现出ERP平均波形幅值。
[0013] 5)对不同延时等级下得到的ERP平均波形幅值进行比较分析，并与主观实验结果 比较，得出脑电波N200和P300成分与3D视频深度延时运动对立体舒适度影响之间的关系。
[0014] 主观实验得出的深度延时等级对3D视频舒适度影响的结果是确切的，本发明提供 了一种分析不同深度延时等级条件下被试者脑电N200和P300成分的差异，得出其与舒适度 主观实验规律之间的联系的方法。
【附图说明】：
[0015] 通过附图可以使本发明的实施步骤及优点更加凸显，也更加有利于使用者的理解 与操作。
[0016] 图1 (a)为3D视频首帧的左视图，（b)为3D视频末帧的左视图，（C)为3D视频首帧的 右视图，（d)为3D视频末帧的右视图；
[0017] 图2为实验流程图，A为圆点图，B为无延时视频，C为圆点图，D为延时等级随机视 频，E为圆点图；
[0018] 图3为主观实验不同视差位置处不同延时等级的检测率，图（a)、（b)、（c)、（d)、 (e)、（f)、（g)依次为视差-0.6°，-0.4°，-0.2°，0°，+0.2°，+0.4°，+0.6°处；
[0019] 图4为主观实验的平均检测率差异性统计；
[0020] 图5(a)为746ms时N200脑电地形图，（b)为994ms时P300脑电地型图；
[0021 ]图6为Cz电极上不同延时等级诱发的N200和P300脑电波形图；
[0022]图7不同延时等级下ERP信号幅度差异性统计。 具体实施方案：
[0023] 为了使本发明的方案更加清楚明了和便于实施，以达到凸显本发明优点的目的， 对实施方案作详细的阐述与说明。
[0024] 101:搭建 ERP 平台
[0025] ERP实验平台的组成包括：高性能计算机2台、Neuroscan信号放大器、立体显示器 (刺激呈现装置）、64导电极帽(Ag-AgCl电极，根据国际10-20系统分布）、偏光式立体眼镜。 [0026] 立体显示器为分辨率为1366X768，刷新频率为60Hz的长虹立体电视，用E-prime 2.0呈现图像刺激。被试者被要求佩戴偏光式立体眼镜及Neuroscan公司的64导电极帽（阻 抗小于等于5KQ .被试距显示屏距离为显示屏垂直高度3倍处，图像水平视角为32.86°，垂 直视角为18.48°。
[0027]对被试者的要求及条件为：身体健康，男女比例合适，年龄为23~27岁。所有被试 视力正常或矫正视力正常。所有被试精神状态良好，实验开始前签署被试知情同意书，并获 得相应补偿，预先使其熟悉整个实验过程及注意事项，但不被告知实验目的。
[0028]实验3D视频刺激用Autodesk Maya软件生成，摄像机参数严格参照水平运动的立 体素材制作。如图1所示，视觉刺激为一个半径为5cm的三维立体足球由屏内向屏外作匀速 直线运动，运动距离为屏内77.84cm至屏外31.46cm，运动时间为Is，帧频为60Hz，设置7个不 同的延时位置，即在视差为-〇 . 6°，-〇. 4°，-〇 . 2°，0°，+0.2°，+0.4°，+0.6°处实现右视图延 时。主观实验被试10个人，4女6男，ERP实验被试6人，2男4女，年龄均为23~27岁之间。所有 被试视力正常或矫正视力正常，其中主观实验2名被试有3D视频/图像相关工作经验，所有 被试精神状态良好。
[0029] 实验采用经典的Oddball范式标准刺激呈现概率为70%，靶刺激呈现概率为30%。 一共分为500个试次，对于每一个试次，首先在屏幕中间呈现一个白色圆点以使被试者集中 注意力，时长为500ms;紧接着呈现无延时的视频;之后呈现500ms的休息间隔以缓解视差过 大变动引起的不舒适感;然后以随机方式呈现不同视差等级的延时视频;最后在屏幕中间 呈现白色圆点，紧接着让被试者判断是否感知到由延时效应引起的不协调感，若判断为不 协调则点击鼠标左键，反之则点击鼠标右键，当被试者点击鼠标时即进入下一个试次。实验 过程排除噪音干扰，并要求被试保持放松状态，不允许有任何实际动作。实验中同时记录被 试的脑电信号和行为数据。实验流程如图2所示。
[0030] 102:主观行为数据的统计分析
[0031] 图3为被试在不同视差位置不同延时等级下对延时感知的不协调率检测曲线，可 以看出检测率折线走势基本一致，即随着延时帧数的增加，检测率逐渐增加。当延时帧数为 1帧时，检测率低于50%，当延时帧数为2帧或3帧时，检测率大于50%甚至几乎为100%，说 名被试者对1帧以上的延时反映强烈。观察7个视差等级发现，当在+0.2°视差处设置延时 时，10个被试者的不协调检测率比较一致，这意味着此视差下，被试者更易于判断不协调 性。
[0032] 为了进一步分析不同视差位置下不同延时等级之间的差异，如图4所示，尽管设置 延时处的视差有所不同，但随着延时帧数的增加平均检测率亦随之增加。其中，延时1帧的 平均检测率小于20 %，当延时2帧时平均检测率超过50 %，当延时3帧时，被试者几乎完全可 以感知到延时效应引起的不协调感，延时1帧的平均检测率与延时2帧、3帧的平均检测率具 有极显著差异。行为数据分析结果表明，为保证观看舒适度，深度运动延时应小于1帧。
[0033] 103:测量被试的脑电信号，存储于离线分析
[0034]脑电数据由64导联、国际10-20系统的电极帽记录，数据采样频率为1000Hz，滤波 的低通截止频率为〇.05Hz、高通截止频率为100Hz。参考电极为右侧乳突电极，各个电极电 阻值不大于5kfK使用Scan软件对脑电数据离线分析，包括合并行为数据、脑电预览、眼电 祛除、脑电分段、基线矫正、伪迹祛除、叠加平均、滤波等。分析的数据为刺激出现前100ms至 刺激后400ms。
[0035] 104:对被试的脑电信号进行离线处理，分析相应脑区的ERP信号
[0036]采用egglab对实验中采集到的脑电信号进行分析。包括：
[0037] 1.进行带通滤波处理:滤波器范围为0.01Hz至35Hz，凡是被污染的脑电数据及伪 迹大于70yV的脑电数据均被剔除掉。
[0038] 2.脑电数据的分段叠加处理:根据不同的亮度差异类型，对各个类型的的数据进 行分段，然后进行叠加平均处理。
[0039] 3.脑电数据的初步分类:对叠加平均后的波形校正基线，在相应成分最高点处，以 左右正负40ms的时间窗口，计算出平均幅值。潜伏期为这个最高点所对应的时间点。
[0040] 4.创建study:创建study，所有被试数据进行叠加平均，进行差异性检验。
[0041] 105:对不同偏差类型的脑电信号进行叠加平均，探测前额、顶叶和枕叶的成分
[0042] 观察整个大脑电极波形图，在额区、枕叶和后顶叶（(^、02、02、？7、？8、？213和卩4) 500ms附近出现N200成分，大约在1200ms附近出现P300成分，该成分与延时刺激有关。（如图 6所示）
[0043] 106:不同延时等级刺激下ERP波形
[0044] 本实验采用经典oddball范式，观察的主要ERP成分为P300。而在实际中，P300之前 通常会有一个负波，称作N200，N200反映人脑对靶刺激的空间加工过程，这个过程发生在对 靶刺激的判断选择之前。图5是左右视图延时为3帧时的脑电地形图，观察地形图发现，由时 间偏差引起的N200成分主要分布在额区和顶(枕）区，且以顶区附近的幅度最大。P300成分 主要分布在额区、中央一顶区及枕区，且以中央一顶区幅度最大。
[0045]图6为Cz电极上时间偏差在大脑皮层诱发的平均ERP信号。可以看出500ms附近出 现的N200成分随着测试视频延时等级不同呈现不同的ERP波形，并且伴随延时帧数的增加 波形幅度明显增加。在1200ms附近出现P300成分。由于分类任务较难，刺激较复杂，所以 P300的潜伏期较长，大约为700ms，并且幅值较大。偏差为2帧、3帧时的P300幅度明显高于偏 差为〇和1帧的波形幅度，说明人类大脑对于大于1帧的时间偏差反应强烈。P300幅值是信息 加工容量的指标，幅值增大意味着要求投入的信息资源更大，更易于实现记忆的更新。延时 2帧和3帧的等级比其他等级在潜伏期上要提前，而潜伏期反映了被试分析刺激或分类所需 要的时间，潜伏期缩短表明刺激被更快地分类和作出分析。ERP波形分析表明，人脑对延时1 帧以上的偏差反应强烈。
[0046]为了进一步分析不同延时等级引起的ERP波形差异，对被试在Cz位置的ERP数据进 行了幅值探测，并进行统计分析，得到不同时间偏差等级幅值显著性检验统计情况如图7。 对于P300成分，0偏差与1帧偏差平均幅值无差异，0偏差与2帧、3帧偏差具有极显著性差异， 2帧偏差与3帧偏差无差异，表明1帧以上的时间偏差引起的不协调感显著，所以建议立体视 频时间偏差应不大于1帧。
[0047] 107:偏差阈值
[0048]本发明利用ERP技术，采用经典Oddball范式设计客观实验，并且结合了主观实验 数据。主观实验数据表明，在视差为+0.2°处，10个被试者的不协调检测率比较一致，这意味 着此视差下，被试者可能更易于判断不协调性。检测率差异性统计表明延时1帧的平均检测 率与延时2帧、3帧的平均检测率具有极显著差异。客观实验采用基于ERP原理的脑电技术， 观察脑电地形图发现由时间偏差引起的N200成分主要分布在额区和顶(枕)区，且以顶区附 近的幅度最大。P300成分主要分布在额区、中央一顶区及枕区，且以中央一顶区幅度最大。 ERP波形表明延时等级大的立体视频会引起人脑整体活动的加强，从而表现出更高的反映 幅度和较早的反映。幅值显著性差异统计分析结果与行为数据及ERP分析结果一致，表明应 将延时控制在1帧以内。综合主观实验与客观实验，对于3D视频的深度运动，为保证观看舒 适度，其延时不能超过1帧。
[0049]本发明采用的ERP脑电技术在分析3D视频深度延时运动对观看舒适度的影响方面 取得了优异的表现，而且通过实验证明了其正确性，可以用于3D视频舒适度的分析方法。由 于ERP脑电信号具有客观性，在本发明的基础之上可以将ERP技术用于其他3D视频舒适度的 分析方法中。
【主权项】
1. 一种深度延时运动对观看舒适度影响的ERP分析方法，包括以下步骤： 1) 对3D视频右路在不同的位置分别进行不同的延时等级处理，具体位置为视差- 0.6°，-0.4°，-0.2°，0°，+0.2°，+0.4°，+0.6°处，在每一个延时位置设置四种延时等级无延 时、延时1帧、延时2帧、延时3帧； 2) 将主观评定标准划分为两个指标:协调，不协调； 3) 分析被试者的主观实验结果，包括:不同视差位置处的延时检测率，不同视差位置处 平均检测率差异性统计； 4) 测量检测率最一致的视差位置下不同延时等级的3D视频所诱发的脑电波，得出不同 延时等级的N200和P300成分能，呈现出ERP平均波形幅值； 5) 对不同延时等级下得到的ERP平均波形幅值进行比较分析，并与主观实验结果比较， 得出脑电波N200和P300成分与3D视频深度延时运动对立体舒适度影响之间的关系。
【文档编号】H04N17/00GK105959681SQ201610283342
【公开日】2016年9月21日
【申请日】2016年4月28日
【发明人】沈丽丽, 雷锦艺
【申请人】天津大学