一种基于视差变化连续性调节的立体视频舒适度增强方法
【技术领域】
[0001] 本发明涉及立体视频舒适度增强和3D图像处理领域，特别涉及一种基于视差变 化连续性调节的立体视频舒适度增强方法。 技术背景
[0002] 3D电视的诞生，给很多喜欢看3D电影的朋友带来了福音，但是由于目前3D电视 技术的不完善，也导致了长时间观看3D电视节目，容易导致恶心、头晕眼花、头痛等不同程 度的视觉疲劳。相关统计研宄表明，在看过3D视频图像的人中，36%的人有严重视觉疲劳 的感觉，7%的人由于严重视觉疲劳而无法持续观看3D电影[1]。从1987年开始有少量的学 者对观看3D视频的视觉疲劳问题进行研宄，随着3D显示技术取得突破性进展和3D应用需 求的不断增长，最近几年开始有较多的学者参与到观看3D视频视觉疲劳问题的研宄中。但 是，根据文献检索信息，这方面的研宄尚处于起步阶段，研宄成果较少。对观看3D视频视觉 舒适度增强（视觉疲劳改善）问题的研宄主要有三个方面：产生视觉疲劳的因素分析和检 测 [2^2°]、视觉疲劳的评价方法[m]以及增强视觉舒适度（改善视觉疲劳）的方法[& 38]。
[0003] 从人眼的视觉感知机理研宄表明，引起3D视频视觉疲劳的原因主要有辐辏和调 节的不一致、垂直视差、视差变化的不连续性和串扰等。Emoto,M等人的研宄表明，即使不 考虑过度视差，视差的不连续变化也是导致立体视疲劳的主要因素[5]。
[0004] 国际上，2010年开始美国旧金山杜比实验室的科学家就已经与加州大学旧金山分 校等高校展开合作，改善3D互动技术的欣赏舒适度。2011年美国加州大学伯克利分校的 研宄团队通过改进3D眼镜为改善视觉疲劳问题提供了解决方法，该方法在眼镜上安装特 殊的监控设备，当影像出现时，可以通过遮挡部分影像来帮助双眼对焦，以此缓解眼部的紧 张，这种方法在一定程度上起到了帮助改善视觉疲劳的作用。2012年韩国光州科学技术院 和三星公司联合申请的美国专利中公开了一种提高3D摄像仪3D效果和减轻视觉疲劳的方 法和仪器，该方法首先利用左右眼图像的匹配特征点计算出视差，如果视差不在舒适观赏 的视差范围内，则移动左眼或同时移动双眼的镜头调整视差，使达到辐辏和调节的一致性， 从而达到减轻视觉疲劳的目的。2010年日本日立显示器开发出可降低视觉疲劳的3D液晶 面板，其采用视差栅格方式，即在液晶面板前方配置长条状格栅，使双眼可分别观赏3D显 示的左眼用及右眼用影像，这种面板减弱了会导致视觉疲劳的过度立体感。
[0005] 国内在增强视觉舒适度（改善视觉疲劳）方法的研宄方面，有北京邮电大学的王 飞课题组在深入分析观看立体影像引起视觉疲劳原因的基础上，提出了可以用增加补正透 镜等方法改善视觉疲劳以及可以通过控制观看时间和避免视差过大和视差不连续变化改 善视觉疲劳。但是对由于视差变化不连续性引起的视觉疲劳的改善方法尚未见研宄报道。
【发明内容】
[0006] 本发明要解决的技术问题在于提供一种基于视差变化连续性调节的立体视频舒 适度增强方法，通过本发明可以有效地增强观看立体视频的舒适度。该方法详见下文描 述：
[0007] -种基于视差变化连续性调节的立体视频舒适度增强方法，所述方法包括以下步 骤：
[0008] 第一步：将0.2秒作为一个考察时段，在立体视频解码过程中提取当前时段帧的 视差和运动矢量彳目息；
[0009] 第二步：根据立体视频舒适度模型，设每一时刻图像帧的立体视频舒适度为CL， 计算每个考察时段的立体视频舒适度的平均值Ft;
[0010] 每一时刻图像帧的立体视频舒适度CL计算公式如下：
[0011] CL=MV+DV
[0012] 其中，
[0015]其中，
[0016]CL表示每一时刻立体视频舒适度值；
[0017]N表示每一时刻图像帧中的宏块总数；
[0018] n表示第n个宏块；
[0019]MV表示运动矢量值；
[0020] DV表不视差值；
[0021] 和别表示第n个宏块的运动矢量在水平和垂直方向上的分量值；
[0022] 和分别表示第n个宏块的水平视差和垂直视差。
[0023] 第三步：判断前一个时段的立体视频舒适度平均值Ft_a2和后一时段立体视频舒 适度平均值匕+(|.2的关系是否满足
其中和$_分别表示 所有时段内立体视频舒适度平均值的最大值和最小值，Fth表示设定阈值。若满足，则对当 前考察时段进行非舒适帧调节，生成新的图像替换原图像，播放生成的新视频；若不满足， 则直接播放视频；
[0024] 非舒适帧视差调节方法包括下列步骤：
[0025] 步骤1):提取当前考察时段内立体视频舒适度CL值最大的视频帧的前后两帧匹 配点对应像素的R、G、B分量值；
[0026] 步骤2):将R、G、B分量值加权平均计算如下：
[0027] Dest[h] [w]_r = (aSource1 [h] [w]_r+0 Source2 [hr ] [wr ]_r)
[0028] Dest[h] [w]_g = (aSource1 [h] [w]_g+0 Source2 [hr ] [wr ]_g)
[0029] Dest[h][w]_b =(a Source1[h][w]_b+0 Source2[h' ] [w' ]_b)
[0030]h' =h+Ah [0031]wr =w+Aw [0032]a+|3 = 1
[0033]其中，
[0034]Sourcel[h] [w]_r、Sourcel[h] [w]_g和Sourcel[h] [w]_b分别表不前帧每个像素 的R、G、B分量值，h和w分别为前帧每个像素的水平和垂直坐标；
[0035]Source2[h' ] [w' ]_r、Source2[h' ] [w' ]_g和Source2[h' ] [w' ]_b分别 表示后帧每个像素的
[0036]R、G、B分量值，h'和w'分别为后帧每个像素的水平和垂直坐标；
[0037]Dest[h] [w]_r、Dest[h] [w]_g和Dest[h] [w]_b分别表示新图像的每个像素的R、 G、B分量值，h和w分别为新图像的每个像素的水平和垂直坐标；
[0038]Ah和Aw分别表示后帧和前帧对应匹配点的运动矢量的水平和垂直方向的分量 值；a和0均为常数，表示权值。
[0039] 本发明的特点及有益效果：
[0040] 本发明提出一种基于视差变化连续性调节的立体视频舒适度增强方法，由于视差 和运动矢量变化过快，产生视觉感知突兀，视线汇聚困难，增加观视者眼部负担，产生视觉 疲劳，通过本发明可以有效地增强观看立体视频的舒适度。
【附图说明】：
[0041] 图1为本发明的方案流程图。
【具体实施方式】
[0042] 为使本发明的目的，技术方案和优点更加清楚，下面将结合附图和JMVC(Joint Multi-viewVideoCoding)多视点视频编码系统对本发明实施方式做进一步的详细叙述：
[0043] (1)将0.2秒作为一个考察时段，在JMVC(JointMulti-viewVideoCoding)多视 点编码系统的解码过程中提取当前时段各帧的视差信息和运动矢量信息。视差信息为 和￡?17，其中，DF,"和分别表示第n个宏块的水平视差和垂直视差。运动矢量信息为： If和其中If和分别表示第n个宏块的运动矢量在水平和垂直方向上的分 量值。实验采用200帧分辨率为320X240的AC序列作为测试视频，其帧率为25帧/秒， 将0. 2秒作为一个考察时段，S卩每个考察时段内有5帧。
[0044] (2)根据立体视频舒适度模型CL，计算每一时刻图像帧的立体视频舒适度如下：
[0045]CL=MV+DV
[0046]其中，
[0049]其中，
[0050] CL表示每一时刻立体视频舒适度值；
[0051] N表示每一时刻图像帧中的宏块总数；
[0052] n表示第