一种基于场景模式分类的立体图像视觉舒适度评价方法
【技术领域】
[0001] 本发明涉及一种立体图像体验质量评价方法，尤其是涉及一种基于场景模式分类 的立体图像视觉舒适度评价方法。
【背景技术】
[0002] 随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的 视觉体验质量（Q〇E，qualityofexperience)是立体视频系统设计中的一个重要问题，而 视觉舒适度（VC，visualcomfort)是影响立体视频的视觉体验质量的重要因素之一。目 前，对立体视频/立体图像的视觉体验质量的研究主要集中在研究内容失真对于视觉体验 质量的影响，这方面已产生了许多研究成果。立体图像视觉舒适度的研究是在立体图像内 容未失真前提下引起的生理上的不舒适感，得到的视觉舒适度客观评价模型对于提高观看 者的视觉体验质量、指导3D内容的制作和后期处理具有十分重要的作用。
[0003] 现有的立体图像视觉舒适度评价方法主要是通过提取立体图像的左、右视点图像 以及视差图像的特征，例如视差、梯度等，然后使用统计学上的方法或机器学习的算法建立 起客观模型。但是目前对立体图像的内容中引起生理上不舒适感的各种因素仍未研究透 彻，导致客观评价结果与人眼主观感知之间的一致性较差。为得到评价效果较好的视觉舒 适度评价方法，需要对各类自然场景进行细分，并在此基础上精确分析各种图像特征对视 觉舒适度的影响程度。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种基于场景模式分类的立体图像视觉舒适 度评价方法，其能够有效地提高客观评价结果与人眼主观感知之间的一致性。
[0005] 本发明解决上述技术问题所采用的技术方案为：一种基于场景模式分类的立体图 像视觉舒适度评价方法，其特征在于包括以下步骤：
[0006] ①确定立体显示器所显示的自然场景的10种场景模式，第1种场景模式为立体 图像的右视点视差灰度图像中的前景目标凸于屏幕且处于非舒适区、后景区域凹于屏幕且 处于非舒适区；第2种场景模式为立体图像的右视点视差灰度图像中的前景目标凸于屏幕 且处于非舒适区、后景区域凸于屏幕且处于非舒适区；第3种场景模式为立体图像的右视 点视差灰度图像中的前景目标凹于屏幕且处于非舒适区、后景区域凹于屏幕且处于非舒适 区；第4种场景模式为立体图像的右视点视差灰度图像中的前景目标凸于屏幕且处于非舒 适区、后景区域凹于屏幕且处于舒适区；第5种场景模式为立体图像的右视点视差灰度图 像中的前景目标凸于屏幕且处于非舒适区、后景区域凸于屏幕且处于舒适区；第6种场景 模式为立体图像的右视点视差灰度图像中的前景目标凸于屏幕且处于舒适区、后景区域凹 于屏幕且处于非舒适区；第7种场景模式为立体图像的右视点视差灰度图像中的前景目标 凹于屏幕且处于舒适区、后景区域凹于屏幕且处于非舒适区；第8种场景模式为立体图像 的右视点视差灰度图像中的前景目标凸于屏幕且处于舒适区、后景区域凹于屏幕且处于舒 适区；第9种场景模式为立体图像的右视点视差灰度图像中的前景目标凸于屏幕且处于舒 适区、后景区域凸于屏幕且处于舒适区；第10种场景模式为立体图像的右视点视差灰度图 像中的前景目标凹于屏幕且处于舒适区、后景区域凹于屏幕且处于舒适区；
[0007] ②选择每幅立体图像有视觉舒适度的平均主观评分均值的一个立体图像数据库； 然后根据立体图像数据库中的每幅立体图像的右视点视差灰度图像中的前景目标的视差 角和后景区域的视差角，确定立体图像数据库中的每幅立体图像所属的场景模式；再根据 立体图像数据库中属于每种场景模式的所有立体图像各自的右视点视差灰度图像中的前 景目标的视差角和后景区域的视差角，建立每种场景模式下的视觉舒适度评价模型，将第 n种场景模式下的视觉舒适度评价模型描述如下：SMMOn= (4. 2028-u(Qn))-V(Qn)XDa(Qn )+0? 1912XIn(Wa)-O. 0208XDa (Qn)Xln(Wa),其中，1 彡n彡 10,SMMOn 表示第n种场景模 式下的视觉舒适度评价模型的输出，U(Qn)和V(Qn)均为常数，Da(Qn)表示待输入的一幅属 于第n种场景模式的待评价的立体图像的右视点视差灰度图像的全局视差角，Da(Qn)= QnXIfaI+ (I-Qn)XIbaI，Qn表示第n种场景模式下的权重，fa表示待输入的一幅属于第n种 场景模式的待评价的立体图像的右视点视差灰度图像中的前景目标的视差角，133表示待输 入的一幅属于第n种场景模式的待评价的立体图像的右视点视差灰度图像中的后景区域 的视差角，Wa表示待输入的一幅属于第n种场景模式的待评价的立体图像的右视点视差灰 度图像中的前景目标的宽度角，符号"II"为取绝对值符号；
[0008] ③将待评价的立体图像的右视点视差灰度图像记为{dR(x，y) }，其中，1彡X彡W， Ky<H，W表示待评价的立体图像的宽度，其与立体图像数据库中的每幅立体图像的宽 度一致，H表示待评价的立体图像的高度，其与立体图像数据库中的每幅立体图像的高度 一致，dR(x，y)表示{dR(x，y)}中坐标位置为（x，y)的像素点的像素值；然后采用与步骤 ②中相同的方式，确定待评价的立体图像所属的场景模式；再根据待评价的立体图像所属 的场景模式，选取该场景模式下的视觉舒适度评价模型；接着根据该场景模式下的视觉舒 适度评价模型及{dR(x，y)}中的前景目标的视差角、{dR(x，y)}中的后景区域的视差角和 {dR(x，y)}中的前景目标的宽度角，计算待评价的立体图像的视觉舒适度评价预测值，记为 smmo,假设待评价的立体图像属于第n种场景模式，贝Ijsmmo= (4. 2028-u(Qn))-V(Qn)XDa' (Qn)+0.1912Xln(Wa，）-0.0208XDa，（Qn)Xln(()，其中，Da，（Qn)表示{dR(x，y)}的全局 差角，Da'（Qn) =QnXIfa'I+ (I-Qn)XIba'I，fa'表不{dR (X，y)}中的前景目标的视差角，ba' 表示{dR(x，y)}中的后景区域的视差角，Wa'表示{dR(x，y)}中的前景目标的宽度角；
[0009] ④对待评价的立体图像的视觉舒适度评价预测值smmo进行修 正，将待评价的立体图像的修正后的视觉舒适度评价预测值记为smm，
，其中，max()为取最大值函数， P表示待评价的立体图像所属的场景模式下的视觉舒适度评价模型的曲折度衰减系数，S/ 表示{dR(x，y)}中的前景目标的平均前景行线段数，S。'表示{dR(x，y)}中的前景目标的平 均前景列线段数，Tf表示设定的视差角阈值，表示设定的前景行线段数阈值，T。表示设定 的前景列线段数阈值。
[0010] 所述的步骤②中Qn的获取过程为：
[0011] ②-1、假设立体图像数据库中属于第n种场景模式的立体图像的总幅数为M'，其 中，M，彡1 ;
[0012] ②_2、令qn的初始值为0? 1，令Qn的初始值为0 ;
[0013] ②-3、计算第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场 景模式的每幅立体图像的右视点视差灰度图像的全局视差角，将第n种场景模式下的权重 取值为qn时立体图像数据库中属于第n种场景模式的第m'幅立体图像的右视点视差灰度 图像的全局视差角记为0"1、心)，0" 1、心）=91^|;^」+ (1-911)\|13|11，,」，其中，1彡111'彡]/['， a和b 对应表示立体图像数据库中属于第n种场景模式的第m'幅立体图像的右视点 视差灰度图像中的前景目标的视差角和后景区域的视差角，符号"II"为取绝对值符号；
[0014] ②-4、计算第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场 景模式的每幅立体图像排除了视差线性影响的舒适度客观评价值，将第n种场景模式下的 权重取值为qn时立体图像数据库中属于第n种场景模式的第m'幅立体图像排除了视差线 性影响的舒适度客观评价值记为VCh(D<a(qn)，Wa)，VCh(Dni,,a(qn)，Wa) = 4.2028+0. 1912X1 n(Wa)-0. 0208XDni.,a (qn)XIn(Wa);然后计算第n种场景模式下的权重取值为qn时立体图像 数据库中属于第n种场景模式的每幅立体图像的视差线性影响的舒适度客观评价值，将第 n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的第m'幅立体 图像的视差线性影响的舒适度客观评价值记为ERRni.，ERRni. =VCh (Dni.,a (qn)，Wa) -MOSni.，其中， MOSni,表示第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的 第m'幅立体图像的舒适度主观评价值；再采用最小二乘法，对第n种场景模式下的权重取 值为qn时立体图像数据库中属于第n种场景模式的所有立体图像各自的右视点视差灰度 图像的全局视差角和各自的视差线性影响的舒适度客观评价值进行线性拟合，得到第n种 场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的所有立体图像对 应的一个拟合直线方程：ERR=u(qn)+V(qn)XDa (qn)，其中，ERR为用于表示视差对客观舒适 度的线性影响的因变量，u(qn)和v(qn)均为ERR=u(qn)+v(qn)XDa(qn)中的常数，Da(qn) 为用于表示第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式 的任一幅立体图像的右视点视差灰度图像的全局视差角的自变量；
[0015] ②_5、根据第n种场景模式下的权重取值为qn时立体图像数据库中属于第n种 场景模式的所有立体图像对应的一个拟合直线方程，获取第n种场景模式下的权重取值 为qn时立体图像数据库中属于第n种场景模式的所有立体图像的舒适度客观评价方程： SMM0n(qn) =VCh(Da(qn),ffa)-ERR= (4. 2028-u(qn))-v(qn)XDa(qn)+0. 1912XIn(Wa)-〇. 0208 XDa (qn)XIn(Wa)，其中，SMMOn (qn)为叠加了视差线性影响和视差非线性影响的舒适度客观 评价值，VCh(Da(qn)，Wa)表示第n种场景模式下的权重取值为qn时立体图像数据库中属于 第n种场景模式的任一幅立体图像排除了视差线性影响的舒适度客观评价值；然后度量第 n种场景模式下的权重取值为qn时立体图像数据库中属于第n种场景模式的所有立体图像 的舒适度客观评价值与对应的舒适度主观评价值的拟合程度；
[0016]②_6、令1=qn+0. 1，然后返回步骤②-3继续执行，直至qn等于I. 1时结束，得 到第n种场景模式下的权重取值分别为0. 1、0. 2、0. 3、0. 4、0. 5、0. 6、0. 7、0. 8、0. 9、1. 0时相 应的拟合程度，然后将最佳拟合程度对应的权重取值赋值给Qn，其中，qn=qn+〇. 1中的"=" 为赋值符号；
[0017] 所述的步骤②中U(Qn)的取值为最佳拟合程度对应的拟合直线方程中的一次项系 数；所述的步骤②中V(Qn)的取值为最佳拟合程度对应的拟合直线方程中的常数。
[0018] 所述的步骤②中立体图像数据库中的每幅立体图像的右视点视差灰度图像中的 前景目标和后景区域的获取方式与所述的步骤③中待评价的立体图像的右视点视差灰度 图像中的前景目标和后景区域的获取方式相同，将立体图像数据库中的每幅立体图像和待 评价的立体图像均作为待处理立体图像，则待处理立体图像的右视点视差灰度图像中的前 景目标和后景区域的获取过程为：获取待处理立体图像的右视点视差灰度图像的灰度直方 图；然后采用最大类间方差法，并根据待处理立体图像的右视点视差灰度图像的灰度直方 图，得到待处理立体图像的右视点视差灰度图像的灰度分割阈值，记为Pseg;再将待处理立 体图像的右视点视差灰度图像中像素值大于或等于pMg的像素点确定为前景像素点，并将 待处理立体图像的右视点视差灰度图像中像素值小于Pseg的像素点确定为后景像素点；最 后由所有前景像素点构成待处理立体图像的右视点视差灰度图像中的前景目标，由所有后 景像素点构成待处理立体图像的右视点视差灰度图像中的后景区域。
[0019] 所述的待处理立体图像的右视点视差灰度图像的灰度分割阈值Pseg的获取过程 为：
[0020] XI、建立灰度分割阈值寻找目标函数，记为T，T=wfX(y-yf)2+wbX(y-yb)2， 其中，wf表示待处理立体图像的右视点视差灰度图像中的前景像素点的总个数占待处
图像中的所有像素点的像素值的均值，y=wfXyf+wbXyb，Histd(g)表示待处理立体 图像的右视点视差灰度图像的灰度直方图{Histd(g)}中像素值为g的像素点的个数， 〇 <g_<g< 255, 8_表示待处理立体图像的右视点视差灰度图像的灰度直方图 {Histd(g)}中像素点的个数大于0的最小像素值，g_表示待处理立体图像的右视点视差 灰度图像的灰度直方图{Histd(g)}中像素点的个数大于0的最大像素值；
[0021]X2、在区间[g_，g_]内遍历t，将使得T最大时t的取值确定为待处理立体图像 的右视点视差灰度图像的灰度分割阈值Ps %。
[0022] 所述的步骤②中确定立体图像数据库中的每幅立体图像所属的场景模式的方式 与所述的步骤③中确定待评价的立体图像所属的场景模式的方式相同，将立体图像数据库 中的每幅立体图像和待评价的立体图像均作为待处理立体图像，则确定待处理立体图像所 属的场景模式的具体过程为：
[0023] Z1、对于待处理立体图像的右视点视差灰度图像中的前景目标，若〇1°，则确定 前景目标凸于屏幕且处于非舒适区；若〇°彡f?〈r，则确定前景目标凸于屏幕且处于舒 适区；若-r<^〈〇°，则确定前景目标凹于屏幕且处于舒适区；若f?〈-r，则确定前景 目标凹于屏幕且处于非舒适区；
[0024] 对于待处理立体图像的右视点视差灰度图像中的后景区域，若b，r，则确定后 景区域凸于屏幕且处于非舒适区；若〇° ，则确定后