基于多区域多层次的色调映射全向图像质量评价方法

技术特征：

1.一种基于多区域多层次的色调映射全向图像质量评价方法，其特征在于包括以下步骤：

步骤1：选取num组等矩形投影格式的失真色调映射全向图像构成失真图像集，每组中的所有失真色调映射全向图像的场景内容相同，并获取每组中的每幅失真色调映射全向图像的主观评分值；其中，num为正整数，num＞1，每组中至少包含2幅失真色调映射全向图像；

步骤2：将失真图像集中当前待处理的失真色调映射全向图像定义为当前图像；

步骤3：将当前图像记为ierp；然后对ierp进行视口绘制，且绘制过程中d-2个视口以等间隔的角度均匀环绕在赤道区域，2个视口分别以球面的南极点和北极点作为视口中心点，共绘制得到ierp的d幅视口图像，将ierp的第d幅视口图像记为v^d；其中，d为正整数，d≥6，1≤d≤d，视口图像的宽度和高度对应为w和h；

步骤4：将ierp的每幅视口图像划分为纹理平坦区域和纹理复杂区域两个区域，将v^d的纹理平坦区域和纹理复杂区域对应记为和

步骤5：对ierp的每幅视口图像的纹理平坦区域和纹理复杂区域分别进行位平面层分解，得到各自对应的8幅位平面图像；然后通过计算ierp的每幅视口图像的纹理平坦区域的前4幅位平面图像各自的局部特征，获取ierp的每幅视口图像的纹理平坦区域的局部特征向量，将的局部特征向量记为并通过计算ierp的每幅视口图像的纹理复杂区域的后4幅位平面图像各自的局部特征，获取ierp的每幅视口图像的纹理复杂区域的局部特征向量，将的局部特征向量记为其中，和的维数均为1×4；

步骤6：将ierp的每幅视口图像划分为高亮区域、低暗区域以及中间亮度区域三个区域，将v^d的高亮区域、低暗区域以及中间亮度区域对应记为以及

步骤7：对ierp的每幅视口图像的高亮区域、低暗区域以及中间亮度区域分别进行基本层和细节层分解；然后通过ierp的每幅视口图像的高亮区域的细节层，获取ierp的每幅视口图像的高亮区域的局部特征，将的局部特征记为同样，通过ierp的每幅视口图像的低暗区域的细节层，获取ierp的每幅视口图像的低暗区域的局部特征，将的局部特征记为再通过计算ierp的每幅视口图像的中间亮度区域的基本层中的每个像素点的局部对比度归一化值，获取ierp的每幅视口图像的中间亮度区域的局部特征向量，将的局部特征向量记为其中，的维数为1×3；

步骤8：将ierp的每幅视口图像的纹理平坦区域和纹理复杂区域各自的局部特征向量、高亮区域和低暗区域各自的局部特征、中间亮度区域的局部特征向量合并形成该幅视口图像的特征向量，对于v^d，将合并形成一个行向量，作为v^d的特征向量，记为f^d，然后将ierp的所有视口图像的特征向量合并形成ierp的特征向量，记为ferp，ferp＝[f¹,f²,…,f^d,…,f^d]；其中，f的维数为1×13，ferp的维数为1×13d，f¹表示ierp的第1幅视口图像v¹的特征向量，f²表示ierp的第2幅视口图像v²的特征向量，f^d表示ierp的第d幅视口图像v^d的特征向量；

步骤9：将失真图像集中下一幅待处理的失真色调映射全向图像作为当前图像，然后返回步骤步骤3继续执行，直至失真图像集中的所有失真色调映射全向图像处理完毕，得到失真图像集中的每幅失真色调映射全向图像的特征向量；

步骤10：从失真图像集中随机选取num-1组失真色调映射全向图像，将选取的这些失真色调映射全向图像的特征向量和主观评分值构成训练数据；然后将训练数据中的特征向量作为样本输入，将训练数据中的主观评分值作为标签输入，通过随机森林的池化，训练得到失真色调映射全向图像客观质量评价模型；

步骤11：将剩余的1组中的每幅失真色调映射全向图像作为测试图像，将每幅测试图像的特征向量输入到失真色调映射全向图像客观质量评价模型中，预测得到该幅测试图像的客观质量评价值。

2.根据权利要求1所述的基于多区域多层次的色调映射全向图像质量评价方法，其特征在于所述的步骤4中，和的获取过程为：

步骤4_1：对v^d进行灰度转换，得到v^d对应的灰度图；然后使用canny算子对v^d对应的灰度图进行边缘提取，得到边缘提取后的图像，记为v1；

步骤4_2：对v1进行膨胀处理，得到膨胀后的图像，记为v2；

步骤4_3：用长度为8像素的线段对v2进行边缘填补，得到边缘填补后的图像，记为v3；

步骤4_4：使用孔洞填充算法对v3进行填充，得到孔洞填充好的图像，记为v4；

步骤4_5：使用去噪算法去除v4中面积小于1000像素的区域，得到去噪后的图像，记为v5；

步骤4_6：遍历v5中的所有像素点，标记出v5中像素值为255的所有像素点；然后将v^d中与v5中标记出的所有像素点对应位置的像素点构成的区域作为纹理复杂区域将v^d中其余所有像素点构成的区域作为纹理平坦区域

3.根据权利要求1或2所述的基于多区域多层次的色调映射全向图像质量评价方法，其特征在于所述的步骤5中，和的获取过程为：

步骤5_1：对进行位平面层分解，得到的8幅位平面图像，将的第p幅位平面图像记为将中坐标位置为(i,j)的像素点的像素值记为同样，对进行位平面层分解，得到的8幅位平面图像，将的第p幅位平面图像记为将中坐标位置为(i,j)的像素点的像素值记为其中，1≤p≤8，1≤i≤w，1≤j≤h，表示中坐标位置为(i,j)的像素点的像素值，表示v^d中属于的所有像素点的坐标位置构成的集合，表示中坐标位置为(i,j)的像素点的像素值，表示v^d中属于的所有像素点的坐标位置构成的集合，mod为取余函数；

步骤5_2：计算的前4幅位平面图像各自的局部特征，将的第p'幅位平面图像的局部特征记为的获取过程为：计算以中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵，共得到个熵，然后计算个熵的平均值，并将该平均值作为的局部特征再将的前4幅位平面图像的局部特征按序构成的局部特征向量其中，1≤p'≤4，nwid的值为3或5或7或9或11，表示包含的像素点的总个数，的维数为1×4，符号“[]”为向量表示符号，对应表示的第1幅位平面图像、第2幅位平面图像、第3幅位平面图像、第4幅位平面图像各自的局部特征，若nwid×nwid邻域内存在像素点不属于则该像素点的像素值置为0；

步骤5_3：计算的后4幅位平面图像各自的局部特征，将的第p”幅位平面图像的局部特征记为的获取过程为：计算以中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵，共得到个熵，然后计算个熵的平均值，并将该平均值作为的局部特征再将的后4幅位平面图像的局部特征按序构成的局部特征向量其中，5≤p”≤8，表示包含的像素点的总个数，的维数为1×4，对应表示的第5幅位平面图像、第6幅位平面图像、第7幅位平面图像、第8幅位平面图像各自的局部特征，若nwid×nwid邻域内存在像素点不属于则该像素点的像素值置为0。

4.根据权利要求3所述的基于多区域多层次的色调映射全向图像质量评价方法，其特征在于所述的步骤6中，以及的获取过程为：

步骤6_1：计算v^d的图像亮度直方图的均值作为v^d的亮度中值，记为然后将v^d中亮度值大于的所有像素点构成的区域记为将v^d中亮度值小于的所有像素点构成的区域记为

步骤6_2：在中，根据最大熵分割法计算的亮度最大熵阈值，再将中亮度值大于的亮度最大熵阈值的所有像素点构成的区域作为高亮区域同样，在中，根据最大熵分割法计算的亮度最大熵阈值，再将中亮度值小于的亮度最大熵阈值的所有像素点构成的区域作为低暗区域

步骤6_3：将v^d中除去和外的所有像素点构成的区域作为中间亮度区域

5.根据权利要求4所述的基于多区域多层次的色调映射全向图像质量评价方法，其特征在于所述的步骤7中，的获取过程为：

步骤7_1：通过分层优化模型计算的基本层然后计算的细节层，记为将中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为其中，表示求使得括号内的表达式取得最小值时的值，1≤i≤w，1≤j≤h，表示v^d中属于的所有像素点的坐标位置构成的集合，表示中坐标位置为(i,j)的像素点的像素值，表示中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值，符号“||||”为取模操作符号，λ1和λ2均为常数，s的值为0或1，s的值为0时表示沿水平方向的偏导数运算，s的值为1时表示沿垂直方向的偏导数运算，th()为阈值函数，ξ为函数参数；

同样，通过分层优化模型计算的基本层然后计算的细节层，记为将中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为其中，表示求使得括号内的表达式取得最小值时的值，表示v^d中属于的所有像素点的坐标位置构成的集合，表示中坐标位置为(i,j)的像素点的像素值，表示中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值；

通过分层优化模型计算的基本层其中，表示求使得括号内的表达式取得最小值时的值，表示v^d中属于的所有像素点的坐标位置构成的集合，表示中坐标位置为(i,j)的像素点的像素值，表示中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值；

步骤7_2：计算以中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差，共得到个标准差；然后计算个标准差的平均值，并将该平均值作为的局部特征其中，n'wid的值为3或5或7或9或11，表示包含的像素点的总个数，若n'wid×n'wid邻域内存在像素点不属于则该像素点的像素值置为0；

同样，计算以中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差，共得到个标准差；然后计算个标准差的平均值，并将该平均值作为的局部特征其中，表示包含的像素点的总个数，若n'wid×n'wid邻域内存在像素点不属于则该像素点的像素值置为0；

步骤7_3：计算中的每个像素点的局部对比度归一化值，将中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的局部对比度归一化值记为然后计算中的所有像素点的局部对比度归一化值的直方图分布；接着利用零均值的广义高斯分布对中的所有像素点的局部对比度归一化值的直方图分布进行拟合，拟合公式为：拟合得到拟合参数再根据得到的局部特征向量其中，表示以中与中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的均值，表示以中与中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的标准差，若8邻域范围内存在像素点不属于则该像素点的像素值置为0，g()为零均值的广义高斯分布函数，为g()的输入，表示中的所有像素点的局部对比度归一化值的直方图分布，表示中的所有像素点的局部对比度归一化值的直方图分布的均值，为的形状参数，为的尺度参数，γ()为gamma函数，exp()表示以自然基数e为底的指数函数，符号“||”为取绝对值符号，的维数为1×3。

技术总结
本发明公开了一种基于多区域多层次的色调映射全向图像质量评价方法，其对于任意一幅失真色调映射高动态范围全向图像，将该图像的每幅视口图像划分为纹理平坦区域和纹理复杂区域，进而获取该图像的每幅视口图像的纹理平坦区域和纹理复杂区域各自的局部特征向量，并将该图像的每幅视口图像划分为高亮区域、低暗区域以及中间亮度区域，进而获取该图像的每幅视口图像的高亮区域、低暗区域各自的局部特征及中间亮度区域的局部特征向量，进一步得到该图像的特征向量，接着通过随机森林的池化训练得到失真色调映射高动态范围全向图像客观质量评价模型，再预测测试图像的客观质量评价值；优点是能有效地提高客观评价结果与人眼主观感知质量之间的相关性。

技术研发人员：蒋刚毅;郑雪蕾;蒋志迪;郁梅
受保护的技术使用者：宁波大学
技术研发日：2021.03.09
技术公布日：2021.06.11