融合图重采样和梯度特征的参考点云质量评估方法及系统

本发明涉及图像处理领域，特别涉及一种融合图重采样和梯度特征的参考点云质量评估方法及系统。

背景技术：

1、随着成像技术的不断发展，计算机视觉领域对于三维数据的需求日渐提升。3d点云因其灵活的表现形式，在现代通信系统中展现出广泛的应用前景，成为了沉浸式媒体应用中常用的三维数据格式之一。三维数据包含了深度信息，在视觉表达上带来了更加直观的空间感和立体感，符合人类视觉系统在观测时对物体进行感知和理解。

2、然而，点云在数据处理过程中会受到噪声和畸变的影响，导致失真的同时降低了人眼观看显示内容的视觉质量，从而影响终端用户对视觉体验的满意度。因此，设计同时兼顾点云特殊结构特征且符合人类视觉特性的点云质量评估方法，对点云数据在采集、处理和应用方面的稳健发展具有重要的应用价值，点云质量评估在当下具有较高的理论研究意义与实际应用价值。

技术实现思路

1、本发明的主要目的在于克服现有技术中的缺陷，提出一种融合图重采样和梯度特征的参考点云质量评估方法及系统，有效地描述了因点云失真引起的梯度方向特征和响应强度变化，符合人眼对于失真点云的主观感知度，具有较高的识别准确性、敏感性以及鲁棒性。

2、本发明采用如下技术方案：

3、一方面，一种融合图重采样和梯度特征的参考点云质量评估方法，包括：

4、s101，使用基于图的关键点重采样方法，对输入的参考点云进行关键点提取；

5、s102，以关键点为中心划分参考点云和失真点云的局部邻域组，根据关键点与其他点在坐标空间中的欧几里德距离来聚类每个局部区域内的点；

6、s103，分别提取局部区域内参考点云和失真点云的三维梯度幅值特征和三维梯度方向图特征，基于三维梯度幅值特征计算参考点云和失真点云的三维梯度幅值相似度，基于三维梯度方向图特征计算参考点云和失真点云的三维梯度方向图相似度，基于三维梯度幅值相似度和三维梯度方向图相似度计算出联合三维梯度特征相似度；

7、s104，基于联合三维梯度特征相似度，使用响应强度值进行加权池化，得到失真点云的客观质量分数。

8、优选的，所述s101，具体包括：

9、对输入的参考点云，使用高通图滤波方法对进行重采样提取关键点；具体使用图转移算子来描述节点之间相对位置关系，表示图转移算子的维度；使用邻接矩阵与转移矩阵来表示，即，每个线性移位不变图滤波器都是的多项式函数：

10、

11、其中，表示线性移位不变图滤波器；表示线性移位不变图滤波器的第个因子， 表示图转移算子的次幂；表示第个系数；表示图形滤波器的长度；表示度矩阵；表示的逆矩阵；表示单位矩阵；

12、使用类哈尔图滤波器来实现的高通滤波如下：

13、

14、其中，表示类哈尔图滤波器的高通滤波；表示的个特征向量；表示的特征值；在图顶点域中，第点的频率响应公式为：

15、

16、其中，表示第点的频率响应公式；表示空间频域中点的总个数；表示第点的相邻点；

17、对输入参考点云提取关键点生成骨架点云。

18、优选的，所述s102，具体包括：

19、将重采样后的关键点骨架点云中每个点都作为参考点云和失真点云的局部区域中心，对于中的第个关键点，使用和中对应几何部分的欧氏距离对点的邻居进行聚类，公式如下：

20、

21、其中，表示以关键点为球心、为半径的参考点云的邻域组；表示以关键点为球心、为半径的失真点云的邻域组；表示参考点云的关键点骨架中所有点的集合；表示失真点云的关键点骨架中所有点的集合；表示二范数的平方。

22、优选的，所述s103，具体包括：

23、根据参考点云的三维梯度幅值特征与三维梯度方向图，以及失真点云的三维梯度幅值特征与梯度方向图，计算得到参考点云和失真点云的三维梯度幅值相似度以及三维梯度方向相似度，计算公式如下：

24、

25、

26、其中，和是用于保证数值稳定性的常数；

27、对于参考点云局部区域的点，三维梯度幅值特征计算公式如下：

28、

29、

30、其中，、、分别表示参考点云局部邻域组内的点在x、y、z三个方向上的梯度幅值差；表示参考点云局部邻域组内的点xyz轴上的梯度计算方法；

31、引入三维梯度方向来描述点云空间上的变化信息，以关键点为球心，为半径构造局部区域，对于落在该局部区域的点，计算该点的球坐标值公式如下：

32、

33、

34、其中，表示点的极角，表示点的方位角，根据局部区域内所有点的球坐标值进行方向聚类；设定三维梯度的八个方向，局部区域内点的球坐标值越接近哪个方向，则聚类于该方向；三维梯度八方向依据极角和方位角计算，在空间内等间距分布；具体取值的计算公式为：

35、

36、

37、其中；表示极角的方向，表示方位角的方向，两个方向相互组合构成了三维梯度八方向；

38、三维梯度方向图计算公式如下：

39、

40、其中，为点在三维八方向上的卷积核，卷积核的方向取决于该点聚类于哪个三维梯度的方向；表示卷积运算；

41、对于失真点云局部区域的点，三维梯度幅值特征计算公式如下：

42、

43、

44、其中，、、分别表示失真点云局部邻域组内的点在x、y、z三个方向上的梯度幅值差；表示失真点云局部邻域组内的点xyz轴上的梯度计算方法；

45、引入三维梯度方向来描述点云空间上的变化信息，以关键点为球心，为半径构造局部区域，对于落在该局部区域的点，计算该点的球坐标值公式如下：

46、

47、

48、其中，表示点的极角，表示点的方位角，根据局部区域内所有点的球坐标值进行方向聚类；设定三维梯度的八个方向，局部区域内点的球坐标值越接近哪个方向，则聚类于该方向；三维梯度八方向依据极角和方位角计算，在空间内等间距分布；具体取值的计算公式为：

49、

50、

51、其中；表示极角的方向，表示方位角的方向，两个方向相互组合构成了三维梯度八方向；

52、三维梯度方向图计算公式如下：

53、

54、其中，为点在三维八方向上的卷积核，卷积核的方向取决于该点聚类于哪个三维梯度的方向；

55、基于三维梯度幅值相似度和三维梯度方向图相似度计算出联合三维梯度特征相似度，如下：

56、

57、其中，参数是用于调整和之间相对重要性的正数。

58、优选的，所述s104，具体如下：

59、

60、

61、其中，为参考点云局部区域内的点的响应强度值；失真点云局部区域内的点的响应强度值；表示局部区域的个数；表示参考点云和失真点云的局部范围，即xyz这个三维点落在该局部范围内；表示失真点云的客观质量分数。

62、优选的，响应强度值的计算方法为k近邻搜索算法。

63、另一方面，一种融合图重采样和梯度特征的参考点云质量评估系统，包括：

64、关键点提取模块，用于使用基于图的关键点重采样方法，对输入的参考点云进行关键点提取；

65、局部区域点聚类模块，用于以关键点为中心划分参考点云和失真点云的局部邻域组，根据关键点与其他点在坐标空间中的欧几里德距离来聚类每个局部区域内的点；

66、梯度特征相似度计算模块，用于分别提取局部区域内参考点云和失真点云的三维梯度幅值特征和三维梯度方向图特征，基于三维梯度幅值特征计算参考点云和失真点云的三维梯度幅值相似度，基于三维梯度方向图特征计算参考点云和失真点云的三维梯度方向图相似度，基于三维梯度幅值相似度和三维梯度方向图相似度计算出联合三维梯度特征相似度；

67、质量评估模块，用于基于联合三维梯度特征相似度，使用响应强度值进行加权池化，得到失真点云的客观质量分数。

68、与现有技术相比，本发明的有益效果如下：

69、（1）本发明通过基于图的重采样方法提取参考点云的几何信息以生成关键点骨架，为参考点云和失真点云构建以关键点为球心的局部区域参数化模型，分别度量梯度幅值和梯度方向的相似度，最后使用响应强度值的加权合并计算方法对这两个特征的相似度进行加权池化，计算得到点云质量评价分数，有效地描述了因点云失真引起的梯度方向特征和响应强度变化，符合人眼对于失真点云的主观感知度，具有较高的识别准确性、敏感性以及鲁棒性，点云质量评估性能好；

70、（2）本发明通过基于图的重采样方法提取参考点云的几何信息以生成关键点骨架，解决了参考和失真点云在质量评估中特征映射困难的问题，采样后的关键点不仅符合人类感知，而且显著降低了计算复杂性。