无参考点云的质量评估方法与流程

本发明涉及深度学习，特别涉及一种无参考点云的质量评估方法。

背景技术：

1、在增强现实、虚拟现实和自动驾驶汽车等应用中，点云是使用最广泛的数据形式。但是，由于一个点云物体对象包含数十万甚至数百万的点，因此要想对它进行无损的压缩与传输，必然十分困难。为此，引入了有损压缩的算法，进而点云的质量得到了损坏。因此，为了优化点云压缩算法，对点云进行质量评估是非常有必要的。根据参考点云的有无，点云质量评价(point cloud quality assessment,pcqa)算法通常分为三类：全参考评价方式(fr-pcqa)、半参考评价方式(rr-pcqa)和无参考评价方式(nr-pcqa)。由于在许多实际应用中不存在参考点云，因此，近些年来，无参考的点云质量评价得到了更加广泛的研究。

2、点云数据集的构建通常是费时和费力的，因为需要人类的主动参与，对失真点云进行主观评分，从而得到最终的平均意见得分(mos)。这种主观评分方式不利于实时系统的应用，例如点云的压缩与传输。为此，需要建立客观的点云质量评价算法。

3、无参考的点云质量评价方法主要分为两类：一类是通过手工设计方式提取点云质量特征，例如3d-nss通过手工设计提取点云的曲率、平面、颜色等特征，这些手工提取的特征通过一个回归模块得到最终的质量分数。手工提取的特征，即人为设计的特征，直接设计特征本身，根据仿照人类视觉的特点对什么样的特征敏感，什么样的特征不敏感提取点云中有区分能力的特征，因此提取出来的特征往往都有具体的物理含义。目前，比较好的手工提取的点云特征有曲率、欧氏距离和颜色梯度等等，它们都是根据人类视觉系统的特点设计出来的。其不足之处在于：(1)需要根据数据的特点精心设计，虽然有视觉神经理论的支撑，但是仍存在人的主观意识；(2)往往依赖于特定的数据库，即设计的特征只对某些数据库表现好，而对其它的数据库效果并不好；(3)提取特征的过程耗费时间长且步骤复杂，不利于点云质量特征的提取。

4、另外一类是通过投影的方式，将3d点云转化为2d图像，利用现有成熟的图像质量评价(image quality assessment,iqa)算法研究点云的质量评估，例如，pqa-net将一个点云物体沿着3个正交方向投影到6个二维平面(上、下、前、后、左、右)，利用标准的卷积神经网络(convolutional neural network)提取点云的质量特征；it-pcqa也是将不规则的点云转化为规则的2d图像，之后通过域自适应(domainadaptation,da)的算法评估点云的质量。虽然这类基于投影的方式能够解决点云不规则的数据形式，但是这种转换方式是次优的，因为它不可避免地会丢失内部的几何结构和详细的空间纹理信息。因此，这种方式所得到的表现性能并不是那么好。

5、现有的无参考点云质量评价方法如基于手工提取特征的方式和基于多视图投影的方式都有各自的局限性。比如，基于手工提取特征的3d-nss，不是一种端到端的深度学习方式，不能充分挖掘点云的固有结构特征，而且手工制作的方法费时且往往依赖于特定的数据库；基于多视图投影的方法如pqa和it-pcqa，在投影的过程中会损失许多点的细节信息，从而丢失部分几何结构和空间纹理信息。

技术实现思路

1、本发明提供了一种无参考点云的质量评估方法，融合颜色和几何信息图神经网络进行无参考点云质量评估，从点云的局部空间角度评价点云的视觉质量。

2、本发明提供了一种无参考点云的质量评估方法，基于由3d空间knn图模块、几何与颜色特征提取层、池化层和质量回归模块组成的神经网络，所述方法具体包括：

3、通过最远点采样得到原始点云的k个采样点，分别以k个采样点为中心，通过knn算法查找n个近邻点，最终所述原始点云分为k个patch，每个patch均包含n个点；

4、提取其中一个patch作为目标patch，将所述目标patch输入到3d空间knn图模块中，以为所述目标patch中的每一点构建3d空间的knn图；

5、将所述目标patch中的每一点输入几何与颜色特征提取层，以通过扩展的3d卷积提取几何与颜色特征，并以分层的层次结构逐步扩大receptive filed，经过多层的卷积操作之后得到质量表示特征；

6、将所述质量表示特征输入到池化层进行特征处理，得到粗到细的特征；

7、将所述粗到细的特征输入由全连接层和bn层组成的质量回归模块进行质量回归，得到所述目标patch的质量分数；

8、遍历所述原始点云中的k个patch，得到k个patch的质量分数，并将k个patch的质量分数平均，作为所述原始点云的最终分数。

9、进一步地，所述提取其中一个patch作为目标patch，将所述目标patch输入到3d空间knn图模块中，以为所述目标patch中的每一点构建3d空间的knn图的步骤，包括：

10、提取其中一个patch作为目标patch，将所述目标patch表示为；其中，表示包含n个点的点云patch，表示所述目标patch中的第n个点；

11、将表示为相关的d维特征向量以描述所述目标patch中每一点的特征，在3d空间的knn图中，表示两个点到之间的方向向量，表示点的特征向量，表示点的空间坐标。

12、进一步地，所述将所述目标patch中的每一点输入几何与颜色特征提取层，以通过扩展的3d卷积提取几何与颜色特征，并以分层的层次结构逐步扩大receptive filed，经过多层的卷积操作之后得到质量表示特征的步骤中，包括：

13、对3d空间的knn图中的每一个点执行第一3d卷积操作，以提取颜色特征；

14、对3d空间的knn图中的每一个点执行第二3d卷积操作，以提取几何特征；

15、将所述颜色特征与所述几何特征融合作为一个新特征，将所述新特征进行第三3d卷积操作，得到质量表示特征。

16、进一步地，所述对3d空间的knn图中的每一个点执行第一3d卷积操作，以提取颜色特征的步骤中，执行第一3d卷积操作包括：

17、,其中，表示提取颜色特征的第一3d卷积操作，表示中心点的颜色相关特征；表示其它邻近点的颜色相关特征；

18、,,其中，表示内积运算；在网络的第一层，表示中心点的颜色特征，表示邻居点的颜色特征；与分别表示用于提取特征和的可学习权重参数；表示两个点到之间的方向向量，表达式为；表示可学习的方向向量。

19、进一步地，所述对3d空间的knn图中的每一个点执行第二3d卷积操作，以提取几何特征的步骤中，执行第二3d卷积操作包括：

20、,其中，表示提取几何特征的第二3d卷积操作，表示中心点的几何相关特征；表示其它邻近点的几何相关特征；

21、,,其中，表示内积运算；在网络的第一层，表示中心点的几何坐标，表示邻居点的几何相关特征；与表示用于提取和特征的可学习权重参数；表示两个点到之间的方向向量，表达式为；表示可学习的方向向量。

22、进一步地，所述将所述颜色特征与所述几何特征融合作为一个新特征，将所述新特征进行第三3d卷积操作，得到质量表示特征的步骤中，第三3d卷积操作包括：

23、,其中，表示融合特征的第二3d卷积操作，表示中心点的融合特征；表示其它邻近点的融合特征；

24、,,其中，表示内积运算；在网络的第一层，表示中心点的几何坐标与颜色属性融合的新特征，表示邻居点的几何坐标与颜色属性融合的新特征；与表示提取和特征的可学习的权重参数；表示方向向量，表达式为；表示可学习的方向向量。

25、进一步地，所述将所述质量表示特征输入到池化层进行特征处理，得到粗到细的特征的步骤，包括：

26、池化层对于3d空间的knn图中的每一点采用逐通道的最大池化，得到每一点的池化特征，且采用随机采样的方式对每一点进行下采样，其公式为：

27、,其中，表示池化操作，表示输入的点，表示输入的点特征；表示输出的点，表示输出的点特征。

28、本发明还提供了一种无参考点云的质量评估装置，基于由3d空间knn图模块、几何与颜色特征提取层、池化层和质量回归模块组成的神经网络，所述装置具体包括：

29、查找单元，用于通过最远点采样得到原始点云的k个采样点，分别以k个采样点为中心，通过knn算法查找n个近邻点，最终所述原始点云分为k个patch，每个patch均包含n个点；

30、构建单元，用于提取其中一个patch作为目标patch，将所述目标patch输入到3d空间knn图模块中，以为所述目标patch中的每一点构建3d空间的knn图；构建单元2具体包括：

31、提取子单元，用于提取其中一个patch作为目标patch，将所述目标patch表示为；其中，表示包含n个点的点云patch，表示所述目标patch中的第n个点；

32、描述子单元，用于将表示为相关的d维特征向量以描述所述目标patch中每一点的特征，在3d空间的knn图中，表示两个点到之间的方向向量，表示点的特征向量，表示点的空间坐标；

33、提取单元，用于将所述目标patch中的每一点输入几何与颜色特征提取层，以通过扩展的3d卷积提取几何与颜色特征，并以分层的层次结构逐步扩大receptive filed，经过多层的卷积操作之后得到质量表示特征；提取单元3中具体包括：

34、第一执行子单元，用于对3d空间的knn图中的每一个点执行第一3d卷积操作，以提取颜色特征；

35、第二执行子单元，用于对3d空间的knn图中的每一个点执行第二3d卷积操作，以提取几何特征；

36、第三执行子单元，用于将所述颜色特征与所述几何特征融合作为一个新特征，将所述新特征进行第三3d卷积操作，得到质量表示特征；

37、处理单元，用于将所述质量表示特征输入到池化层进行特征处理，得到粗到细的特征；

38、回归单元，用于将所述粗到细的特征输入由全连接层和bn层组成的质量回归模块进行质量回归，得到所述目标patch的质量分数；

39、遍历单元，用于遍历所述原始点云中的k个patch，得到k个patch的质量分数，并将k个patch的质量分数平均，作为所述原始点云的最终分数。

40、本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

41、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

42、本发明的有益效果为：

43、本发明提出的无参考点云质量评估方法，基于局部空间几何联合颜色网络，能够显著提升点云质量评价的性能。本发明的提出了一种局部空间几何与颜色提取网络，能够在局部空间中利用扩展的3d卷积实现对几何与颜色的特征的提取，且捕获细粒度(fine-grained)结构信息；本发明是一种端到端的深度学习训练方式，能够快速有效地提取失真点云的特征。