一种基于学习采样的部分对应点云配准方法

本发明涉及计算机视觉和三维点云配准领域的一种三维点云处理方法，特别涉及一种基于学习采样的部分对应点云配准方法，可用于工件尺寸误差测量的三维点云。

背景技术：

点云配准是计算机视觉中的一个重要研究方向，广泛应用于逆向工程、无人驾驶、机器人等领域。传统的迭代最近点(iterativeclosestpoint,icp)算法及其变种算法是解决点云配准任务非常有效的方法，但是这类方法对点云初始位置非常敏感，不适用于初始对应位置相差较大的配准场景。近年来快速发展的基于深度学习的点云配准方法克服了对初始对应关系严重依赖的问题，对点云的噪声、不确定对应关系具有较好的鲁棒性，受到了广泛的关注。

然而，当前大多数基于深度学习的点云配准方法都只针对完全对应的点云配准场景，无法应用于只有部分点云对应的配准场景，极大限制了点云配准算法的应用范围。少数能够处理部分对应点云配准任务的算法往往只挑选一定数量的点构成匹配点，这种策略不具有参数可学习性，不利于提高部分点云配准算法的精度。

技术实现要素：

本发明的目的是为了解决背景技术而提出的一种基于学习采样的部分对应点云配准方法，通过在线学习的方式对原点云下采样，能够在线更新采样网络参数，提高采样点对匹配任务的贡献度。

另外，所提算法将点云配准任务从点云完全对应场景扩展到点云部分对应场景，扩大了点云配准算法的应用范围。

为了实现上述目的，如图1所示，本发明采用的技术方案为：

步骤1：构建基于学习采样的部分对应点云配准网络；

所述的部分对应点云配准网络包含了非局部操作模块和交叉非局部操作模块；同时处理模板点云和源点云。

步骤2：将待测物体的已知的模板点云和源点云输入到部分对应点云配准网络后进行训练；

本发明所述的模板点云为预先设定的物体的标准设计点云，由物体的标准三维模型获得。源点云为扫描测量的物体点云，通过三维扫描设备采集并经点云化处理后获得，如深度相机。

步骤3：采集待测物体的模板点云和源点云，输入到训练后的部分对应点云配准网络中，直接预测扫描测量的源点云和模板点云之间的旋转变换和平移变换结果，然后利用旋转变换和平移变换结果对待测点云进行变换处理实现点云配准。

本发明所述的待测物体为实际世界中真实存在的物体，可以为机械零件、桌子、椅子等生活用品，但不限于此。

本发明构建的部分点云配准网络如图3所示，其中m表示原始点云中点的个数，s表示采样匹配点云中点的个数，fc表示全连接层，后面的数字为每层的节点数。原始点云表示输入到部分点云配准网络的源点云和模板点云。采样匹配点云是指在源点云和模板点云中寻找的与预测匹配锚点最近的点的集合。

所述的部分对应点云配准网络包括非局部操作模块、交叉非局部操作模块、多层感知机网络、奇异值分解和矩阵相乘操作；

源点云和模板点云分别均经各自的特征提取网络后获得源点云和模板点云的高维特征，源点云和模板点云的高维特征分别经各自的全连接层fc处理后获得源点云和模板点云的匹配锚点s×3，

源点云和模板点云的原始点云m×3与其各自的高维特征、匹配锚点均输入到匹配点采样模块，进行处理获得源点云和模板点云各自的采样匹配点s×3和采样匹配点特征s×512，采样匹配点是指在源点云和模板点云中寻找的与预测匹配锚点最近的点。采样匹配点特征是指在源点云和模板点云各自的高维特征中寻找的与采样匹配点对应的特征。源点云和模板点云的采样匹配点分别均经各自的非局部操作模块处理后输出获得源点云特征s×512和模板点云特征s×512，源点云特征和模板点云特征均输入到同一交叉非局部操作模块处理获得两个s×1024的参考矩阵，接着对两个参考矩阵执行矩阵相乘操作并经softmax获得s×s的注意力分数矩阵，再将注意力分数矩阵与模板点云的采样匹配点执行矩阵相乘操作获得虚拟匹配点，将虚拟匹配点与源点云的采样匹配点经过奇异值分解svd处理后获得源点云和模板点云之间的旋转变换参数r和平移变换参数t。

所述的非局部操作模块包括了第一多层感知机m1、第二多层感知机m2、第三多层感知机m3、矩阵相乘操作、矩阵相加操作、第四多层感知机m4；非局部操作模块的输入分别经了第一多层感知机m1、第二多层感知机m2、第三多层感知机m3处理后获得了三个感知特征，第一多层感知机m1和第二多层感知机m2获得的两个感知特征经矩阵相乘操作再经softmax激活函数处理后获得中间特征，将中间特征再和第三多层感知机m3获得的一个感知特征进行矩阵相乘操作获得合并特征，将合并特征经第四多层感知机m4处理后再和非局部操作模块的输入经矩阵相加操作获得非局部操作模块的输出。

本发明中的各个多层感知机拓扑结构均为全连接，但是每层的节点个数不同，m1-m3均为mlp(256,256),m5-m7均为mlp(512,512),m4为mlp(512)，m8的为mlp(1024)。

非局部操作一般用于处理同一信号输入，比如同一图像、视频，其主要作用是充分利用输入信号的非局部信息，自增强对任务有重要影响的关键信息。

在两片任意初始位置的点云中寻找匹配对应点，对关键的匹配点进行了更多创新处理，具体实施进一步构建了交叉非局部操作模块，使传统非局部操作能够处理不同来源的信号输入，同时操作两片点云，充分利用非局部操作对关键信息的自注意能力，有利于提高网络对虚拟匹配位置的感知能力。

所述将源点云特征和模板点云特征均输入到交叉非局部操作模块后经交叉非局部操作模块处理获得两个交叉特征，具体为是将源点云特征作为交叉非局部操作模块的第一输入，模板点云特征作为交叉非局部操作模块的第二输入，处理输出获得一个交叉特征；并且将模板点云特征作为交叉非局部操作模块的第一输入，源点云特征作为交叉非局部操作模块的第二输入，处理输出获得另一个交叉特征，从而获得两个交叉特征。

本发明中认为点云中各点之间存在相互影响，包括局部信息和非局部信息的影响。局部信息的影响通过深度神经网络，由其内部的卷积操作实现；非局部信息的影响通过非局部操作实现。由此本发明采用设计了非局部操作应用于点云配准领域。

在提取点云中某一点的匹配特征时，非局部操作能够利用整个点云计算该点的非局部特征，充分考虑离散点云之间的相对位置关系，对于寻找点云之间的匹配关系具有重要意义，能够有效应对点云稀疏、缺失等不利匹配环境。

所述的交叉非局部操作模块包括了第五多层感知机m5、第六多层感知机m6、第七多层感知机m7、矩阵相乘操作、矩阵相加操作和第八多层感知机m8；交叉非局部操作模块的第一输入分别经了第五多层感知机m5处理后获得了一个交叉感知特征，交叉非局部操作模块的第二输入分别经第六多层感知机m6、第七多层感知机m7处理后获得了另外两个交叉感知特征，第五多层感知机m5和第六多层感知机m6获得的两个交叉感知特征经矩阵相乘操作再经softmax激活函数处理后获得交叉中间特征，将交叉中间特征再和第七多层感知机m7获得的一个交叉感知特征进行矩阵相乘操作获得交叉合并特征，将交叉合并特征经第八多层感知机m8处理后再和非局部操作模块的第一输入经矩阵相加操作获得非局部操作模块的输出。

所述的特征提取网络为能够直接操作离散点云的深度学习网络，如pointnet网络、pointnet++网络、dgcnn网络等。

本发明特殊构建了非局部操作模块和交叉非局部操作模块及其构成下的部分对应点云配准网络，通过网络拓扑结构设计的处理实现了具有较强的鲁棒性，能有效避免算法陷入局部最优，提高了处理的效率和精度。

本发明使用特征提取网络提取部分对应点云各自的高维特征，并在所提取特征基础上预测匹配锚点，接着在原始点云中选择与预测锚点最近的点作为原始点云的采样匹配点，并以这些最近点的高维特征作为采样匹配点的特征；将采样匹配点特征输入到非局部操作模块获得点云之间的虚拟匹配关系；最后使用奇异值分解获得两片部分对应点云之间的旋转变换和平移变换参数。

本发明的有益效果是：

本发明构造了一种基于学习采样的部分对应点云配准网络，能够有效应对不完整点云之间的匹配关系，对点云中的高噪声、稀疏性等复杂情况具有较强的适用性。该网络使用自学习的方式在部分对应点云对中采样寻找存在对应关系的点对，该学习采样模块能有效融合到现有特征提取深度学习网络中，提高网络对部分对应点云匹配任务的求解精度。

本发明提出的基于学习采样的部分对应点云配准方法能有效处理不完全匹配点云之间的对应关系，而且通过在线学习的方式采样点云中的关键匹配点，避免了非对应点对匹配关系的干扰，对点云缺失、高噪声等复杂环境具有较强的适用性。

附图说明

图1为本发明中的非局部操作模块结构示意图；

图2为本发明中的交叉非局部操作模块结构示意图；

图3为本发明中的部分对应点云配准网络结构示意图；

图4为本发明方法的流程图。

具体实施方式

下面结合附图和具体实施对本发明作进一步说明。

按照本发明发明内容完整方法实施的实施例如下：

需要理解的是，本发明所描述的实施例是示例性的，实施例描述中所使用的具体参数仅是为了便于描述本发明，并不用于限定本发明。

如图4所示，本发明的实施例及其实施工作过程包括如下步骤：

步骤1：构建非局部操作模块。

构建非局部操作模块和交叉非局部操作模块，如图1和图2所示。其中，n设置为512，非局部操作模块输入维度为n×512，输出维度为512×512。交叉非局部操作输入维度为n×1024，输出维度为512×1024。

步骤2：构建部分对应点云配准网络。构建如图3所示的部分对应点云配准网络结构。源点云和模板点云中m设置为1024，s设置为512，特征提取网络选用dgcnn网络。

步骤3：训练构建的部分对应点云配准网络。采用modelnet40数据集训练配准网络，该数据集包含40个物体类别。选用9843个物体作为训练集、2468个物体作为测试集。初始学习率设置为0.001，训练批次大小为8，最大迭代次数为200个epoch。

步骤4：训练后的配准网络直接预测部分对应点云之间的旋转变换和平移变换参数。

本发明方法构建的非局部操作模块结构能够增强网络对匹配点的注意力，提出的匹配点采样模块能够有效采样具有潜在对应关系的点对，将点云配准网络从完全对应场景扩展到部分对应场景。

本发明所提方法能够适用于高噪声、稀疏性以及复杂初始对应关系等情况。

与现有技术相比，本发明的匹配点采样模块能够融合到基于深度学习的点云特征提取网络中，根据匹配任务损失函数优化采样结果，有利于提升部分对应点云配准精度。同时，本发明网络不需要复杂的后处理迭代优化过程，直接预测部分点云对之间的变换参数，提升了网络的求解效率。在modelnet40数据集上，本发明获得了25.893的平均绝对值旋转误差以及0.268的平均绝对值平移误差。相较于迭代最近邻算法，两个误差分别降低了23.1％和8.5％。

以上所述，仅为本发明较佳的具体实施方案，但本发明的保护范围并不局限于上述实施方案，任何本技术领域的技术人员在本发明描述的技术范围内，根据本发明的技术方案及其发明构思所做的等同替换或改变，都应包含在本发明的保护范围之内。