一种基于WGAN的无监督多视角三维点云联合配准方法

文档序号:25172907发布日期:2021-05-25 14:43阅读:286来源:国知局
一种基于WGAN的无监督多视角三维点云联合配准方法

本发明涉及机器视觉技术领域,特别涉及一种基于wgan(wassersteingenerativeadversarialnetworks,一种生成式对抗网络深度学习模型)的无监督多视角三维点云联合配准方法。



背景技术:

智能制造技术是实现制造业工业化与信息化融合的动力。如今,航空制造业也正面临着向智能化的转型。机器人作为智能制造技术的载体之一,在航空制造领域引起了广泛关注。航空发动机是飞机的“心脏”,其性能主要受到航空发动机叶片制造水平的限制。叶片三维尺寸测量技术对叶片加工和质量检测具有重要意义。为了满足叶片日益复杂的测量需求,亟需开发三维测量机器人并实现自动测量。随着光学测量技术的发展,一个可行的机器人测量方案是:利用装载在工业机器人末端的激光扫描仪获取点云并重建出三维模型,通过该模型测量叶片的三维尺寸数据。

在该测量方案中,准确和完整地重建叶片的三维模型是精密测量叶片的必要前提,而配准多个视角的三维点云是重建过程主要需要解决的问题。点云配准指将不同坐标系下的点云变换到统一的坐标系下,一般分为三类:粗配准、精细配准和全局配准。粗配准一般用于两个姿态相差较大的点云;精细配准用于提升粗配准点云的精度,较为成熟的方法包括icp(iterativeclosestpoint,迭代最近点)配准算法以及基于icp的改进算法;重建过程中,逐帧配准点云数据往往存在严重的累计误差,影响重建模型的精度。全局配准算法则期望将累计误差分散到每一帧数据,从而减小整体的误差。无论是精配准还是全局配准,都需要一个较好的粗配准结果作为初始化参数。粗配准则对依赖于点云的重叠区域大小,重叠部分特征的显著性,以及模型本身的对称性等。

航空发动机叶片为了满足气动性能,被设计成光滑无纹理的双曲面薄壁异形结构。在获取三维点云时,这样的结构会导致相邻点云间重叠区域不足,且纹理特征微弱,难以取得较好的粗配准结果,因此使得全局配准的误差大,无法精密重建出叶片的三维模型。



技术实现要素:

本发明提供了一种基于wgan的无监督多视角三维点云联合配准方法,该方法在wgan的框架上可训练并优化各个视角的姿态,使得优化后整体的点云概率分布与先验模型点云的概率分布差异最小化,即表示配准后的点云模型最大程度的接近理论模型。

为了达到上述目的,本发明提供的一种基于wgan的无监督多视角三维点云联合配准方法,包括如下步骤:

步骤s1、获取不同视角的点云:从不同视角进行扫描,扫描后获得i个点云p={p1,...,pi,...,pi},表示第i个点云;ni表示第i个点云所包含的点的个数,pij表示第i个点云中的第j个点,pn=r3,r表示实数,r3表示笛卡尔三维坐标系;

步骤s2、对所有视角的点云进行下采样:点云pi为分别处理与前后相邻两个视角的关系,存在两个相邻的点云,处理不同相邻点云时,共进行两次点云下采样,即对于每个点云,分别对前后相邻视角点云下采样:

对于pi-1,对pi和pi-1进行随机采样,采样数量nil为:

nil=min{ni-1/s,ni/s}(1)

对于pi+1,对pi和pi+1进行随机采样,采样数量nir为:

nir=min{ni/s,ni+1/s}(2)

式中,ni-1表示第i-1个点云所包含的点的个数,ni表示第i个点云所包含的点的个数,ni+1表示第i+1个点云所包含的点的个数,s为人为设定的采样参数;

步骤s3、从标准模型中采样;从标准模型点集ps中采样出m个样本,记为标准样本

步骤s4、对多视角点云联合配准wgan的生成器网络进行训练:将各个视角点云逐一转换到统一的坐标系下,将所有转换后的点云融合成一个完整的点云模型p',并对p'进行均匀采样,从p'采样m个点作为生成样本具体包括如下步骤:

步骤s41、设计生成器;

步骤s42、生成器网络进行训练;

步骤s5、对多视角点云联合配准wgan的判别器网络进行训练:对生成样本与标准样本进行判别;具体包括如下步骤:

步骤s51、设计判别器;

步骤s52、判别器网络进行训练;

步骤6:判断是否终止训练:设定生成器和判别器训练的次数均为m次,若达到m次则终止训练,若未达到m次则回到步骤s4。

优选地,所述步骤s41具体包括如下步骤:

步骤s411、构建特征向量转换网络层,对点云表示ni×3矩阵,逐点生成高维特征向量d表示每个点提取的d维的特征向量,rn×d表示n×d矩阵;

步骤s412、构建匹配点计算网络层,逐点计算匹配点:提取相邻点云pi-1与pi+1对应的经过高维特征向量转换的特征矩阵f(i-1)r和f(i+1)l;分别计算pi与pi-1及pi+1的匹配概率,分别得到匹配点对集合

步骤s413、滤除基于注意力机制的外点:计算上一次迭代得到的第i个姿态的转置与匹配点对cij之间的相关性度量simij,j表示索引;

步骤s414、联合配准求姿态的闭式解t:根据当前匹配点对及其权重计算点云的相对姿态及约束条件,获得点云的相对姿态优化唯一最优解,即最优姿态;

步骤s415、生成点云模型并进行采样:根据最优姿态,将各个视角点云逐一转换到统一的坐标系下,融合成一个完整的点云模型p',并对p'进行均匀采样。

优选地,所述步骤s411具体为:

网络由4个edgeconv层和一个卷积层conv构成,用每一个特征作为顶点,对每个点计算k-最近邻knn,连接其k近邻作为边,构建图结构,din表示输入特征向量的维数,表示din维实数向量;

对于顶点其与某个邻近点所构成的边为

将每一条边作为多层感知机mlp的输入,经过relu激活函数后输出dout维特征;

将所有边的特征通过最大池化层,得到对应于顶点的特征表示dout维实数向量;

输入特征矩阵表示n×din维实数矩阵,输出特征矩阵表示n×dout维实数矩阵;

其中,第一个edgeconv层输出的特征维数为64,第二个edgeconv层输出的特征维数为64,第三个edgeconv层输出的特征维数为128,第四个edgeconv层输出的特征维数为256;将四个edgeconv层提取的特征拼接得到的n×512维特征作为conv的输入,过relu激活函数后输出特征矩阵fi∈rn×1024,rn×1024表示n×1024维实数矩阵。

优选地,所述步骤s412具体为:

pi为分别处理与前后相邻两个视角的关系,进行了两次点云下采样,对应地经过高维特征层提取两个不同的特征矩阵,即表示nil×1024维实数矩阵,表示nir×1024维实数矩阵;

pi与pi+1的匹配点具体为:输入为输出为其中,φ(fir,f(i+1)l)为transformer将特征fir通过学习调整到一个“条件”f(i+1)l的残差变化量,φ(f(i+)l,fir)为transformer将特征f(i+1)l通过学习调整到一个“条件”fir的残差变化量;

对于点pij∈pi,pi+1的每一个点与pij成为匹配点的概率所构成矩阵为

φir(j)表示φir的第j行,即对应于点pij的特征向量,t表示矩阵转置,softmax是一种概率归一化处理函数;

根据上述匹配点概率,为pij∈pi生成一个平均匹配点cpij:

点云pi在pi+1中得到的匹配点集合记为cpi,匹配点对(pij,cpij)记作cij,匹配点对构成集合cir;

pi与pi-1的匹配点均可按照上述过程实现,得到匹配点对集合cil;cir与cil构成匹配点对构成集合ci;每对相邻视角寻找匹配点的过程均可按照上述过程实现。

优选地,所述步骤s413具体为:

计算与匹配点对cij之间的相关性度量simij:

其中表示上一次迭代得到的第i个姿态的转置,||.||f表示frobenius范数,σ是一个正实数,防止simij趋向于无穷大;

引入softmax函数对simij进行归一化,使所有匹配点对权重之和为1:

式中,wij表示匹配点权重,表示变量为simij的指数函数。

优选地,所述步骤s414具体为:

根据当前匹配点对及其权重计算点云的相对姿态,所有匹配点对欧式距离之和d为:

其中,为第i个视角姿态转换矩阵的转置,ri∈so(3)为旋转矩阵的转置,ti∈r1×3为平移量的转置,rl×3表示l×3维实数矩阵;

构造矩阵将式(7)表示成

t=[t1,...,ti]t,将式(8)转化成矩阵函数表达式:

所求得的姿态t=[t1,...,ti]t需要一个固定的初始坐标系,以保证优化问题仅存在唯一的最优解;

为式(9)添加约束条件t1=t0,t0是任意的满足r0∈so(3)的姿态;为了简化网络结构,取t0为标准3d模型的坐标系;由于t=[t1,...,ti]t,构造矩阵a=[i404×4(i-1)],i4表示4×4的单位矩阵,04×4(i-1)表示4×4(i-1)的零矩阵;

约束条件1表示成:

t1=at=t0(10)

同时,旋转矩阵约束条件2表示成:

式中,i表示单位矩阵,det表示行列式;

令b=[i303×1],则

ri=bti(12)

令r=[r1...ri...ri],则

r=bt(13)

其中,

将式(9)的等式约束最优问题表示成:

式中,s.t.表示约束条件;

采用拉格朗日乘子法处理等式约束问题,增广的拉格朗日函数为

式中,λ表示人为设定的参数,取0.001,μ作为该层神经网络的可调参数,取上一次迭代的结果,y表示拉格朗日乘子;

采用交替乘子法求解上述问题的最优解,得到如下迭代关系

关于的子问题可以用下式求解:

svd表示奇异值分解;

关于t的子问题是一个二次凸优化问题,令其导数为0求其最小值,即

则有

优选地,所述步骤s415具体为:

根据上个步骤求得的姿态t,将各个视角点云逐一转换到统一的坐标系下:

p'ij=pijti(21)

将所有转换后的点云融合成一个完整的点云模型p';

对p'进行均匀采样:记采样点集为s2,s2初始化为空集;随机采样一个种子点seed,放入s2;在集合p'-s2里,找一个距离集合s2最远的点;最终从p'中采样m个点作为样本

所述步骤s3具体包括入下步骤:

步骤s31、记标准模型点集为ps,采样点集为s1,s1初始化为空集;

步骤s32、随机采样一个种子点seed,放入s1;

步骤s33、在集合ps-s1里,找一个距离集合s1最远的点,其中点到集合s1的距离为该点到s1最小的点距;

步骤s34、重复步骤s33,直到采样出m个样本,记为标准样本

优选地,所述步骤s42具体包括如下步骤:

步骤s421、逐一将下采样的点云输入到共享权值的高维特征提取层,得到对应点云pi的特征矩阵fi∈rn×1024

步骤s422、将相邻视角的特征矩阵fir和f(i+1)l逐对输入到匹配点对生成网络,得到点云pi的匹配点集cpi;

步骤s423、将所有视角的点及其匹配点作为输入,利用联合配准求姿态的闭式解t;

步骤s424、将所有点云通过求得的t转换到统一坐标系下,融合成点云模型p';

步骤s425、从p'采样m个点作为生成样本

步骤s426、调节生成器网络参数:

θ←θ-α·rmsprop(θ,gθ)(23)

gθ表示关于θ的梯度,θ表示生成器的网络参数,fω表示判别器,ω表示判别器的网络参数,v(i)表示第i个生成样本,α表示步长,rmsprop表示一种基于动量的优化算法。

优选地,所述步骤s51具体为:

wgan网络通过训练含参数ω、最后一层不是非线性激活层的判别器网络fω,在ω不超过某个范围的条件下,使得l尽可能最大,l表达式如下:

式中,l近似真实分布和生成分布之间的wasserstein距离,即用wasserstein距离定量的衡量两个分布的差异度,p表示样本,表示真实分布的期望,表示生成分布

判别器采用全连接实现的多层感知机,结构为四层全连接,伴有3个relu激活函数;输入为点的坐标,即输入维度为3,输出维度为1。

优选地,所述步骤s52具体包括如下步骤:

步骤s521、逐一将从生成点云模型均匀采样的m个点的生成样本输入到判别器网络fω中;

步骤s532、逐一将从标准模型均匀采样的m个点的标准样本输入到判别器网络fω中;

步骤s533、调节判别器网络参数,对生成样本与标准样本进行判别;判别器网络参数具体为:

ω←ω+α·rmsprop(ω,gω)(26)

ω←clip(ω,-c,c)(27)

gω表示关于ω的梯度,u(i)表示第i个标准样本,fω表示判别器,ω表示判别器的网络参数,rmsprop表示一种基于动量的优化算法,clip()表示参数ω的绝对值截断到不超过一个固定的常数c。

本发明能够取得下列有益效果:

(1)对视角姿态的初始化鲁棒;(2)相比于全监督神经网络,本发明所涉及的神经网络为无监督神经网络,只需要预先知道建模对象的理论模型即可,不需要大量的标注信息和大量样本,训练简单快速;(3)无需考虑网络的泛化能力,可实时运行;(4)相比于传统的多视角配准方法,所设计的网络直接求每一个视角相对于同一参考坐标系的转换关系,既不存在对某个视角的偏置,也不存在累计误差;(5)训练后的结果可作为精配准的初始值,配准精度高。

附图说明

图1为本发明的一种基于wgan的无监督多视角三维点云联合配准方法的算法实现流程图;

图2为本发明的一种基于wgan的无监督多视角三维点云联合配准方法中的一较佳实施例的联合配准的wgan总体网络结构示意图;

图3为本发明的一种基于wgan的无监督多视角三维点云联合配准方法的一较佳实施例中wgan的生成器网络结构的示意图;

图4为本发明的一种基于wgan的无监督多视角三维点云联合配准方法的一较佳实施例中生成器所涉及的高维特征提取层网络结构的示意图;

图5(a)为本发明的一种基于wgan的无监督多视角三维点云联合配准方法的一较佳实施例中高维特征提取层所涉及的edgeconv层的示意图;

图5(b)为图5(a)中通过k-邻近构造的图的示意图;

图6为本发明的一种基于wgan的无监督多视角三维点云联合配准方法的一较佳实施例中生成器所涉及的匹配点生成层的transformer网络结构的示意图;

图7(a)为本发明的一种基于wgan的无监督多视角三维点云联合配准方法的一较佳实施例中transformer网络所涉及的attention的示意图;

图7(b)为图7(a)的transformer网络所涉及的multi-headattention子层的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。

发动机叶片是以理论设计模型为参考加工的,所以加工成型的叶片应尽可能的符合设计模型,理论上配准后点云的整体概率分布也应该尽可能的接近理论模型点云的概率分布。

本发明针对现有的问题,提供了一种基于wgan的无监督多视角三维点云联合配准方法,如图1及图2所示,本发明的一种基于wgan的无监督多视角三维点云联合配准方法包括如下步骤:

步骤s1、获取不同视角的点云:从不同视角进行扫描,扫描后获得i个点云p={p1,...,pi,...,pi},表示第i个点云;ni表示第i个点云所包含的点的个数,pij表示第i个点云中的第j个点,pn=r3,r表示实数,r3表示笛卡尔三维坐标系;

步骤s2、对所有视角的点云进行下采样:点云pi为分别处理与前后相邻两个视角的关系,存在两个相邻的点云,处理不同相邻点云时,共进行两次点云下采样,即对于每个点云,分别对前后相邻视角点云下采样:

对于pi-1,对pi和pi-1进行随机采样,采样数量nil为:

nil=min{ni-1/s,ni/s}(1)

对于pi+1,对pi和pi+1进行随机采样,采样数量nir为:

nir=min{ni/s,ni+1/s}(2)

式中,ni-1表示第i-1个点云所包含的点的个数,ni表示第i个点云所包含的点的个数,ni+1表示第i+1个点云所包含的点的个数,s为人为设定的采样参数;

步骤s3、从标准模型中采样;从标准模型点集ps中采样出m个样本,记为标准样本

步骤s4、对多视角点云联合配准wgan的生成器网络进行训练:将各个视角点云逐一转换到统一的坐标系下,将所有转换后的点云融合成一个完整的点云模型p',并对p'进行均匀采样,从p'采样m个点作为生成样本具体包括如下步骤:

步骤s41、设计生成器;

步骤s42、生成器网络进行训练;

步骤s5、对多视角点云联合配准wgan的判别器网络进行训练:对生成样本与标准样本进行判别;具体包括如下步骤:

步骤s51、设计判别器;

步骤s52、判别器网络进行训练;

步骤6:判断是否终止训练:设定生成器和判别器训练的次数均为m次,若达到m次则终止训练,若未达到m次则回到步骤s4。

参考图3中wgan的生成器网络结构的示意图,其中,所述步骤s41具体包括如下步骤:

步骤s411、构建特征向量转换网络层,对点云表示ni×3矩阵,逐点生成高维特征向量fi∈rn×d,d表示每个点提取的d维的特征向量,rn×d表示n×d矩阵;

步骤s412、构建匹配点计算网络层,逐点计算匹配点:提取相邻点云pi-1与pi+1对应的经过高维特征向量转换的特征矩阵f(i-1)r和f(i+1)l;分别计算pi与pi-1及pi+1的匹配概率,分别得到匹配点对集合

步骤s413、滤除基于注意力机制的外点:计算上一次迭代得到的第i个姿态的转置与匹配点对cij之间的相关性度量simij,j表示索引;

步骤s414、联合配准求姿态的闭式解t:根据当前匹配点对及其权重计算点云的相对姿态及约束条件,获得点云的相对姿态优化唯一最优解,即最优姿态;

步骤s415、生成点云模型并进行采样:根据最优姿态,将各个视角点云逐一转换到统一的坐标系下,融合成一个完整的点云模型p',并对p'进行均匀采样。

参考图4、图5(a)及图5(b),所述步骤s411具体为:

网络由4个edgeconv(一种边卷积操作)层和一个卷积层conv(向量卷积运算)构成,用每一个特征作为顶点,对每个点计算k-最近邻knn,连接其k近邻作为边,构建图结构,din表示输入特征向量的维数,表示din维实数向量;

对于顶点其与某个邻近点所构成的边为

将每一条边作为多层感知机mlp(multilayerperceptron)的输入,经过relu(线性整流函数,rectifiedlinearunit)激活函数后输出dout维特征;

将所有边的特征通过最大池化层,得到对应于顶点的特征表示dout维实数向量;

输入特征矩阵表示n×din维实数矩阵,输出特征矩阵表示n×dout维实数矩阵;

其中,第一个edgeconv层输出的特征维数为64,第二个edgeconv层输出的特征维数为64,第三个edgeconv层输出的特征维数为128,第四个edgeconv层输出的特征维数为256;将四个edgeconv层提取的特征拼接得到的n×512维特征作为conv的输入,过relu激活函数后输出特征矩阵fi∈rn×1024,rn×1024表示n×1024维实数矩阵。

所述步骤s412具体为:

pi为分别处理与前后相邻两个视角的关系,进行了两次点云下采样,对应地经过高维特征层提取两个不同的特征矩阵,即表示nil×1024维实数矩阵,表示nir×1024维实数矩阵;

pi与pi+1的匹配点具体为:输入为输出为其中,φ(fir,f(i+1)l)为transformer将特征fir通过学习调整到一个“条件”f(i+1)l的残差变化量,φ(f(i+)l,fir)为transformer将特征f(i+1)l通过学习调整到一个“条件”fir的残差变化量;

参考图6、图7(a)及7(b),transformer为基于encoder-decoder(编码器-解码器)结构的模型:

encoder(编码器)包括6个编码器,6个编码器依次叠加,每个编码器包含一个multi-headattention(多头注意力)子层和一个feed-forward(前馈)子层,每个子层之间有残差连接;每个编码器输出矩阵作为下一个编码器的输入;第一个编码器的输入为fir,最后一个编码器的输出为的编码矩阵;multi-headattention子层,将8次self-attention(自注意力)计算得到的矩阵进行加权求和;

decoder(解码器)包括6个解码器,6个解码器依次叠加,每个解码器包含两个multi-headattention子层和一个feed-forward子层,每个子层之间有残差连接;每个解码器输出矩阵作为下一个解码器的输入;第一个解码器的输入为f(i+1)l,最后一个编码器的输出为的解码矩阵;第一个multi-headattention将8次self-attention计算得到的矩阵进行加权求和,第二个multi-headattention将8次encoder-decoder-attention(编码器-解码器注意力)计算得到的矩阵进行加权求和;encoder-decoder-attention用第一个子层的输出创建queries矩阵(查询矩阵),用encoder的输出创建keys(关键字)和values(值)矩阵;

对于点pij∈pi,pi+1的每一个点与pij成为匹配点的概率所构成矩阵为

φir(j)表示φir的第j行,即对应于点pij的特征向量;t表示矩阵转置,softmax是一种概率归一化处理函数;

根据上述匹配点概率,为pij∈pi生成一个平均匹配点cpij:

点云pi在pi+1中得到的匹配点集合记为cpi,匹配点对(pij,cpij)记作cij,匹配点对构成集合cir;

pi与pi-1的匹配点均可按照上述过程实现,得到匹配点对集合cil;cir与cil构成匹配点对构成集合ci;每对相邻视角寻找匹配点的过程均可按照上述过程实现。

所述步骤s413具体为:

计算与匹配点对cij之间的相关性度量simij:

其中表示上一次迭代得到的第i个姿态的转置,||.||f表示frobenius(一种矩阵范数)范数,σ是一个正实数,防止simij趋向于无穷大;

引入softmax函数对simij进行归一化,使所有匹配点对权重之和为1:

式中,wij表示匹配点权重,表示变量为simij的指数函数。

所述步骤s414具体为:

根据当前匹配点对及其权重计算点云的相对姿态,所有匹配点对欧式距离之和d为:

其中,为第i个视角姿态转换矩阵的转置,ri∈so(3)为旋转矩阵的转置,ti∈r1×3为平移量的转置,rl×3表示l×3维实数矩阵;

构造矩阵将式(7)表示成

t=[t1,...,ti]t,将式(8)转化成矩阵函数表达式:

所求得的姿态t=[t1,...,ti]t需要一个固定的初始坐标系,以保证优化问题仅存在唯一的最优解;

为式(9)添加约束条件t1=t0,t0是任意的满足r0∈so(3)的姿态;为了简化网络结构,取t0为标准3d模型的坐标系;由于t=[t1,...,ti]t,构造矩阵a=[i404×4(i-1)],i4表示4×4的单位矩阵,04×4(i-1)表示4×4(i-1)的零矩阵;

约束条件1表示成:

t1=at=t0.(10)

同时,旋转矩阵约束条件2表示成:

式中,i表示单位矩阵,det表示行列式;

令b=[i303×1],则

ri=bti,(12)

令r=[r1...ri...ri],则

r=bt,(13)

其中,

将式(9)的等式约束最优问题表示成:

式中,s.t.表示约束条件;

采用拉格朗日乘子法处理等式约束问题,增广的拉格朗日函数为

式中,λ表示人为设定的参数,取0.001,μ作为该层神经网络的可调参数,取上一次迭代的结果,y表示拉格朗日乘子;

采用交替乘子法求解上述问题的最优解,得到如下迭代关系

关于的子问题可以用下式求解:

svd(singularvaluedecomposition,奇异值分解)表示奇异值分解;

关于t的子问题是一个二次凸优化问题,令其导数为0求其最小值,即

则有

上式中λ是人为设定的参数(取0.001),μ作为该层神经网络的可调参数,取上一次迭代的结果。

所述步骤s415具体为:

根据上个步骤求得的姿态t,将各个视角点云逐一转换到统一的坐标系下:

p'ij=pijti(21)

将所有转换后的点云融合成一个完整的点云模型p';

对p'进行均匀采样:记采样点集为s2,s2初始化为空集;随机采样一个种子点seed(种子点),放入s2;在集合p'-s2里,找一个距离集合s2最远的点;最终从p'中采样m个点作为样本

所述步骤s416具体为:

逐一将下采样的点云输入到共享权值的高维特征提取层,得到对应点云pi的特征矩阵fi∈rn×1024;将相邻视角的特征矩阵fir和f(i+1)l逐对输入到匹配点对生成网络,得到点云pi的匹配点集cpi;将所有视角的点及其匹配点作为输入,利用联合配准求姿态的闭式解t。将所有点云通过求得的t转换到统一坐标系下,融合成点云模型p';从p'采样m个点作为生成的样本设p'ij∈p'服从概率分布保持判别器fω的网络参数不变,构造生成器的loss为:

所述步骤s3具体包括入下步骤:

步骤s31、记标准模型点集为ps,采样点集为s1,s1初始化为空集;

步骤s32、随机采样一个种子点seed,放入s1;

步骤s33、在集合ps-s1里,找一个距离集合s1最远的点,其中点到集合s1的距离为该点到s1最小的点距;

步骤s34、重复步骤s33,直到采样出m个样本,记为标准样本

优选地,所述步骤s42具体包括如下步骤:

步骤s421、逐一将下采样的点云输入到共享权值的高维特征提取层,得到对应点云pi的特征矩阵fi∈rn×1024

步骤s422、将相邻视角的特征矩阵fir和f(i+1)l逐对输入到匹配点对生成网络,得到点云pi的匹配点集cpi;

步骤s423、将所有视角的点及其匹配点作为输入,利用联合配准求姿态的闭式解t;

步骤s424、将所有点云通过求得的t转换到统一坐标系下,融合成点云模型p';

步骤s425、从p'采样m个点作为生成样本

步骤s426、调节生成器网络参数:

θ←θ-α·rmsprop(θ,gθ)(24)

gθ表示关于θ的梯度,θ表示生成器的网络参数,fω表示判别器,ω表示判别器的网络参数,v(i)表示第i个生成样本,α表示步长,rmsprop表示一种基于动量的优化算法。

所述步骤s51具体为:

wgan网络通过训练含参数ω、最后一层不是非线性激活层的判别器网络fω,在ω不超过某个范围的条件下,使得l尽可能最大,l表达式如下:

式中,l近似真实分布和生成分布之间的wasserstein距离,即用wasserstein距离定量的衡量两个分布的差异度,p表示样本,表示真实分布的期望,表示生成分布

判别器采用全连接实现的多层感知机,结构为四层全连接,伴有3个relu激活函数;输入为点的坐标,即输入维度为3,输出维度为1。

所述步骤s52具体包括如下步骤:

步骤s521、逐一将从生成点云模型均匀采样的m个点的生成样本输入到判别器网络fω中;

步骤s532、逐一将从标准模型均匀采样的m个点的标准样本输入到判别器网络fω中;

步骤s533、调节判别器网络参数,对生成样本与标准样本进行判别;判别器网络参数具体为:

ω←ω+α·rmsprop(ω,gω)(26)

ω←clip(ω,-c,c)(27)

gω表示关于ω的梯度,u(i)表示第i个标准样本,fω表示判别器,ω表示判别器的网络参数,rmsprop表示一种基于动量的优化算法,clip()表示参数ω的绝对值截断到不超过一个固定的常数c。

本发明能够取得下列有益效果:

(1)对视角姿态的初始化鲁棒;(2)相比于全监督神经网络,本发明所涉及的神经网络为无监督神经网络,只需要预先知道建模对象的理论模型即可,不需要大量的标注信息和大量样本,训练简单快速;(3)无需考虑网络的泛化能力,可实时运行;(4)相比于传统的多视角配准方法,所设计的网络直接求每一个视角相对于同一参考坐标系的转换关系,既不存在对某个视角的偏置,也不存在累计误差;(5)训练后的结果可作为精配准的初始值,配准精度高。

以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1