一种基于图Wasserstein自编码网络的机器人运动规划方法及系统

本发明涉及智能机器人领域，特别是涉及一种基于图wasserstein自编码网络的机器人运动规划方法及系统。

背景技术：

随着智能机器人尤其是服务类机器人(包括日常服务机器人，特种服务机器人等)的快速发展，机器人所面临的场景与环境也变得愈发复杂，当执行各类复杂任务时，高效的运动规划方法就显得非常重要。

当前业界在机器人进行运动规划时常见的问题包括：

1、运动规划时间长。由于当前主流的规划方法如rrt*,prm*，fmt等对于复杂障碍物场景，其规划时间往往较长，难以满足机器人执行实际操作任务的需要。

2、规划路径较差。规划路径质量主要取决于规划路径长度和规划路径复杂性。规划路径差通常意味着规划路径较长，在空间中的表现较为复杂。对于可移动的操作机器人来说，规划路径较差往往会消耗较多能量，同时规划路径过于复杂，可能造成一些潜在的危险。

3、规划成功率低。对于复杂障碍物环境来说，当前的主流规划方法成功率普遍较低，无法满足实际的规划需求。

现有技术中有一种基于变分自编码(conditionalvariationalautoencoder,cvae)的运动规划方法，它是2018年斯坦福大学brianichter等提出的，主要解决方案如下：1.根据过去已成功的规划数据(即非障碍物区域的构型数据)作为cvae的输入，构建条件变量y，对cvae进行训练，获取非障碍物区域的构型分布。2.根据运动规划问题(xfree,xstart,xgoal)和已训练的变分，构建新的条件变分y；然后基于条件变分y从cvae的潜在空间生成的新样本，并将其作为采样规划算法(如prm*,fmt*,rrt*)的偏置性样本生成器。3.在上述基于cvae的样本生成器的基础上，运行采样运动规划算法即可。

该现有技术存在如下缺点：1)当障碍物场景较为复杂时，cvae无法准确地表征构型空间的非障碍物区域，导致非均匀采样效率低下，无法有效缩短运动规划时间，提高规划路径质量和成功率。2)cvae的训练时间较长，经常会出现训练崩溃的情况，导致无法进行后续规划。

技术实现要素：

为了弥补上述现有技术的不足，本发明公开了一种基于wassertein自编码网络(graphwae)的运动规划方法，减少规划时间，提高规划路径质量和成功率。

本发明提出一种基于图wasserstein自编码网络的机器人运动规划方法，其特征在于包括如下步骤：s1、构建图wasserstein自编码网络(graphwae)；s2、进行基于graphwae的非均匀采样分布表征学习；s3、进行基于graphwae的机器人运动规划。

在一些实施例中，还具有如下技术特征：

步骤s1中包括：把由起始点到目标点的规划过程中所生成的可能的路径结果所构成的网状图作为原始图，通过编码器将其转化为包含由方差和期望的潜在变量模型并构成隐藏层，然后从标准正态分布中采样将隐藏层信息重新通过解码器及重参数化处理转化生成图模型。

构造无向图γ＝(n,e)来标志整个构型空间的图模型，其中n表示构型空间的样本集，e表示不同样本之间的连接。

采用g＝(a,g,f)作为graphwae的编码器输入，其中a表示图模型的邻接矩阵，e表示边属性张量，f表示节点属性矩阵。

采用如下函数作为图生成的目标：

其中，q(z|x)表示条件分布，即编码器；qz＝qz(z)＝∫q(z|x)pg(g)dg表示后验分布；d(·)表示隐空间上两个分布之间的散度测度函数z；γ>0是一个正则化参数。

使用反向传播算法作为深度网络的随机梯度下降模型，进而优化目标函数。

raphwae网络的目标函数包括两个子项：c(g,γ(z))和γdz(qz,pz)；第一个重构项c(g,γ(z))连接编码器网络和解码器网络，以便解码器网络能够准确地重构编码的图模型；第二个正则化项γdz(qz,pz)使用整体的后验分布qz来匹配分布pz，可以有效地控制整个编码器的尺寸。

步骤s2中，包括如下步骤：s2-1、初始化编码器网络参数qψ和解码器网络参数初始化潜在鉴别器dτ；初始化正则化系数γ>0；初始化特征正定核k；

s2-2、训练编码器网络ψ和解码器网络s2-3、设置编码器网络ψ和解码器网络的终止条件；当符合终止条件时，程序终止；当不符合终止条件时，重新执行s2-2。

步骤s3中，包括如下步骤：s3-1、将过往已成功的规划数据进行预处理，进行标准样本数据的收集与整理以使其尽可能地覆盖整个构型空间的障碍物区域或非障碍物区域；s3-2、将这些数据表示成图模型，并通过训练得到可表征构型空间障碍物区域/非障碍物区域的图生成模型；s3-3、并根据已训练的图生成模型作为样本生成源，代替原本的随机采样，为采样运动规划算法提供带有场景信息的偏置性样本，生成候选路径并进行碰撞检测，确定合适路径后最终输出结果。

本发明还提出一种基于图wasserstein自编码网络的机器人运动规划系统，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序可被处理器执行以实现如上所述的方法。

本发明与现有技术对比的有益效果包括：本发明通过graphwae表征学习机器人构型空间中的非障碍物区域，作为主流采样规划算法的样本生成器，引导规划探索过程在非障碍物区域展开，减少规划时间，提高规划路径质量和成功率。

附图说明

图1是本发明实施例的图wasserstein自编码网络结构及流程示意图。

图2是本发明实施例的复杂障碍物区域的基于graphwae的非均匀采样策略示意图。

图3是本发明实施例的基于graphwae的机器人运动规划方法示意图。

图4是本发明实施例的面向复杂障碍物环境的6自由度平面机械臂运动规划仿真环境。

图5是本发明实施例的面向复杂障碍物环境的12自由度双臂协作机器人运动规划仿真环境。

图中标号如下：1.双臂协作机器人(nextage)；2.机械臂；3.初始状态(右臂)；4.第一障碍物；5.目标状态(右臂)；6.目标状态(左臂)；7.操作平台；8.线性导轨；9.初始状态(左臂)；10.第二障碍物，11.起端关节，12.末端关节，13.起端关节初始状态，14.目标区域。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本实施例中的左、右、上、下、顶、底等方位用语，仅是互为相对概念，或是以产品的正常使用状态为参考的，而不应该认为是具有限制性的。

下述实施例中涉及的缩略语和关键术语定义如下：

运动规划：对于智能机器人来说，运动规划是实现各类操作任务的重要保障。机器人在执行任务时所使用的操作器一般是多自由度串联关节型机械臂，是由多个刚体构成的复合机械结构。当需要完成指定操作任务时，机械臂需要从初始状态转换到目标状态，这个过程就需要通过运动规划来保证转换过程中运动轨迹的连续。对于多自由度关节型机械臂来说，运动规划需要考虑多个刚体的运动即关节的运动。在机构学上，某一时刻这些刚体的关节运动可以用一组关节的转动角度表示，称为构型(configuration)，由构型所形成的空间称为构型空间(configurationspace)。那么，多自由度串联关节型机械臂的运动规划就是给定机械臂的初始状态和目标状态，通过某种策略在构型空间中找到一系列构型序列，使其通过逆运动学可求解出一条符合约束条件的末端执行器连续运动路径。

图自编码网络(graphauto-encoders,gae)：图自编码网络是自动编码器(auto-encoder)在图神经网络领域的一种延伸和推广。与自动编码器类似，gae包括编码网络和解码网络两部分。在编码阶段，将输入数据进行图化处理，利用隐变量通过编码网络进行训练得到其分布，然后通过采样来获取其潜在表示；在解码阶段，利用所获得的潜在表示重构出原始的图。需要说明的是，vae的编码网络使用的是图卷积网络。

graphwae：graphwae是本发明下述实施例提出的图wasserstein(一种新一代生成模型算法)自编码网络的简称，是wasserstein自编码网络在图论方向的一种改进。graphwae通过预先训练的方式表征构型空间的非障碍物区域并作为采样规划算法的样本生成器，当机器人进行运动规划时，可以有目的地引导规划算法的搜索过程在构型空间的非障碍物区域展开，从而减少或避免碰撞检测，提高运动规划效率。实际上，在本发明下述实施例中，gaphwae可看作是面向采样规划算法的一种用于提高规划效率的非均匀采样策略。

本发明下述实施例提出一种我们称为graphwae的是新型图神经网络，通过运用图网络来表征机器人运动规划构型空间的非障碍物区域，将其作为采样规划算法的样本生成器，引导采样规划算法的探索过程在非障碍物区域展开，从而减少或避免碰撞检测，提高运动规划效率。

本发明下述实施例所要解决的是主流的采样规划算法(如rrt*，prm*，fmt*等)在复杂障碍物环境条件下的运动规划问题：

第一，对于主流采样规划算法来说，复杂障碍物环境会极大增加碰撞检测所需要的时间，使得规划时间大幅延长，降低机器人执行操作任务的效率。

第二，复杂障碍物环境会导致机器人运动规划的成功率下降，低成功率会导致机器人无法完成指定作业任务。

第三，规划路径不是最优或渐进最优，路径质量较差，容易耗费较多的能量，也可能会引入新的安全问题。

本发明下述实施例具备的功能有：

第一，所设计的graphwae可以较好地表征复杂障碍物环境的构型空间的非障碍物区域，产生高质量的非障碍物区域样本。

第二，所提出的graphwae具有较好的通用性，以graphwae作为样本生成器，可应用于主流的各类基于采样的运动规划算法如rrt*,prm*,fmt*等。

本发明实施例的关键技术点是：

1)一种新型的网络结构设计：图wassertein自编码网络。

2)基于graphwae的非均匀采样分布表征学习策略。

3)面向复杂障碍物环境的基于graphwae的运动规划方法。

本发明的技术问题通过以下的技术方案予以解决：

1、图wasserstein自编码网络(graphwae)

graphwae是正则化自动编码器的一个改进型，充分吸收了图神经网络和变分自动编码器的优势。graphwae可分为四个部分：图表示、编码器、解码器和图生成。本发明下述实施例以2维平面狭窄缝隙的规划问题的图生成学习过程为例来进行说明。

由图1左侧“图表示”所示，规划问题由左下角的起始点、右上角的目标点及黑色的障碍物区域构成，其中的网状结构为由起始点到目标点的规划过程中所生成的可能的路径示意图，并把这些可能的路径结果所构成的网状图作为原始图。原始图本质上仍属于图模型的一种，那么其仍可由图模型的邻接矩阵a，边属性张量e，节点属性矩阵f表示，通过编码器将其转化为包含由方差和期望的潜在变量模型并构成隐藏层，然后从标准正态分布中采样将隐藏层信息重新通过解码器及重参数化处理转化生成图模型。因此，graphwae的网络结构及流程图如图1所示。

对于机器人的运动规划过程来说，其规划的图表示是表征学习构型空间非均匀采样的重要步骤。本发明下述实施例构造无向图γ＝(n,e)来标志整个构型空间的图模型，其中n表示构型空间的样本集，e表示不同样本之间的连接。由于采样分布是构型空间的子集，那么构型空间中非障碍物区域采样分布ξfree的图模型可定义为γfree＝(nfree,efree)。同理，构型空间的障碍物区域的采样分布对应的图模型可定义为γcol＝(ncol,ecol)。那么，当采样过程趋于无穷大时，γfree∪γcol＝γ，γfree∩γcol＝0。

由图1可知，本发明下述实施例采用g＝(a,g,f)作为graphwae的编码器输入，其中a表示图模型的邻接矩阵，e表示边属性张量，f表示节点属性矩阵。那么，当图表示是非障碍物区域的采样分布γfree时，使用γfree作为graohwae的输入。graphwae可以通过训练一个潜在变量模型pγ来生成与输入图相似的图模型。由于潜在变量模型pγ可以用较少的信息即可相对完整地模拟出整个原始图模型的分布，因此训练这样的潜在模型对于提取原始图模型的有效信息并压缩原始图大小具有重要意义。际上，隐变量模型是通过两个阶段进行的，即从一个先验分布pz的低维编码向量z中采样，其中先验分布pz是由潜在空间z进行定义的，通过一个条件分布pγ(x|x)将其映射到一个图模型g∈γ中。为简化表示，采用分布pγ(x|z)作为生成分布(即解码器)，对于给定的映射γ：z→g，满足从z到g＝γ(z)。另外，graphwae将最小化潜在变量模型pγ与未知图数据分布pg之间的最优传输距离作为目标函数。假设两个数据分布之间的成本函数为c(g,g')，可采用如下函数作为图生成的目标函数：

其中，q(z|x)表示条件分布，即编码器；qz＝qz(z)＝∫q(z|x)pg(g)d表示后验分布。d(·)表示隐空间上两个分布之间的散度测度函数z。γ>0是一个正则化参数。graphwae通常使用反向传播算法作为深度网络的随机梯度下降模型，进而优化上述目标函数。graphwae网络的目标函数(1)主要包括两个子项：c(g,γ(z))和γdz(qz,pz)。第一个重构项c(g,γ(z))连接编码器网络和解码器网络，以便解码器网络能够准确地重构编码的图模型。第二个正则化项γdz(qz,pz)使用整体的后验分布qz来匹配分布pz，可以有效地控制整个编码器的尺寸。

2、基于graphwae的非均匀采样分布表征学习策略

基于graphwae的非均匀采样分布表征学习策略的具体步骤如下所示：

step1：初始化编码器网络参数qψ和解码器网络参数初始化潜在鉴别器dτ；初始化正则化系数γ>0；初始化特征正定核k。

step2：训练编码器网络ψ和解码器网络

1)输入训练数据g＝(g1,g2,…,gn)；

2)根据先前的分布执行抽样程序pz并采集样本{z1,z2,…,zn}；

3)对于i＝1→n，根据qψ(z|gi)执行采样程序获取并保存到集合

4)通过下述公式更新qψ和

step3：设置编码器网络ψ和解码器网络的终止条件。当符合终止条件时，程序终止；当不符合终止条件时，重新执行step2。

杂障碍物区域的基于graphwae的非均匀采样策略示意图如图2所示。

3、基于graphwae的机器人运动规划方法

首先，将过往已成功的规划数据(来源可以是人工示教、通过实验产生等)进行预处理，进行标准样本数据的收集与整理以使其尽可能地覆盖整个构型空间的障碍物区域或非障碍物区域，然后将这些数据表示成图模型，并通过训练得到可表征构型空间障碍物区域/非障碍物区域的图生成模型，并根据已训练的图生成模型作为样本生成源，代替原本的随机采样，为采样运动规划算法提供带有场景信息的偏置性样本，生成候选路径并进行碰撞检测，确定合适路径后最终输出结果即可。那么，基于graphwae的机器人运动规划方法示意图如图3所示。

最后，我们创建了1个6维平面机械臂仿真环境和1个12维双臂协作机器人仿真环境对所提方法进行测试。

实验1——6维平面机械臂运动规划，如图4所示。

由图4可知，整个运动规划场景由机械臂系统和障碍物系统构成，平面机械臂包括6个自由度，底部关节的转动角度范围为[-90°,90°]，其余关节的转动角度范围为[-180°,180°]，障碍物分布于机械臂的左右两侧，形成狭窄空间。规划问题就是在不与周围障碍物发生碰撞的前提下，寻找一条合适路径使得机械臂末端可以由图中所示的初始位置运动到目标位置。每一种方法的试验均进行40次取平均值作为最终结果。由表1可看出，与标准的采样规划算法rrt和rrt*相比，基于graphwae的学习方法的规划时间平均分别减少了33.4％和37.2％；对应的路径质量分别提高18.5％和14.2％；随着迭代次数的增加，基于graphwae的学习方法成功率也比标准rrt和标准rrt*有了较为明显的提高。这些结果表明，所提出的graphwae在不同基本算法上具有较好的适应性，可以有效地提高基准算法的规划性能(即规划时间、路径质量和成功率)。此外，与基于gmms学习方法相比，基于graphwae的学习方法在运行时间和路径质量方面表现更好。例如，与gmms-rrt和gmms-rrt*方法相比，基于graphwae的方法规划时间分别减少了17.6％和21.6％；在路径质量上，graphwae-rrt*比gmms-rrt*平均提高了14.7％；在成功率上，基于graphwae的方法比基于gmms的方法能在更短的时间内生成合格的规划路径，成功率更高。

表1不同方法的实验结果对比

实验2——12自由度双臂协作机器人运动规划，如图5所示。

表2不同方法的实验结果对比

由图5可知，整个实验场景运行在ros的moveit！平台，包括机器人系统、操作台和障碍物。机器人系统包括12个自由度(其余关节不考虑)，障碍物构成狭窄空间，会对机器人的双臂协同操作产生干扰。规划问题是寻找一条合适的协同运动路径，使得机器人的双臂可以由初始位置移动到目标位置且不与周围环境及障碍物发生碰撞。注意，其余设置均以moveit！平台默认设置。每种方法的测试次数为40次，取结果平均值作为最终的对比结果。由表2可看出，与标准rrt*算法相比，基于graphwae的学习方法所对应的路径质量平均提高了16.26％，对应的规划时间则减少了36.16％。此外，与基于gmms的方法相比，基于graphwae的方法在运行时间上平均减少38.1％，成功率上平均提高55.14％，路径质量上提高11.16％。这表明基于graphwae的方法具有更为优异的表征学习能力，可以提供更符合高维非障碍物区域采样分布的样本来避免碰撞检测，进而缩短实际规划时间，提高规划效率。

综上所述，graphwae方法具有更为优异的表征学习能力，在不同算法上展现了良好的的通用性，能有效地提高采样规划算法在复杂场景中的规划效率。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。