基于双目与三维点云的多姿态人形机器人环境导航方法与流程

本发明属于机器人视觉，具体涉及一种基于双目与三维点云的多姿态人形机器人环境导航方法。

背景技术：

1、近年来，随着人工智能的火热发展与软硬件协同对机器人控制系统的愈加完善，学术界与业界对人形机器人的研究也逐渐兴起。其中，导航问题是人性机器人的研究中的一个重点。

2、在通常情况下，我们使用全球定位系统gps进行导航，这个方法适用于在精度要求不高的情况下使用，并且需要人做为决策者来消除导航系统带来的误差。在一些更加复杂的情况下，gps无法提供精确的导航，例如，家庭环境、办公室环境等等私密度较高的环境。惯性导航系统虽然可以确定当前环境下的相对位置，但是其误差会随着时间累计，并且gps以及惯性导航系统都需要安装额外的硬件，例如惯性测量单元或者定位器等等。

3、使用人工智能和机器学习也可以实现导航系统，但其需要通过大量的数据进行训练，从而得出相应的路径。采用这个方法可以在一些场景取得很好的效果，例如在马路上预测交通拥堵的情况，帮助用户得到最优的路径。因此，这个方法被大量的应用到了汽车导航上。但是，在一些小场景下，并没有如此大量的数据来训练这个导航系统，并且目前所应用的导航系统，并没有考虑到人形机器人在结构上的可变性，人形机器人不仅可以直立行走，还可以弯腰，下蹲，甚至在可以预见的将来趴在地面行走。而在传统的导航系统下，下蹲甚至趴着等只有人才可以通过的路径通常情况下并不会显示。

4、因此，本发明研发出一种基于双目与三维点云的多姿态人形机器人环境导航方法，通过三维点云去精确的描述一个三维场景，使用机器学习以及三维点云，提供了一种解决多姿态人形机器人的路径生成问题的可行方法。

技术实现思路

1、发明目的：为了克服以上不足，本发明的目的是提供一种基于双目与三维点云的多姿态人形机器人环境导航方法，设计合理，在人形机器人只配备双目深度相机的情况下，采用机器学习以及三维点云解决多姿态人形机器人在复杂私密的环境下的路径生成问题，具有良好的发展性与拓展性，应用前景广泛。

2、本发明的目的是通过以下技术方案实现的：

3、一种基于双目与三维点云的多姿态人形机器人环境导航方法，包括如下步骤：

4、s1：输入场景重建点云；

5、s2：进行点云预处理，点云预处理后，输入人形机器人自身的信息，结合人形机器人自身的信息计算出人形机器人可通过的区域；

6、s3：提取地面的点云，并且将点云稀疏化，将点云映射成一个导航矩阵；

7、s4：在所述导航矩阵内部实现多姿态人形机器人复杂环境导航。

8、进一步的，上述的一种基于双目与三维点云的多姿态人形机器人环境导航方法，所述步骤s1，具体包括如下内容：

9、s11：输入整个场景的三维点云信息；

10、s12：对整个场景进行三维重建，得到场景的重建点云后，对点云坐标系进行修正，点云坐标系地面将地面平铺于x、y轴平面，整个场景均位于点云坐标系z轴正方向，现实空间坐标系地面同样将地面平铺于x、y轴平面，整个场景均位于现实空间坐标系z轴正方向；点云坐标系与现实空间坐标系的坐标原点位于地面的几何中心，点云坐标系的x轴最大坐标值为正负1，其余两条坐标轴按场景比例进行换算；

11、s13：设置场景对应点云坐标系x、y、z三个方向下的尺寸分别为、、，点云坐标系的坐标与现实空间坐标系的坐标有如下换算关系：

12、；

13、；

14、；

15、其中，、、分别为点云坐标系下的x、y、z的坐标点，、、分别为现实空间坐标系下的x、y、z的坐标点。

16、进一步的，上述的一种基于双目与三维点云的多姿态人形机器人环境导航方法，所述步骤s2的点云预处理，具体包括如下内容：对点云进行去噪、分割处理，对分割出来的点云进行边界提取，边界外为空间，边界内则为物体本身，在物体边界内部插入若干个点，保证物体内部任意两个点的距离小于人形机器人可通过空间的距离；其中，设置物体内部任意两点的距离为，为人形机器人可通过空间的最小距离，。

17、进一步的，上述的一种基于双目与三维点云的多姿态人形机器人环境导航方法，所述步骤s2的计算出人形机器人可通过的区域，包括如下内容：在平面上，可允许人形机器人通过的高度根据不同姿态的人形机器人而定，根据人形机器人不同姿态，设置人形机器人站立姿态、蹲着姿态可通过的高度分别为、，其中，为人形机器人自身的高度，、分别为人形机器人站立姿态、蹲着姿态可通过的高度与人形机器人自身的高度的线性系数；设置人形机器人站立姿态、蹲着姿态可通过的宽度分别为、。

18、进一步的，上述的一种基于双目与三维点云的多姿态人形机器人环境导航方法，所述步骤s2的计算出人形机器人可通过的区域，还包括如下内容：当人形机器人处于站立姿态的情况下，此时，地面与障碍物之间的距离为，在x、y轴形成的平面上、地面上障碍物之间的距离应满足：，；当人形机器人处于蹲着姿态的情况下，此时，地面与障碍物之间的距离为，在x、y轴形成的平面上、地面上障碍物之间的距离应满足：，。

19、进一步的，上述的一种基于双目与三维点云的多姿态人形机器人环境导航方法，所述步骤s2的计算出人形机器人可通过的区域，还包括如下内容：当人形机器人处于站立姿态的情况下，此时，地面与障碍物之间的距离为障碍物所形成点云离地面最近的点的坐标的 z 轴坐标，障碍物之间的距离为两个物体点云相距最近两个坐标点之间的水平距离，设置物体的边界点云点集为、，则地面与障碍物之间的距离的计算方式为：；此时，设置另一个物体的边界点云的点集为、，引入中间变量，为两个边界点云的点集内所有点之间的距离，如果两个边界点云的点集内各有n个点，则计算出的有个值，对两个边界点云的点集内所有的点采用如下公式进行计算：

20、；

21、当人形机器人处于蹲着姿态的情况下，其计算方式与人形机器人处于站立姿态的情况同理。

22、进一步的，上述的一种基于双目与三维点云的多姿态人形机器人环境导航方法，所述步骤s2的计算出人形机器人可通过的区域，还包括如下内容：筛选出满足以上条件的所有路径，即多个姿势下人形机器人可通过的路径后，对路径进行拼接，并且按优先级排序，计算出人形机器人可通过的区域。

23、进一步的，上述的一种基于双目与三维点云的多姿态人形机器人环境导航方法，所述步骤s3，包容如下内容：对点云进行再次处理，此时，仅需要点云坐标系的x、y轴所确定平面的点云，即对应地面的点云，这些点云的z轴对应的坐标为0，并且留下来的地面点云仅为人形机器人可通过的地面所对应的点云，对这些点云进行一个稀疏处理，将这些点云全部映射进一个导航矩阵。

24、进一步的，上述的一种基于双目与三维点云的多姿态人形机器人环境导航方法，所述步骤s3，还包括如下内容：根据点云的数量以及x、y轴最大坐标值的大小，来确定导航矩阵的大小，导航矩阵为0的区域对应点云坐标系里没有点，导航矩阵不为0的区域表示有点，即为人形机器人可通过的路径，根据路径优先级的不同，可将导航矩阵内的值设为不同的值；此处引入一个新的坐标系，矩阵坐标系，将导航矩阵的中心设为坐标原点，x、y轴分别为导航矩阵的横、纵方向；其中，为点云坐标系与矩阵坐标系的换算系数，为点云坐标系坐标，为矩阵坐标系坐标，为取整函数，此时，采用如下公式完成点云坐标系坐标到矩阵坐标系坐标的换算：

25、。

26、与现有技术相比，本发明具有如下的有益效果：本发明所述的基于双目与三维点云的多姿态人形机器人环境导航方法，设计合理，直接对点云进行处理，基于学界对于点云处理的方法不断更新的基础上，该方法具有良好的发展性与拓展性；在人形机器人只配备双目深度相机的情况下，不需要其余的硬件，在得到当前的场景以及机器人自身的参数后，采用机器学习以及三维点云解决多姿态人形机器人在复杂私密的环境下的路径生成问题；算法对点集进行了特定的处理，更加快速且节省性能，应用前景广泛。