一种用于机器人的时空超声波导航数据采集方法及系统

1.本发明涉及机器人自主导航技术领域，具体涉及一种用于机器人的时空超声波导航数据采集方法及系统。


背景技术：

2.当前各类不需要人工遥控、能够自主运行的移动机器人，如餐厅送餐机器人、快递物流机器人、家庭扫地机器人、宾馆引导机器人、医院消毒机器人等，都需要自主导航技术来实现机器人的自主运动。所谓机器人自主导航，即：机器人从当前位置出发，通过规划行驶路径，在不与周围目标发生碰撞的条件下自主到达目的地。具体来讲，自主导航技术一般包含建图定位、感知、规划、控制等子问题。
3.随着以深度学习为代表的人工智能技术的发展，人工智能技术也逐步应用到了机器人自主导航中技术中的各个子问题中，如：通过图神经网络实现机器人对其工作环境的建图定位；通过目标检测、目标跟踪等技术实现机器人对周围目标的感知，以避免碰撞；通过深度强化学习技术实现对机器人运动路径的实时规划；通过深度神经网络模型构建神经网络控制器，实现对机器人的运动控制。
4.而深度学习的基石，便是数据，只有采集足够的数据，制作成标准数据集，才能实现对深度学习模型的训练优化，进而完成相关机器人导航任务。
5.用于机器人自主导航的数据集可根据其使用的传感器类型进行大致分类，当前比较热门的便是通过摄像头采集的图像数据集和通过激光雷达采集的点云数据集。图像和激光雷达数据的优点是能够提供周围环境较为丰富的信息，图像提供2维信息(像素值)，激光雷达提供三维信息(三维点云)，但缺点是价格较贵。
6.超声波传感器因其结构简单，价格便宜，在上个世纪曾是机器人上的主要传感器，但随着时代的发展，因其所能提供的信息较少(单个超声波装置仅返回某一方向上的距离值)，目前已不再作为主流传感器使用，仅在实现机器人避障功能时少量使用。


技术实现要素：

7.(一)要解决的技术问题
8.针对上述问题，本发明提供了一种用于机器人的时空超声波导航数据采集方法及系统，用于至少部分解决传统机器人导航系统中传感器昂贵等技术问题。
9.(二)技术方案
10.本发明一方面提供了一种用于机器人的时空超声波导航数据采集方法，其中，机器人上设有至少一个超声波传感设备，方法包括：s1，获取机器人运动控制指令及数据采集控制指令；s2，根据机器人运动控制指令进行运动，并实时采集机器人运动时的状态信息及控制信息，得到连续时间段内的导航数据；s3，根据数据采集控制指令控制超声波传感设备采集连续时间段内的超声波数据；s4，将导航数据与超声波数据进行时空数据聚合，得到时空超声波导航数据。
11.进一步地，获取机器人运动控制指令包括油门、刹车、档位、转向，控制机器人的运动；获取数据采集控制指令包括开始采集或停止采集指令，控制采集程序的开始和停止。
12.进一步地，s2中采集的状态信息包括机器人所在的位置、航向，采集的控制信息包括机器人的线速度、角速度。
13.进一步地，s2具体包括：将机器人运动控制指令并转化为机器人可直接执行的线速度与角速度底层控制指令，控制机器人的运行。
14.进一步地，将机器人运动控制指令并转化为底层控制指令的方法包括：s201，将油门、刹车、转向记为比例系数p
gas
、p
brake
、p
steer
，数值范围为[0，1]，档位记为p
gear
，取值为{0，1，2，3}；s202，根据以下公式计算线速度：
[0015][0016]
其中，为当前时刻的线速度，为上一时刻线速度，为线速度允许最大值；
[0017]
s203，根据以下公式计算角速度：
[0018][0019]
其中，为当前时刻的线速度，为上一时刻线速度；
[0020]
s204，根据线速度与角速度底层控制指令包含的时间戳判断底层控制指令是否为同一时刻指令，若不是，则继续等待指令更新，直到获得同一时刻机器人运动控制指令；若是，则将底层控制指令发送给机器人。
[0021]
进一步地，s3中的超声波数据包括至少一个方向上的2d点云数据，通过如下公式进行单一时刻点云数据处理：
[0022][0023]
其中下标i为超声波序号，代表不同方向，d为欧几里得距离值，(x，y)为原始点云值。
[0024]
进一步地，s3、s4具体包括：s301，将点云数据处理后的超声波数据、状态信息及控制信息进行时间戳同步，将同一时刻采集的数据作为一个数据样本存储；s302，将连续时间采集的数据存入同一个文件，则该文件内的数据构成了连续时间段内的时空超声波导航数据；s401，重复s301、s302操作，将不同时间段内采集的时空超声波导航数据分别存入不同文件，采集结束后的所有文件构成了时空超声波导航数据集。
[0025]
本发明另一方面提供了一种用于机器人的时空超声波导航数据采集系统，包括：车辆控制节点，用于向数据采集节点发送机器人运动控制指令与数据采集控制指令；数据采集平台，用于根据机器人运动控制指令进行运动，并实时采集机器人运动时的状态信息及控制信息，得到导航数据；并根据数据采集控制指令控制超声波传感设备采集超声波数据；数据采集节点，用于获取机器人运动控制指令及数据采集控制指令，并向数据采集平台发送相应指令；以及将导航数据与超声波数据进行数据融合，得到时空超声波导航数据。
[0026]
进一步地，数据采集节点包括机器人控制子节点、数据处理子节点、数据采集子节点，机器人控制子节点用于将机器人运动控制指令并转化为底层控制指令，用于控制机器
人运动；数据采集子节点用于根据数据采集控制指令，控制超声波传感器的运行，并接收返回的超声波数据；数据处理子节点用于实时处理超声波数据和导航数据。
[0027]
本发明还有一方面提供了一种用于机器人自主导航的训练方法，包括根据前述用于机器人的时空超声波导航数据采集的方法构建时空超声波导航数据集，根据时空超声波导航数据集训练机器人自主导航的神经网络。
[0028]
(三)有益效果
[0029]
本发明实施例提供的一种用于机器人的时空超声波导航数据采集方法及系统，基于超声波传感设备，采集时空超声波导航数据，进而制作成标准数据集，训练基于时空超声波导航数据的神经网络控制器，可以实现机器人在室内环境下的自主导航。
附图说明
[0030]
图1示意性示出了根据本发明实施例用于机器人的时空超声波导航数据采集方法的流程图；
[0031]
图2示意性示出了根据本发明实施例导航数据与超声波数据进行时空数据聚合的方法流程图；
[0032]
图3示意性示出了根据本发明实施例用于机器人的时空超声波导航数据采集系统的结构示意图；
[0033]
图4示意性示出了根据本发明实施例机器人控制算法的流程图；
[0034]
图5示意性示出了根据本发明实施例时空超声波导航数据采集算法流程图；
[0035]
图6示意性示出了根据本发明实施例数据采集平台实物图。
具体实施方式
[0036]
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0037]
在介绍本发明的具体方案前，先解释与本发明相关的一些概念。
[0038]
时空数据：时空数据是同时具有时间和空间维度的一类数据。比如单帧图像，只包含了某一时刻环境的空间信息，而一段视频则包含了一段时间内环境的空间信息，从中便可以提取物体的运动信息。因此，时空数据比传统的空间数据或时间数据所包含的数据量更大，作用更大，但对应的，需要处理时空数据所需要的开销也更大，模型也更为复杂。
[0039]
ros：全称为robot operating system，是一种开源的机器人操作系统，现已被广泛使用。目前大多数的机器人均通过安装此操作系统并基于此操作系统开发相关算法，实现机器人的相关功能。
[0040]
所谓时空超声波导航数据集，便是包含了时空超声波数据和机器人导航数据的数据集。其中，时空超声波、时空超声波导航均为我们新提出的概念，其定义如下：
[0041]
1.单一时刻采集的超声波数据，称为超声波数据；
[0042]
2.将一段连续时间采集的超声波数据，通过特定的组织方式组织起来的超声波数据，称为时空超声波数据；
[0043]
3.机器人在运动过程中，其自身状态信息(位置、航向等)及控制信息(线速度、角速度)等，称为导航数据；
[0044]
4.将时空超声波数据与导航数据通过数据匹配组成的多条有效的可用于完成机器人导航任务的数据叫做时空超声波导航数据，多条数据共同构成了时空超声波导航数据集。
[0045]
我们认为，超声波传感器的潜力还有可能被进一步开发，即使仅使用简单廉价的超声波传感器，也有可能实现更为复杂的功能，如机器人的自主导航。我们在其他工作中探索了这种可能性，提出了通过构建时空超声波导航数据集，训练基于时空超声波导航数据的神经网络控制器，可以实现机器人在室内环境下的自主导航。综上，本发明主要关注如何采集制作标准的时空超声波导航数据集，用于后续完成机器人自主导航等任务。
[0046]
本发明的实施例提供了一种用于机器人的时空超声波导航数据采集方法，其中，机器人上设有至少一个超声波传感设备，请参见图1，方法包括：s1，获取机器人运动控制指令及数据采集控制指令；s2，根据机器人运动控制指令进行运动，并实时采集机器人运动时的状态信息及控制信息，得到连续时间段内的导航数据；s3，根据数据采集控制指令控制超声波传感设备采集连续时间段内的超声波数据；s4，将导航数据与超声波数据进行时空数据聚合，得到时空超声波导航数据。
[0047]
时空超声波导航数据采集方法主要根据数据采集指令，将原始超声波数据、车辆状态信息、车辆控制信息进行相应的处理，组织成时空超声波导航数据，并进行存储进而形成时空超声波导航数据集，其工作流程图如图2所示：检测数据采集指令，若开始采集则进入下一步，否则停在此步始终检测；分别接收带有时间戳的原始超声波数据(16个方向上的2d点云数据)、车辆状态信息(包括位置和航向角)、车辆控制信息(包括线速度和角速度)；进行单一时刻点云数据处理，通过下式计算16个方向上的欧几里得距离值；将上述三种数据进行时间戳同步，将同一时刻采集的数据作为一个数据样本存入csv文件，将连续时间采集的数据样本存入同一个csv文件，则此csv文件内数据，构成了某一时间段内的时空超声波导航数据。需要说明的是，这里以16个方向的超声波数据为例，并不限定于超声波传感设备只能为16个，任意个数的超声波传感设备均可行。
[0048]
在上述实施例的基础上，s1中获取机器人运动控制指令包括油门、刹车、档位、转向，控制机器人的运动；获取数据采集控制指令包括开始采集或停止采集指令，控制采集程序的开始和停止。
[0049]
通过油门、刹车可以控制机器人的线速度，即运动快慢；通过档位、转向可以控制机器人的角速度，即运动方向；通过四个运动控制指令即可控制机器人的自由运动。数据采集要么停止，要么开始，一旦开始数据采集，则同时获取超声波数据、车辆状态信息和车辆控制信息，超声波数据和导航数据共同构成了时空超声波导航数据。
[0050]
在上述实施例的基础上，s2中采集的状态信息包括机器人所在的位置、航向，采集的控制信息包括机器人的线速度、角速度。
[0051]
根据机器人目前所在的位置、航向以及目前的线速度、角速度，根据路径规划，得到下一步的运动速度和运动方向，控制机器人的自由运行。
[0052]
在上述实施例的基础上，请参见图5，s2具体包括：将机器人运动控制指令并转化为机器人可直接执行的线速度与角速度底层控制指令，控制机器人的运行。
[0053]
机器人控制算法主要负责将人类驾驶专家通过远程控制装置发布的高语义层级的机器人控制指令转化为机器人可直接执行的底层控制指令，并发布给机器人，实现对机
器人的控制。这里将“油门”、“刹车”、“档位”、“转向”四种指令，并将其转化为机器人可直接执行的底层控制指令，即“线速度”与“角速度”，控制机器人的实际运行。
[0054]
在上述实施例的基础上，将机器人运动控制指令并转化为底层控制指令的方法包括：s201，将油门、刹车、转向记为比例系数p
gas
、p
brake
、p
steer
，数值范围为[0，1]，档位记为p
gear
，取值为{0，1，2，3}；s202，根据以下公式计算线速度：
[0055][0056]
其中，为当前时刻的线速度，为上一时刻线速度，为线速度允许最大值；s203，根据以下公式计算角速度：
[0057][0058]
其中，为当前时刻的线速度，为上一时刻线速度；s204，根据线速度与角速度底层控制指令包含的时间戳判断底层控制指令是否为同一时刻指令，若不是，则继续等待指令更新，直到获得同一时刻机器人运动控制指令；若是，则将底层控制指令发送给机器人。
[0059]
将人类驾驶专家通过远程控制装置发出的控制指令作为程序输入；线速度控制器利用上述控制率，根据上一时刻线速度及当前时刻油门、刹车、档位值计算出当前时刻机器人线速度控制指令；角速度控制器利用上述控制率，根据上一时刻角速度及当前时刻档位和转向值计算出当前时刻机器人角速度控制指令；若判断线速度控制指令和角速度控制指令为同一时刻控制指令，则将同步后的控制指令发布给机器人控制器控制机器人运动，并同时发送给时空超声波导航数据采集算法，等待进一步处理。
[0060]
在上述实施例的基础上，s3中的超声波数据包括至少一个方向上的2d点云数据，通过如下公式进行单一时刻点云数据处理：
[0061][0062]
其中下标i为超声波序号，代表不同方向，d为欧几里得距离值，(x，y)为原始点云值。
[0063]
超声波数据包括多个方向上的障碍物反射回来的障碍物的位置信息，单个超声波装置仅返回某一方向上的距离值，通过在机器人上部署多个超声波传感设备，可以得到更为丰富的三维环境信息。超声波传感设备相对于通过摄像头采集的图像数据集和通过激光雷达采集的点云数据集来说，具有结构简单、价格便宜的优势。
[0064]
在上述实施例的基础上，请参见图3，s3、s4具体包括：s301，将点云数据处理后的超声波数据、状态信息及控制信息进行时间戳同步，将同一时刻采集的数据作为一个数据样本存储；s302，将连续时间采集的数据存入同一个文件，则该文件内的数据构成了连续时间段内的时空超声波导航数据；s401，重复s301、s302操作，将不同时间段内采集的时空超声波导航数据分别存入不同文件，采集结束后的所有文件构成了时空超声波导航数据集。
[0065]
将超声波数据和导航数据进行时间戳同步，将同一时刻采集的数据作为一个数据样本存入csv文件，将连续时间采集的数据样本存入同一个csv文件，则此csv文件内数据，
构成了某一时间段内的时空超声波导航数据；重复上述过程，将不同时间段内采集的时空超声波导航数据分别存入不同的csv文件，最终所有csv文件构成了时空超声波导航数据集。
[0066]
本发明的另一实施例提供了一种用于机器人的时空超声波导航数据采集系统，请参见图4，包括：车辆控制节点，用于向数据采集节点发送机器人运动控制指令与数据采集控制指令；数据采集平台，用于根据机器人运动控制指令进行运动，并实时采集机器人运动时的状态信息及控制信息，得到导航数据；并根据数据采集控制指令控制超声波传感设备采集超声波数据；数据采集节点，用于获取机器人运动控制指令及数据采集控制指令，并向数据采集平台发送相应指令；以及将导航数据与超声波数据进行数据融合，得到时空超声波导航数据。
[0067]
该系统主要由数据采集平台、车辆控制节点，数据采集节点三大模块构成，整个系统的运行过程如下：
[0068]
1.首先，在车辆控制节点中，人类驾驶专家(数据采集工程师)通过远程控制装置向数据采集节点发出数据采集控制指令与高语义层级的机器人运动控制指令。
[0069]
2.然后，在数据采集节点中，一方面机器人控制子节点将接收到的高语义层级的机器人运动控制指令转化为机器人可实际执行的底层控制指令，并发送给机器人控制器控制机器人运动；另一方面数据采集子节点根据接收到的数据采集控制指令，控制超声波传感器的运行，并接收返回的超声波数据，同时也将实时采集机器人状态信息及控制信息，形成导航数据。
[0070]
3.最后，数据处理子节点实时处理超声波数据及机器人导航数据，最终形成时空超声波导航数据，并存入数据存储设备形成时空超声波导航数据集。
[0071]
在上述实施例的基础上，数据采集节点包括机器人控制子节点、数据处理子节点、数据采集子节点，机器人控制子节点用于将机器人运动控制指令并转化为底层控制指令，用于控制机器人运动；数据采集子节点用于根据数据采集控制指令，控制超声波传感器的运行，并接收返回的超声波数据；数据处理子节点用于实时处理超声波数据和导航数据。
[0072]
机器人控制子节点：接收远程控制装置传来的车辆运动控制指令，即“油门”、“刹车”、“档位”、“转向”四种指令，并将其转化为机器人可直接执行的底层控制指令，即“线速度”与“角速度”，控制机器人的实际运行。具体控制逻辑参见机器人控制算法部分，如图5所示。
[0073]
数据采集子节点：通过接收远程控制传来的“开始采集”与“停止采集”指令，控制超声波数据的采集与停止，同时也将采集车辆运动状态与车辆控制信息。详见时空超声波导航数据采集算法，如图2所示。
[0074]
数据处理子节点：实时处理采集到的超声波数据、车辆运动状态数据和车辆控制数据，形成时空超声波导航数据，并存入数据存储设备。详见时空超声波导航数据采集算法，如图2所示。
[0075]
另外，车辆控制节点包括：人类驾驶专家，主要负责手动控制机器人在工作区域内运行，采集运行过程中的传感器数据、机器人运动数据、机器人控制数据，即机器人自主运行时所需要的导航信息；远程控制装置，一般为手动遥控装置，通过蓝牙或无线网络与机器人控制器相连接，将人类驾驶专家的控制指令与数据采集指令传达给机器人；数据采集控
制与车辆运动控制，数据采集控制通过向数据采集节点发送“开始采集”或“停止采集”两种控制指令，控制采集程序的开始和停止；车辆运动控制通过向机器人控制子节点发送“油门”、“刹车”、“档位”、“转向”四种指令，控制机器人的运动。
[0076]
数据采集平台包括：轮式移动机器人，一种通用的轮式移动平台，其中搭载了编码器、imu、陀螺仪等设备实时采集机器人运动状态，并搭载了一块nvidia tx2开发板用作机器人的控制器和数据处理设备；数据存储设备，一块机械硬盘，与tx2相连接，用于存储数据；超声波传感设备，总计包含16个超声波传感器，分布在机器人的四周，用于采集机器人本体在16个方向上的距离值。
[0077]
利用自主改装的pioneer3
‑
dx移动机器人作为数据采集平台，平台实物图如图6所示。
[0078]
本发明的还有一实施例提供了一种用于机器人自主导航的训练方法，包括根据前述用于机器人的时空超声波导航数据采集的方法构建时空超声波导航数据集，根据时空超声波导航数据集训练机器人自主导航的神经网络。
[0079]
通过构建时空超声波导航数据集，采集足够的数据，制作成标准数据集，训练基于时空超声波导航数据的神经网络控制器，可以实现机器人在室内环境下的自主导航。当然，未来时空超声波导航数据还有更多的可能性有待被开发。
[0080]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。