基于人体姿态识别的ROS平台在线机械臂示教系统的制作方法

本发明设计一种在线机械臂示教系统，尤其是一种基于人体姿态识别的ros平台在线机械臂示教系统。

背景技术：

近年，我国机器人行业飞速发展，以长三角、珠三角地区城市为首，全国已有36个城市将机器人作为当地产业发展重点，财政补助额度大幅增长。浙江省省级财政已累计安排近6亿资金支持“机器换人”技术改造，出台工业机器人购置奖励补贴政策，省与地方1:2配套，购置工业机器人按价格10％补贴。根据预测，2020年我国工业机器人本体的市场规模将达到380亿元。《机器人产业发展规划(2016-2020年)》指出，到2020年，我国工业机器人使用密度将超过150台/万人。

目前我国机器人行业主要集中在机器人本体和继承端。工业机器人的编程软件主要由国外企业开发，价格昂贵且对中文的支持也不好等劣势极大地阻碍了我国“机器换人”技术改造。目前机器人的示教方式主要有离线示教、虚拟示教及直接示教三种。其中离线示教对操作人员的技术水平要求较高；虚拟示教需要先构建复杂的作业环境，操作繁琐且成本较高；直接示教虽然操作简单、成本低，但无法用于高精度作业。因此一款灵活精确且具有普遍推广性的机器人示教系统是目前工业机器人市场所缺乏的，极具实用意义。

相较与传统的机器人示教系统，如申请号201710396562.6设计的对机械臂的主从模式示教系统，该示教系统要求操作人员拖动主控机械臂使从动机械臂按照主控机械臂示教轨迹运行，虽然能很好的适用于非重复性和实时控制要求较高的工作，但由于操作人员与机械臂直接接触而存在一定安全隐患。本发明通过人体进行示教，操作人员只需穿戴相应的传感器，上位机通过传感器获取人体运动的实时轨迹信息向机械臂发出控制指令使之进行相同的动作，不存在安全隐患，可远程在线示教，且示教过程更加简单。申请号201711088599.9设计的基于手势控制的机械臂示教系统也采用了对工作端安装传感器来获取运动信息的方式，但控制精度不高。

技术实现要素：

本发明要克服现有技术的上述缺点，提出一种基于ros开发的新型机器人示教系统。

本发明通过基于视觉和imu的人体动作捕捉技术来进行示教，让机器人的使用变得更加方便灵活，提高示教效率，降低系统成本的同时也保证了机器人动作再现的精度，让机器人能够运用于更多场景，以达到可以使用一个特定的示教系统用极低的价格解决机器人示教问题。

本发明为解决现有技术问题所采用的技术方案是：

一种基于人体姿态识别的ros平台在线机械臂示教系统，搭建在开源机器人操作平台ros之上，包括：用于采集人体姿态数据的imu模块、图像预处理模块以及关节识别模块，用于求解人体实时姿态与位置的人体姿态求解模块，用于控制机械臂动作的机器人行为决策模块与机器人io模块；其中，机器人决策模块根据求得的人体姿态数据发出控制指令，该控制指令通过机器人io模块发送至机械臂以实现实时示教；

imu模块，用于对imu传输给上位机的信息进行解析，解析完成后把测量数据转换至参考坐标系下，并将加速度信息和旋转信息提供给人体姿态的优化求解器中。

图像预处理模块，用于确定参考坐标系的位置，并将参考坐标系发布至tf空间中。tf(transformframe)是软件库，它可以处理机器人不同位置坐标系，机器人不同部位和世界的坐标系以treestructure的形式存储起来，tf可以使任何两个坐标系之间的点和向量相互转化。此外，该模块还用于为关节识别模块提供各个相机的彩色图像在降采样并拼接后的图像，并将图像发布给关节位置识别模块。

关节位置识别模块，用于对所有画面中的人物的关节位置进行位置识别，通过对从预处理模块中获得的多个相机的拼接图像进行识别，使得同一画面即使出现多人的情况下也不会明显的降低算法的性能。通过对输出的结果进行置信度过滤，并去除与上一帧识别结果相差过大的对象，最后将唯一剩余的对象的关节数据发布给人体姿态求解模块。

信息显示模块，用于实时显示3d的人体姿态和机器人姿态，同时能够将人体姿态模块求解的三维姿态结果重新投影至相机拍摄的图像中，以便操作人员观察自身姿态识别是否正常。同时，该模块也会显示机器人的行动目标，以此操作人员可监控示教状态。

人体姿态求解模块，用于接收imu模块和关节位置识别模块提供的信息并解算重构出人体的姿态，在每一帧信息求解结束后会将人体的姿态和位置信息以参考坐标系为准发布至tf空间中。

机器人行为决策模块，用于根据tf空间中机器人自身与周边操作人员的情况来进行行为决策，给出机器人的运动目标，并向机器人io模块发出控制指令。此外该模块也会对操作人员不合理的指示进行过滤或重新定向，并向操作人员发出提示或警告。

机器人io模块，用于求解机械臂基座位姿态，并通过正运动学求解，向tf空间实时发送机器人的空间运动状态。此外，该模块也提供了控制机器人的接口，对机器人的控制指令可以通过该模块进行实际的执行。

优选地，所述的imu模块提供的旋转信息、加速度信息和关节识别模块提供的2d关节位置信息共同用于该系统中人体姿态的解算。

优选地，所述的信息显示模块通过接收人体姿态求解模块和机械臂io模块提供的信息可反馈给操作者自身的动作姿态和机械臂再现的姿态，为操作者实时监控示教系统搭建了平台，增强了系统的可靠性，安全性。

选有的，所述的机器人行为决策模块内置控制算法以实现平滑运动。同时可对不合理操作指示进行过滤或重新定向，并向操作人员发出提示或警告。

本发明的优点和积极效果是：

本发明使用的示教者动作捕捉为视觉数据采集和imu信息采集相结合的技术，视觉和imu的结合既削减了只使用imu人体捕捉的线性加速度易造成的误差，提高了示教系统的精确度，又保留了imu人体捕捉技术低成本、高效率、高灵活度的优点。较之于离线示教和虚拟示教，示教者只需要在相机下佩戴imu惯性测量单元执行示教动作即可完成整个示教过程，降低了操作人员的技术水平要求和系统成本，具有简单、高效、低成本的特点。相比于直接示教，该技术使用了2d关节位置信息、旋转信息和加速度信息共同计算人体姿态，因此具备高精度、操作环境限制小的优势，使得该系统在绝大部分场合都能成功进行示教。

本发明的技术、算法具有横向领先型，涵盖了机器人标定算法、数据采集技术、人体姿态识别和动作捕捉技术，并将研究成果集成于机器人中，搭建成一个完成的机器人示教系统。多种算法融合了经典的传统算法和新颖的深度学习算法，不仅拥有较高的检测率，还具备较强的实时性和智能交互性。

本发明能够让机器人通过视觉学习作业人员的行为来完成轨迹规划，避免了繁琐的离线编程以及对作业人员的编程能力，仅需要一名富有经验的操作人员完成一遍动作即可，缓解了急缺人才资源的社会问题。

附图说明

图1是本发明的系统框图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

一种基于人体姿态识别的ros平台在线机械臂示教系统，如图1所示，包括彩色摄像机microsoftkinectv2两台，基于jy901和蓝牙模块制作的imu五个，安装ubuntu系统的计算机一台，universalrobot公司生产的ur5机械臂一台。相机与计算机通过usb连接传输数据，imu与电脑通过蓝牙进行数据传输，机械臂通过局域网与计算机相连接。本系统中计算机的cpu使用intelcorei7-7800k3.50ghz，gpu使用的是nvidiatitanxp。

结合图1，本发明专利的原理及使用过程如下：

图像预处理模块首先将被彩色相机识别的ar标识arucomarker#0作为整个系统的参考坐标系和imu的参考坐标系。然后操作者可根据自己需要跟踪的骨骼需求对肢体进行imu的粘贴，在本实例中，操作者在背部，上臂和手背分别粘贴了imu，用于估计上肢的姿态。在开始采集操作者的姿态信息前，操作者需要按照预先设定的姿势站立来进行一次对imu和跟踪骨骼之间固定的旋转变换的标定；在标定过程中，操作者的站立方向需与参考坐标系的方向一致以保证加速度信息能被正确的利用。imu通过蓝牙以16进制数据包的形式向上位机发送测量数据，上位机将数据解析后将数据传输到人体姿态求解模块中。关节位置识别模块使用了cpm(convolutionalposemachine)对预处理模块输出的图像中的人体关节位置进行识别，并将关节位置信息输出至人体姿态求解模块。人体姿态求解模块结合imu模块和关节位置识别模块输出的信息，对人体姿态进行求解。这之后人体姿态求解模块的结果将通过tf空间传递到机器人行为决策模块当中，通过已知的人体姿态，用逆运动学解出需要向机械臂发送的示教指令，通过io模块的输出后实现示教。其中该流程中的信息显示模块可以接收人体姿态求解模块和机器人io模块的信息，以此向操作者显示自身姿态在ros平台上求解后的变化和机器人最终执行的真实示教动作，如图1所示。

要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他等同实施方式，同样属于本发明的保护范围。