专利名称：基于Kinect摄像机的人机协作装置及方法
技术领域：
本发明涉及图像处理和目标跟踪技术，特别涉及一种安全的人机协作。
背景技术：
传统的研究人机交接系统，主要是依靠参与者来配合机器人的工作，而且要求试验者高度的集中精力，以免在实验的过程中发生危险，这样给试验者带来了很大的压力。一般的跟踪技术大都是基于二维图片技术来的，以前大多数利用HMM方法来识别人手的动作，Weinland等在2007年将HMM方法和三维建模结合起来识别人的运动，由于上述是基于2维空间即使没有干扰下精度也不是很高。Wu等在2007年利用RFID方法在试验者手腕贴标签的方法来跟踪和识别。常用来进行目标检测的方法主要有三种，包括背景相减法、光流计算法和帧差法。其中光流法的优势是在摄像机运动的情况下检测出独立运动的目标，但其抗噪性差且计算量较大，不适合实时处理；帧差法的优势是可以很好的适应动态环境，但由于位置不准确，不能很好的提取出运动目标的所有相关点；传统的背景相减法首先要在没有目标出现的场景中提取一个背景模型，并保存为背景图像，然后将当前帧与背景模型相减。如果象素值相减的结果大于某一特定值(即阈值)，则可确定该象素点是运动目标上的某点，否则属于背景图像。背景相减法得到的结果可以确定出目标的位置以及形状等信息，然而此方法对外界环境比如光线、天气等的变化比较敏感，同时容易受到目标运动过程阴影的影响。传统的路径规划算法有多边形拟合法、栅格法、人工势场法、遗传算法等。但这些方法都需要在个确定的空间内对障碍物进行建模，计算复杂度与机器人自由度呈指数关系，不适合解决多自由度机器人在复杂环境中的规划。新的基于快速扩展随机树(RRT)的路径规划算法，通过对状态空间中 的采样点进行碰撞检测，避免了对空间的建模，能够有效地解决高维空间和复杂约束的路径规划问题。该方法的特点是能够快速有效地搜索高维空间，通过状态空间的随机采样点，把搜索导向空白区域，从而寻找到一条从起始点到目标点的规划路径，适合解决多自由度机器人在复杂环境下和动态环境中的路径规划。但是，基于关节空间的RRT方法有以下的不足:1.基于关节空间的RRT法无法解决CP(Continue-path_problem,连续路径问题)问题和准CT问题(quas1-continuoustrajectory problem,即仅部分限定末端执行器的运动轨迹)。2.基于关节空间的RRT法无法预知机械臂末端执行器运动轨迹，造成末端执行器运动与关节运动分离，不利于任务的完成。总的来说，如果需要控制或者约束机械臂末端执行器的运动轨迹，基于关节空间的RRT法是无能为力的
发明内容
针对上述问题，本发明所涉及的一种基于KinecU 摄像机的人机协作的装置及
其方法，可以精确的对空间位置进行定位，可通过人体骨骼的提取方法可以容易的获取人体信息，可通过图像计算中的聚类方法可以精确的得到目标物的位置信息，可利用基于工作空间的快速扩展随机算法可以得到较好的壁障效果，可以为双臂机器人协作打下基础。本发明为了实现上述目的，可以使用以下方案:
本发明提供了一种与试验员协作从而实现对目标物进行跟踪和协作的人机协作装置，其特征在于，具有:至少I个机械手，用于抓握目标物；至少I个机械臂，机械臂的底
部为基座，机械臂的末端安装有机械手;至少I个Kinecti)摄像机，对空间位置进行立体
定位，采集彩色图像信息、深度图像信息和试验员的骨骼信息；至少I个棋盘格，用于标定机械臂末端的位置；以及至少I台计算机，其中，计算机用于处理彩色图像信息、深度图像信息和骨骼信息，处理空间位置的相互关系，实现对目标物进行跟踪和与试验员进行协作，计算机与机械臂通过控制器局域网络总线连接，并且控制机械臂的运动与机械手的运动。本发明所涉及的人机协作装置所实现的人机协作的方法，其特征在于，具有以下步骤:将基座的中心点作为三维空间坐标系的基准点建立基准坐标系，将末端作为中心点
建立末端坐标系；采用Kirmcl. 摄像机发射红外激光，采集彩色图像信息和深度图像信息，然后对空间位置进行立体定位，从而建立以K inocU 摄像机为中心点的Rineet 摄像机坐标系；将棋盘格安装在末端，采用Kineet 摄像机采集棋盘格的格点的彩色图像信息和深度图像信息,得到棋盘格在Kinect 摄像机坐标系的坐标位置，从而标定末端在Kineet 摄像机坐标系的坐标；采用Kinect+ 摄像机发射红外激光识别目标物和试验员的运动，Ki'nuct+ 摄像机将采集的骨骼信息，实现对目标物和试验员的人体骨骼的跟踪，
快速获取试验员的手腕位置，定位目标物的大致位置信息；采用Kinect 摄像机获取目标
物周围的彩色图像信息和深度图像信息，采用计算机基于目标物周围的彩色图像信息和深度图像信息通过图像处理技术中的聚类算法提取试验员手中目标物的坐标位置信息；采用
计算机将基准坐标系,末端坐标系和Kinect 摄像机坐标系相互之间通过旋转矩阵和平
移矩阵的方法统一到一个坐标系中；采用计算机根据末端相对于基准坐标系的坐标位置、姿态和速度关系，并根据平移矩阵，旋转矩阵和速度矩阵的参数，精确控制机械臂的坐标位置、姿态、速度；采用计算机根据目标物的坐标位置，调整末端姿态使得机械手靠近目标物，并完成机械手对目标物的抓取。
在本发明所涉及的人机协作方法，计算机对机械臂的运动进行基于工作空间的快速扩展随机树路径规划算法，先确定机械臂末端的运动路径，然后确定机械臂各个关节的运动路径。发明效果本发明提供的人机协作的装置及方法，其具有:机械臂，机械手，KinocU 摄像
机，棋盘格以及计算机。通过Kinect 摄像机可以对空间位置进行精确定位，并通过获得
人体骨骼运动的节点和聚类的图像处理技术，快速确定目标物的精确位置，解决了抗噪性差、计算量较大和定位不准确的问题，同时不容易受到目标物运动过程阴影的影响，利用基于工作空间的快速扩展随机数路径规划算法，模拟了人的手臂的运动规律，适合解决多自由度机器人在复杂环境中的规划。
图1是人机协作装置的示意图。图2是人机协作装置中Power Cube模块化机械臂通讯结构图。图3是人机协作装置中Barrett Hand机械手的外形及尺寸图。图4是人机协作装置中Kinect, 及其图像坐标系与各坐标系的变换关系图。图5是人机协作装置中Kinect 人体骨骼检测流程图。图6是8 X 8棋盘格标定示意图。图7是Kinect 人体骨骼检测示意图。图8是基于工作空间的快速扩展随机树路径规划算法(RRT算法)节点扩展过程示意图。具体实施方法以下结合附图对本发明涉及的一种基于Kinect 摄像机的人机协作装置及方法
的优选实施例做详细阐述，但本发明并不仅限于该实施例。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了就具体的细节。图1为人机协作装置的示意图。如图1所示，本发明所涉及的人机协作装置包括了Kinect 摄像机101，计算机
102，模块化机械臂103，以及机械手104。在以Kinoct 摄像机为中心点建立了摄像机坐
标系，以位于机械臂底部的基座的中心为中心点建立基准坐标系，计算机通过控制器局域网络总线(CAN)对机械臂的姿态，速度和运动轨迹进行规划和控制。
图2为人机协作装置中Power Cube模块化机械臂通讯结构图。如图2所示，本发明所涉及的机械臂是德国Schunk公司开发并生产七自由度机械手臂，由7个完全独立的PowerCube模块组合而成，每一个关节模块都是完全独立的运动单元。所有的模块都通过CAN总线与控制计算机相连，模块之间采用串行通讯接口，这个接口传递所有的运动控制、参数设置以及监控命令。采用CAN通讯可增加其抗干扰能力，而工控机一般只有PCI插槽，通过转接卡可将CAN信号直接传递给工业控制计算机，电源系统采用自保护电路，提供驱动电源与逻辑电源。该计算机可以通过控制每个Power Cube模块来实现对机械臂运动姿态、速度和运动轨迹进行规划和控制。图3为人机协作装置中Barrett Hand机械手的外形及尺寸图。如图3所示，该机械手为美国Barrett Technology公司生产的BH8.280灵巧手，该灵巧手是一个可编程的多手指抓持器，功能强大，结构紧凑，具有非常高的灵活性，可以抓取不同形状、大小及姿态的目标物体，并且手指和手掌表面有压力传感器，可以用于目标物抓取好坏的判断。图4为人机协作装置中Kinect 及其图像坐标系与各坐标系的变换关系图。如图4所示，KInccI 摄像机是微软公司推出的一款用于X-B0X360的体感摄像
机。使用Kinoct 摄像机，我们可以获得一幅分辨率为640*480的RGB彩色图像和一幅与
之对相应的深度图像。利用获得的深度信息，我们可以通过转换得到相应环境的3D模型，此时的三维坐标系为世界坐标系E2，转换后的三维坐标系如图4，原点为摄像机所在位置，Z轴正方向为摄像机正前 方，为摄像机坐标系E2。KI nect 摄像机的标定及坐标系之间的转换:由于Kinect 摄像机可安放在环
境中的任意位置，在环境中选择一个坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系El。它由1&1 、71^1 、21 ￥1 轴组成。摄像机坐标系E2与世界坐标系El之间的关系可以用旋转矩阵R与平移向量T来描述。空间中某一点P在世界坐标系与摄像机坐标系下的齐次坐标如果分别是X= (xw，yff, zff, I)τ与X= (X，y, z, 1)τ,于是存在如下关系:
卜] [.'▼ I, =[, T1 =MJ⑴
z L0 1J -卜其中，R为3X3正交单位矩阵；T为三维平移向量；0=(0，O, 0)τ ；Μ2为4X4矩阵。从世界坐标系El到图像坐标系Ε5的完整变换可以分如下步骤进行:物点从世界坐标系El到摄像机三维坐标系Ε2的平移矩阵T和旋转变换矩阵R中的外参数共有6个,它们是相应于R的用欧拉角表示的侧倾角Φ、俯仰角Θ、旋转角沪,以及相应于平移矢量T的三个分量Tx，Ty，Τζ。旋转矩阵R可以表示为Φ、Θ、-的函数。
权利要求
1.一种与试验员协作从而实现对目标物进行跟踪和协作的人机协作装置，其特征在于，具有: 至少I个机械手，用于抓握所述目标物； 至少I个机械臂，所述机械臂的底部为基座，所述机械臂的末端安装有所述机械手； 至少I个Kinect 摄像机，对空间位置进行立体定位，采集彩色图像信息、深度图像信息和所述试验员的骨骼信息； 至少I个棋盘格，用于标定所述末端的位置；以及 至少I台计算机， 其中，所述计算机用于处理所述彩色图像信息、所述深度图像信息和所述骨骼信息，处理所述空间位置的相互关系，实现对所述目标物进行跟踪和与所述试验员进行协作，所述计算机与所述机械臂通过控制器局域网络总线连接，并且控制所述机械臂的运动与所述机械手的运动。
2.一种用根据权利要求1所述的人机协作装置实现人机协作的方法，其特征在于，具有以下步骤: 将所述基座的中心点作为三维空间坐标系的基准点建立基准坐标系，将所述末端作为中心点建立末端坐标系； 采用所述摄像机发射红外激光，采集彩色图像信息和深度图像信息，然后对所述空间位置进行立体定位，从而建立以Kinecti)摄像机为中心点的Kinecti 摄像机坐标系； 将所述棋盘格安装在所述末端，采用所述Kinect 摄像机采集所述棋盘格的格点的彩色图像信息和深度图像信息，得到所述棋盘格在所述KinccI 摄像机坐标系的坐标位置，从而标定所述末端在所述K incc I 摄像机坐标系的坐标； 采用所述Kinccl 摄像机发射红外激光识别所述目标物和所述试验员的运动，所述Kinecte摄像机将采集的所述骨骼信息，实现对所述目标物和所述试验员的人体骨骼的跟踪，快速获取所述试验员的手腕位置，定位所述目标物的大致位置信息； 采用所述Kinect 摄像机获取所述目标物周围的彩色图像信息和深度图像信息，采用所述计算机基于所述目标物周围的彩色图像信息和深度图像信息通过图像处理技术中的聚类算法提取所述试验员手中所述目标物的坐标位置信息；采用所述计算机将所述基准坐标系，所述末端坐标系和所述Kinec I 摄像机坐标系相互之间通过旋转矩阵和平移矩阵的方法统一到一个坐标系中； 采用所述计算机根据所述末端相对于所述基准坐标系的坐标位置、姿态和速度关系，并根据平移矩阵，旋转矩阵和速度矩阵的参数，精确控制所述机械臂的坐标位置、姿态、速度； 采用所述计算机根据所述目标物的坐标位置，调整所述末端姿态使得所述机械手靠近所述目标物，并完成所述机械手对所述目标物的抓取。
3.根据权利要求2所述的人机协作方法，其特征在于: 所述计算机对所述机械臂的运动进行基于工作空间的快速扩展随机树路径规划算法，先确定所述机械臂 末端的运动路径，然后确定所述机械臂各个关节的运动路径。
全文摘要
本发明主要基于近期微软公司推出的一款Kinect 的体感摄像机，来实现人体目标的检测和跟踪，本文利用Kinect 的人体骨架检测技术能精确判断出目标物的位置以及试验者的意图，避免交接时候出现危险，而且提出了基于工作空间的RRT算法来实现路径规划。通过反复试验验证本系统可以安全的进行人际交接。
文档编号B25J9/16GK103170973SQ20131010325
公开日2013年6月26日 申请日期2013年3月28日 优先权日2013年3月28日
发明者黄诚, 胡彩虹, 贺波, 许伟明, 张磊, 朱记全, 邱展辉, 张大庆 申请人:上海理工大学