专利名称：以用户手部命令控制机器人的方法
技术领域：
本发明涉及一种控制机器人的方法，尤其是涉及一种以用户手部命令控制机器人的方法。
背景技术：
手势是一种符合人类日常习惯的人机交互媒介，以人手直接作为计算机系统的输入设备，可以通过预先定义的特定手势来对周围的事物进行控制。手势是人手或者手和臂结合产生的各种姿势或动作，包括静态手势(指姿态，单个手形)和动态手势(指动作，由一系列姿态组成)。随着计算机视觉技术在各个领域的应用日益广泛，如何实现自然和谐的人机交互成为备受关注的研究热点，相关研究包括面部表情识别、手势辨识、头部运动跟踪以及背影识别等。其中，手势辨识作为高级人机交互系统的关键技术，在计算机视觉、视频会议、机器人等领域有着广阔的应用前景。随着计算机技术的发展，人机交互技术也越来越多地受到人们的重视，国内外已有许多学者从不同的角度、不同的层次对手势识别及其应用进行了研究，其中，Lee、Kim的论文比较经典，详细地介绍了所提出的手势识别方法，其识别达到了 93. 14%。Triesch给出了识别指向和手势的服务机器人，但其能够识别的动作较少。美国CMU机器人实验室给出了一种能按手势做出简单动作的清扫机器人。目前，针对手势识别的人机交互的研究主要侧重于皮肤颜色建模、连续动态手势的基于图像属性的鲁棒特征提取等。
发明内容
本发明的目的在于提供一种以用户手部命令控制机器人的方法，该方法利用摄像头对用户当前整体动作中手部位置进行识别，在日常生活中为人们提供便利。本发明采用的技术方案的步骤如下
1)机器人头部的摄像头将当前用户的整体动作图像拍摄下来，作为图像信号传送给机器人体内的信号识别装置；
2)信号识别装置接收到整体动作图像信号后，对整体动作图像信号进行识别，判断整体动作图像上用户的手位于哪个位置，脸部、腰部、脚部或者自然垂下，判断完以后将整体动作图像信号发送给机器人体内的信号转换装置；
3)信号转换装置接收到整体动作图像信号后，信号转换装置将整体动作图像信号转换成数字信号，又传输给机器人的主控芯片；
4)主控芯片接收数字信号后，对该数字信号进行判断，确定该数字信号的代表意义，读取相应的运动轨迹，随后向机器人执行装置发送执行的数字信号；
5)执行装置接收到数字信号后就执行用户需要的指令。所述步骤1)中的机器人头部的摄像头，能捕捉用户当前的动作图像，以用户当前的手部位置控制不同功能的执行。所述步骤2)中的整体动作图像中，识别系统运用图像识别判断出用户手部所处的区域，以整体动作图像中用户当前的手部所处位置来作为主控芯片中各指令的输入信号，从而执行不同的指令动作。 所述步骤4)中的相应的运动轨迹是预先设定的，脸部、腰部或者脚部的指令具有各自不同的运动轨迹，以防止机器人执行指令出错；机器人沿运动轨迹获得目标物体后必须能沿原轨迹返回，回到用户面前。所述步骤5)中的执行装置，即本体结构，其一只手臂具有7个运动自由度，一条腿具有5个自由度，能稳定行走和夹持各种物品。本发明具有的有益效果是
该机器人包括头部，手臂，躯干和腿部等结构，具有丰富的自由度，机器人头部的摄像头输入用户当前的图像，随后识别装置对图像中用户手的位置进行识别，从而控制机器人读取相应轨迹，完成相应功能。这种机器人可用用户手部命令控制，在日常生活中可为人们提供便利。
图1是本发明机器人的总控制图。图2是机器人主控芯片atmega32单片机最小系统原理图。
具体实施例方式下面结合附图和实施例对本发明做进一步说明 参照图1所示，本发明的步骤如下
1)机器人头部的摄像头将当前用户的整体动作图像拍摄下来，作为图像信号传送给机器人体内的信号识别装置；
2)信号识别装置接收到整体动作图像信号后，对整体动作图像信号进行识别，判断整体动作图像上用户的手位于哪个位置，脸部、腰部、脚部或者自然垂下，判断完以后将整体动作图像信号发送给机器人体内的信号转换装置；
3)信号转换装置接收到整体动作图像信号后，信号转换装置将整体动作图像信号转换成数字信号，又传输给机器人的主控芯片；
4)主控芯片接收数字信号后，对该数字信号进行判断，确定该数字信号的代表意义，读取相应的运动轨迹，随后向机器人执行装置发送执行的数字信号；
5)执行装置接收到数字信号后就执行用户需要的指令。所述步骤1)中的机器人头部的摄像头，能捕捉用户当前的动作图像，以用户当前的手部位置控制不同功能的执行。所述步骤2)中的整体动作图像中，识别系统运用图像识别判断出用户手部所处的区域，以整体动作图像中用户当前的手部所处位置来作为主控芯片中各指令的输入信号，从而执行不同的指令动作。所述步骤4)中的相应的运动轨迹是预先设定的，脸部、腰部或者脚部的指令具有各自不同的运动轨迹，以防止机器人执行指令出错；机器人沿运动轨迹获得目标物体后必须能沿原轨迹返回，回到用户面前。所述步骤5)中的执行装置，即本体结构，其一只手臂具有7个运动自由度，一条腿具有5个自由度，能稳定行走和夹持各种物品。机器人的一只手臂 有7个自由度，其中，手上有两个手指，每个手指有两个转动自由度，手腕有一个转动自由度，肘部和肩上各有一个转动自由度；一条腿有5个自由度，脚踝处有两个转动自由度，膝盖处有两个转动自由度，髋部有一个转动自由度。摄像头捕捉到的整体动作图像信号必须经过信号转换系统变成数字信号，成为主控芯片的输入信号。机器人由执行装置、主控芯片、输入装置、信号识别装置和信号转换传输装置组成。输入装置主要是机器人头部的摄像头，它能拍下用户当前的手部运动状况形成图像信号，以此控制主控系统，是人机交互的主要工具。此处采用的是CCD摄像头，CCD是一种半导体器件，能够把光学影像转换为数字信号。信号识别装置是确定输入信号代表意义的重要部分，它能确定图像中用户手部的位置，并将这个信息“告诉”主控系统，确保其能理解用户的用意。信号转换传输装置是信号从输入装置到主控系统的通道，信号转换装置将输入的图像信号转换成数字信号，然后通过传输装置传给主控系统，即摄像头中的CCD。信号转换传输装置是机器人系统中极其重要的一部分，是信号传输的主要通道。主控芯片是机器人的主要控制部分，控制着机器人执行装置的动作，通过输入信号实现机器人与操作者的交互。其中，主控芯片的内存单元中必须包括信号数据理解库，以对输入的信号进行识别。输入的信号在信号数据理解库中与其中的信号进行比对，确定其代表意义后主控系统就向相应的执行装置发出执行命令。此处采用的是atmel公司生产的atmega32系列，该单片机性能高，运转速度快，适用于一般模块化机器人的主控芯片，其最小系统原理图见图2所示。执行装置主要就是机器人的本体结构，包括了机器人的头部、躯干、手部、腿部结构和各运动关节。执行装置是执行各个指令的最终单元，决定着命令的实现与否及执行是否到位。该机器人通过检测用户手部所处的位置来决定执行哪条指令。若判断出用户的手在脸部位置，代表用户要洗脸，机器人去拿毛巾；若判断出用户的手在腰部位置，代表用户要休息，机器人去拿靠枕；若判断出用户的手在脚部位置，代表用户要出门，机器人去拿鞋； 若判断出用户的手自然垂下，则无输入信号。用户的手不可能每次都放在同一位置，只能每次判断一个大概的位置，因此机器人判断用户手部所处位置时，位置是有一定范围的，例如只要手在头部上就算是在脸部位置，只要在上半身就算是腰部位置的命令。这里，为保证机器人的指令顺利实现，机器人的轨迹都已预先在程序中设定，即机器人的轨迹是定的，故用户需要的东西必须放置在固定位置，确保机器人能拿到东西。另夕卜，为了防止机器人出现拿错东西的情况，在设定时，几条运动轨迹是不同的，即不同的物品放在不同的位置。另外，机器人的躯干上装有电源开关，当机器人执行完用户的指令后，为防止用户的随意的动作对机器人造成错误的指令，用户可将电源开关关掉，等要执行下一次指令时再将开关打开。
例如用户早上起床后，想要机器人拿来毛巾，用户就将手放在脸部位置。机器人头部的摄像头将用户当前的图像拍下，形成了图像信号。此时机器人的信号识别系统要对图像信号进行识别，确定图像中用户手部所处的位置是脸部，并将这一识别结果发给信号装换装置。识别后的信号来到信号转换装置，经转换装置变为主控芯片可接收的数字信号，数字信号又通过信号传输装置传给了主控芯片，主控芯片接收数字信号后，先对在信号理解数据库中比对输入信号与数据库中的信号，确定该输入信号的代表意义是拿毛巾。随后，主控芯片发送特定信号给执行装置，执行装置确定该命令下机器人的运动轨迹，按照事先设定的路线轨迹来到物品放置的位置取得毛巾，然后又按照原定路线返回原来的位置，将取得的物品交给用户。 又例如用户在工作一段时间后想要休息一会，想要机器人拿来靠枕，用户就将手放在腰部位置。同样，机器人的摄像头能捕捉到用户的动作图像，形成图像信号。图像信号经图像识别装置的识别，可判断出用户的手处于腰部位置，识别装置将这一信息包含在信号中然后把信号传输给信号转换装置，信号转换装置将图像信号变换为数字信号以便主控芯片的识别，数字信号又通过信号传输装置来到主控芯片。主控芯片中包括有信号理解数据库，故先将数字信号在信号理解数据库中进行比对，确定图像识别的结果是手部位于腰部位置，而这代表着用户想要靠枕。随后，主控芯片发出数字信号给执行装置，执行装置确定该数字信号下的运动轨迹，并按该轨迹到达特定的物品放置位置取得靠枕，取得物品后按原轨迹返回将靠枕交给用户。
权利要求
1.一种以用户手部命令控制机器人的方法，其特征在于该方法的步骤如下1)机器人头部的摄像头将当前用户的整体动作图像拍摄下来，作为图像信号传送给机器人体内的信号识别装置；2)信号识别装置接收到整体动作图像信号后，对整体动作图像信号进行识别，判断整体动作图像上用户的手位于哪个位置，脸部、腰部、脚部或者自然垂下，判断完以后将整体动作图像信号发送给机器人体内的信号转换装置；3)信号转换装置接收到整体动作图像信号后，信号转换装置将整体动作图像信号转换成数字信号，又传输给机器人的主控芯片；4)主控芯片接收数字信号后，对该数字信号进行判断，确定该数字信号的代表意义，读取相应的运动轨迹，随后向机器人执行装置发送执行的数字信号；5)执行装置接收到数字信号后就执行用户需要的指令。
2.根据权利要求1所述的以用户手部命令控制机器人的方法，其特征在于所述步骤1)中的机器人头部的摄像头，能捕捉用户当前的动作图像，以用户当前的手部位置控制不同功能的执行。
3.根据权利要求1所述的以用户手部命令控制机器人的方法，其特征在于所述步骤2)中的整体动作图像中，识别系统运用图像识别判断出用户手部所处的区域，以整体动作图像中用户当前的手部所处位置来作为主控芯片中各指令的输入信号，从而执行不同的指令动作。
4.根据权利要求1所述以用户手部命令控制机器人的方法，其特征在于所述步骤4) 中的相应的运动轨迹是预先设定的，脸部、腰部或者脚部的指令具有各自不同的运动轨迹， 以防止机器人执行指令出错；机器人沿运动轨迹获得目标物体后必须能沿原轨迹返回，回到用户面前。
5.根据权利要求1所述的以用户手部命令控制机器人的方法，其特征在于所述步骤 5)中的执行装置，即本体结构，其一只手臂具有7个运动自由度，一条腿具有5个自由度，能稳定行走和夹持各种物品。
全文摘要
本发明公开了一种以用户手部命令控制机器人的方法。机器人头部的摄像头将当前用户的整体动作图像拍摄下来，对整体动作图像信号进行识别，随后信号转换系统将整体动作图像信号转换成数字信号，又传输给机器人的主控芯片，对数字信号进行判断，随后执行指令。该方法能控制机器人为用户完成多项任务。该机器人包括头部，手臂，躯干和腿部等结构，具有丰富的自由度，机器人头部的摄像头输入用户当前的图像，随后识别装置对图像中用户手的位置进行识别，从而控制机器人读取相应轨迹，完成相应功能。这种机器人可用用户手部命令控制，在日常生活中可为人们提供便利。
文档编号B25J19/00GK102179814SQ201110070579
公开日2011年9月14日 申请日期2011年3月23日 优先权日2011年3月23日
发明者缪赟晨, 赵亮 申请人:浙江大学