基于脚部姿势与动作的交互控制方法

专利名称：基于脚部姿势与动作的交互控制方法
技术领域：
本发明涉及一种交互控制方法，特别涉及基于脚部姿势与动作的交互控制方法。
背景技术：
当前的人机交互方式严重依赖于用户的双手。传统的输入设备，比如键盘、鼠标、摇杆、轨迹球、手写板等，都是使用手操作的设备。近些年来，随着计算机图形学和传感器技术的发展，研究人员试图为用户提供许多新型的，更自然的交互方式。然而这些新的交互技术仍然主要基于手部的操作，比如多点触控(multi-touch)和手势(hand gesture)。实际上，人们在日常生活中经常能遇到一些情况，在这些情况下，使用手进行交互并不方便或者并不是最佳的。人们在现实世界中常常用脚来完成各种各样的工作。比方说开车，左右脚分别用来控制油门，离合器和刹车；弹钢琴的时候，脚用来控制延音和弱音踏板。另外还有踢踏舞和足球等文体活动。在除手之外的人体其它部位中，脚便是在日常生活中使用最多、最灵活的另一双操纵物理对象的工具。人手的动作姿势我们叫做“手势”，那么脚的动作姿势我们可以称为“脚势”。在人机交互领域，对脚势与计算机交互的研究也有20多年的历史了，但是相比于人体的其它部位，对这个方向的研究仍然很少。基于脚势的交互技术可以根据交互的复杂程度分为四类
I.使用脚完成简单的“开-关”操作(toggle action)。这类交互任务在现实生活中较多，比如使用脚踩式开关的落地灯，脚踩控制的冲水马桶等。Glasgow大学的Crossan等人提出的一种与移动设备进行交互的方法就属于此类，用户利用脚敲击地板的动作(foottapping)完成菜单的选择。更进一步的研究是使用脚势作为触发命令的快捷方式，将脚势与命令一一对应。例如Scott等人的工作就是这方面的一个例子，它有点像是符号手势在脚部的延伸。我们在本章后边将要为大家介绍的“脚压点击”控制方式，就是利用脚部的不同姿势来实现计算机指令的选择和控制。2.使用脚来控制、输入一个参数。现实中的例子如通过踩脚踏板的快慢来控制缝纫机的速度，用脚控制乐器的音量和效果等。一个人机交互方面的例子是后边将要介绍到的Foot Menu，使用脚后跟的旋转信息进行菜单选择。3.用脚来控制、输入多个参数。比如开车，脚就控制了离合器、油门和刹车。而我们的Foot Menu系统在双脚的配合操作下，能实现对指令菜单的打开、选择、确认等操作。4.智能鞋子(intelligent footwear)。智能鞋子一般装配了多种传感器和微控制器，但同时又像一般的鞋子一样可以被用户穿戴在身上。在日常生活中，智能鞋子可以帮助用户随时随地的获取信息，提供对多种交互任务的支持。一个著名的例子就是MIT的Paradiso等人设计开发的Working Gait Shoe。这一智能鞋子可以通过多种传感器检测用 户的步态，并据此提供实时的音乐反馈，来帮助用户进行交互性的恢复治疗。我们通过对现有技术的研究结果进行分析可以看到，由于脚在执行速度、灵活性和准确性等方面都与手有差距，因此，脚并不适合用于复杂的、精细的以及空间操纵之类的交互任务。而且同时我们也注意到，脚在人们的日常生活中的主要功能就是支撑身体和行走，这就大大限制了基于脚势的交互技术能够适用的场合。在虚拟现实之外，当用户行走时，脚一般是不能同时用于交互的，只有当用户不使用脚的行走功能时(如站立不动，坐着或者躺着等)脚被解放出来，才能用于交互任务。而本发明则能很好的解决以上的这些问题。基于脚势的交互方式又有其自身的优点首先，基于脚势的交互方式天然是一种解放双手(hands-free)的交互技术，它可以单独使用，也可以和其它用手操作的交互方式一起使用。例如办公室白领们在电脑前办公的时候，双手在操作键盘鼠标，而双脚此时是空 闲的，可以在这里使用基于脚势的交互技术来完成一些操作，而这些操作和桌上的双手的工作是可以同时进行且不冲突的。这相当于增加了一个附加的信息通道，能够在一些场景中为用户提供更好的交互体验，或提高交互的效率。这是基于脚势的交互技术的一大优点，它并不阻碍用户对传统交互方式的使用。其次，基于脚势的交互方式具有隐蔽性高的特点。与基于手的交互技术比较，使用脚进行交互不易被其他人察觉，特别是当用户坐在桌子前的时候。这使得在某些场合，比如会议室中，基于脚势的交互技术能够为用户带来更大的便利。最后，由于脚并不适合用于精确度高和执行速度快的交互任务，而更适合用于那些相对简单的交互任务，这使得在很多时候，基于脚势的交互方式具有“盲输入”(eyes-free)的特性，不但能够减少对用户注意力的占用，进而特别适合用在基于移动设备的交互以及第二任务的交互(secondary task interaction)中。我们可以想象下面的三个场景
1.用户正在吃工作餐，他的双手和嘴都被食物占据着。与此同时，他正在读计算机上的一个文件，希望向上或者向下翻页；
2.用户正在使用Word写一个重要报告，此时他想切换另一首歌作为背景音乐或者干脆关闭音乐播放器。这时他该怎样去操作计算机？停止敲键盘，将手移到鼠标上？
3.讲师在大屏幕前为大家讲课，他要向下翻页，或者想要对记载着某个要点的图片放大。他这时该怎样操作？走回讲台在计算机前操作，完成后再走到大屏幕下。在上面三个场景中，用户的双手处于忙碌状态，或者计算机在其手部操作范围之夕卜。此时用手完成上述的交互任务并不方便，或者说并不快捷。从交互复杂性的角度来看，上述的两类交互任务都是简单的，且不涉及空间操控。对于这类简单交互任务，用户需要一种手的替代交互技术。脚，作为人体的一部分，它拥有仅次于双手的灵活程度，在日常生活中被广泛使用，或单独、或配合人体的其它部位一起，完成各种各样的任务，比如驾车、操作乐器等。在人机交互范畴内，前人的研究已经表明脚可以被用于相对简单的交互中，在手处于忙碌状态时，提供附加的信息通道。基于上述研究，我们针对脚势的优点和缺点，专门研究和设计了一种基于脚部姿势与动作的交互控制方法，这种方法能最大限度捕捉和发挥双脚动作及精确度的柔性传感器和与之相配的新型菜单一Foot Menu。它使用以用户脚后跟为轴的旋转信息以及简单的脚尖点击动作进行菜单的选择和一些自定义的快捷操作。在Foot Menu身上充分体现了上述的基于脚部姿势与动作交互控制方法所具有的优点。

发明内容
如图I所示，本发明的目的在于提供了一种基于脚部姿势与动作交互控制方法的脚部动作的新型菜单，称之为Foot Menu，这种脚部动作的新型菜单是由柔性传感器I、控制模块2、通信模块3、动力模块4和配套终端软件5组成。其中，柔性传感器I负责感知和捕捉用户脚部的压力信息并将压力信号数字化；控制模块2负责信号的收集、分析和管理工作，并通过内置的程序发送和执行相对应的计算机指令；通信模块3负责指令信号与终端设备的数据交换；动力模块4提供柔性传感器I和各模块的运作动力，这三个模块高度集成。它通过利用脚后跟的旋转信息配合脚对地面的敲击动作进行菜单选择，和通过感应脚掌不同位置对地面的压力进行快捷指令操作两大功能。Foot Menu无需动手操作，它解放了双手，这使得它能够很好的应对手部忙碌的情况，同时，那些手部功能不健全的用户也可以从中获益。在应用流程中，用户使用了一个脚势，柔性传感器感I受到压力的变化，捕捉和定位压力的区域反馈给控制模块2，控制模块2根据预设内置程序通过通信模块发出相关指令，通信模块3将指令发送到匹配终端设备上，如智能手机、PC电脑等，实现操作指令的完 成。本发明的目的还在于一种基于脚部姿势与动作的交互控制方法，这种交互控制方法包括如下步骤
第一步脚部动作的新型菜单的一维指令系统。如图2所示，首先我们的柔性传感器I能捕捉到脚掌、脚跟、脚趾等各部位的压力变化，由于柔性传感器I可以随脚部的运动而随意改变弯曲度，从而能够始终贴合脚部，因此始终能灵敏又正确的捕捉脚部各部位的压力变化，解读压力含义。这样就实现了我们脚部动作的新型菜单的第一大功能。通过简单的脚掌压力位置的变换，实现计算机指令的发布。我们根据人脚的生物学特征，将可方便感知的压力区域做了划分。分别为脚趾区，脚内侧区，脚外侧区，脚趾根区和脚跟区。分别用于对应上下左右中这五个方向。左右脚共计10个感知区域。当然，以上所述是我们的默认设置。由于我们的柔性传感器I是整体式的，硬件上并无区域的划分，因此用户也可以通过配套的终端软件5对柔性传感器I的感知区域进行
自定义编辑。第二步脚部动作的新型菜单的二维指令系统。如图3、图4和图5所示，脚部动作的新型菜单的二维指令系统能完成相对更多、更复杂的指令系统，它能完成参数的输入，更好的方便工作，提高工作效率。根据前人的研究结果，以脚后跟为轴的旋转对用户来说是最舒适的脚势；另外，运动心理学的研究指出主导脚(dominant foot)比非主导脚效率更高。因此，基于以主导脚的脚后跟为轴的旋转被用于作为Foot Menu的输入。脚部动作的新型菜单的形状是由一些扇形的菜单项6，7，8，9组成。然而，当坐着的时候，用户能够舒适的进行以脚后跟为轴的旋转的范围是有限的，因此我设计Foot Menu的时候只使用了圆的一部分，而不是整个圆。整个菜单的弧形范围与脚的实际旋转范围相一致，这样做能保证了用户的本体感受与界面反馈的一致性，有利于用户建立相应的肌肉记忆(muscle memory)和运动技能(motor skill),完成从新手向专家用户的无缝过渡。为了避免日常行走或日常脚部小动作误触发脚部动作的新型菜单，因此我们为脚部动作的新型菜单设计了激活程序。只有当用户使用预设置的特殊脚势之后，才能启动Foot Menu。在下面的例子中，我们设定以“非主导脚离开地面超过3秒”作为启动脚势。于是当用户抬起左脚的时候，脚部动作的新型菜单被激活。脚部动作的新型菜单会自动跟踪脚部的旋转，直到用户完成对某一菜单项的选择。在这个过程中，用户需要保持脚处于背曲状态。一旦用户放下左脚，那么与此时用户脚部旋转角度对应的菜单项将会被选择。在这里，脚部动作的新型菜单只需要一个参数，基于以主导脚后跟为轴的脚面旋转角度。用户当主导脚的旋转角度所对应的菜单项将会被加亮，为用户提供视觉提示。一旦某菜单项被选择确定，则整个菜单将会立即消失，脚部动作的新型菜单自动退出。对于脚部动作的新型菜单能够支持的菜单项数量受限制的问题，有两个办法可以对其进行扩展。一种是使用滑动窗口机制，即在可用旋转角度范围内显示的菜单项只是整个菜单项列表中的一部分，当脚部旋转到最左端或最右端时，可以通过选择两端的箭头使得显示的菜单项内容移动一个窗口，如图5所示。另一个办法是使用两层菜单，左右脚各控制一个菜单。第三步脚部动作的新型菜单的配套软件。如图6所示，在上述反复提到的，除了在柔性传感器I处有控制模块2，在终端设备上有一个与之配套的客户端软件5。配套软件可以运行于服务器、台式电脑、笔记本电脑、平板电脑以及智能手机等职能产品上。配套软件提供各种编辑和管理功能。不同的用户有自己的不同的身体条件和活动习惯。用户们可以自己定义、编辑、管理适合自己脚部动作所代表的操作指令。例如甲用户可以定义“左脚外侧3秒内连续触击地面5次”来激活脚部动作的新型菜单，“右脚内侧触击地面”完成“向上翻页”，“右脚外侧触击地面”完成“向下翻页”。也可以定义脚部动作的新型菜单里第一项是什么指令，第二项是什么指令。而乙用户可以按照自己的习惯和喜好来定义自己脚部动作的命令。本发明的优点在于
首创脚部姿势控制体系，将双手从简单控制方面的操作中解放出来，提高了工作效率。弥补了在双手不不方便操作终端时的弱点，增强了对终端控制的密切程度。灵活高效的自定义功能使人机交互变得更友好、更快捷、更快乐。同时，该发明更适用于手部功能有缺陷的残障人士，使他们能更方便、更容易、更多地使用高科技电子产品。


图I为本发明的脚部动作的新型菜单的结构示意图。附图标记说明1_柔性传感器；2_控制模块；3_通信模块；4_动力模块；5-配套终端软件。图2为本发明脚部动作的新型菜单中的柔性传感器压力感知区域分布的状态示意图。 图3为本发明脚部动作的新型菜单中有四个菜单项的状态示意图。附图标记说明6_菜单项；7_菜单项；8_菜单项；9_菜单项。
图4为本发明脚部动作的新型菜单状态转换的状态示意图。
附图标记说明10-脚 部动作的新型菜单被激活；11_脚部动作的新型菜单的选择；12-脚部旋转角度对应的菜单项将会被选择。图5为本发明的脚部动作的新型菜单中的滑动窗口机制的状态示意图。附图标记说明13_滑动窗口 ； 14-滑动窗口 ； 15-滑动窗口。图6为本发明的脚部动作的新型菜单中的状态示意图。
具体实施例方式以下结合说明书附图对本发明创造作进一步的详细说明。实施例一
如图I所示，本发明的目的在于提供了一种基于脚部姿势与动作交互控制方法的脚部
动作的新型菜单，称之为Foot Menu，这种脚部动作的新型菜单是由柔性传感器I、控制模块
2、通信模块3、动力模块4和配套终端软件5组成。其中，柔性传感器I负责感知和捕捉用
户脚部的压力信息并将压力信号数字化；控制模块2负责信号的收集、分析和管理工作，并
通过内置的程序发送和执行相对应的计算机指令；通信模块3负责指令信号与终端设备的
数据交换；动力模块4提供柔性传感器I和各模块的运作动力，这三个模块高度集成。它通
过利用脚后跟的旋转信息配合脚对地面的敲击动作进行菜单选择，和通过感应脚掌不同位
置对地面的压力进行快捷指令操作两大功能。Foot Menu无需动手操作，它解放了双手，这
使得它能够很好的应对手部忙碌的情况，同时，那些手部功能不健全的用户也可以从中获.、
Mo在应用流程中，用户使用了一个脚势，柔性传感器感I受到压力的变化，捕捉和定位压力的区域反馈给控制模块2，控制模块2根据预设内置程序通过通信模块发出相关指令，通信模块3将指令发送到匹配终端设备上，如智能手机、PC电脑等，实现操作指令的完成。实施例二
本发明的目的还在于一种基于脚部姿势与动作的交互控制方法，这种交互控制方法包括如下步骤
第一步脚部动作的新型菜单的一维指令系统。如图2所示，首先我们的柔性传感器I能捕捉到脚掌、脚跟、脚趾等各部位的压力变化，由于柔性传感器I可以随脚部的运动而随意改变弯曲度，从而能够始终贴合脚部，因此始终能灵敏又正确的捕捉脚部各部位的压力变化，解读压力含义。这样就实现了我们脚部动作的新型菜单的第一大功能。通过简单的脚掌压力位置的变换，实现计算机指令的发布。我们根据人脚的生物学特征，将可方便感知的压力区域做了划分。分别为脚趾区，脚内侧区，脚外侧区，脚趾根区和脚跟区。分别用于对应上下左右中这五个方向。左右脚共计10个感知区域。当然，以上所述是我们的默认设置。由于我们的柔性传感器I是整体式的，硬件上并无区域的划分，因此用户也可以通过配套的终端软件5对柔性传感器I的感知区域进行自定义编辑。第二步脚部动作的新型菜单的二维指令系统。如图3、图4和图5所示，脚部动作的新型菜单的二维指令系统能完成相对更多、更复杂的指令系统，它能完成参数的输入，更好的方便工作，提高工作效率。根据前人的研究结果，以脚后跟为轴的旋转对用户来说是最舒适的脚势；另外，运动心理学的研究指出主导脚(dominant foot)比非主导脚效率更高。因此，基于以主导脚的脚后跟为轴的旋转被用于作为Foot Menu的输入。、脚部动作的新型菜单的形状是由一些扇形的菜单项6，7，8，9组成。然而，当坐着的时候，用户能够舒适的进行以脚后跟为轴的旋转的范围是有限的，因此我设计Foot Menu的时候只使用了圆的一部分，而不是整个圆。整个菜单的弧形范围与脚的实际旋转范围相一致，这样做能保证了用户的本体感受与界面反馈的一致性，有利于用户建立相应的肌肉记忆(muscle memory)和运动技能(motor skill),完成从新手向专家用户的无缝过渡。为了避免日常行走或日常脚部小动作误触发脚部动作的新型菜单，因此我们为脚部动作的新型菜单设计了激活程序。只有当用户使用预设置的特殊脚势之后，才能启动Foot Menu。在下面的例子中，我们设定以“非主导脚离开地面超过3秒”作为启动脚势。于是当用户抬起左脚的时候，脚部动作的新型菜单被激活。脚部动作的新型菜单会自动跟踪脚部的旋转，直到用户完成对某一菜单项的选择。在这个过程中，用户需要保持脚处于背曲状态。一旦用户放下左脚，那么与此时用户脚部旋转角度对应的菜单项将会被选择。在这里，脚部动作的新型菜单只需要一个参数，基于以主导脚后跟为轴的脚面旋转角度。用户当主导脚的旋转角度所对应的菜单项将会被加亮，为用户提供视觉提示。一旦某菜单项被选择确定，则整个菜单将会立即消失，脚部动作的新型菜单自动退出。对于脚部动作的新型菜单能够支持的菜单项数量受限制的问题，有两个办法可以对其进行扩展。一种是使用滑动窗口机制，即在可用旋转角度范围内显示的菜单项只是整个菜单项列表中的一部分，当脚部旋转到最左端或最右端时，可以通过选择两端的箭头使得显示的菜单项内容移动一个窗口，如图5所示。另一个办法是使用两层菜单，左右脚各控制一个菜单。第三步脚部动作的新型菜单的配套软件。如图6所示，在上述反复提到的，除了在柔性传感器I处有控制模块2，在终端设备上有一个与之配套的客户端软件5。配套软件可以运行于服务器、台式电脑、笔记本电脑、平板电脑以及智能手机等职能产品上。配套软件提供各种编辑和管理功能。不同的用户有自己的不同的身体条件和活动习惯。用户们可以自己定义、编辑、管理适合自己脚部动作所代表的操作指令。例如甲用户可以定义“左脚外侧3秒内连续触击地面5次”来激活脚部动作的新型菜单，“右脚内侧触击地面”完成“向上翻页”，“右脚外侧触击地面”完成“向下翻页”。也可以定义脚部动作的新型菜单里第一项是什么指令，第二项是什么指令。而乙用户可以按照自己的习惯和喜好来定义自己脚部动作的命令。
权利要求
1.一种基于脚部姿势与动作交互控制方法的脚部动作的新型菜单，其特征在于这种基于脚部姿势与动作交互控制方法的脚部动作的新型菜单是由柔性传感器(I)、控制模块(2)、通信模块(3)、动力模块(4)和配套终端软件(5)组成。
2.根据权利要求I所述的一种基于脚部姿势与动作交互控制方法的脚部动作的新型菜单，其特征在于柔性传感器(I)负责感知和捕捉用户脚部的压力信息并将压力信号数字化。
3.根据权利要求I所述的一种基于脚部姿势与动作交互控制方法的脚部动作的新型菜单，其特征在于控制模块(2)负责信号的收集、分析和管理工作，并通过内置的程序发送和执行相对应的计算机指令。
4.根据权利要求I所述的一种基于脚部姿势与动作交互控制方法的脚部动作的新型菜单，其特征在于通信模块(3)负责指令信号与终端设备的数据交换。
5.根据权利要求I所述的一种基于脚部姿势与动作交互控制方法的脚部动作的新型菜单，其特征在于动力模块(4)提供柔性传感器(I)和各模块的运作动力，这三个模块高度集成，它通过利用脚后跟的旋转信息配合脚对地面的敲击动作进行菜单选择，和通过感应脚掌不同位置对地面的压力进行快捷指令操作两大功能。
6.一种基于脚部姿势与动作的交互控制方法，其特征在于，包括以下步骤 第一步脚部动作的新型菜单的一维指令系统； 第二步脚部动作的新型菜单的二维指令系统； 第三步脚部动作的新型菜单的配套软件。
7.根据权利要求6所述的一种基于脚部姿势与动作的交互控制方法，其特征在于在第一步中，柔性传感器(I)能捕捉到脚掌、脚跟、脚趾等各部位的压力变化。
8.根据权利要求6所述的一种基于脚部姿势与动作的交互控制方法，其特征在于在第二步中，脚部动作的新型菜单的形状是由一些扇形的菜单项(6，7，8，9)组成。
9.根据权利要求6所述的一种基于脚部姿势与动作的交互控制方法，其特征在于在第三步中，柔性传感器处(I)有控制模块(2)，在终端设备上有一个与之配套的客户端软件(5)。
全文摘要
本发明涉及一种基于脚部姿势与动作交互控制方法的脚部动作的新型菜单，称之为FootMenu，这种脚部动作的新型菜单是由柔性传感器1、控制模块2、通信模块3、动力模块4和配套终端软件5组成。其中，柔性传感器1负责感知和捕捉用户脚部的压力信息并将压力信号数字化；控制模块2负责信号的收集、分析和管理工作，并通过内置的程序发送和执行相对应的计算机指令；通信模块3负责指令信号与终端设备的数据交换；动力模块4提供柔性传感器1和各模块的运作动力，这三个模块高度集成。它通过利用脚后跟的旋转信息配合脚对地面的敲击动作进行菜单选择，和通过感应脚掌不同位置对地面的压力进行快捷指令操作两大功能。
文档编号G06F3/01GK102662469SQ201210095630
公开日2012年9月12日 申请日期2012年3月31日 优先权日2012年3月31日
发明者苏菲 申请人:苏州中科启慧软件技术有限公司