一种基于光流的双手空间交互方法与设备

本发明属于鼠标控制，尤其涉及一种基于光流的双手空间交互方法与设备。

背景技术：

1、随着科学技术的发展以及人们生活水平的不断提高，计算机的应用范围越来越广，已经成为普通家庭或者企业的必备之物之一，大屏幕中三维目标空间交互成为很多企业展示成果的一种方式，大屏幕交互控制对鼠标不方便操作，而当用户想要操控计算机时，需要回到计算机桌旁，非常不方便，因此需要寻求解决方案。常见的模拟鼠标方法包括采用游戏手柄的方式、识别特定的手势姿势、手指定位等方式，这些方式主要是缺乏在屏幕中精准控制，而且易受环境光的影响。

技术实现思路

1、有鉴于此，本发明结合高精度光流的位移特性，公布了一种基于光流的双手空间交互方法与设备，左右手各拿一个带按键的光流跟踪器(optical flow tracker，简称oft)，oft能够持续跟踪手部在空间的移动，判断oft上的按键是否按下，然后通过2.4ghz无线通信线路，向中央计算器(central computing unit，简称ccu)发送oft计算出的空间移动距离与按键状态，ccu接收到两个oft输出的左右手的运动距离和按键状态后，按照事先定义的规则，计算出双手交互动作。

2、本发明第一方面公开的基于光流的双手空间交互方法，包括以下步骤：

3、两个带按键的光流跟踪器oft上电，进行初始化，光流自检、复位，设置鼠标参数与光流对应参数；

4、左右手各拿一个光流跟踪器oft，oft用于持续跟踪手部在空间的移动；

5、判断oft上的按键是否按下，计算出的空间移动距离与按键状态；

6、向中央计算器ccu发送空间移动距离与按键状态；

7、ccu接收到两个oft输出的左右手的运动距离和按键状态后，计算出双手交互动作。

8、进一步地，oft的工作步骤如下：

9、自检：检测oft中光流是否工作正常、oft按键状态，向ccu发送请求响应信息；

10、封装报文：把oft中光流移动位置和按键信息封装为报文，左右手采用不同的2.4ghz工作频段发送给ccu；

11、休眠：设定时间段t，当在时间t内未发生光流移动，则进入休眠状态不通过2.4ghz无线通信发送数据，否则发送数据。

12、进一步地，当在模拟移动鼠标的同时，检测在时间范围t内移动光流的位置，如果移动光流的位置小于阈值tv则oft进行休眠状态，不往外发送数据，当大于tv时则发送数据，具体为：

13、

14、其中dsend为oft向ccu发送数据状态标志，当dsend为1时，则发送数据，否则不发送数据，toft为oft中的光流在时间范围t内移动的位置。

15、进一步地，鼠标在屏幕上的移动与光流在真实场景下的移动采用坐标标定的方式形成对应关系，包括：

16、(u,v)为屏幕坐标，(x,y)为光流坐标；

17、光流移动过程中：记录当前大屏幕上光标的位置为(u,v)，下一步预计的光标的位置为(u',v')，差值为δu＝u'-u，δv＝v'-v，光流只获取像素点累计时间内的累加平均位移，两个方向分别为δx和δy，其中δx＝k*δu，δy＝k*δv，k为灵敏度系数；

18、光标初始化定位中：记录屏幕的分辨率为w和h，同时按下左右光流的按键，光标移动到u＝w/2和v＝h/2处。

19、进一步地，oft中光流移动与按键状态映射到空间中三维目标运动状态的关系如下：

20、右oft上下左右移动，对应于目标上下左右移动；同时按下左右oft的按键，光流向外移动为放大，对应于目标区域放大；同时按下左右oft的按键，光流向里移动为缩小，对应于目标区域缩小；右oft按键按下，同时向下或向上移动，对应于目标俯仰；右oft按键按下，同时向右下或左下移动，对应于目标滚转；右oft按键按下，同时向右上或左上移动，对应于目标偏航。

21、本发明第二方面公开地基于光流的双手空间交互设备，包括两个oft、一台ccu以及pc端软件，其中，

22、两个oft，每只手佩戴一个，左手佩戴的oft为左oft，右手佩戴的oft为右oft；oft佩戴于食指上，每个oft有一个按钮，安装在大拇指和食指之间，大拇指朝食指方向移动，按下按键；

23、所述ccu与pc机相连，ccu负责收oft计算出的空间移动距离与按键状态，并封装为usb鼠标数据格式，发送给pc端软件；

24、所述pc端软件接收ccu的数据，并控制大屏幕中的三维目标运动；pc端软件发送控制指令给ccu，调节光流的灵敏度、左手控制还是右手控制。

25、本发明的有益效果如下：

26、本发明通过光流的高精度移动和按键，实现了空间三维目标实现不同方向运动。

27、采用oft、ccu的方式，实现即插即用的效果。

28、采用pc端软件，增强双手空间交互的体验感。

技术特征：

1.一种基于光流的双手空间交互方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于光流的双手空间交互方法，其特征在于，oft的工作步骤如下：

3.根据权利要求1所述的基于光流的双手空间交互方法，其特征在于，当在模拟移动鼠标的同时，检测在时间范围t内移动光流的位置，如果移动光流的位置小于阈值tv则oft进行休眠状态，不往外发送数据，当大于tv时则发送数据，具体为：

4.根据权利要求1所述的基于光流的双手空间交互方法，其特征在于，鼠标在屏幕上的移动与光流在真实场景下的移动采用坐标标定的方式形成对应关系，包括：

5.根据权利要求1所述的基于光流的双手空间交互方法，其特征在于，oft中光流移动与按键状态映射到空间中三维目标运动状态的关系如下：

6.一种基于光流的双手空间交互设备，其特征在于，包括两个oft、一台ccu以及pc端软件，其中，

技术总结
本发明属于鼠标控制技术领域，公开了一种基于光流的双手空间交互方法与设备，方法包括以下步骤：两个带按键的光流跟踪器OFT上电，进行初始化，光流自检、复位，设置鼠标参数与光流对应参数；左右手各拿一个光流跟踪器OFT，OFT用于持续跟踪手部在空间的移动；判断OFT上的按键是否按下，计算出的空间移动距离与按键状态；向中央计算器CCU发送空间移动距离与按键状态；CCU接收到两个OFT输出的左右手的运动距离和按键状态后，计算出双手交互动作。本发明通过光流的高精度移动和按键，实现了空间三维目标实现不同方向运动。

技术研发人员：张茂军,刘煜,徐玮,肖华欣,彭杨,陈琛,曾向荣,钟志伟
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/1/16