一种无接触人机交互方法和装置与流程

1.本技术涉及人机交互技术领域，特别涉及一种无接触人机交互方法和装置。


背景技术：

2.无接触人机交互是指在不接触设备的情况下，向设备发出控制指令。无接触人机交互是继鼠标、键盘和触控屏等接触式人机交互之后新的交互方式，其能够避免传统交互方式可能带来的病毒接触感染和操作不便，在虚拟现实、增强现实等领域将会有广泛的应用。
3.目前常用的无接触人机交互方式多为语音控制和无线信号控制等方式来实现的，但是这些无接触人机交互方式的应用条件受到应用场景的限制，难以广泛推广。因此，基于图像识别的无接触人机交互方式备受本领域研发团队的关注。
4.目前的基于图像识别的无接触人机交互方式大多是通过摄像头获取用户手部的二维平面图像，而后对该手部图像进行图像处理识别出手指位置或手势轮廓以判断用户的控制指令。但是由于是基于二维平面图像的处理，控制指令的变化受限，在一些复杂的软件中，难以准确快捷地调用出控制指令。


技术实现要素：

5.本技术的目的在于提供一种无接触人机交互方法和装置，其能够改善上述问题。
6.本技术的实施例是这样实现的：
7.第一方面，本技术提供一种无接触人机交互方法，其包括：
8.获取操作空间内的用户手部图像信息，所述用户手部图像信息包括像素平面图像信息和像素深度信息；
9.识别所述用户手部图像信息中的操控点；
10.根据所述操控点的位置深度变化输出对应的控制指令。
11.可以理解，第一方面所公开的无接触人机交互方法，与目前大部分基于手势识别的交互方法不同，该方法不仅要识别用户手部图像信息中操控点的平面位置，还要识别该操控点的深度位置，根据该操控点的位置深度变化输出对应的控制指令，丰富了无接触人机交互中指令调用的丰富性和灵活性。
12.对应的，本技术还提供一种无接触人机交互装置，其包括：信息采集模块，用于获取操作空间内的用户手部图像信息，所述用户手部图像信息包括像素平面图像信息和像素深度信息；操控识别模块，用于识别所述用户手部图像信息中的操控点；指令处理模块，用于根据所述操控点的位置深度变化输出对应的控制指令。
13.在本技术可选的实施例中，所述根据所述操控点的位置深度变化输出对应的控制指令，包括：将第一时间阈值内所述操控点在同一个平面坐标位置的位置深度变化周期数作为指令数；根据所述指令数输出对应的控制指令。
14.其中，第一时间阀值受深度摄像头限制，第一时间阀值不得少于深度摄像头获取
每帧画面的时间。例如深度摄像头拍摄深度信息数据30fps,即表示每秒钟获取30帧深度信息数据，也就是说这里的第一时间阀值最小值是1/30秒。
15.可以理解，操控点在同一个平面坐标位置的位置深度变化周期，可以理解为该操控点在同一个平面位置的深度由深到浅再到深的过程，即用户的控制手指的点击操作。上述指令数即在第一时间阈值内用户的点击次数，若指令数为1则可以理解为单击操作，输出单击操作对应的控制指令，比如选择指令；若指令数为2则可以理解为双击操作，输出双击操作对应的控制指令，比如打开程序指令。指令数与控制指令的对应关系可以是预设的也可以是由用户自定义产生的，比如用户可以自定义单击操作对应什么控制指令，双击操作对应什么控制指令等。
16.需要说明的是，本方法并不仅仅通过单击或双击的动作确定用户的指令，还会结合操控点的位置、速度变化、移动方向等参数综合做出对应的判断，这是本领域人员根据现有技术容易想到的。还需要说明的是，操控点的位置、速度变化、移动方向等参数与控制指令的对应关系也可以是预设的或者由用户自定义产生的。这也是本领域人员根据现有技术容易想到的，具体实现方式这里不再赘述。
17.在本技术可选的实施例中，所述根据所述操控点的位置深度变化输出对应的控制指令，包括：将第二时间阈值内所述操控点的平面运动轨迹以及其所对应的深度轨迹作为操控点轨迹；根据所述操控点轨迹输出对应的控制指令。
18.其中，第二时间阀值受深度摄像头限制，第二时间阀值不得少于深度摄像头获取每帧画面的时间。例如深度摄像头拍摄深度信息数据30fps,即表示每秒钟获取30帧深度信息数据，也就是说这里的第二时间阀值最小值是1/30秒。
19.可以理解，目前的大部分基于手势识别的交互方法，由于只处理用户手部图像信息中的像素平面图像信息，因此其识别出来的操控点轨迹也是平面的，实际应用中非常容易出现错误。本方法不仅考虑了操控点的平面运动轨迹还考虑了操控点的深度轨迹，只有在操控点的平面运动轨迹和深度轨迹均满足预设条件时才输出对应的控制指令。大大地提高了无接触人机交互的准确性。
20.第二方面，本技术提供又一种无接触人机交互方法，其包括：
21.获取操作空间内的用户手部图像信息，所述用户手部图像信息包括像素平面图像信息和像素深度信息；
22.识别所述用户手部图像信息中的操控点；
23.将所述第三时间阈值内所述操控点在同一个平面坐标位置的位置深度变化值作为指令参数值；
24.根据所述指令参数值输出菜单打开指令，使得显示设备显示对应的指令菜单。
25.其中，第三时间阀值受深度摄像头限制，第三时间阀值不得少于深度摄像头获取每帧画面的时间。例如深度摄像头拍摄深度信息数据30fps,即表示每秒钟获取30帧深度信息数据，也就是说这里的第三时间阀值最小值是1/30秒。
26.可以理解，本技术提供的一种无接触人机交互方法，可以根据操控点的位置深度变化值，调用出该位置深度变化值对应的指令菜单。即用户手指按下不同的深度将调用出该深度对应的指令菜单。相比传统的鼠标右键的单层指令菜单调用功能，本方法能够使用户轻松调用出多层的指令菜单，丰富了快捷调用的指令数量。
27.对应的，本技术还提供又一种无接触人机交互装置，相比于第一方面公开的无接触人机交互装置，还包括多层指令菜单模块，用于将所述第三时间阈值内所述操控点在同一个平面坐标位置的位置深度变化值作为指令参数值；根据所述指令参数值输出菜单打开指令，使得显示设备显示对应的指令菜单。
28.在本技术可选的实施例中，所述根据所述指令参数值输出菜单打开指令，使得显示设备显示对应的指令菜单，包括：在所述指令参数值达到第一参数阈值且未达到第二参数阈值的情况下，输出第一菜单打开指令，使得显示设备显示第一指令菜单；在所述指令参数值达到第二参数阈值的情况下，输出第二菜单打开指令，使得显示设备显示第二指令菜单。
29.对应的，所述多层指令菜单模块，具体用于在所述指令参数值达到第一参数阈值且未达到第二参数阈值的情况下，输出第一菜单打开指令，使得显示设备显示第一指令菜单；在所述指令参数值达到第二参数阈值的情况下，输出第二菜单打开指令，使得显示设备显示第二指令菜单。
30.第三方面，本技术提供另一种无接触人机交互方法，其包括：
31.通过显示设备显示对应的交互界面；
32.获取操作空间内的用户手部图像信息，所述用户手部图像信息包括像素平面图像信息和像素深度信息；
33.识别所述用户手部图像信息中的操控点；
34.通过显示设备在所述交互界面上显示所述操作点的位置标记；
35.根据所述操控点的位置深度变化输出对应的控制指令。
36.可以理解，本技术所公开的无接触人机交互方法，不仅会识别用户手部图像信息中的操控点位置，还会将该操控点实时显示于交互界面上，以便用户及时了解自己所控制的操控点在交互界面的位置，提升人机交互的交互效果。
37.对应的，本技术还提供另一种无接触人机交互装置，相比于第一方面公开的无接触人机交互装置，还包括：指令反馈显示模块，用于通过显示设备显示对应的交互界面；通过显示设备在所述交互界面上显示所述操作点的位置标记。
38.在本技术可选的实施例中，所述方法还包括：
39.获取虚拟显示比例因子和虚拟真实比例因子，所述虚拟显示比例因子为虚拟界面与显示画面的尺寸比，所述虚拟真实比例因子为虚拟界面与真实画面的尺寸比；
40.所述通过显示设备显示对应的交互界面，具体包括：通过所述虚拟显示比例因子，将所述虚拟界面映射于所述显示画面上，形成所述交互界面；
41.所述通过显示设备在所述交互界面上显示所述操作点的位置标记，包括：通过所述虚拟真实比例因子，将所述操作点的真实坐标映射于所述虚拟界面上，再通过所述虚拟显示比例因子，将所述虚拟界面上的所述操作点的虚拟坐标映射于所述显示画面上，形成所述位置标记。
42.可以理解，本技术所公开的无接触人机交互方法，可以根据虚拟显示比例因子，将虚拟界面映射于不同显示设备的显示画面上，以保证交互界面的良好呈现；还可以根据虚拟真实比例因子，将操作点的真实坐标映射于所述虚拟界面上，以保证人机交互的控制准确度。综上，通过虚拟显示比例因子和虚拟真实比例因子的计算可以实现虚拟界面、显示画
面和真实画面之间的作表切换。
43.对应的，所述无接触人机交互装置还包括坐标映射模块，用于获取虚拟显示比例因子和虚拟真实比例因子，通过所述虚拟显示比例因子，将所述虚拟界面映射于所述显示画面上，形成所述交互界面；通过所述虚拟真实比例因子，将所述操作点的真实坐标映射于所述虚拟界面上，再通过所述虚拟显示比例因子，将所述虚拟界面上的所述操作点的虚拟坐标映射于所述显示画面上，形成所述位置标记。
44.第四方面，本技术提供再一种无接触人机交互方法，其包括：
45.获取各个操作子空间内的用户手部图像信息，所述用户手部图像信息包括像素平面图像信息和像素深度信息；
46.识别各个所述操作子空间内的用户手部图像信息中的操控点；
47.根据所述操控点的位置深度变化输出所述操作子空间对应指令类别的控制指令。
48.对应的，本技术还提供再一种无接触人机交互装置，其包括：所述信息采集模块，具体用于获取各个所述操作子空间内的用户手部图像信息；所述操控识别模块，具体用于识别各个所述操作子空间内的用户手部图像信息中的操控点；所述指令处理模块，具体用于根据所述操控点的位置深度变化输出所述操作子空间对应指令类别的控制指令。
49.第五方面，本技术提供再一种无接触人机交互方法，相较于第一方面所公开的方法，第五方面的方法还包括：
50.提取所述用户手部图像信息中的手势轮廓，识别用户手势；
51.根据所述用户手势输出对应的控制指令。
52.对应的，所述无接触人机交互装置中的所述操控识别模块，还用于提取所述用户手部图像信息中的手势轮廓，识别用户手势；所述指令处理模块，还用于根据所述用户手势输出对应的控制指令。
53.可以理解，与识别操控点的位置深度变化不同，本方法还可以通过预设手势或者自定义手势来设定特定手势所对应的控制指令，当识别出用户摆出特定手势后输出对应的控制指令。比如，在用户摆出ok手势的情况下输出确定指令，在用户摆出五指伸开手势的情况下输出截图指令等等。
54.第六方面，本技术公开了一种无接触人机交互装置，包括处理器、深度图像获取设备、显示设备和存储器，所述处理器、所述深度图像获取设备、所述显示设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行第一方面至第四方面的任一项方法。
55.在本技术可选的实施例中，所述深度图像获取设备包括平面摄像头和深度摄像头；所述平面摄像头用于在所述操作空间内拍摄用户手部，得到所述用户手部图像信息的所述像素平面图像信息；所述深度摄像头用于在所述操作空间内拍摄用户手部，得到所述用户手部图像信息的所述像素深度信息。
56.在本技术可选的实施例中，所述显示设备包括平板显示设备、投影设备、vr显示设备或ar显示设备。
57.第七方面，本技术公开了计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面至第四方面的任一项方法。
58.有益效果：
59.本技术所公开的无接触人机交互方法和装置，与目前大部分基于手势识别的交互方法不同，其不仅要识别用户手部图像信息中操控点的平面位置，还要识别该操控点的深度位置，根据该操控点的位置深度变化输出对应的控制指令，丰富了无接触人机交互中指令调用的丰富性和灵活性。
60.本技术所公开的无接触人机交互方法和装置，不仅考虑了操控点的平面运动轨迹还考虑了操控点的深度轨迹，只有在操控点的平面运动轨迹和深度轨迹均满足预设条件时才输出对应的控制指令。大大地提高了无接触人机交互的准确性。
61.本技术所公开的无接触人机交互方法和装置，可以根据操控点的位置深度变化值，调用出该位置深度变化值对应的指令菜单。即用户手指按下不同的深度将调用出该深度对应的指令菜单。相比传统的鼠标右键的单层指令菜单调用功能，本方法能够使用户轻松调用出多层的指令菜单，丰富了快捷调用的指令数量。
62.本技术所公开的无接触人机交互方法和装置，不仅会识别用户手部图像信息中的操控点位置，还会将该操控点实时显示于交互界面上，以便用户及时了解自己所控制的操控点在交互界面的位置，提升人机交互的交互效果。
63.本技术所公开的无接触人机交互方法和装置，可以根据虚拟显示比例因子，将虚拟界面映射于不同显示设备的显示画面上，以保证交互界面的良好呈现；还可以根据虚拟真实比例因子，将操作点的真实坐标映射于所述虚拟界面上，以保证人机交互的控制准确度。
64.本技术所公开的无接触人机交互方法和装置，可以在各个不同的操作子空间内获取用户手部图像信息，并识别出各个操控点，根据各个操控点的位置变化，特别是深度变化输出对应的控制指令。其中一个操控点的位置深度变化对应一个控制指令，本方法可以实现操作空间内用户通过控制多个操控点以使得多个控制指令的同时输出的应用场景。
65.为使本技术的上述目的、特征和优点能更明显易懂，下文特举可选实施例，并配合所附附图，作详细说明如下。
附图说明
66.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
67.图1是本技术第一方面提供的一种无接触人机交互方法10的流程示意图；
68.图2是本技术中用户手部图像信息的部分像素平面图像信息示意图；
69.图3是本技术中用户手部图像信息的部分像素深度信息示意图；
70.图4是本技术第一方面提供的一种无接触人机交互装置100的结构示意图；
71.图5是用户控制操控点进行点击操作的示意图；
72.图6是用户控制操控点进行滑动操作的示意图；
73.图7是本技术第二方面提供的一种无接触人机交互方法20的流程示意图；
74.图8是用户控制操控点进行指令菜单调用的示意图；
75.图9是本技术第二方面提供的一种无接触人机交互装置200的结构示意图；
76.图10是本技术第三方面提供的一种无接触人机交互方法30的流程示意图；
77.图11是本技术第三方面提供的一种无接触人机交互装置300的结构示意图；
78.图12是虚拟界面的示意图；
79.图13是直接将虚拟界面显示于显示设备的显示画面的示意图；
80.图14是将虚拟界面映射于显示设备的显示画面上的示意图；
81.图15是本技术第四方面提供的一种无接触人机交互方法40的流程示意图；
82.图16是本技术所公开的多操控点识别的应用场景示意图；
83.图17是本技术第四方面提供的一种无接触人机交互装置400的结构示意图；
84.图18是本技术第六方面提供的一种无接触人机交互装置500的结构示意图。
具体实施方式
85.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
86.第一方面，如图1所示，本技术提供一种无接触人机交互方法10，其包括：
87.11、获取操作空间内的用户手部图像信息。
88.其中，与传统的用户手部图像信息不同，本技术中所获取的用户手部图像信息不仅包括像素平面图像信息还包括像素深度信息。
89.在本技术可选的实施例中，平面摄像头在操作空间内拍摄用户手部，得到用户手部图像信息的像素平面图像信息。如图2所示，图2是本技术中用户手部图像信息的部分像素平面图像信息示意图。图中所示为一个4
×
8的像素阵列，每个像素都有自己的彩色灰度值,该彩色灰度值包括红色灰度值、绿色灰度值和蓝色灰度值，图中第2行第4列的像素a，其红色灰度值为236,绿色灰度值为21,红色灰度值为229。
90.在本技术可选的实施例中，深度摄像头在操作空间内拍摄用户手部，得到用户手部图像信息的像素深度信息，每个像素的深度即为该像素到深度摄像头平面的距离。如图3所示，图3是本技术中用户手部图像信息的部分像素深度信息示意图，图中，每个像素对应的高度即为该像素对应的深度，也就是该像素点对应的物体点到深度摄像头平面的距离。其中，第1行第1列的a像素点的高度值是80，第3行第3列的b像素点高度值为60，第3行第4列的c像素点高度值为50，其余像素点高度值为100。也就是说，a像素点对应的物体点所在位置距离深度摄像头平面80厘米b像素点对应的物体点所在位置距离深度摄像头平面60厘米，c像素点对应的物体点所在位置距离深度摄像头平面50厘米，其余像素点对应的物体点所在位置距离深度摄像头平面100厘米。这里所述的案例只代表个例，不代表全部，不同摄像头测量的深度值范围和分辨率也可能会不同。
91.在本技术可选的实施例中，操作空间即为平面摄像头和深度摄像头的拍摄范围和拍摄深度，也是用户对操控点的有效控制范围和有效控制深度。
92.12、识别用户手部图像信息中的操控点。
93.在本技术可选的实施例中，可以从上述用户手部图像信息中提取手势轮廓，识别
操控点。一种操控点的计算方法是计算平面区域内某像素点最小深度值为有效操控点，比如该操控点可以是用户的食指所指的位置点，相当于鼠标的光标位置。
94.可以理解，操控点的识别可以省去二维图像数据辅导分析计算，对程序做了很大的优化，在点菜、单机、双击、滑动等不需要具体手势识别的简单的操作上非常有意义。
95.13、根据操控点的位置深度变化输出对应的控制指令。
96.可以理解，第一方面所公开的无接触人机交互方法10，与目前大部分基于手势识别的交互方法不同，该方法10不仅要识别用户手部图像信息中操控点的平面位置，还要识别该操控点的深度位置，根据该操控点的位置深度变化输出对应的控制指令，丰富了无接触人机交互中指令调用的丰富性和灵活性。
97.对应的，本技术还提供一种无接触人机交互装置100，如图4所示，其包括：信息采集模块110，用于获取操作空间内的用户手部图像信息，用户手部图像信息包括像素平面图像信息和像素深度信息；操控识别模块120，用于识别用户手部图像信息中的操控点；指令处理模块130，用于根据操控点的位置深度变化输出对应的控制指令。
98.对应的，本技术还提供一种无接触人机交互装置还包括空间深度按压多层指令虚拟机，通过sdpi vm技术实现“根据操控点的位置深度变化输出对应的控制指令”。
99.在本技术可选的实施例中，步骤13具体包括：将第一时间阈值内操控点在同一个平面坐标位置的位置深度变化周期数作为指令数；根据指令数输出对应的控制指令。
100.可以理解，操控点在同一个平面坐标位置的位置深度变化周期，可以理解为该操控点在同一个平面位置的深度由深到浅再到深的过程，即用户的控制手指的点击操作。如图5所示，深度图像获取设备所获取的用户手部图像信息中可以识别出用户所控制的操控点由远到近再到远完成了一次点击操作，与鼠标点击操作类似，该单击操作可以被理解为选择操作，输出选择指令。若识别出用户所控制的操控点在第一时间阈值内完成了两次点击操作，与鼠标双击操作类似，该双击操作可以被理解为打开操作，输出打开程序指令。
101.也就是说，上述指令数即在第一时间阈值内用户的点击次数，若指令数为1则可以理解为单击操作，输出单击操作对应的控制指令，比如选择指令；若指令数为2则可以理解为双击操作，输出双击操作对应的控制指令，比如打开程序指令。指令数与控制指令的对应关系可以是预设的也可以是由用户自定义产生的，比如用户可以自定义单击操作对应什么控制指令，双击操作对应什么控制指令等。
102.需要说明的是，本方法并不仅仅通过单击或双击的动作确定用户的指令，还会结合操控点的位置、速度变化、移动方向等参数综合做出对应的判断，这是本领域人员根据现有技术容易想到的。还需要说明的是，操控点的位置、速度变化、移动方向等参数与控制指令的对应关系也可以是预设的或者由用户自定义产生的。这也是本领域人员根据现有技术容易想到的，具体实现方式这里不再赘述。
103.在本技术可选的实施例中，步骤13具体包括：将第二时间阈值内操控点的平面运动轨迹以及其所对应的深度轨迹作为操控点轨迹；根据操控点轨迹输出对应的控制指令。
104.可以理解，目前的大部分基于手势识别的交互方法，由于只处理用户手部图像信息中的像素平面图像信息，因此其识别出来的操控点轨迹也是平面的，实际应用中非常容易出现错误。比如对于滑动操作来说，以图6所示的情况为例，如果仅将操控点在x-y平面的运动轨迹作为滑动操作的识别条件，那么应用场景中，小孩玩耍丢甩物品的运动轨迹也极
有可能被认为是滑动操作，因此其识别错误率是较高的。
105.本方法不仅考虑了操控点的平面运动轨迹还考虑了操控点的深度轨迹，只有在操控点的平面运动轨迹和深度轨迹均满足预设条件时才输出对应的控制指令。大大地提高了无接触人机交互的准确性。如图6所示，用户所控制的滑动操作不仅仅要从x-y平面的运动轨迹进行识别，还需要从z轴的深度轨迹进行识别，大大地提高了无接触人机交互的准确性，因为小孩玩耍丢甩物品的运动轨迹难以满足z轴深度轨迹的变化条件。
106.第二方面，如图7所示，本技术提供又一种无接触人机交互方法20，其包括：
107.21、获取操作空间内的用户手部图像信息。
108.步骤21的具体执行方式与步骤11类似，这里不再赘述。
109.22、识别用户手部图像信息中的操控点。
110.步骤22的具体执行方式与步骤12类似，这里不再赘述。
111.23、将第三时间阈值内操控点在同一个平面坐标位置的位置深度变化值作为指令参数值。
112.24、根据指令参数值输出菜单打开指令，使得显示设备显示对应的指令菜单。
113.在一些复杂的软件中，例如cad软件，在软件最上面有一系列指令菜单，菜单栏下又衍生出很多子指令菜单，集中了很多按钮指令的工具栏也只是显示了部分常用的而已，还有很多隐藏工具栏没有显示出来，因此要调用这些按钮指令需要在众多指令菜单一一寻找，非常麻烦。目前鼠标右键可以调用部分快捷指令，但是数量有限。而且如果鼠标右键弹出来的是成堆的指令菜单则与鼠标右键的设计初衷不符。
114.可以理解，本技术提供的一种无接触人机交互方法20，可以根据操控点的位置深度变化值，调用出该位置深度变化值对应的指令菜单。即用户手指按下不同的深度将调用出该深度对应的指令菜单。相比传统的鼠标右键的单层指令菜单调用功能，本方法能够使用户轻松调用出多层的指令菜单，丰富了快捷调用的指令数量。
115.在本技术可选的实施例中，步骤24包括：
116.241、在指令参数值达到第一参数阈值且未达到第二参数阈值的情况下，输出第一菜单打开指令，使得显示设备显示第一指令菜单。
117.如图8的左图所示，当用户控制操控点按压到第一层时，对应调用出第一指令菜单，该第一指令菜单包括a1、a2、a3、a4、a12指令，其中a12指令是a1的指令子菜单中的指令。
118.242、在指令参数值达到第二参数阈值的情况下，输出第二菜单打开指令，使得显示设备显示第二指令菜单。
119.如图8的右图所示，当用户控制操控点按压到第二层时，对应调用出第二指令菜单，该第二指令菜单包括b1、b2、b3、b4、b12指令，其中b12指令是b1的指令子菜单中的指令。
120.对应的，一种无接触人机交互装置/系统包括空间深度按压多层指令虚拟机和空间深度快捷指令盒。空间深度按压多层指令虚拟机和空间深度快捷指令盒分别通过sdpi vm技术和sdsc-box技术以实现步骤23和24。
121.对应的，如图9所示，本技术还提供又一种无接触人机交互装置200，相比于第一方面公开的无接触人机交互装置100，还包括多层指令菜单模块240，用于执行步骤23和24。
122.第三方面，如图10所示，本技术提供另一种无接触人机交互方法30，其包括：
123.31、通过显示设备显示对应的交互界面。
124.32、获取操作空间内的用户手部图像信息。
125.步骤32的具体执行方式与步骤11类似，这里不再赘述。
126.33、识别用户手部图像信息中的操控点。
127.步骤33的具体执行方式与步骤12类似，这里不再赘述。
128.34、通过显示设备在交互界面上显示操作点的位置标记。
129.35、根据操控点的位置深度变化输出对应的控制指令。
130.可以理解，本技术所公开的无接触人机交互方法30，不仅会识别用户手部图像信息中的操控点位置，还会将该操控点实时显示于交互界面上，以便用户及时了解自己所控制的操控点在交互界面的位置，提升人机交互的交互效果。
131.对应的，如图11所示，本技术还提供另一种无接触人机交互装置300，相比于第一方面公开的无接触人机交互装置100，还包括：指令反馈显示模块340，用于通过显示设备显示对应的交互界面；通过显示设备在交互界面上显示操作点的位置标记。
132.在本技术可选的实施例中，方法30还包括：获取虚拟显示比例因子和虚拟真实比例因子，虚拟显示比例因子为虚拟界面与显示画面的尺寸比，虚拟真实比例因子为虚拟界面与真实画面的尺寸比。
133.其中，虚拟显示比例因子包括虚拟显示宽度比例因子vofw、虚拟显示高度比例因子vofh和虚拟显示深度比例因子vofd；虚拟真实比例因子包括虚拟真实宽度比例因子vrfw、虚拟真实高度比例因子vrfh和虚拟真实深度比例因子vrfd。
134.步骤34具体包括：通过虚拟显示比例因子，将虚拟界面映射于显示画面上，形成交互界面。
135.在本技术实施例中，将虚拟界面映射于显示画面上，即将虚拟界面的坐标(vw_x,vw_y,vw_z)通过下式转换为显示画面的坐标(outscr_x,outscr_y,outscr_z)：
136.outscr_x＝vw_x/vofw；
137.outscr_y＝vw_y/vofh；
138.outscr_z＝vw_z/vofd。
139.步骤35具体包括：通过虚拟真实比例因子，将操作点的真实坐标映射于虚拟界面上，再通过虚拟显示比例因子，将虚拟界面上的操作点的虚拟坐标映射于显示画面上，形成位置标记。
140.在本技术实施例中，将操作点的真实坐标映射于虚拟界面上，即将操作点的真实坐标(rw_x,rw_y,rw_z)通过下式转换为虚拟界面的坐标(vw_x,vw_y,vw_z)：
141.vw_x＝rw_x
×
vrfw；
142.vw_y＝rw_y
×
vrfh；
143.vw_z＝rw_z
×
vrfd。
144.再将虚拟界面映射于显示画面上，即将虚拟界面的坐标(vw_x,vw_y,vw_z)通过下式转换为显示画面的坐标(outscr_x,outscr_y,outscr_z)：
145.outscr_x＝vw_x/vofw；
146.outscr_y＝vw_y/vofh；
147.outscr_z＝vw_z/vofd。
148.可以理解，本技术所公开的无接触人机交互方法，可以根据虚拟显示比例因子，将
虚拟界面映射于不同显示设备的显示画面上，以保证交互界面的良好呈现；还可以根据虚拟真实比例因子，将操作点的真实坐标映射于虚拟界面上，以保证人机交互的控制准确度。
149.如图12至14所示。图12是虚拟界面的示意图，该虚拟界面的尺寸为160
×
120，其中，按钮a的界面区域由a1(0,120,0)、a2(0,90,0)、a3(30,90,0)和a4(30,120,0)决定，按钮b的界面区域由b1(120,30,0)、b2(120,0,0)、b3(160,0,0)和b4(160,30,0)决定。
150.如果不做坐标映射，直接将虚拟界面显示于显示设备的显示画面上，如图13所示，显示设备的显示画面尺寸为120
×
30，直接显示的话，按钮a和按钮b的显示区域将超出显示画面以外。因此需要对按钮a和按钮b在显示画面上的坐标进行映射，如图14所示，图14是将虚拟界面映射于显示设备的显示画面上的示意图。
151.对应的，如图11所示，无接触人机交互装置300还包括坐标映射模块350，用于获取虚拟显示比例因子和虚拟真实比例因子，通过虚拟显示比例因子，将虚拟界面映射于显示画面上，形成交互界面；通过虚拟真实比例因子，将操作点的真实坐标映射于虚拟界面上，再通过虚拟显示比例因子，将虚拟界面上的操作点的虚拟坐标映射于显示画面上，形成位置标记。
152.在本技术实施例中，显示画面可以是平板显示器所显示的二位画面，也可以是立体投影系统所投射的光场显示场景。
153.第四方面，如图15所示，本技术提供再一种无接触人机交互方法40，其包括：
154.41、获取各个操作子空间内的用户手部图像信息。
155.在本技术可选的实施例中，操作空间即为平面摄像头和深度摄像头的拍摄范围和拍摄深度，也是用户对操控点的有效控制范围和有效控制深度。该操作空间可以包括至少两个操作子空间，分别获取各个操作子空间内的用户手部图像信息。
156.42、识别各个操作子空间内的用户手部图像信息中的操控点。
157.可以理解，获取了各个操作子空间内的用户手部图像信息之后，对各个操作子空间内的操控点进行识别，由于操作子空间不止一个，那么所识别出来的在操作空间内的操控点也不止一个。
158.43、根据操控点的位置深度变化输出操作子空间对应指令类别的控制指令。
159.可以理解，本技术所公开的无接触人机交互方法40，可以在各个不同的操作子空间内获取用户手部图像信息，并识别出各个操控点，根据各个操控点的位置变化，特别是深度变化输出对应的控制指令。其中一个操控点的位置深度变化对应一个控制指令，本方法40可以实现操作空间内用户通过控制多个操控点以使得多个控制指令的同时输出的应用场景。
160.如图16所示为显示设备的当前显示画面，可以理解，该显示画面呈现了两个待控制区域，即左边的“调色盘选择颜色区域”和右边的“绘图工作区域”，方法40可以实现对两个待控制区域对应的操作子空间的操控点识别。也就是说用户可以用过左右手配合，分别在不同的操作子空间通过两个操控点实现对“调色盘选择颜色区域”和右边的“绘图工作区域”的控制指令输出。或者，多名用户可以相互配合，一名用户在一个操作子空间内通过操控点实现对“调色盘选择颜色区域”的控制指令输出，另一名用户在另一个操作子空间内通过另一个操控点实现对“绘图工作区域”的控制指令输出。
161.对应的，如图17所示，本技术还提供再一种无接触人机交互装置400，其包括：信息
采集模块410，具体用于获取各个操作子空间内的用户手部图像信息；操控识别模块420，具体用于识别各个操作子空间内的用户手部图像信息中的操控点；指令处理模块430，具体用于根据操控点的位置深度变化输出操作子空间对应指令类别的控制指令。
162.第五方面，本技术提供再一种无接触人机交互方法，相较于第一方面所公开的方法，第五方面的方法还包括：
163.提取所述用户手部图像信息中的手势轮廓，识别用户手势；
164.根据所述用户手势输出对应的控制指令。
165.对应的，所述无接触人机交互装置中的所述操控识别模块，还用于提取所述用户手部图像信息中的手势轮廓，识别用户手势；所述指令处理模块，还用于根据所述用户手势输出对应的控制指令。
166.可以理解，与识别操控点的位置深度变化不同，本方法还可以通过预设手势或者自定义手势来设定特定手势所对应的控制指令，当识别出用户摆出特定手势后输出对应的控制指令。比如，在用户摆出ok手势的情况下输出确定指令，在用户摆出五指伸开手势的情况下输出截图指令等等。
167.第六方面，本技术提供一种考虑动态过程的区域性干旱事件识别装置包括识别服务器。如图18所示，识别服务器包括一个或多个处理器510；一个或多个深度图像获取设备520、一个或多个显示设备530和存储器540。上述处理器510、深度图像获取设备520、显示设备530和存储器540通过总线550连接。存储器540用于存储计算机程序，该计算机程序包括程序指令，处理器510用于执行存储器540存储的程序指令。其中，处理器510被配置用于调用程序指令，执行第一方面至第四方面的任一项方法。
168.应当理解，在本发明实施例中，所称处理器510可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
169.在本技术可选的实施例中，深度图像获取设备520包括平面摄像头和深度摄像头；平面摄像头用于在操作空间内拍摄用户手部，得到用户手部图像信息的像素平面图像信息；深度摄像头用于在操作空间内拍摄用户手部，得到用户手部图像信息的像素深度信息。
170.在本技术可选的实施例中，显示设备530包括平板显示设备、投影设备、vr显示设备或ar显示设备。
171.该存储器540可以包括只读存储器和随机存取存储器，并向处理器510提供指令和数据。存储器540的一部分还可以包括非易失性随机存取存储器。例如，存储器540还可以存储设备类型的信息。
172.具体实现中，本发明实施例中所描述的处理器510、深度图像获取设备520和显示设备530可执行本发明实施例所描述的实现方式，也可执行本发明实施例所描述的终端设备的实现方式，在此不再赘述。
173.第七方面，本技术公开了计算机可读存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时使处理器执行第一方面至第四
方面的任一项方法。
174.上述计算机可读存储介质可以是前述任一实施例的终端设备的内部存储单元，例如终端设备的硬盘或内存。上述计算机可读存储介质也可以是上述终端设备的外部存储设备，例如上述终端设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，上述计算机可读存储介质还可以既包括上述终端设备的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述终端设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
175.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
176.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
177.在本技术所提供的几个实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
178.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
179.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
180.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例中方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
181.本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设
备和介质类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，这里就不再一一赘述。
182.至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
183.在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。
184.当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)插入在这两者之间。
185.以上描述仅为本技术的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
186.以上所述仅为本技术的可选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。