基于手掌触控的远程交互输入方法及装置、电子设备

1.本技术涉及人机交互领域，尤其涉及一种基于手掌触控的远程交互输入方法及装置、电子设备。


背景技术：

2.随着数字化时代的发展和技术不断进步，手势交互的应用越来越多，然而现有的手势交互往往需要根据使用场景设计交互步骤，并需要经过一定练习培训才能完成交互任务，交互过程中存在长时间抬手操作、用户需要记住不同手势代表的含义来进行对应功能的操作、手势本身带有的随意性行为等情况，其缺点体现在缺乏精准操作控制、识别准确性不够以及复杂手势的学习成本较高，故未能得到广泛应用。如何融入实际用户场景，根据用户的行为和生活习惯，提供最自然的手势交互方案，最小化学习成本和记忆负担，成为交互设计的趋势。


技术实现要素：

3.本技术实施例的目的是提供一种基于手掌触控的远程交互输入方法及装置、电子设备，以解决相关技术中存在的识别准确性不够、复杂手势学习成本较高的技术问题。
4.根据本技术实施例的第一方面，提供一种基于手掌触控的远程交互输入方法，包括如下步骤：
5.获取深度相机采集的整个手掌的第一深度图像；
6.从所述第一深度图像中提取手掌区域，将所述手掌区域和被控制设备屏幕分别拟合为八个区域，并计算所述手掌区域和被控制设备屏幕的八个区域坐标的映射关系；
7.获取深度相机采集的包含另一只操作手的第二深度图像；
8.从所述第二深度图像中提取一个或多个操作手指在所述第二深度图像中的指尖位置；
9.根据操作手指指尖深度信息与手掌区域中对应指尖位置的深度信息，检测操作手指是否触碰所述手掌区域；
10.如果检测到操作手指触碰所述手掌区域，根据所述指尖位置和映射关系，计算每一个触碰的操作手指的指尖位置对应至预期被控制设备屏幕的具体位置；
11.将所述具体位置传输至预期被控制设备，从而实现通过触摸手掌对远程设备屏幕的操作。
12.进一步地，将手掌区域和被控制设备屏幕分别拟合为八个区域，并计算所述手掌区域和被控制设备屏幕的八个区域坐标的映射关系，包括：
13.在深度相机采集到的第一深度图像中，通过深度分割和图像分析技术提取手掌区域；
14.将所述手掌区域拟合为八边形，拟合规则为：食指和中指根部拟合为第一个边；无名指和小指根部拟合为第二个边；小拇指根部至手腕处的手掌边缘拟合为两个边，分别为
第三个边和第四个边；手腕处拟合为第五个边；大拇指根部至手腕处的手掌边缘拟合为第六个边；大拇指根部区域拟合为第七个边；虎口处拟合为第八个边；
15.将八个边的两端分别与掌心坐标分别连接，形成八个三角形；
16.将预期被控制设备屏幕对应拟合为八个三角形区域，并与所述八个三角形构成一一映射，形成八组相互对应的三角形，并基于仿射不变性计算每组三角形之间的坐标转换关系，即为映射关系。
17.进一步地，将预期被控制设备屏幕对应拟合为八个三角形区域，并与所述八个三角形构成一一映射，包括：
18.在设备屏幕中基于中心坐标点为原点，画垂直的十字坐标线，将设备屏幕分为四个象限，每个象限中将屏幕最远点和中心坐标点连线，从而将每个象限分为两个八个三角形区域，共计八个三角形区域；
19.将第一象限的第一个区域对应第一个边所在的三角形；
20.将第一象限的第二个区域对应第二个边所在的三角形；
21.将第二象限的第一个区域对应第三个边所在的三角形；
22.将第二象限的第二个区域对应第四个边所在的三角形；
23.将第三象限的第一个区域对应第五个边所在的三角形；
24.将第三象限的第二个区域对应第六个边所在的三角形；
25.将第四象限的第一个区域对应第七个边所在的三角形；
26.将第四象限的第二个区域对应第八个边所在的三角形。
27.进一步地，检测操作手指是否触碰所述手掌区域，包括：
28.计算操作手指指尖深度信息与手掌区域中对应指尖位置的深度信息，两者之差小于一定阈值即认为触碰。
29.进一步地，如果检测到操作手指触碰所述手掌区域，根据所述指尖位置和映射关系，计算每一个触碰的操作手指的指尖位置对应至预期被控制设备屏幕的具体位置，具体包括如下子步骤：
30.如果检测到操作手指触碰所述手掌区域，通过所述指尖位置得到操作手指所处的三角形及其在该三角形坐标系中的具体位置；
31.根据所述映射关系，将操作手指在该三角形坐标系中的具体位置转换成设备屏幕中相应的三角形坐标位置，并转换至被控制设备屏幕的具体位置。
32.进一步地，还包括：
33.重复执行从所述深度图像中提取手掌区域到将所述具体位置传输至预期被控制设备的步骤，实现多个手指操控状态实时检测与位置输出。
34.根据本技术实施例的第二方面，提供一种基于手掌触控的远程交互输入装置，包括：
35.第一获取模块，用于获取深度相机采集的整个手掌的第一深度图像；
36.提取计算模块，用于从所述第一深度图像中提取手掌区域，将所述手掌区域和被控制设备屏幕分别拟合为八个区域，并计算所述手掌区域和被控制设备屏幕的八个区域坐标的映射关系；
37.第二获取模块，用于获取深度相机采集的包含另一只操作手的第二深度图像；
38.提取模块，用于从所述第二深度图像中提取一个或多个操作手指在所述第二深度图像中的指尖位置；
39.检测模块，用于根据操作手指指尖深度信息与手掌区域中对应指尖位置的深度信息，检测操作手指是否触碰所述手掌区域；
40.计算模块，用于如果检测到操作手指触碰所述手掌区域，根据所述指尖位置和映射关系，计算每一个触碰的操作手指的指尖位置对应至预期被控制设备屏幕的具体位置；
41.传输模块，用于将所述具体位置传输至预期被控制设备，从而实现通过触摸手掌对远程设备屏幕的操作。
42.根据本技术实施例的第三方面，提供一种电子设备，包括：
43.一个或多个处理器；
44.存储器，用于存储一个或多个程序；
45.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
46.根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
47.本技术的实施例提供的技术方案可以包括以下有益效果：
48.由上述实施例可知，本技术从第一深度图像中提取整个手掌区域，将所述手掌区域和被控制设备屏幕拟合为对应的八个区域进行位置坐标的映射，从而实现整个手掌区域为触控屏，精准触控被控制设备屏幕。采用八个区域分区规则进行交互的映射，对设备屏幕的形状不做要求，也不必限制手掌区域的触控范围形状，即整个手掌区域都可以作为触控范围，且能够和预期被控制设备的屏幕对应，更利于人的自然交互理解。
49.本发明的方法具有便捷、舒适、自然的交互方式，人不需要低头就可以轻易理解掌中的变化，无需额外培训或校准，就可以像使用触摸屏一样在手掌中点点划划，实现交互；通过远程连接期望被控制的设备，即可随时随地手指触控实现远程交互，极大地提高了设备控制的便捷性，不用再为寻找遥控器等情况烦恼。
50.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
51.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
52.图1是根据一示例性实施例示出的一种基于手掌触控的远程交互输入方法的流程图。
53.图2是根据一示例性实施例示出的一种基于手掌触控的远程交互输入方法的场景示意图。
54.图3是根据一示例性实施例示出的手掌分区图。
55.图4是根据一示例性实施例示出的预期被控制的屏幕分区图。
56.图5是根据一示例性实施例示出的分区三角形映射关系图。
57.图6是根据一示例性实施例示出的一种基于手掌触控的远程交互输入装置的框
图。
具体实施方式
58.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
59.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
60.图1是根据一示例性实施例示出的一种基于手掌触控的远程交互输入方法的流程图，如图1所示，该方法可以包括以下步骤：
61.s1：获取深度相机采集的整个手掌的第一深度图像；
62.s2：从所述第一深度图像中提取手掌区域，将所述手掌区域和被控制设备屏幕分别拟合为八个区域，并计算所述手掌区域和被控制设备屏幕的八个区域坐标的映射关系；
63.s3：获取深度相机采集的包含另一只操作手的第二深度图像；
64.s4：从所述第二深度图像中提取一个或多个操作手指在所述深度图像中的指尖位置；
65.s5：根据操作手指指尖深度信息与手掌区域中对应指尖位置的深度信息，检测操作手指是否触碰所述手掌区域；
66.s6：如果检测到操作手指触碰所述手掌区域，根据所述指尖位置和映射关系，计算每一个触碰的操作手指的指尖位置对应至预期被控制设备屏幕的具体位置；
67.s7：通过远程无线设备将所述具体位置传输至预期被控制设备，从而实现通过触摸手掌对远程设备屏幕的操作。
68.由上述实施例可知，本技术从第一深度图像中提取整个手掌区域，将所述手掌区域和被控制设备屏幕拟合为对应的八个区域进行位置坐标的映射，从而实现整个手掌区域为触控屏，精准触控被控制设备屏幕。采用八个区域分区规则进行交互的映射，对设备屏幕的形状不做要求，也不必限制手掌区域的触控范围形状，即整个手掌区域都可以作为触控范围，且能够和预期被控制设备的屏幕对应，更利于人的自然交互理解。
69.本发明的方法具有便捷、舒适、自然的交互方式，人不需要低头就可以轻易理解掌中的变化，无需额外培训或校准，就可以像使用触摸屏一样在手掌中点点划划，实现交互；通过远程连接期望被控制的设备，即可随时随地手指触控实现远程交互，极大地提高了设备控制的便捷性，不用再为寻找遥控器等情况烦恼。
70.在s1的具体实施中：获取深度相机采集的整个手掌的第一深度图像；
71.具体地，以人体自然摆放手掌于腹前的区域作为目标拍摄区域，设置深度相机位置，使得深度相机可拍摄到完整手掌区域。
72.以人自然靠坐的舒适状态将手掌摆放于腹前位置，另一只手的手指可以自然触摸该手掌区域，深度相机可以固定在肩部、领口、眼镜、帽檐、墙壁、屋顶等区域，使其相机角度
可以完整拍摄到两只手的画面，如图2所示。
73.本步骤设计的优点在于使用场景非常常见，不需要长时间抬手，可以自然放松地将手掌轻靠在腹前，实现便捷、舒适、自然地交互，极大地提升了用户手势交互的体验感。
74.在s2的具体实施中：从所述第一深度图像中提取手掌区域，将所述手掌区域和被控制设备屏幕分别拟合为八个区域，并计算所述手掌区域和被控制设备屏幕的八个区域坐标的映射关系；该步骤可以包括以下子步骤：
75.s21：在深度相机采集到的第一深度图像中，通过深度分割和图像分析技术提取手掌区域；
76.具体地，这里的深度分割技术是根据像素不同将手和背景分割出来，采用图像分析技术区分手指和手掌，从而提取手掌区域；
77.s22：将所述手掌区域拟合为八边形，拟合规则为：食指和中指根部拟合为第一个边；无名指和小指根部拟合为第二个边；小拇指根部至手腕处的手掌边缘拟合为两个边，分别为第三个边和第四个边；手腕处拟合为第五个边；大拇指根部至手腕处的手掌边缘拟合为第六个边；大拇指根部区域拟合为第七个边；虎口处拟合为第八个边；
78.s23：将八个边的两端分别与掌心坐标分别连接，形成八个三角形；
79.具体地，在本实施例中，将深度相机拍摄提取后的手掌区域分区为八个三角形，编号如图3所示，包含食指和中指根部拟合的第一个边的三角形编号为1，包含无名指和小指根部拟合的第二个边的三角形编号为2，编号依次顺时针类推，共计得到8个编号三角形。
80.s24：将预期被控制设备屏幕对应拟合为八个三角形区域，并与所述八个三角形构成一一映射，形成八组相互对应的三角形，并基于仿射不变性计算每组三角形之间的坐标转换关系，即为映射关系。
81.其中将预期被控制设备屏幕对应拟合为八个三角形区域，并与所述八个三角形构成一一映射，包括：
82.在设备屏幕中基于中心坐标点为原点，画垂直的十字坐标线，将设备屏幕分为四个象限，每个象限中将屏幕最远点和中心坐标点连线，从而将每个象限分为两个八个三角形区域，共计八个三角形区域；
83.参考图3和图4，将第一象限的第一个区域对应第一个边所在的三角形；将第一象限的第二个区域对应第二个边所在的三角形；将第二象限的第一个区域对应第三个边所在的三角形；将第二象限的第二个区域对应第四个边所在的三角形；将第三象限的第一个区域对应第五个边所在的三角形；将第三象限的第二个区域对应第六个边所在的三角形；将第四象限的第一个区域对应第七个边所在的三角形；将第四象限的第二个区域对应第八个边所在的三角形。
84.将垂直坐标线右侧(即第一象限)第一个三角形编号为1，将垂直坐标线右侧(即第一象限)第二个三角形编号为2，编号依次顺时针类推，分区编号如图4所示，共计得到8个编号三角形。
85.图3包含的8个三角形与图4包含的8个三角形按照编号一一映射，即图3的1号三角形对应图4中的1号三角形，依次类推，形成八组相互对应的三角形。基于仿射不变性，计算每组三角形之间的坐标转换关系。
86.如图5所示，以图3中的1号三角形abc和图4中的1号三角形a’b’c’为例，计算三角
形abc中的任意点p在三角形a’b’c’中的映射点p’的坐标值。基于仿射不变性原理，p＝k1
×
a+k2
×
b+k3
×
c，且k1+k2+k3＝1。其中k1、k2和k3可以通过以下公式计算得到：
87.k1＝三角形bcp的面积/三角形abc的面积；
88.k2＝三角形acp的面积/三角形abc的面积；
89.k3＝三角形abp的面积/三角形abc的面积；
90.通过以上公式计算得到k1、k2和k3的值，从而计算出p’＝k1
×
a’+k2
×
b’+k3
×
c’。
91.p’和p的转换关系即代表了每组三角形间的坐标转换关系，因此可以计算出手掌区域任何一个三角形中的任意点在预期被控制设备的屏幕中对应的点的坐标值。
92.本步骤设计的优点在于，采用八个三角形分区规则进行交互的映射，对设备屏幕的形状不做要求，也不必限制手掌区域的触控范围形状，即整个手掌区域都可以作为触控范围，且能够和预期被控制设备的屏幕对应，实现易于理解实现的高效触控交互。
93.在s3的具体实施中：获取深度相机采集的包含另一只操作手的第二深度图像；
94.具体地，该步骤原理和s1类似，不做赘述。
95.在s4的具体实施中：从所述第二深度图像中提取一个或多个操作手指在所述深度图像中的指尖位置；
96.具体地，获取深度相机采集的包含手掌区域以及另一只操作手的深度图像，识别操作手的手指个数，提取所有操作手指在所述深度图像中的指尖深度信息和手掌区域中对应指尖位置的深度信息。
97.在s5的具体实施中：根据操作手指指尖深度信息与手掌区域中对应指尖位置的深度信息，检测操作手指是否触碰所述手掌区域；
98.具体地，计算操作手指指尖深度信息与手掌区域中对应指尖位置的深度信息，两者之差小于一定阈值即认为触碰。
99.在s6的具体实施中：如果检测到操作手指触碰所述手掌区域，根据所述指尖位置和映射关系，计算每一个触碰的操作手指的指尖位置对应至预期被控制设备屏幕的具体位置；
100.s61：如果检测到操作手指触碰所述手掌区域，通过所述指尖位置得到操作手指所处的三角形及其在该三角形坐标系中的具体位置；
101.s62：根据所述映射关系，将操作手指在该三角形坐标系中的具体位置转换成设备屏幕中相应的三角形坐标位置，并转换至被控制设备屏幕的具体位置。
102.具体地，根据深度相机采集的图像和深度数据，对比获取每一个操作手指触碰手掌区域的指尖位置，得到该位置包含所属三角形编号以及其在三角形坐标系中的具体坐标值，再根据步骤s2计算每一个触碰指尖位置对应的参数k1、k2和k3的值，从而计算出每一个触碰指尖位置p对应至预期被控制设备屏幕的具体位置p’。
103.本步骤设计的优点在于，可以支持一个或多个手指触碰，且计算方法简单有效，便于理解和操作，多个手指触碰还可以支持不同的交互输出方式，兼容性好。由于可以计算精准的触碰位置，故而交互识别精准性大大提高，相比以往的手势交互方法，用户体验自然也就更好。
104.在s7的具体实施中：通过远程无线设备将所述具体位置传输至预期被控制设备，从而实现通过触摸手掌对远程设备屏幕的操作。
105.具体地，本实施例中，远程无线设备可以采用蓝牙、wifi等多种无线传输方式，将s6计算得到的具体位置传输至预期被控制设备。
106.还包括s8：重复s2-s7，实现多个手指操控状态实时检测与位置输出。
107.具体地，根据步骤s2至步骤s7的循环计算，支持实时检测操作手指具体位置，从而更加智能地进行触控操作。
108.本步骤设计的优点在于，实现了手势交互的持续输入，以支持更复杂的连续触碰操作，使交互输入方式更加地智能和便捷。
109.与前述的一种基于手掌触控的远程交互输入方法的实施例相对应，本技术还提供了一种基于手掌触控的远程交互输入装置的实施例。
110.图6是根据一示例性实施例示出的一种基于手掌触控的远程交互输入装置框图。参照图6，该装置包括第一获取模块21、提取计算模块22、第一获取模块23、提取模块24、检测模块25、计算模块26、传输模块27。
111.第一获取模块21，用于获取深度相机采集的整个手掌的第一深度图像；
112.提取计算模块22，用于从所述第一深度图像中提取手掌区域，将所述手掌区域和被控制设备屏幕分别拟合为八个区域，并计算所述手掌区域和被控制设备屏幕的八个区域坐标的映射关系；
113.第二获取模块23，用于获取深度相机采集的包含另一只操作手的第二深度图像；
114.提取模块24，用于从所述第二深度图像中提取一个或多个操作手指在所述第二深度图像中的指尖位置；
115.检测模块25，用于根据操作手指指尖深度信息与手掌区域中对应指尖位置的深度信息，检测操作手指是否触碰所述手掌区域；
116.计算模块26，用于如果检测到操作手指触碰所述手掌区域，根据所述指尖位置和映射关系，计算每一个触碰的操作手指的指尖位置对应至预期被控制设备屏幕的具体位置；
117.传输模块27，用于将所述具体位置传输至预期被控制设备，从而实现通过触摸手掌对远程设备屏幕的操作。。
118.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
119.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本技术方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
120.相应的，本技术还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于手掌触控的远程交互输入方法。
121.相应的，本技术还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于手掌触控的远程交互输入方法。
122.本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由权利要求指出。
123.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。