一种增强现实的交互方法和装置与流程

1.本发明涉及计算机应用技术，特别是涉及一种增强现实(ar)的交互方法和装置。


背景技术：

2.针对ar场景的交互，目前提出了一种实现方案，该方案中利用摄像头捕捉用户的操作手势，根据所捕捉的操作手势对ar场景中的目标对象执行相应的操作。该方案不需要引用类似键盘或鼠标等的外接设备，因此可以解决用户使用ar头戴设备时，需要借助外接的键盘、鼠标等设备进行输入，操作复杂的问题。
3.发明人在实现本发明的过程中发现：上述方案需要依赖摄像设备捕捉用户操作手势，而摄像设备识别精度不高，并且ar场景中的目标操作对象也容易被其他显示内容遮挡，从而导致基于摄像设备捕捉的画面无法对用户操作准确识别，因此，会存在对连续性动作识别精度差的问题。


技术实现要素：

4.有鉴于此，本发明的主要目的在于提供一种增强现实(ar)的交互方法和装置，可以在保障用户操作方便性的同时，提高ar场景下用户操作识别的准确性。
5.为了达到上述目的，本技术实施例提出的技术方案为：
6.一种增强现实的交互方法，包括：
7.在ar场景中，基于超宽带(uwb)雷达传感器，监测用户的指定肢体动作；其中，所述uwb雷达传感器的覆盖区域和ar显示区域重叠；
8.当监测到指定的肢体动作时，根据所述肢体动作对应的操作在所述ar场景进行相应渲染；其中，如果所述肢体动作对应的操作属于针对场景中具体对象的操作，则根据相应监测时获得的肢体定位坐标，确定所述ar显示区域中的目标操作对象。
9.较佳地，所述方法进一步包括：
10.所述uwb雷达传感器的发射点为ar显示区域的视锥体顶点；用于uwb雷达定位的球形坐标系的原点为所述ar显示区域的视锥体顶点；
11.所述根据相应监测时获得的肢体定位坐标，确定所述ar显示区域中的目标操作对象包括：
12.将所述球形坐标系中位于所述肢体定位坐标的显示对象，作为所述目标操作对象。
13.较佳地，所述方法进一步包括：
14.ar显示区域在球形坐标系中由具有不同球半径的球面切割为相应数量的子显示区域；所述ar显示区域中的显示对象在所述球形坐标系的位置为所述显示对象在所属子显示区域所对应球面上的位置。
15.较佳地，所述显示对象在所述球形坐标系的位置由球半径r和坐标(x,y,z)共同表征；其中，r为显示对象所属子显示区域所对应球面的球半径，坐标(x,y,z)为显示对象在所
属子显示区域所对应球面上的坐标。
16.较佳地，所述球半径基于预设的球半径间隔得到。
17.较佳地，所述指定肢体动作为手势动作。
18.本发明实施例还公开了一种增强现实的交互装置，包括：
19.监测模块，用于在ar场景中，基于uwb雷达传感器，监测用户的指定肢体动作；其中，所述uwb雷达传感器的覆盖区域和ar显示区域重叠；
20.渲染模块，用于当监测到指定的肢体动作时，根据所述肢体动作对应的操作在所述ar场景进行相应渲染；其中，如果所述肢体动作对应的操作属于针对场景中具体对象的操作，则根据相应监测时获得的肢体定位坐标，确定所述ar显示区域中的目标操作对象。
21.较佳地，所述uwb雷达传感器的发射点为ar显示区域的视锥体顶点；用于uwb雷达定位的球形坐标系的原点为所述ar显示区域的视锥体顶点；
22.渲染模块，用于根据相应监测时获得的肢体定位坐标，确定所述ar显示区域中的目标操作对象包括：
23.将所述球形坐标系中位于所述肢体定位坐标的显示对象，作为所述目标操作对象。
24.较佳地，所述ar场景的ar显示区域在球形坐标系中由具有不同球半径的球面切割为相应数量的子显示区域；所述ar显示区域中的显示对象在所述球形坐标系的位置为所述显示对象在所属子显示区域所对应球面上的位置。
25.本技术实施例还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如上所述的增强现实的交互方法的步骤。
26.本技术实施例还公开了一种电子设备，包括如上所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
27.由上述技术方案可见，本发明实施例提出的增强现实的交互方案，在ar场景中，利用uwb雷达传感器，监测用户的指定肢体动作，并使得所述uwb雷达传感器的覆盖区域和ar显示区域重叠，如此，可以在当监测到指定的肢体动作时，能够根据相应的肢体定位坐标，快速、准确地确定出相应的ar显示区域中的目标操作对象，从而可以对用户操作指令进行快速准确的识别，因此，采用本发明实施例，可以在保障用户操作方便性的同时，提高ar场景下用户操作识别的准确性。
附图说明
28.图1为本发明实施例的方法流程示意图；
29.图2为本发明实施例的球形坐标系统示意图；
30.图3为本发明实施例的视锥体示意图；
31.图4为本发明实施例中经过分层切割后的视锥体横向切面示意图；
32.图5为本发明实施例的手指拖动动作示意图；
33.图6为本发明实施例的手势动作集合示意图；
34.图7为本发明实施例的场景一示意图；
35.图8为本发明实施例对场景一中物体移动的过程示意图；
36.图9为本发明实施例的场景二示意图；
37.图10为本发明实施例对场景二中小车旋转的过程示意图；
38.图11为本发明实施例对ar场景中的物体进行复制/粘贴的过程示意图；
39.图12为本发明实施例的装置结构示意图。
具体实施方式
40.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
41.图1为本发明实施例的流程示意图，如图1所示，该实施例实现的增强现实的交互方法主要包括下述步骤：
42.步骤101、在ar场景中，基于uwb雷达传感器，监测用户的指定肢体动作；其中，所述uwb雷达传感器的覆盖区域和ar显示区域重叠。
43.本步骤中，在ar场景中，需要基于uwb雷达传感器，监测用户的指定肢体动作，如此，可以充分利用uwb雷达传感器的定位优势，快速、准确地对用户的指定肢体动作进行实时捕捉。并且，通过使得uwb雷达传感器的覆盖区域和ar显示区域相重叠，有利于将对肢体动作监测时获得的肢体定位坐标与ar显示区域中的具体对象相关联，这样，用户直接利用肢体动作，即可在ar场景中指示出需要操作的具体对象，从而可以在保障用户操作方便性的同时，对用户的操作指令进行快速、准确识别。
44.采用uwb雷达技术，基于发射和回收波形，可以对用户的肢体动作(包括单点静止动作和连续动作)进行准确定位和识别。本步骤中对用户肢体动作的监测具体可以采用现有技术实现，在此不再赘述。
45.在一种实施方式中，考虑到从视野原点出发用户的可视范围是一个视椎体形状，为了减少交互运算开销，可以通过将uwb雷达传感器的发射点调整为ar显示区域的视锥体顶点，使得uwb雷达(发射+接收)覆盖区域和ar显示区域相重叠。另外，将用于uwb雷达定位的球形坐标系统(如图2所示)的原点设置为所述ar显示区域的视锥体(如图3所示)顶点，以便可以直接利用uwb雷达定位的球形坐标系，对ar显示区域中各个显示内容的位置进行标识。这样，用于对ar显示区域中内容进行定位的坐标系与uwb雷达定位的坐标系一致，从而使得肢体动作的定位坐标和目标操作对象在ar显示区域的坐标一致，进而可以直接基于肢体动作的定位坐标，对ar显示区域中的目标操作对象进行快速定位。
46.在一种实施方式中，为了便于对ar显示区域目标操作对象的位置进行标识，可以利用球形坐标系对ar显示区域中的显示对象进行位置标识，具体地，可以利用球形坐标系中由以坐标系原点为球心、具有不同球半径的球面对ar显示区域进行切割，得到相应数量的子显示区域，这样，每个子显示区域将由不同球半径的球面界定，利用ar显示区域中子显示区域对应的最大球半径球面，即可对ar显示区域的显示对象的位置进行准确标识，即ar显示区域中的显示对象在所述球形坐标系的位置为所述显示对象在所属子显示区域所对应球面上的位置。
47.在一种实施方式中，ar场景中的每个显示对象在球形坐标系的位置具体可以由球半径r和坐标(x,y,z)共同表征。
48.其中，r为显示对象所属子显示区域所对应球面的球半径，坐标(x,y,z)为显示对
象在所属子显示区域所对应球面上的坐标。
49.这里，每个子显示区域所对应球面具体可以为该子显示区域对应的最大球半径或最小球半径对应的球面。
50.图4给出了一个从视野原点到视野远平面的视锥体横向切面示意图，如图所示，ar显示区域中的两个点(p和q)位于该切平面上，点p位于球半径rp的球面上，点q位于rq和rp之间的球半径对应的球面上，这样，点p和点q在各自球面的坐标可以分别标记为p(px,py,pz),q(qx,qy,qz)，相应的，点p和点q的位置可以分别标记为fp(rq，px,py,pz),fq(rp，qx,qy,qz)。
51.在一种实施方式中，所述指定肢体动作具体可以为手势动作，但不限于此，例如，也可以为脚部动作等。
52.对于所述指定肢体动作，可以根据发射波形和反射波形来定义不同的肢体动作，例如，对于手指拖动动作，如图5所示，手指点选在p点fp(rp,xp,yp,zp)，然后拖动手指到q点fq(rq,xq,yq,zq)，定义为拖动。需要说明的是，手指点选在某个位置时，基于单点的回波信号，可以准确定位该点的位置信息。
53.在实际应用中，具体可根据实际需要设置指定的肢体动作集合，以手势动作为例，可以设置如图6所示的手势动作集合，但不限于此。
54.在一种实施方式中，所述球半径可以基于预设的球半径间隔得到，即得到一组间隔相同的球半径，这样，对ar显示区域进行切割后所得到的相邻子显示区域之间的距离也相同。
55.所述球半径间隔越小，ar显示区域的切割粒度越小，利用子显示区域对场景内容的位置标记越准确，在实际应用中，球半径间隔可由本领域技术人员根据实际需要设置合适取值。
56.步骤102、当监测到指定的肢体动作时，根据所述肢体动作对应的操作在所述ar场景进行相应渲染；其中，如果所述肢体动作对应的操作属于针对场景中具体对象的操作，则根据相应监测时获得的肢体定位坐标，确定所述ar显示区域中的目标操作对象。
57.本步骤中，如果当前监测到的肢体动作属于针对具体对象的操作，则需要利用肢体定位坐标与ar场景中显示内容的关联性，基于肢体定位坐标，快速、准确地确定出ar显示区域中的目标操作对象。
58.在一种实施方式中，具体可以采用下述方法确定目标操作对象：
59.将所述球形坐标系中位于所述肢体定位坐标的对象，作为所述目标操作对象。
60.通过上述实施例可以看出，上述技术方案通过引入uwb雷达技术，并采用uwb雷达覆盖区域和ar显示区域重叠校准的方式，实现用户与ar场景的交互，进一步地，结合对ar显示区域标记不同分层，可以提高对用户操作识别的准确性，且运算开销小。下面结合几种具体应用场景，对上述方法实施例的具体实现进行详细说明。
61.场景一：对ar场景中的虚拟物体进行移动
62.图7为场景一的示意图。图8为对场景一中物体移动的过程示意图。如图8所示，手指点选虚拟物体，拖动到选定区域，手指松开，被点选物体在新位置重新渲染。在图7中，点选沙发(虚拟物体)挪动其位置，可以选择更合理的家居布局。
63.场景二：对ar场景中的虚拟物体进行旋转
64.图9为场景二的示意图。图10为对场景二中小车旋转的过程示意图。如图10所示，手指点选虚拟物体，旋转一定角度(例如，顺时针旋转180
°
)，手指松开，被点选物体在当前位置重新渲染，但是渲染的角度旋转了180
°
。在图9中，选中小车玩具(虚拟物体)对其旋转，可以看到其他面的更多信息。
65.场景三：对ar场景中的虚拟物体进行复制/粘贴
66.图11为对ar场景中的物体进行复制/粘贴的过程示意图。如图11所示，双手点选虚拟物体，保持左手不动，右手拖动虚拟物体，右手松开，被点选物体在当前位置(右手松开的位置)重复渲染一个虚拟物体(和最初点选的虚拟物体原样复制)，两个虚拟物体完全相同，只是所在位置不同。
67.基于上述方法实施例，本技术实施例还公开了一种增强现实的交互装置，如图所示，该交互装置包括：
68.监测模块，用于在增强现实ar场景中，基于uwb雷达传感器，监测用户的指定肢体动作；其中，所述uwb雷达传感器的覆盖区域和ar显示区域重叠；
69.渲染模块，用于当监测到指定的肢体动作时，根据所述肢体动作对应的操作在所述ar场景进行相应渲染；其中，如果所述肢体动作对应的操作属于针对场景中具体对象的操作，则根据相应监测时获得的肢体定位坐标，确定所述ar显示区域中的目标操作对象。
70.在一种实施方式中，所述uwb雷达传感器的发射点为ar显示区域的视锥体顶点；用于uwb雷达定位的球形坐标系的原点为所述ar显示区域的视锥体顶点。
71.所述渲染模块，具体用于根据相应监测时获得的肢体定位坐标，确定所述ar显示区域中的目标操作对象，包括：将所述球形坐标系中位于所述肢体定位坐标的显示对象，作为所述目标操作对象。
72.在一种实施方式中，所述ar场景的ar显示区域在球形坐标系中由具有不同球半径的球面切割为相应数量的子显示区域；所述ar显示区域中的显示对象在所述球形坐标系的位置为所述显示对象在所属子显示区域所对应球面上的位置。
73.在一种实施方式中，所述指定肢体动作为手势动作。
74.在一种实施方式中，所述球半径基于预设的球半径间隔得到。
75.在一种实施方式中，所述显示对象在所述球形坐标系的位置具体可以由球半径r和坐标(x,y,z)共同表征。
76.其中，半径r为显示对象所属子显示区域所对应球面的球半径，坐标(x,y,z)为显示对象在所属子显示区域所对应球面上的坐标。
77.基于上述增强现实的交互方法实施例，本技术实施例实现了一种增强现实的交互电子设备，包括处理器和存储器；所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述的增强现实的交互方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现
上述增强现实的交互方法实施方式中任一实施方式的功能。
78.其中，存储器具体可以实施为电可擦可编程只读存储器(eeprom)、快闪存储器(flash memory)、可编程程序只读存储器(prom)等多种存储介质。处理器可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为cpu或mcu。
79.本技术实施例实现了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述的增强现实的交互方法的步骤。
80.需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
81.各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如fpga或asic)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
82.在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
83.以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。