模拟触屏的方法和系统与流程

1.本公开涉及触屏技术领域，并且更具体地，涉及一种模拟触屏的方法和系统。


背景技术：

2.触屏操作是一种简单直接的操作方式，深受用户欢迎。为了使普通屏幕具有触屏功能，出现了模拟触屏技术。现有的模拟触屏技术大多是使用深度传感器和景深摄像头来实现，通过计算图像中的深度信息实现触摸操作。该技术成本高、过程复杂，且受到图像质量的影响。


技术实现要素：

3.本公开提供了一种模拟触屏的方法和系统，以至少解决上述相关技术中的问题，也可不解决任何上述问题。
4.根据本公开的实施例的第一方面，提供了一种模拟触屏的方法，所述方法可包括：向移动式定位器的用户发送用于设置与真实屏幕的至少一部分对应的虚拟触屏的位置的提示；响应于用户对所述提示的确认，从定位装置获取所述移动式定位器的第一位置信息，其中，所述第一位置信息可包括所述移动式定位器在用户的确认时刻的空间位置坐标；并且基于所述第一位置信息，创建所述虚拟触屏。
5.可选地，创建所述虚拟触屏的步骤可包括：基于所述第一位置信息，确定所述虚拟触屏的形状；并且基于所述第一位置信息和所确定的形状，创建所述虚拟触屏。
6.可选地，向移动式定位器的用户发送用于设置与真实屏幕的至少一部分对应的虚拟触屏的位置的提示的步骤可包括：向用户发送用于选择所述虚拟触屏的形状的提示；并且基于用户选择的虚拟触屏的形状，向用户发送用于设置所述虚拟触屏的与所选的形状对应的关键位置的提示。
7.可选地，创建所述虚拟触屏的步骤可包括：建立所述虚拟触屏上的位置与所述真实屏幕上的位置之间的映射关系。
8.可选地，所述方法还可包括：基于所述映射关系，将用户使用所述移动式定位器在所述虚拟触屏上的模拟触屏操作映射为对所述真实屏幕的触屏操作。
9.可选地，基于所述映射关系，将用户使用所述移动式定位器在所述虚拟触屏上的模拟触屏操作映射为对所述真实屏幕的触屏操作的步骤可包括：从所述定位装置实时地获取所述移动式定位器的第二位置信息；基于所述第二位置信息确定所述移动式定位器在所述虚拟触屏上的触屏位置；基于所述映射关系将所述移动式定位器在所述虚拟触屏上的所述触屏位置映射为所述真实屏幕上的对应位置；并且将包括与所述对应位置相关的信息的信号发送到所述真实屏幕，以将用户使用所述移动式定位器在所述虚拟触屏上的模拟触屏操作映射为对所述真实屏幕的触屏操作。
10.可选地，所述定位装置可包括至少四个超宽带(uwb)基站，并且所述移动式定位器可包括uwb标签。
11.根据本公开的实施例的第二方面，提供了一种模拟触屏的系统，所述系统可包括：移动式定位器；定位装置，被配置为确定所述移动式定位器的位置信息；以及控制器，被配置为进行以下操作：向移动式定位器的用户发送用于设置与真实屏幕的至少一部分对应的虚拟触屏的位置的提示，响应于用户对所述提示的确认，从定位装置获取所述移动式定位器的第一位置信息，并且基于所述第一位置信息，创建所述虚拟触屏，其中，所述第一位置信息可包括所述移动式定位器在用户的确认时刻的空间位置坐标。
12.可选地，所述控制器可被配置为：基于所述第一位置信息，确定所述虚拟触屏的形状；并且基于所述第一位置信息和所确定的形状，创建所述虚拟触屏。
13.可选地，所述控制器可被配置为：向用户发送用于选择所述虚拟触屏的形状的提示；并且基于用户选择的虚拟触屏的形状，向用户发送用于设置所述虚拟触屏的与所选的形状对应的关键位置的提示。
14.可选地，所述控制器可被配置为：建立所述虚拟触屏上的位置与所述真实屏幕上的位置之间的映射关系。
15.可选地，所述控制器还可被配置为：基于所述映射关系，将用户使用所述移动式定位器在所述虚拟触屏上的模拟触屏操作映射为对所述真实屏幕的触屏操作。
16.可选地，所述控制器可被配置为：从所述定位装置实时地获取所述移动式定位器的第二位置信息；基于所述第二位置信息确定所述移动式定位器在所述虚拟触屏上的触屏位置；基于所述映射关系将所述移动式定位器在所述虚拟触屏上的所述触屏位置映射为所述真实屏幕上的对应位置；并且将包括与所述对应位置相关的信息的信号发送到所述真实屏幕，以将用户使用所述移动式定位器在所述虚拟触屏上的模拟触屏操作映射为对所述真实屏幕的触屏操作。
17.可选地，所述定位装置可包括至少四个超宽带(uwb)基站，并且所述移动式定位器可包括uwb标签。
18.根据本公开的实施例的第三方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时使处理器实现所述模拟触屏的方法。
19.根据本公开的实施例的第四方面，提供了一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行所述模拟触屏的方法。
20.根据本公开的实施例，通过所述模拟触屏的方法，用户可以在任意位置设置任意大小、形状的虚拟触屏，用户使用的移动式定位器简单、成本低、使用场景丰富且操作方便，提高了用户体验。
21.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
22.图1是示出根据本公开的示例实施例的模拟触屏的系统的示意性框图；
23.图2是根据本公开的示例实施例的确定移动式定位器的位置的示图；
24.图3是示出根据本公开的示例实施例的模拟触屏的方法的流程图；
25.图4是示出根据本公开的示例实施例的用户创建虚拟触屏的示例过程的示图；
26.图5是示出根据本公开的示例实施例的用户创建虚拟触屏的另一示例过程的示图；
27.图6示出在非触屏屏幕上实现触屏功能的示例实施例的示图；
28.图7示出实现远距离操作真实屏幕的示例实施例的示图；
29.图8示出在桌面上设置虚拟触屏的示例实施例的示图；
30.图9示出实现球形虚拟触屏的示例实施例的示图；
31.图10示出将球形虚拟触屏应用于增强现实/虚拟现实(ar/vr)场景的示例实施例的示图；以及
32.图11示出实现球形虚拟触屏的另一示例实施例的示图。
具体实施方式
33.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开的实施例中的技术方案进行清楚、完整地描述。
34.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
35.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
36.图1是示出根据本公开的示例实施例的模拟触屏的系统100的示意性框图。
37.根据本公开的示例实施例的模拟触屏的系统100可包括定位装置110、移动式定位器120和控制器130。这里，移动式定位器120和控制器130被示出为两个分开的装置，但本公开不限于此，例如，还可将移动式定位器120和控制器130集成为一个可移动装置。例如，当移动式定位器120和控制器130是两个分开的装置时，控制器130可以是各种电子设备，例如，智能手机、智能手表、台式计算机、笔记本电脑或其一部分等，而移动式定位器120可以是例如电子笔或其一部分等。又例如，当移动式定位器120和控制器130在一个装置中时，移动式定位器120可以是安装在该装置中的用于确定其空间位置的特定组件。
38.定位装置110可与移动式定位器120进行信号交互，以确定移动式定位器120的位置信息。在本公开的示例性实施例中，定位装置110可包括至少四个超宽带(uwb)基站，并且移动式定位器120可包括uwb标签，以下将结合图2对此进行详细解释。
39.图2是根据本公开的示例实施例的确定移动式定位器120的位置的示图。图2的(a)是示出根据本公开的示例实施例的由4个uwb基站组成的三维定位系统的示图，图2的(b)是示出根据本公开的示例实施例的uwb标签与uwb基站交互的示图。
40.可使用至少4个uwb基站构建三维定位系统。仅作为示例，如图3的(a)所示，可在室内布置四个已知位置坐标的uwb基站，uwb标签可与四个uwb基站交互，实现三维定位。如图3的(b)所示，用户使用的uwb标签与uwb基站之间可发送请求信号和响应信号。uwb基站可根据信号的飞行时间确定uwb标签与uwb基站的距离。例如，可通过到达时间差(tdoa)算法，通过测量uwb标签与uwb基站间的报文传输时间差，计算出距离差，从而计算出uwb标签的位置。
41.然而，本领域技术人员应理解上述基于uwb定位技术实现对移动式定位器120的定位的方法以及计算出uwb标签的位置的算法仅是示例，本公开不限于此，例如，还可使用任何其他合适的定位技术(诸如蓝牙、wifi、zigbee技术等)以及其他算法等来确定移动式定位器120的位置。以下将以定位装置110为四个uwb基站且移动式定位器120包括uwb标签为例进行描述。
42.返回参照图1，控制器130可向移动式定位器120的用户发送用于设置与真实屏幕的至少一部分对应的虚拟触屏的位置的提示；响应于用户对该提示的确认，从定位装置110获取移动式定位器120的第一位置信息；并且基于第一位置信息，创建虚拟触屏。第一位置信息可包括移动式定位器120在用户的确认时刻的空间位置坐标。这里，所述真实屏幕可以是不具有触屏功能的非触屏屏幕或具有触屏功能的触屏屏幕。下面，以控制器130被实现为各种电子装置中的应用程序(例如，称为“模拟触屏app”)为例，结合图3和图4对此进行详细描述。
43.图3是示出根据本公开的示例实施例的模拟触屏的方法的流程图。
44.在步骤310，可向移动式定位器120的用户发送用于设置与真实屏幕的至少一部分对应的虚拟触屏的位置的提示。在本公开的示例实施例中，可向用户发送用于选择虚拟触屏的形状的提示，并且基于用户选择的虚拟触屏的形状，向用户发送用于设置虚拟触屏的与所选的形状对应的关键位置的提示。
45.图4是示出根据本公开的示例实施例的用户创建虚拟触屏的示例过程的示图。
46.如图4所示，在模拟触屏app中，可向用户发送用于选择虚拟触屏的形状的提示。用户可以为虚拟触屏选择多种形状，如矩形、圆形、球形等，用户可以使用点、直线、曲线等多种方式设置锚点(或关键点、关键位置)。如果用户选择了矩形，则还可以向用户发送用于选择设置虚拟触屏的方式的提示。用户可以使用点、直线、曲线等多种方式设置锚点。如图4所示，设置虚拟触屏的方式可包括选点设置方式和画线设置方式。在用户选择了选点设置方式的情况下，可基于所选的虚拟触屏的形状向用户发送用于设置虚拟触屏的与所选的形状对应的关键位置的提示。如图4所示，若用户选择了矩形，则可依次向用户发送四个用于设置虚拟触屏的关键位置的提示以提示用户设置矩形的4个角的坐标。
47.此外，在存在多个真实屏幕的情况下，还可向用户发送用于从所述多个真实屏幕中选择一个真实屏幕的提示。
48.在步骤320，可响应于用户对所述提示的确认，从定位装置110获取移动式定位器120的第一位置信息。例如，如图4所示，用户可按照提示将移动式定位器120放置在空间中的任何其想要的位置，在放置好移动式定位器120的位置之后，用户可以点击确认“ok”，以从定位装置110获得确认时刻的位置信息，以对应于图4中的
①
。随后，通过类似的操作，可获得矩形的其余三个角的位置信息，以对应于图4中的
②
、
③
和
④
，最后确认完成对虚拟触
屏的位置的设置。执行4次操作即可设置完成矩形的4个角的坐标。也就是说，在提示被发送时，用户可以移动移动式定位器120，当将该移动式定位器120移动到其满意的位置时，用户可对所述提示进行确认，以使得控制器130可获得移动式定位器120在用户的确认时刻的空间位置坐标。这里，第一位置信息可以是一个或更多个位置信息。
49.在图4的示例中，控制器130可控制显示器向用户显示用于设置虚拟触屏的位置的提示，并且显示器上显示的提示可以对应于两个选项，例如，确认和不确认，然而，本公开不限于此。例如，控制器130可控制扬声器(未示出)输出用于设置虚拟触屏的位置的声音提示，并且用户可以通过例如发出声音“确认”或“不确认”来对该提示做出回应，控制器130可通过识别用户发出的声音来确定是否从定位装置110获取移动式定位器120的第一位置信息。
50.此外，如图4所示，在用户选择了虚拟触屏的形状之后，在用户选择了画线设置方式的情况下，可基于所确定的虚拟触屏的形状向用户发送一个或更多个用于对虚拟触屏进行画线设置的提示。例如，如图4所示，在显示器上显示了提示“请使用定位器画出矩形”以提示用户使用移动式定位器120画出矩形轮廓，用户将移动式定位器120置于某一位置后，可以点击开始，并开始使用移动式定位器120在空间中进行画线设置，沿着矩形的轮廓移动移动式定位器120。此时，控制器130可从定位装置110连续地实时获取移动式定位器120的位置信息。在用户完成了画线设置之后，用户可以点击结束，以确认完成对虚拟触屏的位置的设置。
51.也就是说，提示可以是用于连续获取移动式定位器120的位置信息的两个提示，响应于对所述两个提示中的第一个提示的确认，可开始连续获取移动式定位器120的位置信息，并且响应于对所述两个提示中的第二个提示的确认，随后可终止获取移动式定位器120的位置信息。然而，本公开不限于此。例如，提示可以是用于连续获取位置信息的一个提示，响应于对该提示的确认，可在预设时间段(例如，5秒)内连续获取移动式定位器120的位置信息。
52.在步骤330，可基于所获取的第一位置信息，创建虚拟触屏。例如，如图4所示，可通过选点设置方式，基于从定位装置110获取的四个位置信息计算出虚拟触屏的位置以创建虚拟触屏。
53.根据本公开的另一示例实施例，可以不向用户发送用于选择虚拟触屏的形状的提示，而是，可响应于用户对用于设置与真实屏幕的至少一部分对应的虚拟触屏的位置的提示的确认，从定位装置110获取移动式定位器120的第一位置信息，基于第一位置信息，确定虚拟触屏的形状，并且基于第一位置信息和所确定的形状，创建虚拟触屏。例如，若第一位置信息包括四个位置坐标，则可根据所述四个位置坐标将虚拟触屏的形状确定为例如长方形。例如，若第一位置信息包括连续获得的若干个位置坐标(例如，在用户在预设时间内使用移动式定位器120在空间中画了一个圆或其它不规则形状的情况下，在所述预设时间内连续获得的例如25个位置坐标)，则可根据所述若干个位置坐标将虚拟触屏的形状确定为例如圆形或其它不规则形状，由此，可创建出圆形或其它不规则形状的虚拟触屏。
54.在本公开的示例实施例中，在创建虚拟触屏时，可建立虚拟触屏上的位置与真实屏幕上的位置之间的映射关系。
55.在创建好虚拟触屏之后，用户可使用移动式定位器120与创建的虚拟触屏交互，若
移动式定位器120处于虚拟触屏的位置上，则视为产生了触摸事件或触摸操作，并且控制器130可基于上述映射关系，将用户使用移动式定位器120在虚拟触屏上的模拟触屏操作映射为对真实屏幕的触屏操作。
56.在本公开的示例实施例中，在创建好虚拟触屏之后，可从定位装置110实时地获取移动式定位器120的第二位置信息；基于第二位置信息确定移动式定位器120在虚拟触屏上的触屏位置；基于所述映射关系将移动式定位器120在虚拟触屏上的触屏位置映射为真实屏幕上的对应位置；并且将包括与所述对应位置相关的信息的信号发送到真实屏幕，以将用户使用移动式定位器120在虚拟触屏上的模拟触屏操作映射为对真实屏幕的触屏操作。真实屏幕中可安装有用于对包括与所述对应位置相关的信息的信号进行处理的处理程序或模块，例如，接口程序、输入接口、通信接口等。如果真实屏幕根据所述信号识别出对应位置信息在一定时间段内没有发生变化，则可将触屏操作识别为对应位置的长按操作。如果真实屏幕根据所述信号识别出对应位置信息连续发生变化，则可将触屏操作识别为滑动操作。
57.图5是示出根据本公开的示例实施例的用户创建虚拟触屏的另一示例过程的示图。
58.如图5所示，在模拟触屏app中，如果用户选择了球形，则可基于球形，向用户发送用于设置虚拟触屏的关键位置的提示，即，向用户发送用于设置球心的提示“请使用定位器设置球心”，以提示用户设置球心位置。用户可将移动式定位器120移动到需要的位置，并点击确定“ok”，以记录下此时的移动式定位器120的位置信息作为球心位置。随后还可提示用户设置球形半径，例如，可提供数值设置和选点设置两种方式。若用户选择数值设置方式，则提示用户“输入半径值”，用户输入半径值后，即可完成设置。若用户选择选点设置方式，则提示用户将移动式定位器120放置在合适位置后点击“ok”，以记录该位置，并计算该位置与球心的距离得到半径值，从而完成设置。在设置完成后，用户可使用移动式定位器120与该球形虚拟触屏交互，若移动式定位器120处于球面位置上，则视为产生了触摸事件。
59.图6示出在非触屏屏幕上实现触屏功能的示例实施例的示图。
60.如果用户想要直接在一个不具有触屏功能的非触屏屏幕(例如，电视)上进行触屏，用户可在布置有至少四个uwb基站的空间中，使用一个带有uwb标签和上述模拟触屏app的可移动设备，通过该可移动设备的模拟触屏app开启创建虚拟触屏的功能，并按照提示移动该可移动设备，将该可移动设备依次放在电视的4个角。如图6所示，该可移动设备可记录四个位置信息作为锚点，根据上述锚点的坐标，计算出虚拟触屏的平面的位置，以创建与该非触屏屏幕重合的虚拟触屏。随后，如图6所示，用户可在非触屏的电视屏幕上进行触屏操作(例如，点击)，由于虚拟触屏与电视屏幕重合，在电视屏幕上进行触屏操作相当于使用该可移动设备与虚拟触屏交互(例如，点击虚拟触屏)，从而可将用户使用该可移动设备在虚拟触屏上的模拟触屏操作映射为对电视屏幕的触屏操作，实现了非触屏屏幕的触屏功能。
61.图7示出实现远距离操作真实屏幕的示例实施例的示图。
62.类似于关于图6所述，用户可使用图6所述的可移动设备。如图7所示，用户可使用该可移动设备设置锚点，在空中生成虚拟触屏，并且用户可使用该可移动设备与虚拟触屏交互(如，接触虚拟触屏)。用户使用该可移动设备在虚拟触屏上的模拟触屏操作可被映射为对真实屏幕的触屏操作，以实现远距离操作真实屏幕。该真实屏幕可以是非触屏屏幕或
触屏屏幕。
63.图8示出在桌面上设置虚拟触屏的示例实施例的示图。
64.类似于关于图6所述，用户可使用图6所述的可移动设备。或者，用户可使用带有uwb标签的电子笔以及与该电子笔分开的带有上述模拟触屏app的电子设备。用户可使用该电子笔在桌面上设置锚点，在桌面上生成与真实屏幕中的手写板区域对应的虚拟触屏，实现了将真实屏幕的手写板转化到桌面上，用户可使用该电子笔在桌面上的虚拟触屏上手写内容。如图6所示，例如，在桌面上的虚拟触屏上手写“1 2 3”，真实屏幕的手写板上显示了手写的“1 2 3”。
65.图9示出实现球形虚拟触屏的示例实施例的示图。
66.同样，用户可使用图6所述的可移动设备。如上面参照图5所述，用户可设置一个球形虚拟触屏。例如，如图9所示，用户可设置一个与真实屏幕中的球形对象对应的球形虚拟触屏。在这种情况下，所建立的在虚拟触屏上的位置与真实屏幕上的位置之间的映射关系为三维与二维之间的关系。用户可使用该可移动设备在球形虚拟触屏上进行触摸操作，从而可以使用户更加简单、直观地操作真实屏幕中的球形对象。
67.图10示出将球形虚拟触屏应用于增强现实/虚拟现实(ar/vr)场景的示例实施例的示图。
68.当用户想要在ar/vr场景中操作一个球形虚拟对象时，用户可使用上述可移动设备来设置一个位置、大小与球形虚拟对象的位置、大小相同的球形虚拟触屏，使得用户可以方便地通过该球形虚拟触屏对该球形虚拟对象进行操作。
69.图11示出实现球形虚拟触屏的另一示例实施例的示图。
70.用户可设置一个较大的球形虚拟触屏，以将用户包围在该球形虚拟触屏内，用户可以对周围进行触摸操作，即，在球形虚拟触屏的内表面进行触摸操作。如图11所示，例如，在真实屏幕中显示实景地图的情况下，通过所创建的球形虚拟触屏，用户在球形虚拟触屏上进行滑动操作，实现了沉浸式交互。
71.根据本公开的示例实施例，可提供一种计算机可读存储介质，其中，其上存储有计算机程序，该程序被执行时实现根据本公开的示例实施例的模拟触屏的方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，该任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将该计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行该计算机程序。上述计算机可读存储介质中的计算机程序可在诸如终端、客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
72.本公开提出了一种模拟触屏的方法，使用例如uwb定位技术构建与真实屏幕对应的虚拟触屏，并使用该定位技术实时地实现与真实屏幕的交互，完成对真实屏幕的触摸操作。本公开的方法具有使用方便、成本低、使用场景丰富的优点。克服了传统方案中需要架设摄像头、深度传感器的缺点。
73.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
74.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由权利要求来限制。