虚拟内容的操控方法、装置、系统、终端设备及存储介质与流程

本申请涉及显示技术领域，更具体地，涉及一种虚拟内容的操控方法、装置、系统、终端设备及存储介质。

背景技术：

近年来，随着科技的进步，增强现实(ar，augmentedreality)等技术已逐渐成为国内外研究的热点，增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。

在ar显示技术中，用户与虚拟内容进行交互时，通常需要通过额外的控制器进行交互，或通过转动头部的方向来改变头戴显示设备等设备的朝向，才能实现与虚拟内容的交互，交互方式繁琐。

技术实现要素：

本申请实施例提出了一种虚拟内容的操控方法、装置、系统、终端设备及存储介质，能够较为方便的实现与虚拟内容的交互。

第一方面，本申请实施例提供了一种虚拟内容的操控方法，应用于终端设备，所述终端设备与交互设备连接，所述交互设备包括交互区域；所述方法包括：获取所述终端设备与所述交互设备之间的相对空间位置信息；根据所述相对空间位置信息在虚拟空间中生成虚拟内容，并显示所述虚拟内容；接收所述交互设备发送的操作数据，所述操作数据为所述交互设备根据所述交互区域检测到的触控操作生成，所述操作数据至少包括所述触控操作在所述交互区域的触控坐标；基于所述触控坐标以及所述相对空间位置信息，获取所述触控操作对应于所述虚拟空间中的第一空间坐标；从所述虚拟内容中，获取与所述第一空间坐标对应的至少部分虚拟内容；对所述至少部分虚拟内容执行与所述触控操作相应的处理操作。

第二方面，本申请实施例提供了一种虚拟内容的操控装置，应用于终端设备，所述终端设备与交互设备连接，所述装置包括：位置获取模块、内容显示模块、数据接收模块、坐标获取模块、内容获取模块以及操作执行模块，其中，所述位置获取模块用于获取所述终端设备与所述交互设备之间的相对空间位置信息；所述内容显示模块用于根据所述相对空间位置信息在虚拟空间中生成虚拟内容，并显示所述虚拟内容；所述数据接收模块用于接收所述交互设备发送的操作数据，所述操作数据为所述交互设备根据所述交互区域检测到的触控操作生成，所述操作数据至少包括所述触控操作在所述交互区域的触控坐标；所述坐标获取模块用于基于所述触控坐标以及所述相对空间位置信息，获取所述触控操作对应于所述虚拟空间中的第一空间坐标；所述内容获取模块用于从所述虚拟内容中，获取与所述第一空间坐标对应的至少部分虚拟内容；所述操作执行模块用于对所述至少部分虚拟内容执行与所述触控操作相应的处理操作。

第三方面，本申请实施例提供了一种虚拟内容的操控系统，所述系统包括终端设备以及交互设备，所述终端设备与所述交互设备连接，其中，所述交互设备用于根据所述交互区域检测到的触控操作生成操作数据，并将所述操作数据发送至所述终端设备，所述操作数据至少包括所述触控操作在所述交互区域的触控坐标；所述终端设备用于获取所述终端设备与所述交互设备之间的相对空间位置信息，根据所述相对空间位置信息在虚拟空间中生成虚拟内容，并显示所述虚拟内容，接收所述操作数据，基于所述触控坐标以及所述相对空间位置信息，获取所述触控操作对应于所述虚拟空间中的第一空间坐标，从所述虚拟内容中，获取与所述第一空间坐标对应的至少部分虚拟内容，对所述至少部分虚拟内容执行与所述触控操作相应的处理操作。

第四方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的虚拟内容的操控方法。

第五方面，本申请实施例提供了一种存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的虚拟内容的操控方法。

本申请提供的方案，终端设备通过获取终端设备与交互设备之间的相对空间位置信息，根据相对空间位置信息生成虚拟内容并将虚拟内容进行显示，接收交互设备发送的操作数据，操作数据为交互设备根据交互区域检测到的触控操作生成，操作数据中至少包括可操作在交互区域所在平面坐标系中的触控坐标然后基于触控坐标以及相对空间位置信息，获取触控操作对应于虚拟空间中的第一空间坐标，从虚拟内容中，获取第一空间坐标对应的至少部分虚拟内容，再对至少部分虚拟内容执行相应的处理操作。通过交互设备检测对叠加显示于真实世界中的虚拟内容的操作，对虚拟内容进行相应的处理操作，可以较为方便的实现用户与虚拟内容之间的交互，并提升用户与虚拟内容之间的交互效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的应用场景的示意图。

图2示出了根据本申请一个实施例的虚拟内容的操控方法流程图。

图3示出了根据本申请一个实施例提供的一种显示效果示意图。

图4示出了根据本申请另一个实施例的虚拟内容的操控方法流程图。

图5示出了根据本申请另一个实施例的虚拟内容的操控方法中步骤s290的一种流程图。

图6示出了根据本申请另一个实施例提供的一种显示效果示意图。

图7示出了根据本申请另一个实施例提供的另一种显示效果示意图。

图8示出了根据本申请另一个实施例的虚拟内容的操控方法中步骤s290的另一种流程图。

图9示出了根据本申请另一个实施例提供的又一种显示效果示意图。

图10示出了根据本申请另一个实施例提供的再一种显示效果示意图。

图11示出了根据本申请一个实施例的虚拟内容的操控装置的框图。

图12是本申请实施例的用于执行根据本申请实施例的虚拟内容的操控方法的终端设备的框图。

图13是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟内容的操控方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

下面对本申请实施例提供的虚拟内容的操控方法的应用场景进行介绍。

请参见图1，示出了本申请实施例提供的虚拟内容的操控方法的应用场景的示意图，该应用场景包括虚拟内容的操控10。该虚拟内容的操控10包括：终端设备100以及交互设备200，其中，终端设备100与交互设备200连接。

在本申请实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容进行显示。

在本申请实施例中，交互设备200可以是设置有标记物201的电子设备。设置于交互设备200上的标记物201的数量可以不作为限定，标记物201的数量可以为一个或者多个。交互设备200的具体形态结构不受限制，可以是各种形状的，例如正方形、圆形，也可以是各种形态的，例如平板形状的电子设备等。交互设备200可以为手机、平板等智能移动设备。

在一些实施例中，上述标记物201可以粘贴附着或集成于交互设备200上，也可以是设置在交互设备200的保护套上，还可以是外接式标记物，在使用时可以通过usb(universalserialbus，通用串行总线)或耳机孔等插入交互设备200。若交互设备200上设置有显示屏时，标记物201还可以显示于交互设备200的显示屏上。

终端设备100与交互设备200可以通过蓝牙、wifi(wireless-fidelity，无线保真)、zigbee(紫峰技术)等通信方式连接，也可以通过数据线等有线通信连接。当然，终端设备100与交互设备200的连接方式在本申请实施例中可以不作为限定。

在终端设备100与交互设备200被共同使用时，可使标记物201位于终端设备100的视觉范围内，进而使得终端设备100可以采集到包含标记物201的图像，以对标记物201进行识别追踪，得到标记物201相对终端设备100的位置、姿态等空间位置信息，以及标记物201的身份信息等识别结果，进而得到交互设备200相对终端设备100的位置、姿态等空间位置信息，实现对交互设备200的定位追踪。终端设备100可根据与交互设备200之间的相对位置及姿态信息，显示相应的虚拟内容。

在一些实施方式中，标记物201为具有拓扑结构的图案，拓扑结构是指标记物中的子标记物和特征点等之间连通关系。

在一些实施方式中，标记物201还可以为光点式的标记，终端设备通过对光点追踪以相对位置、姿态等空间位置信息。在一个具体的实施方式中，可在交互设备200上设置光点和惯性测量单元(inertialmeasurementunit，imu)，终端设备可以通过图像传感器采集交互设备200上的光点图像，并通过惯性测量单元获取测量数据，根据该光点图像和测量数据即可确定交互设备200与终端设备100之间的相对空间位置信息，实现对交互设备200的定位及追踪。其中，交互设备200上设置的光点可以是可见光点或者红外光点，光点的数量可以是一个或者由多个光点组成的光点序列。

在一些实施例中，交互设备200上设有至少一个交互区域202，用户可以通过交互区域202进行相关控制和交互。其中，交互区域202可以包括按键、触控板或者触摸屏等。交互设备200可以通过交互区域202检测到的控制操作，生成与该控制操作对应的控制指令，进行相关控制。并且，交互设备200还可以将该控制指令发送给终端设备100，或者是交互设备200根据交互区域检测到的操作，生成操作数据，将操作数据发送至终端设备100，当终端设备100接收到交互设备200发送的控制指令时，可根据控制指令控制虚拟内容的显示(例如控制虚拟内容旋转、位移等)。

例如，请再次参阅图1，终端设备100为头戴显示装置，用户可以通过佩戴的头戴显示装置，观察到虚拟应用图标306叠加显示于现实空间的交互设备200的交互区域202，用户可通过对虚拟应用图标306的点击操作，实现终端设备100显示该虚拟应用图标306对应的虚拟应用界面307。

请参阅图2，本申请一个实施例提供了一种虚拟内容的操控方法，可应用于终端设备，该虚拟内容的操控方法可以包括：

步骤s110：获取终端设备与交互设备之间的相对空间位置信息。

在本申请实施例中，终端设备可以获取终端设备与交互设备之间的相对空间位置信息，以便终端设备显示虚拟内容。

在一些实施方式中，终端设备可以识别交互设备上的标记物，以根据标记物的识别结果，获取终端设备与交互设备之间的相对空间位置信息。上述识别结果至少包括标记物相对终端设备的位置信息、姿态信息等，从而终端设备可以根据标记物在交互设备上设置的位置、尺寸大小以及上述识别结果等，获取终端设备与交互设备之间的相对空间位置信息。其中，终端设备与交互设备之间的相对空间位置信息可以包括：终端设备与交互设备之间的相对位置信息以及姿态信息等，姿态信息可以为交互设备相对终端设备的朝向及旋转角度等。标记物的尺寸大小可根据需求进行调整，不受限制。

在一些实施方式中，上述标记物可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。在一个实施例中，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。另外，不同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息。终端设备通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，该身份信息可以是编码等可用于唯一标识标记物的信息，但不限于此。

作为一种实施方式，标记物的轮廓可以为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，矩形的区域以及该区域内的多个子标记物构成一个标记物。在一些实施方式中，上述标记物也可以为由光点构成的光点标记物，光点标记物可以发射不同波段或不同颜色的光，终端设备通过识别光点标记物发出的光的波段或颜色等信息获取与标记物对应的身份信息。需要说明的是，具体的标记物的形状、样式、尺寸、颜色、特征点数量以及分布在本实施例中并不作为限定，仅需要标记物能被终端设备识别追踪即可。

在一些实施方式中，上述识别交互设备上的标记物，可以是终端设备先通过图像采集装置采集包含标记物的图像，然后再对该图像中的标记物进行识别。其中，终端设备采集包含标记物的图像，可以是通过调整终端设备在现实空间中的空间位置，也可以通过调整交互设备在现实空间中的空间位置，以使该交互设备上的标记物处于终端设备的图像采集装置的视野范围内，从而使终端设备可以对该标记物进行图像采集和图像识别。其中，图像采集装置的视野范围可以由视场角的大小决定。

当然，具体获取终端设备与交互设备之间的相对空间位置信息的方式在本申请实施例中可以不作为限定。

步骤s120：根据相对空间位置信息在虚拟空间中生成虚拟内容，并显示虚拟内容。

在一些实施方式中，终端设备可以获取虚拟内容的内容数据，该可以是虚拟内容的三维模型数据，该三维模型数据可以包括用于构建三维模型对应的模型的颜色、模型顶点坐标、模型轮廓数据等。其中，终端设备可以从本地读取虚拟内容的内容数据，或者从其他设备获取虚拟内容的内容数据。

在一些实施方式中，终端设备可以将虚拟内容叠加显示于交互区域。终端设备可以根据终端设备与交互设备的相对空间位置信息、交互区域设置于交互设备的位置、以及交互区域的大小，获取到虚拟内容的渲染位置，再根据渲染位置渲染出三维的虚拟内容。

具体的，终端设备可以根据终端设备与交互设备的相对空间位置信息、交互区域设置于交互设备的位置、以及交互区域的大小，获取交互区域的空间位置坐标，将该空间位置坐标转换为虚拟空间中的空间坐标。其中，虚拟空间中可包括虚拟摄像头，该虚拟摄像头用于模拟用户的人眼，虚拟摄像头在虚拟空间中的位置可看作终端设备在虚拟空间中的位置。终端设备可根据虚拟空间中虚拟内容与交互设备的位置关系，以虚拟摄像头作为参照，则可以获取到虚拟内容相对虚拟摄像头的空间位置，从而得到虚拟内容在虚拟空间中的渲染坐标，即得到了虚拟内容的渲染位置。其中，该渲染位置可用作虚拟内容的渲染坐标，以实现虚拟内容渲染于渲染位置处。其中，上述渲染坐标指的是虚拟内容在虚拟空间中以虚拟摄像头为原点(可看作是以人眼为原点)的三维空间坐标，渲染坐标也可以是以虚拟空间中的世界坐标原点建立的世界坐标表示。

在一些实施方式中，终端设备在得到用于虚拟空间中渲染虚拟内容的渲染坐标之后，终端设备可以根据虚拟内容的内容数据构建虚拟内容，以及根据上述渲染坐标渲染该虚拟内容。由于上述内容数据可以包括三维模型数据，因此渲染得到的虚拟内容可以为三维的内容。

步骤s130：接收交互设备发送的操作数据，操作数据为交互设备根据交互区域检测到的触控操作生成，操作数据至少包括触控操作在交互区域的触控坐标。

在本申请实施例中，终端设备与交互设备通信连接，交互设备包括有交互区域。该交互区域可以包括触控板或者触控屏，从而交互区域可以检测到用户在交互区域做出的触控操作(例如单指点击、单指滑动、多指点击、多指滑动等)。交互设备的交互区域在检测到用户的触控操作时，交互设备可以根据交互区域检测到的触控操作，生成操作数据。其中，操作数据可以包括交互区域检测到的触控操作的操作参数。

在一些实施方式中，上述操作数据可以至少包括触控操作在交互区域的触控坐标。其中，上述触控坐标可以是以交互区域的触控板建立的平面坐标系中的二维坐标，，例如原点可以处于触控板的角点(例如左下角所在点)。触控操作对应的触控坐标，可以表示触控操作在交互区域中的触控操作的位置，终端设备可以根据触控坐标，确定被操作的虚拟内容。

当然，上述操作数据也还可以包括其他参数，例如，上述操作数据还可以包括触控操作的类型、触控操作的手指数量、手指按压压力以及触控操作的持续时间等参数。触控操作的类型可以包括点击操作、滑动操作、长按操作等。触控操作的手指数量，指执行该处操作的手指的数量，即交互区域的传感器检测到触控操作操作时被按压的区域的数量，例如数量为1，又例如，数量为2。手指按压压力指执行该触控操作的按压压力，即交互区域的传感器检测到的压力的大小，例如按压压力为0.5n(牛)。触控操作的持续时间为交互区域检测到的手指在交互区域上接触的时间，例如持续时间为1s(秒)。当然，具体的操作数据可以在本申请实施例中不作为限定，操作数据也可以包括其他触控参数，例如，滑动轨迹、点击操作的点击频率等。

交互设备在根据交互区域检测到的触控操作生成操作数据后，可以将操作数据发送至终端设备。相应的，终端设备可以接收到交互设备发送的上述操作数据，以便终端设备根据上述操作数据确定上述显示的虚拟内容中被操作的虚拟内容，并进行相关处理操作。

步骤s140：基于触控坐标以及相对空间位置信息，获取触控操作对应于虚拟空间中的第一空间坐标。

终端设备在获取到上述触控坐标以及相对空间位置信息之后，则可以确定触控操作对应于虚拟空间中的第一空间坐标。在一些实施方式中，终端设备可以根据上述触控坐标，确定触控操作的位置与交互设备之间的相对位置关系，再根据该相对位置关系以及相对空间位置信息，确定出触控操作对应于虚拟空间中的第一空间坐标。具体的，终端设备可以根据相对空间位置信息，确定出交互设备于现实空间的空间坐标系中的第二空间坐标，再根据交互区域与交互设备之间的相对位置关系，以及触控操作在交互区域的触控坐标，进行坐标转化，则可以计算出触控操作的位置对应于现实空间的空间坐标系中的第三空间坐标，并将第三空间坐标进行空间坐标转换，即可得到触控操作对应于虚拟空间中的第一空间坐标。

其中，上述交互设备于现实空间的空间坐标系中的第二空间坐标，可以是现实空间中以跟踪摄像头为原点的空间坐标系中的空间坐标。上述第一空间坐标可以是虚拟空间中以虚拟摄像头为原点的空间坐标系中的坐标。其中，跟踪摄像头可以指终端设备的图像采集装置，虚拟摄像头可以为虚拟空间中用于模拟人眼视角的摄像头。终端设备可以根据虚拟摄像头运动(即头部运动)的变化，跟踪虚拟空间中虚拟物体的运动变化，通过渲染，投射到光学镜片上，从而实现虚拟内容的显示。在一些实施方式中，第二空间坐标也可以通过以现实空间中的世界坐标原点建立的空间坐标系表示，第一空间坐标可以通过以虚拟空间中的世界坐标原点建立的空间坐标系表示。

当然，根据终端设备与交互设备之间的相对空间位置信息，以及触控操作的位置对应的触控坐标，确定触控操作对应于虚拟空间中的第一空间坐标的方式可以不作为限定。

步骤s150：从虚拟内容中，获取与第一空间坐标对应的至少部分虚拟内容。

在一些实施方式中，终端设备在获取到触控操作的位置对应于虚拟空间中的第一空间坐标之后，则可以根据第一空间坐标，从虚拟内容中，确定出与上述触控操作所对应的虚拟内容，即被操作的虚拟内容。其中，终端设备获取到的第一空间坐标，可以作为被操作的虚拟内容所对应的渲染坐标，即被操作的虚拟内容在虚拟空间的显示位置。因此，终端设备可以根据该第一空间坐标，以及显示的虚拟内容所对应的空间坐标集合，获得与第一空间坐标所对应的至少部分虚拟内容。当然，具体获取第一空间坐标所对应的至少部分虚拟内容的方式可以不作为限定。

步骤s160：对至少部分虚拟内容执行与触控操作相应的处理操作。

在一些实施方式中，终端设备在确定并获取到上述第一空间坐标对应的至少部分虚拟内容之后，即确定出被操作的至少部分虚拟内容之后，则终端设备可以对至少部分虚拟内容进行相应的处理操作。处理操作可以包括对至少部分虚拟内容进行选取等，具体的处理操作在本申请实施例中可以不作为限定。

通过根据触控操作在交互区域的触控坐标，则可以确定出触控操作对应的虚拟内容，即确定出触控操作在触控区域的触控点所对应的虚拟内容，完成对虚拟内容的选取，后续则可以对选取的虚拟内容进行相关操作。例如，请参见图3，交互区域202上叠加显示有虚拟控件308，当触控操作对应的触控点309位于虚拟控件308时，则可以执行对虚拟控件308进行选取。

在一些实施方式中，除了通过触控操作，对交互区域上对应显示的虚拟内容进行处理操作以外，也可以通过触控操作对应的触控坐标，以及触控坐标与叠加显示于交互区域外的虚拟内容在虚拟空间中的空间坐标的对应关系，对叠加于交互区域外的虚拟内容进行选取等处理操作。例如，通过对交互区域上指定边缘所在区域的触控操作，则可以对叠加显示于交互区域外，且与该指定边缘所在区域相邻的区域的虚拟内容，进行选取。

本申请实施例提供的虚拟内容的交互方法，终端设备通过交互设备发送的操作数据，确定交互区域检测到的触控操作所对应的至少部分虚拟内容，即被操作的至少部分虚拟内容，最后对虚拟内容进行处理操作，实现通过交互设备检测对叠加显示于真实世界中的虚拟内容的操作，对虚拟内容进行与触控操作对应的处理操作，提升用户与虚拟内容之间的交互效果。

请参阅图4，本申请另一个实施例提供了一种虚拟内容的操控方法，可应用于终端设备，该虚拟内容的操控方法可以包括：

步骤s200：获取终端设备与交互设备之间的相对空间位置信息。

步骤s210：根据相对空间位置信息在虚拟空间中生成虚拟内容，并显示虚拟内容。

步骤s220：接收交互设备发送的操作数据，操作数据为交互设备根据交互区域检测到的触控操作生成，操作数据至少包括触控操作在交互区域的触控坐标。

在本申请实施例中，步骤s200、步骤s210以及步骤s220可以参阅上述实施例的内容，在此不再赘述。

步骤s230：根据相对空间位置信息，获取交互设备于现实空间中的第二空间坐标。

在一些实施方式中，终端设备获取上述相对空间位置信息后，可以得到交互设备相对终端设备的位置、姿态等信息。终端设备可以根据该相对空间位置信息，确定出交互设备于现实空间中以图像采集装置为原点的第一空间坐标系中的第二空间坐标。

步骤s240：基于触控坐标以及第二空间坐标，获取触控操作在现实空间中的第三空间坐标。

在一些实施方式中，终端设备在获取到交互设备于现实空间的第一空间坐标系中的第二空间坐标后，则可以基于触控坐标以及第二空间坐标，确定触控操作在现实空间中的位置。具体的，终端设备可以根据触控坐标以及该第二空间坐标，得到触控操作在现实空间的第一空间坐标系中的第三空间坐标，即根据触控坐标以及第一空间坐标，并以交互区域与交互设备之间的相对位置关系，从而计算出该触控坐标对应于现实空间的第一空间坐标系中的第三空间坐标。

步骤s250：将第三空间坐标进行空间坐标转换，得到触控操作对应于虚拟空间中的第一空间坐标。

终端设备在获取到现实空间中以图像采集装置为原点的第一空间坐标系中的空间坐标之后，终端设备可以根据第一空间坐标系与虚拟空间中第二空间坐标系的转换参数，将第三空间坐标进行坐标转换，从而得到触控操作在第二空间坐标系中的第一空间坐标，即获取到触控操作对应于虚拟空间中的第一空间坐标。其中，第二空间坐标系可以为虚拟空间中以虚拟摄像头为原点的空间坐标系。当然，具体根据第三空间坐标获得触控操作对应于虚拟空间中的第一空间坐标的方式可以不作为限定。

步骤s260：获取虚拟内容在虚拟空间中的空间坐标集合。

终端设备在获取到上述触控操作对应于虚拟空间中的第一空间坐标之后，则可以确定第一空间坐标所对应的虚拟内容，即被操作的虚拟内容。

在一些实施方式中，终端设备可以获取虚拟内容在上述虚拟空间中的空间坐标集合。其中，终端设备可以根据显示的虚拟内容的所有渲染坐标，获取显示的虚拟内容所对应的所有顶点在虚拟空间中的空间坐标，这些空间坐标可以构成空间坐标集合。

步骤s270：当空间坐标集合中存在与第一空间坐标匹配的空间坐标时，获取与第一空间坐标匹配的空间坐标所对应的至少部分虚拟内容。

在一些实施方式中，在获取到终端设备显示的虚拟内容对应虚拟空间中的空间坐标集合后，可以将第一空间坐标与空间坐标集合中的所有空间坐标进行匹配。

当空间坐标集合中存在与第一空间坐标匹配的空间坐标时，即空间坐标集合中存在于第一空间坐标相同的空间坐标时，终端设备则可以将第一空间坐标匹配的空间坐标所对应的至少部分虚拟内容，作为第一空间坐标对应的至少部分虚拟内容。其中，该至少部分虚拟内容对应虚拟空间中的空间坐标与触控操作对应于虚拟空间中的第一空间坐标相同，也就是说，用户通过头戴显示装置看到的触控操作的位置与至少部分虚拟内容的位置相同。

步骤s280：当空间坐标集合中不存在与第一空间坐标匹配的空间坐标时，获取空间坐标集合中满足设定条件的第四空间坐标及第四空间坐标对应的虚拟内容，将第四空间坐标对应的虚拟内容作为第一空间坐标对应的至少部分虚拟内容，其中，设定条件至少包括第四空间坐标与第一空间坐标之间的距离满足指定距离条件。

在一些实施方式中，当上述空间坐标集合中不存在于第一空间坐标匹配的空间坐标时，终端设备可以获取虚拟空间中靠近第一空间坐标的虚拟内容。

其中，终端设备可以根据从上述空间坐标集合中，获取虚拟空间中与第一空间坐标之间的距离满足指定距离条件的第四坐标，并将第四空间坐标对应的虚拟内容，作为第一空间坐标对应的至少部分虚拟内容。从而，终端设备可以获取到虚拟空间中与触控操作的位置之间的距离满足指定距离条件的虚拟内容，即获取到虚拟空间中触控操作的位置附近的虚拟内容。

作为一种实施方式，上述第四空间坐标与第一空间坐标之间的距离满足指定距离条件可以包括：第四空间坐标与第一空间坐标之间的距离小于设定距离。从而终端设备获取的上述第四空间坐标与第一空间坐标之间的距离小于设定距离，因此获取到的第四空间坐标对应的虚拟内容与第一空间坐标的距离小于设定距离，即在虚拟空间中，确定出的触控操作对应的至少部分虚拟内容与触控操作之间的距离小于设定距离。也就是说，终端设备确定出的被操作的至少部分虚拟内容，为触控操作附近的虚拟内容。

作为另一种实施方式，上述第四空间坐标与第一空间坐标之间的距离满足指定距离条件可以包括：第四空间坐标与第一空间坐标之间的距离小于其他空间坐标与第一空间坐标之间的距离，其他空间坐标为空间坐标集合中除第四空间坐标以外的空间坐标。从而终端设备可以获取到空间坐标集合中距离第一空间坐标最近的第四空间坐标，即在虚拟空间中，确定出的触控操作对应的至少部分虚拟内容与触控操作之间的距离最近。也就是说，终端设备确定出的被操作的至少部分虚拟内容，为触控操作附近的虚拟内容。

当上述空间坐标集合中不存在于第一空间坐标匹配的空间坐标时，通过获取满足指定距离条件的第四空间坐标对应的虚拟内容，作为第一空间坐标对应的虚拟内容，即被操作的虚拟内容，从而实现当虚拟内容的叠加显示位置未处于交互装置，也可以实现对虚拟内容的操作。例如，终端设备将虚拟内容叠加显示于交互区域的正上方，通过交互区域的触控操作，也可以实现对处于交互区域正上方的虚拟内容的操作。

步骤s290：对至少部分虚拟内容执行与触控操作相应的处理操作。

在一些实施方式中，第一空间坐标对应的至少部分虚拟内容可以包括虚拟图标内容。请参见图5，对至少部分虚拟内容执行与触控操作相应的处理操作，可以包括：

步骤s291：获取虚拟图标内容对应的目标内容的内容数据。

步骤s292：根据相对空间位置信息以及内容数据，生成目标内容，并将目标内容进行显示。

在一些实施方式中，终端设备在确定出触控操作对应的至少部分虚拟内容为虚拟图标内容时，则可以生成与虚拟图标内容对应的目标内容进行显示。其中，虚拟图标内容可以包括应用程序对应的虚拟图标、文档内容对应的虚拟图标、图片内容对应的虚拟图标等。具体的虚拟图标内容可以不作为限定。

终端设备可以获取书虚拟图标内容对应的目标内容的内容数据，该目标内容可以是该虚拟图标内容对应的页面内容。例如，虚拟图标内容为应用程序对应的虚拟图标时，则目标内容可以是应用程序的界面内容。又例如，虚拟图标内容为文档内容对应的虚拟图标时，则目标内容可以是文档界面内容。再例如，虚拟图标内容为图标内容对应的虚拟图标时，则目标内容可以是图片界面内容。上述目标内容的内容数据，可以包括用于渲染目标内容的三维模型数据，该三维模型数据可以包括用于构建三维模型对应的模型的颜色、模型顶点坐标、模型轮廓数据等。

终端设备在获取到目标内容的内容数据后，则可以根据目标内容需要显示的位置与交互设备之间的相对位置关系、相对空间位置信息以及目标内容的内容数据，生成目标内容，并将目标内容进行显示。

具体的，终端设备可以根据终端设备与交互设备之间的相对空间位置信息，以及目标内容需要显示的位置与交互设备之间的相对位置关系，获取到现实空间中的目标内容需要显示的位置的空间位置坐标，将该空间位置坐标转换为虚拟空间中的空间坐标。其中，虚拟空间中可包括虚拟摄像头，该虚拟摄像头用于模拟用户的人眼，虚拟摄像头在虚拟空间中的位置可看作终端设备在虚拟空间中的位置。终端设备可根据虚拟空间中目标内容与交互设备的位置关系，以虚拟摄像头作为参照，则可以获取到目标内容相对虚拟摄像头的空间位置，从而得到目标内容在虚拟空间中的渲染坐标，即得到了目标内容的渲染位置。其中，该渲染位置可用作目标内容的渲染坐标，以实现目标内容渲染于渲染位置处。其中，上述渲染坐标指的是目标内容在虚拟空间中以虚拟摄像头为原点(可看作是以人眼为原点)的三维空间坐标。另外，上述目标内容需要显示的位置可以是交互区区域内或者交互区域外的任意区域或者预设区域。作为一种具体的实施方式，目标内容需要叠加显示的位置可以是交互区域，从而可以便于目标内容在显示后，可以通过交互设备对目标内容进行操作。当然，目标内容需要显示的具体位置在本申请实施例中可以不作为限定。

可以理解的是，终端设备在得到用于虚拟空间中渲染目标内容的渲染坐标之后，终端设备可以获取到目标内容对应的内容数据(即上述的三维模型数据)，然后根据该内容数据构建目标内容，以及根据上述渲染坐标渲染该目标内容，其中，渲染目标内容可以得到目标内容中各个顶点的顶点坐标以及颜色值等。由于上述内容数据可以包括三维模型数据，因此渲染得到的目标内容可以为三维的虚拟内容。终端设备生成三维的目标内容后，可以对三维的目标内容进行显示。具体地，终端设备构建并渲染出三维的目标内容后，可以将目标内容转化为虚拟画面，获取虚拟画面的显示数据，该显示数据可以包括显示画面中各个像素点的rgb值及对应的像素点坐标等，终端设备可根据该显示数据生成显示画面，并将显示画面通过显示屏或投射模组投射到显示镜片上，从而显示出三维的目标内容。

例如，请同时参见图6及图7，交互区域202对应的虚拟内容包括视频内容对应的虚拟图标内容302，通过对该虚拟图标内容302的触控操作，终端设备100可以生成虚拟视频内容303，并将虚拟视频内容303叠加于交互区域进行显示。

在一些实施方式中，第一空间坐标对应的至少部分虚拟内容可以包括第一虚拟地图。上述获取至少部分虚拟内容，则可以是，从第一虚拟地图中获取第一空间坐标对应的地图内容。请参见图8，对至少部分虚拟内容执行相应的处理操作，可以包括：

步骤s293：获取地图内容对应的地理位置数据。

在一些实施方式中，上述触控操作对应的至少部分虚拟内容，第一虚拟地图中的第一空间坐标对应的地图内容。该第一空间坐标对应的地图内容，则为第一虚拟地图上某个地理位置。终端设备可以获取该地理位置数据，以便获取该地理位置对应的地图数据，生成地图内容进行显示。其中，地图数据可以是地理位置坐标，例如经度、纬度等。

步骤s294：获取与地理位置数据对应的地图数据。

终端设备在获取上述地理位置数据后，则可以基于地理位置数据，获取该地理位置对应的地图数据。地图数据用于生成第二虚拟地图，即该地理位置所在地点所对应的地图内容。

步骤s295：基于第一空间坐标以及地图数据，生成第二虚拟地图，并将第二虚拟地图进行显示。

在获取到上述地图数据之后，终端设备则可以生成第二虚拟地图。其中，第二虚拟地图需要叠加显示的位置可以为上述第一空间坐标周围的位置，因此可以根据第一空间坐标，以及第二虚拟地图需要显示的大小范围，确定第二虚拟地图的渲染坐标。终端设备可以根据渲染坐标以及地图数据，则可以生成第二虚拟地图，并且将第二虚拟地图进行显示。终端设备生成第二虚拟地图并显示第二虚拟地图的方式可以参阅上述生成并显示目标内容的方式。

例如，请同时参见图9及图10，交互区域202对应的虚拟内容包括第一虚拟地图304，在对第一虚拟地图304中的地点f进行点击操作后，终端设备100可以生成地点f对应的第二虚拟地图305，并将第二虚拟地图305进行显示，实现用户通过交互设备200对第一虚拟地图305中的地点f进行选取，可以察看到地点f对应的详细的地图内容。

另外，在本申请实施例中，该虚拟内容的操控方法还可以包括：在第一虚拟地图中将地图内容进行标记，标记用于将地图内容进行突出显示。其中，突出显示可以包括：增加该地图内容的亮度、将该地图内容进行比例放大、显示标记内容于该地图内容的位置等。当然，突出显示的方式可以不作为限定。通过对上述地图内容进行突出显示，实现用户通过对第一虚拟地图中该地图内容的操作，将该地图内容进行标记，方便用户后续查找操作过的地图内容。本申请实施例提供的虚拟内容的交互方法，终端设备根据终端设备与交互设备之间的相对空间位置信息，确定交互设备在现实空间中的第二空间坐标，然后根据第二空间坐标以及触控操作的触控坐标，确定出触控操作在现实空间中的第三控件坐标，再对第三空间坐标进行空间坐标转换，确定触控操作在虚拟空间中对应的第一空间坐标，并获取第一空间坐标对应的至少部分虚拟内容，即获取被操作的至少部分虚拟内容，最后对虚拟内容进行处理操作，实现通过交互设备检测对叠加显示于真实世界中的虚拟内容的操作，对虚拟内容进行与触控操作对应的处理操作，提升用户与虚拟内容之间的交互效果。

请参见图11，其示出了本申请提供的一种虚拟内容的操控装置400的结构框图。该虚拟内容的操控装置400应用于终端设备，终端设备与交互设备连接，交互设备包括交互区域。该虚拟内容的操控装置400包括：位置获取模块410、内容显示模块420、数据接收模块430、坐标获取模块440、内容获取模块450以及操作执行模块460。其中，位置获取模块410用于获取终端设备与交互设备之间的相对空间位置信息；内容显示模块420用于根据相对空间位置信息在虚拟空间中生成虚拟内容，并显示虚拟内容；数据接收模块430用于接收交互设备发送的操作数据，操作数据为交互设备根据交互区域检测到的触控操作生成，操作数据至少包括触控操作在交互区域的触控坐标；坐标获取模块440用于基于触控坐标以及相对空间位置信息，获取触控操作对应于虚拟空间中的第一空间坐标；内容获取模块450用于从虚拟内容中，获取与第一空间坐标对应的至少部分虚拟内容；操作执行模块460用于对至少部分虚拟内容执行与触控操作相应的处理操作。

在一些实施方式中，坐标获取模块440可以具体用于：根据相对空间位置信息，获取交互设备于现实空间中的第二空间坐标；基于触控坐标以及第二空间坐标，获取触控操作在现实空间中的第三空间坐标；将第三空间坐标进行空间坐标转换，得到触控操作对应于虚拟空间中的第一空间坐标。

在一些实施方式中，内容获取模块450可以具体用于：获取虚拟内容在虚拟空间中的空间坐标集合；当空间坐标集合中存在与第一空间坐标匹配的空间坐标时，获取与第一空间坐标匹配的空间坐标所对应的至少部分虚拟内容。

进一步的，内容获取模块450还可以具体用于：当空间坐标集合中不存在与第一空间坐标匹配的空间坐标时，获取空间坐标集合中满足设定条件的第四空间坐标及第四空间坐标对应的虚拟内容，将第四空间坐标对应的虚拟内容作为第一空间坐标对应的至少部分虚拟内容，其中，设定条件至少包括第四空间坐标与第一空间坐标之间的距离满足指定距离条件。

在一些实施方式中，第四空间坐标与第一空间坐标之间的距离满足指定距离条件，可以包括：第四空间坐标与第一空间坐标之间的距离小于设定距离；或者第四空间坐标与第一空间坐标之间的距离小于其他空间坐标与第一空间坐标之间的距离，其他空间坐标为空间坐标集合中除第四空间坐标以外的空间坐标。

在一些实施方式中，至少部分虚拟内容包括虚拟图标内容。操作执行模块460可以具体用于：获取虚拟图标内容对应的目标内容的内容数据；根据相对空间位置信息以及内容数据，生成目标内容，并将目标内容进行显示。

在一些实施方式中，交互区域对应显示的虚拟内容包括第一虚拟地图。内容获取模块450可以具体用于：从第一虚拟地图中获取第一空间坐标对应的地图内容。操作执行模块460可以具体用于：获取地图内容对应的地理位置数据；获取与地理位置数据对应的地图数据；基于第一空间坐标以及地图数据，生成第二虚拟地图，并将第二虚拟地图进行显示。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请再次参阅图1，本申请实施例提供了一种虚拟内容的操控系统10，虚拟内容的操控系统10包括终端设备100以及交互设备200，终端设备100与交互设备200连接，交互设备200包括交互区域202。其中，交互设备200用于根据交互区域202检测到的触控操作生成操作数据，并将操作数据发送至终端设备100，操作数据至少包括触控操作在交互区域202的触控坐标；终端设备100用于获取终端设备100与交互设备200之间的相对空间位置信息，根据相对空间位置信息在虚拟空间中生成虚拟内容，并显示虚拟内容，接收操作数据，基于触控坐标以及相对空间位置信息，获取触控操作对应于虚拟空间中的第一空间坐标，从虚拟内容中，获取与第一空间坐标对应的至少部分虚拟内容，对至少部分虚拟内容执行与触控操作相应的处理操作。

综上，本申请提供的方案，终端设备通过获取终端设备与交互设备之间的相对空间位置信息，根据相对空间位置信息生成虚拟内容并将虚拟内容进行显示，接收交互设备发送的操作数据，操作数据为交互设备根据交互区域检测到的触控操作生成，操作数据中至少包括可操作在交互区域所在平面坐标系中的触控坐标然后基于触控坐标以及相对空间位置信息，获取触控操作对应于虚拟空间中的第一空间坐标，从虚拟内容中，获取第一空间坐标对应的至少部分虚拟内容，再对至少部分虚拟内容执行相应的处理操作。通过交互设备检测对叠加显示于真实世界中的虚拟内容的操作，对虚拟内容进行相应的处理操作，可以较为方便的实现用户与虚拟内容之间的交互，并提升用户与虚拟内容之间的交互效果。

请参考图12，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120、图像采集装置130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(digitalsignalprocessing，dsp)、现场可编程门阵列(field－programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现。处理器110可集成中央处理器(centralprocessingunit，cpu)、图像处理器(graphicsprocessingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(randomaccessmemory，ram)，也可以包括只读存储器(read-onlymemory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据等。

在本申请实施例中，图像采集装置130用于采集标记物的图像。图像采集装置130可以为红外摄像头，也可以是彩色摄像头，具体的摄像头类型在本申请实施例中并不作为限定。

请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitorycomputer-readablestoragemedium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。