AR显示方法、智能终端、AR设备及系统与流程

本申请实施例涉及增强现实技术领域，尤其涉及一种ar显示方法、智能终端、ar设备及系统。

背景技术

增强现实(augmentedreality，ar)技术是一种通过计算机系统提供的信息增加用户对现实世界感知的技术，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的“增强”。

随着ar技术的不断发展，ar设备也越来越多的进入人们的日常生活中。现有ar设备需要对摄像头捕获的画面进行渲染等处理，实现ar场景的显示。这种ar场景显示方式对ar设备的硬件要求较高，使得ar设备比较笨重，用户佩戴时舒适性较低。

技术实现要素：

本申请实施例提供一种ar显示方法、智能终端、ar设备及系统，以降低ar设备的硬件要求，使ar设备更加轻便，增强用户佩戴使用时的便利性和舒适性。

本申请实施例提供一种ar显示方法，适用于智能终端，该方法包括：

基于图像模型渲染出虚拟图像；

基于所述智能终端与ar设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述ar设备的显示需求；

将经过调整的虚拟图像发送给所述ar设备，以供所述ar设备将所述经过调整的虚拟图像叠加到现实场景中。

本申请实施例还提供一种ar显示方法，适用于ar设备，该方法包括：

对智能终端的屏幕进行拍摄，获得屏幕图像，所述屏幕上显示有连通域标识；

将所述屏幕图像发送给所述智能终端，以供所述智能终端基于所述屏幕图像中包含所述连通域标识的局部图像确定其与所述ar设备的相对位置关系；

接收所述智能终端发送的虚拟图像，所述虚拟图像是由所述智能终端根据所述相对位置关系对其形状和/或角度进行调整后发送给所述ar设备的；

将所述虚拟图像叠加于现实场景中。

本申请实施例还提供一种智能终端，包括：存储器、处理器和通信组件；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述计算机程序，以用于：

基于图像模型渲染出虚拟图像；

基于所述智能终端与ar设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述ar设备的显示需求；

通过所述通信组件将经过调整的虚拟图像发送给所述ar设备，以供所述ar设备将所述经过调整的虚拟图像叠加到现实场景中。

本申请实施例还提供一种ar设备，包括：处理器、摄像头、投影模组以及通信组件；

所述处理器，用于负责所述ar设备的数据传输和控制逻辑；

所述摄像头，用于对智能终端的屏幕进行拍摄，获得屏幕图像，所述屏幕上显示有连通域标识；

所述通信组件，用于将所述屏幕图像发送给所述智能终端，以供所述智能终端基于所述屏幕图像中包含所述连通域标识的局部图像确定其与所述ar设备的相对位置关系；以及接收所述智能终端发送的虚拟图像，所述虚拟图像是由所述智能终端根据所述相对位置关系对其形状和/或角度进行调整后发送给所述ar设备的；

所述投影模组，用于将所述虚拟图像叠加于现实场景中。

本申请实施例还提供一种ar显示系统，包括：智能终端以及与所述智能终端通信连接的ar设备；

所述智能终端，用于基于图像模型渲染出虚拟图像；基于所述智能终端与ar设备之间的相对位置关系，调整所述虚拟图像的形状和/或角度使之符合所述ar设备的显示需求；将经过调整的虚拟图像发送给所述ar设备；

所述ar设备，用于对所述智能终端的屏幕进行拍摄，获得屏幕图像，所述屏幕上显示有连通域标识；将所述屏幕图像发送给所述智能终端，以供所述智能终端基于所述屏幕图像中包含所述连通域标识的局部图像确定其与所述ar设备的相对位置关系；接收所述智能终端发送的所述虚拟图像，并将所述虚拟图像叠加于现实场景中。

在本申请实施例中，由智能终端将图像模型渲染成虚拟图像，并基于智能终端与ar设备之间的相对位置关系对该虚拟图像的形状和/或角度进行调整，以获得满足ar设备的显示需求的虚拟图像，并将其发送于ar设备，以使ar设备将其叠加于现实场景中。由于图像处理部分基本由智能终端完成，ar设备主要进行虚拟图像与现实场景的叠加显示，有利于降低ar设备的硬件要求，使ar设备更加轻便，增强用户使用时的便利性和舒适性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请示例性实施例提供的一种ar显示系统的结构示意图；

图2为本申请示例性实施例提供的一种ar显示方法的流程示意图；

图3为本申请示例性实施例提供的一种连通域标识在屏幕图像中的显示结果的示意图；

图4为本申请示例性实施例提供的一种确定智能终端与ar设备之间的相对位置关系的方法的流程示意图；

图5为本申请示例性实施例提供的另一种ar显示方法的流程示意图；

图6为本申请示例性实施例提供的一种智能终端的结构示意图；

图7为本申请示例性实施例提供的一种ar设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有ar场景显示方式对ar设备硬件要求高而使得ar设备比较笨重的问题，本申请实施例提供一种解决方案，主要原理是：由智能终端将图像模型渲染成虚拟图像，并基于智能终端与ar设备之间的相对位置关系，调整虚拟图像的形状和/或角度，以获得满足ar设备显示需求的虚拟图像，并将该虚拟图像发送给ar设备，以使ar设备将其叠加于现实场景中进行展示。由于图像处理部分基本由智能终端完成，ar设备主要负责将虚拟图像叠加于现实场景中进行显示，因此，这种ar显示方式对ar设备硬件要求低，使得ar设备更加轻便，有助于增加用户佩戴使用时的舒适性。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请示例性实施例提供的一种ar显示系统的结构示意图。如图1所示，ar显示系统10包括：智能终端10a以及与智能终端10a通信连接的ar设备10b。智能终端10a可以为智能手机、平板电脑、台式计算机、个人电脑、穿戴设备(例如智能手表、智能手环等)等；ar设备10b可以为ar眼镜、ar头戴显示设备、ar手持式显示设备等。图1中所呈现的智能终端10a和ar设备10b只是示例性说明，并不对二者的实现形式做限定。

其中，智能终端10a和ar设备10b之间可以是无线或有线连接。在本实施例中，若智能终端10a通过移动网络和ar设备10b通信连接，该移动网络的网络制式可以为2g(gsm)、2.5g(gprs)、3g(wcdma、td-scdma、cdma2000、utms)、4g(lte)、4g+(lte+)、wimax等中的任意一种。另外，智能终端10a也可以通过蓝牙、wifi、红外线等方式和ar设备10b通信连接。

在人们的日常生活中，ar设备可以将虚拟的物体、场景等虚拟信息叠加到用户所在的真实环境中，让用户体验身临其境的效果。ar设备的轻便性和舒适性直接影响人们对ar设备的使用率。为了增加用户佩戴使用ar设备时的舒适性，在本实施例中，将ar设备与智能终端，比如智能手表、智能手环、智能手机、平板电脑等相结合，利用智能终端功能相对强大的优势，将ar显示过程中相对复杂的图像处理部分转移到智能终端上，使得ar设备主要负责将智能终端处理好的虚拟图像叠加到现实场景中，这样，ar设备无需设置大容量的存储器和强大处理功能的处理器，可简化ar设备的硬件，使得ar设备更加轻便，进而增加用户佩戴使用时的舒适性。

在本实施例中，智能终端10a首先基于图像模型渲染出虚拟图像。然后，智能终端10a根据自身与ar设备10b之间相对位置关系，自动调整虚拟图像的形状和/或角度，使得调整后的虚拟图像符合ar设备10b的显示需求。之后，智能终端10a将经过调整的虚拟图像发送给ar设备10b，以供ar设备10b可以将该经过调整的虚拟图像叠加到现实场景中，供用户观看。

相应地，ar设备10b接收智能终端10a发送的上述经过调整的虚拟图像，并将该经过调整的虚拟图像叠加于现实场景中，供用户观看到相应的虚实结合的图像。由于虚拟图像符合ar设备10b的显示要求，所以ar设备将虚拟图像叠加于现实场景中，可以得到用户能够正常观看的虚实结合的图像，有利于很好地满足用户观看的需求。

在本实施例中，由智能终端将图像模型渲染出虚拟图像，并对虚拟图像的形状和/或角度进行调整，以获得满足ar设备显示需求的虚拟图像，并将该经过调整的虚拟图像发送给ar设备，以使ar设备将该虚拟图像叠加于现实场景中，以供用户观看到正常方向的虚实结合的图像。这样，用户不仅可以利用ar设备观看到正常方向的虚实结合的图像，而且ar设备的硬件要求相对较低，使得ar设备更加轻便，有助于增加用户佩戴使用的便利性和舒适性。

在本申请实施例中，智能终端10a可以从自身获取图像模型，也可以接受ar设备发送的图像模型。下面结合一些示例性实施例进行说明：

在一些示例性实施例中，智能终端10a上可以运行一些应用，这些应用可以向用户提供图像和/或视频，例如这些应用可以是视频类app、直播类app等。为了增加用户观看这些图像和/或视频的感受，智能终端10a可以在这些应用被打开或被启动时，自动从这些应用提供的图像和/或视频中提取图像模型，提取的图像模型可以为图像和/或视频中显示的画面，例如建筑、家具、动物等，并对该图像模型进行渲染，从而获得对应的虚拟图像，再根据自身与ar设备10b之间相对位置关系，自动调整虚拟图像的形状和/或角度后发送给ar设备10b，以供ar设备10b直接将该经过调整的虚拟图像叠加于现实场景中，供用户观看到相应的虚实结合的图像。

在另一些示例性实施例中，ar设备10b需要显示图像时，可以向智能终端10a发送图像处理指令。智能终端10a接收ar设备10b发送的图像处理指令，根据该图像处理指令，从本地应用中获取图像模型。可选地，本地应用可以为智能终端10a的内部存储器，图像模型预先存储在存储器内，也可以为智能终端10a中所运行的一些应用，例如视频类app、直播类app或一段程序等。之后，将该图像模型渲染成虚拟图像，再根据自身与ar设备10b之间相对位置关系，自动调整虚拟图像的形状和/或角度后发送给ar设备10b，以供ar设备10b将该经过调整的虚拟图像叠加于现实场景中。在又一些示例性实施例中，ar设备10b可以根据显示需求，对相关对象进行拍摄，获得拍摄图像，将该拍摄图像发送给智能终端10a。在该示例性实施例中，ar设备10b向智能终端10a发送拍摄图像，该拍摄图像可以作为图像模型，或者包含有图像模型，以便于智能终端10a接收ar设备10b发送的图像模型。基于此，智能终端10a可以将ar设备10b发送的拍摄图像作为图像模型，或者，可以从ar设备10b发送的拍摄图像中，获取图像模型。之后，智能终端10a对该图像模型进行渲染以生成相应的虚拟图像。

值得说明的是，ar设备10b可以根据显示需求，对不同对象进行拍摄从而获得拍摄图像，例如建筑、交通工具等。

在一些实施例中，为了便于智能终端10a确定其与ar设备10b之间的相对位置关系，智能终端10a的屏幕上设置连通域标识，该连通域标识可供智能终端10a确定其与ar设备10b之间的相对位置关系。基于此，ar设备10b可以对带有连通域标识的屏幕进行拍摄，获得屏幕图像，并将该屏幕图像发送给智能终端10a。对智能终端10a来说，在基于其与ar设备10b之间的相对位置关系调整虚拟图像的图形和/或角度之前，可以接收ar设备10b传输的智能终端10a的屏幕图像；之后从屏幕图像中识别出包含有连通域标识的局部图像；并根据连通域标识和局部图像，确定智能终端10a与ar设备10b之间的相对位置关系。

可选地，在上述或下述实施例中，ar设备10b可以根据显示需求，每间隔一定时间拍摄一次智能终端10a的屏幕图像，并将其发送给智能终端10a；也可以不间断的实时拍摄智能终端10a的屏幕图像，形成视频流，并将其发送给智能终端10a。基于此，智能终端10a可以根据最新的屏幕图像确定智能终端10a与ar设备10b之间的相对位置关系，有利于提高确定出的相对位置关系的准确度。

进一步，可以预先选择一张连通域标识的图像，作为基准图像，并将该基准图像的图像特征预先存储在智能终端10a中。其中，这些图像特征包括基准图像的空间不变性特征和非空间不变性特征。基于此，可以基于图像不变性原理，从屏幕图像中识别出包含连通域标识的局部图像。可选地，智能终端10a可以获取预先存储的连通区域标识的基准图像的空间不变性特征；从屏幕图像中识别出包含基准图像的空间不变性特征的图像区域，并将该图像区域作为上述包含有连通域标识的局部图像。

可选地，智能终端10a可以采用以下方式确定智能终端10a与ar设备10b之间的相对位置关系：

智能终端10a可以将屏幕所在平面作为一个坐标面，建立世界坐标系；其中，屏幕所在平面可以是世界坐标系中的任何一个坐标面，例如xy面，xz面或yz面。然后，根据连通域标识在屏幕上的位置，确定智能终端10a在世界坐标系中的位置；根据局部图像与基准图像的非空间不变性特征，计算出局部图像与基准图像的相对关系；再根据局部图像与基准图像的相对关系以及连通域标识在屏幕上的位置，确定ar设备10b在世界坐标系中的位置；进而，根据智能终端10a和ar设备10b分别在世界坐标系的位置，确定智能终端10a与ar设备10b之间的相对位置关系。

其中，智能终端10a可以根据局部图像与基准图像的相对关系以及连通域标识在屏幕上的位置，确定ar设备10b距离世界坐标系原点的距离以及ar设备10b与世界坐标系各坐标轴的夹角，这些信息可唯一确定ar设备10b在世界坐标系中的位置。

相应地，智能终端10a在确定出自身与ar设备10b之间的相对位置关系后，基于该相对位置关系，调整虚拟图像的形状和/或角度，获得满足ar设备10b显示需求的虚拟图像，并将该经过调整后的虚拟图像发送给ar设备10b，以使ar设备10b将该其叠加于现实场景中，供用户观看到正常显示方向的虚实结合的图像。

除上述系统实施例之外，本申请还提供了一些方法实施例，这些方法实施例分别从智能终端和ar设备的角度描述了显示虚实结合的图像的过程。下面将结合附图对这些方法实施例进行详细说明。

图2为本申请示例性实施例提供的一种ar显示方法的流程示意图。该方法可应用于智能终端，例如可以用户的手机、平板电脑、穿戴设备(例如智能手表、智能手环等)等。如图2所示，该方法包括：

201、基于图像模型渲染出虚拟图像。

202、基于该智能终端与ar设备之间的相对位置关系，调整虚拟图像的形状和/或角度使之符合ar设备的显示需求。

203、将经过调整的虚拟图像发送给ar设备，以供该ar设备将经过调整的虚拟图像叠加到现实场景中。

在本实施例中，由智能终端将图像模型渲染成虚拟图像，并基于其与ar设备之间的相对位置关系，调整虚拟图像的形状和/或角度，以获得满足ar设备显示需求的虚拟图像，并将该虚拟图像发送给ar设备，使得ar设备将其与现实场景进行叠加后展示。这样，用户不仅可以利用ar设备观看到满足其观看方向需求的虚实结合的图像，而且因为ar显示过程中相对复杂的图像处理部分可由智能终端完成，减少了ar设备需要实现的功能，减轻了ar设备的处理负担，使得对ar设备硬件要求相对较低，使得ar设备更加轻便，有助于增加用使用时的便利性和舒适性。

在上述或下述实施例中，基于图像模型渲染出虚拟图像的过程可包括但不局限于：利用渲染程序计算场景中每一个光源对图像模型中的物体的影响；之后使用深度贴图阴影或使用光线追踪阴影对图像模型进一步处理使更接近真实场景；该渲染程序还要根据图像模型中的物体的材质来计算物体表面的颜色，材质的类型不同，属性不同，纹理不同都会产生各种不同的效果。

在一些可选实施方式中，ar设备可以根据图像显示需求，对不同对象进行拍摄从而获得拍摄图像，将该拍摄图像发送给智能终端。在该示例性实施例中，该拍摄图像可以作为图像模型，或者包含有图像模型。基于此，步骤201的一种可选实施方式可以为：智能终端可以接收ar设备发送的图像模型，并对其进行渲染以生成虚拟图像。

除上述实施方式之外，步骤201的另一种可选实施方式可以为：从智能终端获取图像模型，并对其进行渲染以生成对应的虚拟图像。可选地，可以在本地应用被打开或被启动时，自动从本地应用提供的图像和/或视频中提取图像模型，提取的图像模型可以为图像和/或视频中显示的画面，例如建筑、家具、动物等，并对该图像模型进行渲染，从而获得对应的虚拟图像。或者，也可以在接收到ar设备发送的图像处理指令时，在该图像处理指令的触发下，从本地应用中获取图像模型，之后，将该图像模型渲染成虚拟图像。

在一些实施例中，为了便于智能终端确定其与ar设备之间的相对位置关系，该智能终端的屏幕上显示有连通域标识。该连通域标识可以是但不局限于长方形、正方形、圆形等任意规则形状，或不规则形状的图案。在本申请实施例中对连通域标识的形状、颜色、实现形式等均不做限定。

ar设备拍摄智能终端的屏幕时，ar设备与智能终端的屏幕存在着一定的距离和角度关系，即ar设备和智能终端的相对位置变化时，ar设备拍摄到的连通域标识所呈现的大小、角度和形状是不同的，也就是说智能终端的屏幕图像中的连通域标识会出现不同的形变。下面以连通域标识的基准图像的形状为长方形为例对该形变进行示例性说明，为便于描述，将ar设备拍摄的屏幕图像中的连通域标识所在的图像区域称为连通域标识的图像。

如图3所示，a为示例性的连通域标识，当ar设备对连通域标识a进行平拍时，连通域标识的图像依然为长方形，如b1、b2所示。其中，图像b1、b2是ar设备在不同位置处对连通域标识进行拍摄得到的图像，与图像b2相比，图像b1对应的拍摄位置更加靠近屏幕。由图像b1、b2可知，ar设备距离屏幕越近，拍摄到的连通域标识的长度越长。

如图3所示，当ar设备从偏离平拍方向的方向对连通域识别标识a进行拍摄时，例如ar设备按照俯拍或仰拍的角度对连通域标识a进行拍摄时，连通域标识的图像的形状会有所变化，不再是长方形，有可能为梯形，也可能为任意形状的四边形，如c1和c2所示。其中，图像c1和c2为ar设备在不同位置处对连通域标识进行拍摄时的图像，与图像c2相比，图像c1对应的拍摄位置更加靠近屏幕。由图像c1、c2可知，ar设备距离屏幕越近，拍摄到的连通域标识的各边越长，即所谓的“近大远小”。

此外，当连通域标识所处的背景的光照条件变化时，ar设备拍摄的连通域标识的亮度水平和对比度也是不同的。

基于上述，在步骤202之前，可以先从接收到的ar设备传输的智能终端的屏幕图像中识别出连通域标识的局部图像，之后根据连通域标识的局部图像的大小、角度和/或形状相较于智能终端屏幕上显示的连通域标识的变化来确定智能终端与ar设备之间的相对位置关系。如果要从智能终端的屏幕图像中识别出连通域标识，则需要所选取的连通域标识的特征与连通域标识的位置、大小、角度以及仿射变化关系无关，即该特征满足平移不变性、尺度不变性、欧几里德不变性以及仿射不变性。基于此，可基于图像不变性原理，从屏幕图像中识别出包含连通域标识的局部图像。之后，根据智能终端屏幕上的连通域标识与包含连通域标识的局部图像，确定智能终端与ar设备之间的相对位置关系。

相应地，智能终端可预先存储智能终端屏幕上的连通域标识的基准图像，该基准图像包含有智能终端屏幕上的连通域标识的众多图像特征信息。该图像特征信息至少包括连通域标识的形状、大小、该连通域标识的边界轮廓信息等，该图像特征信息包括图像的空间不变性特征以及非空间不变性特征。基于此，从屏幕图像中识别出包含连通域标识的局部图像的一种可选实施方式为：获取预先存储的连通域标识的基准图像的空间不变性特征；从屏幕图像中识别出包含基准图像的空间不变性特征的图像区域，并将该图像区域作为局部图像。

进一步，在确定智能终端与ar设备的相对位置关系时，可把智能终端和ar设备置于同一坐标系下，这样，当智能终端和ar设备在该坐标系下的位置确定时，即可获得智能终端与ar设备的相对位置关系。基于此，根据智能终端的屏幕上的连通域标识和上述局部图像，确定智能终端与ar设备之间的相对位置关系的一种实施方式可以为如图4所示的方式，该实施方式包括：

401、将智能终端的屏幕所在平面作为一个坐标面，建立世界坐标系。

402、根据连通域标识在屏幕上的位置，确定智能终端在世界坐标系中的位置。

403、根据局部图像与基准图像的非空间不变性特征，计算出该局部图像与基准图像的相对关系。

404、基于局部图像与基准图像的相对关系以及连通域标识在屏幕上的位置，确定ar设备在世界坐标系中的位置。

405、根据智能终端和ar设备分别在所述世界坐标系的位置，确定智能终端与ar设备之间的相对位置关系。

在步骤401中，将智能终端的屏幕所在平面作为一个坐标面，建立世界坐标系。该世界坐标系的原点可为屏幕所在平面的任意位置。该世界坐标系可以智能终端屏幕上的连通域标识为基准来建立的，因此，连通域标识在世界坐标系中的位置是已知确定的。进而，在步骤402中，根据连通域识别标识在屏幕上的位置，可确定智能终端在世界坐标系中的位置。

在本实施例中，智能终端预先存储有连通域标识的基准图像，该基准图像包含有智能终端屏幕上的连通域标识的众多图像特征信息。该图像特征信息至少包括连通域标识的形状、大小、该连通域标识的边界轮廓信息等，该图像特征信息包括图像的空间不变性特征和非空间不变性特征。所述空间不变性特征可以是但不局限于平移不变性、尺度不变性、欧几里德不变性以及仿射不变性。

在本实施例中，ar设备拍摄智能终端的屏幕图像时，ar设备与智能终端的屏幕存在着一定的距离和角度关系，进而导致ar设备拍摄的智能终端的屏幕图像中的连通域标识的形状大小、角度等相较于基准图像会出现一定的变化，该变化属于图像的非空间不变性特征。具体变化可参见上述图3中的描述，此处不再赘述。根据屏幕图像中包含有连通域标识的局部图像和其非空间不变性特征，即将局部图像中连通域标识所呈现的形状以及该形状的大小与智能终端中所存储的连通域标识的基准图像的形状、大小进行比较并处理，可计算出局部图像与基准图像的相对关系。之后，根据局部图像与基准图像的相对关系，可确定ar设备与智能终端屏幕上的连通域标识的相对位置，之后再根据连通域标识在屏幕上的位置，确定ar设备在世界坐标系中的位置。

当ar设备和智能终端在世界坐标系中的位置确定时，由于二者位于同一世界坐标系下，那么ar设备和智能终端的相对位置即可根据其分别在世界坐标系下的坐标来确定。之后，可基于ar设备和智能终端的相对位置，对虚拟图像的形状和/或角度进行调整，从而得到符合ar设备的显示需求的虚拟图像，并将调整后的虚拟图像发送给ar设备，这样ar设备直接将接收到的虚拟图像叠加到现实场景中，即可使用户观看到正常的虚实结合的图像。

图5为本申请实施例示例性实施例提供的另一种ar显示方法的流程示意图。该方法适用于ar设备。如图5所示，该方法包括：

501、对智能终端的屏幕进行拍摄，获得屏幕图像，其中屏幕上显示有连通域标识。

502、将屏幕图像发送给智能终端，以供智能终端基于屏幕图像中包含连通域标识的局部图像确定其与ar设备的相对位置关系。

503、接收智能终端发送的虚拟图像，该虚拟图像是由智能终端根据相对位置关系对其形状和/或角度进行调整后发送给ar设备的。

504、将虚拟图像叠加于现实场景中。

本实施例中，智能终端的屏幕上设置有连通域标识，该连通域标识用于供智能终端确定其与ar设备之间的相对位置关系。ar设备负责拍摄智能终端显示有连通域标识的屏幕，获得屏幕图像，并把该屏幕图像发送给智能终端，以供智能终端确定其与ar设备的相对位置关系，并基于该相对位置关系调整相应虚拟图像的形状和/或角度。智能终端可接收ar设备发送的屏幕图像，并可根据该屏幕图像中连通域标识的局部图像确定出其与ar设备之间的相对位置关系并调整相应虚拟图像的形状和/或角度使之符合ar设备的显示需求，然后发送给ar设备。对ar设备来说，可以接收智能终端根据相对位置关系对图像形状和/或角度进行调整后的虚拟图像，并将该虚拟图像叠加至现实场景中，以供用户看到正常的虚实结合的图像。

在本实施例提供的ar显示方法中，ar设备主要负责虚拟图像与现实场景的叠加显示，关于虚拟图像的处理部分主要由智能终端完成，这对ar设备的硬件要求相对较低，ar设备无需大容量存储器和强大处理功能的处理器，使得ar设备比较轻便，有助于提高用户使用的便利性和舒适性。

在一可选实施例中，为了避免智能终端存储资源的浪费，可以通过ar设备控制智能终端，以实现当ar设备有显示需求时才触发智能终端来对图像模型进行渲染等处理。基于此，在智能终端基于图像模型渲染出虚拟图像之前，ar设备可向智能终端发送图像处理指令，以触发该智能终端将图像模型渲染生成虚拟图像并返回给ar设备。

在一些应用场景中，ar设备可以根据显示需求，对相关对象进行拍摄，获得拍摄图像，将该拍摄图像发送给智能终端。在该示例性实施例中，ar设备向智能终端发送拍摄图像，该拍摄图像可以作为图像模型，或者包含有图像模型，以便于智能终端接收ar设备发送的图像模型。值得说明的是，ar设备可以根据显示需求，对不同对象进行拍摄从而获得拍摄图像，例如建筑、交通工具、聊天界面等。例如，ar设备的用户想要利用同一智能终端一边观看视频，一边进行微信聊天。这样，ar设备的用户在观看视频时，拍摄智能终端的屏幕，将屏幕图像发送给智能终端，触发智能终端运行ar设备与智能终端约定的对微信界面进行渲染处理的协议，从智能终端微信对应的app中获取微信聊天界面作为图像模型，对其渲染生成对应的虚拟图像。智能终端将处理后的微信聊天界面对应的虚拟图像发送给ar设备，ar设备将其叠加至现实场景中，供用户观看到相应的虚实结合的图像，微信聊天界面相较于智能终端的屏幕可呈现“出屏”的效果。这样，用户在观看视频的同时，还可进行微信聊天。

图6为本申请示例性实施例提供的一种智能终端的结构示意图。如图6所示，该智能终端包括：存储器60a、处理器60b和通信组件60c。其中，

存储器60a，用于存储计算机程序。

处理器60b，用于执行计算机程序，以用于：

基于图像模型渲染出虚拟图像；

基于智能终端与ar设备之间的相对位置关系，调整虚拟图像的形状和/或角度使之符合ar设备的显示需求；

通过通信组件60c将经过调整的虚拟图像发送给ar设备，以供该ar设备将经过调整的虚拟图像叠加到现实场景中。

相应地，通信组件60c用于：将经过调整的虚拟图像发送给ar设备。

在一可选实施例中，处理器60b在基于图像模型渲染出虚拟图像时，具体用于：从存储器60a中获取图像模型，并对该图像模型进行渲染以生成虚拟图像；或者通过通信组件60c接收ar设备发送的图像模型，并对该图像模型进行渲染以生成虚拟图像。

在另一可选实施例中，通信组件60c在基于智能终端与ar设备之间的相对位置关系，调整虚拟图像的形状和/或角度使之符合ar设备的显示需求之前，用于：接收ar设备传输的智能终端的屏幕图像，且智能终端的屏幕上显示有连通域标识。

相应地，处理器60b具体用于：从屏幕图像中识别出包含连通域标识的局部图像；基于连通域标识与局部图像，确定智能终端与ar设备之间的相对位置关系。

进一步，处理器60b在从屏幕图像中识别出包含连通域标识的局部图像时，具体用于：获取预先存储的所述连通域标识的基准图像的空间不变性特征；从屏幕图像中识别出包含基准图像的空间不变性特征的图像区域，并将其作为局部图像。

相应地，处理器60b在基于连通域标识与局部图像，确定智能终端与ar设备之间的相对位置关系时，具体用于：将屏幕所在平面作为一个坐标面，建立世界坐标系；根据连通域标识在屏幕上的位置，确定智能终端在世界坐标系中的位置；根据局部图像与基准图像的非空间不变性特征，计算出局部图像与基准图像的相对关系；基于局部图像与基准图像的相对关系以及连通域标识在屏幕上的位置，确定智能终端与ar设备之间的相对位置关系。

进一步，如图6所示，智能终端还包括：显示器60d、电源组件60e、音频组件60f等其它组件。图6中仅示意性给出部分组件，并不意味着终端设备只包括图6所示组件。

在图6中的显示器，可以包括屏幕，其屏幕可以包括液晶显示器(lcd)或者触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

在图6中的电源组件，为电源组件所属设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所属设备生成、管理和分配电力相关联的组件。

在图6中的音频组件，被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(mic)，当音频组件所属设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

本实施例提供的智能终端，可将图像模型渲染成虚拟图像，并根据自身与ar设备的相对位置关系，调整虚拟图像的形状和/或角度，以满足ar设备显示需求，并将该经过调整的虚拟图像发送给ar设备进行叠加于现实场景中，以满足用户的观看需求。这样，当该智能终端与ar设备通信时，相应ar设备无需增设负责图像渲染等处理的处理器以及相关存储器便可实现虚拟图像与现实场景的叠加显示，可以简化ar设备的硬件设施，提高ar设备的便利性，以提高用户体验的舒适度。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，该计算机程序被执行时能够实现上述方法实施例中可由智能终端执行的各步骤或操作。

图7为本申请示例性实施例提供的一种ar设备的结构示意图。如图7所示，该ar设备70包括：处理器70a、摄像头70b、通信组件70c以及投影模组70d。其中，

处理器70a，用于负责ar设备的数据传输和控制逻辑。

摄像头70b，用于对智能终端的屏幕进行拍摄，获得屏幕图像，其中，屏幕上显示有连通域标识。

通信组件70c，用于将屏幕图像发送给智能终端，以供智能终端基于该屏幕图像中包含所述连通域标识的局部图像确定其与ar设备70的相对位置关系；以及接收智能终端发送的虚拟图像，其中，虚拟图像是由智能终端根据其与ar设备70的相对位置关系对其形状和/或角度进行调整后发送给ar设备的通信组件70c的。

投影组件70d，用于将虚拟图像叠加于现实场景中，以供用户观看到相应的虚实结合的图像。

值得说明的是，图7所示ar设备的实现形态仅为示例，并不限于此。相应地，图7中示出的各组件的部署位置也仅为示例，这些组件的部署位置可根据ar设备的实现形态灵活设置；另外，这些组件可以分散部署于ar设备的不同位置，如有需要，部分组件也可以集成到一块芯片或电路上实现。

本实施例中，ar设备负责接收智能终端进行渲染、形状和/或角度调整处理出的虚拟图像，之后将该虚拟图像叠加至现实场景中供用户观看。本实施例提供的ar设备，无需设置高处理功能的处理器和大存储空间的存储器，有助于减轻ar设备的重量，使ar设备更加轻便，提高用户使用的便利性和舒适性。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，该计算机程序被执行时能够实现上述方法实施例中可由ar设备执行的各步骤或操作。

需要说明的是，通信组件60c或70c，可被配置为便于通信组件所属设备和其他设备之间有线或无线方式的通信。通信组件所属设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

还需要说明的是，上述实施例或实施例附图中提供的智能终端、ar设备的结构和实施形式均是示例性而非限制性的。而且在本申请实施例中不限制ar设备上的投影模组、通信组件以及摄像头在该ar设备上的设置位置，只要不阻挡用户视线即可。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请实施例各实施例技术方案的精神和范围。