虚拟对象的控制方法及相关设备与流程

本发明涉及虚拟现实技术领域，更具体地，是虚拟对象的控制方法及相关设备。

背景技术：

随着虚拟现实(virtualreality，vr)和增强现实(augmentedreality，ar)技术的发展与日益成熟，混合现实(mixedreality，mr)技术也应运而生。mr技术，包括增强现实技术和增强虚拟技术，指的是合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里真实环境和数字对象共存并实时互动。

实现mr技术的一种设备是，采集周围实际环境的图像，在图像中构建虚拟对象，虚拟对象可以是具有行为活动能力的对象如卡通动物模型等。为了增强人和设备之间的互动性，需要提供一种对虚拟对象的控制方法，以满足人机交互需求。

技术实现要素：

有鉴于此，本发明提供了一种虚拟对象的控制方法，以实现人对设备所构建的虚拟对象的控制功能，增强人机交互效果。为实现所述目的，本发明提供的技术方案如下：

第一方面，本发明提供了一种虚拟对象的控制方法，包括：

获得人物以及人物所在环境的目标图像，所述目标图像具有彩色信息以及深度信息；

在环境渲染功能被开启的情况下，从所述目标图像中提取所述环境的图像信息，并根据所述环境的图像信息渲染虚拟环境；

在骨架提取功能被开启的情况下，从所述目标图像中提取所述人物的骨架信息；

获得对象数据，并根据所述对象数据在所述虚拟环境中渲染虚拟对象；

将所述骨架信息与所述虚拟对象进行绑定，并驱动所述虚拟对象执行与所述骨架信息对应的动作。

第二方面，本发明提供了一种虚拟对象的控制装置，包括：

目标图像采集单元，用于获得人物以及人物所在环境的目标图像，所述目标图像具有彩色信息以及深度信息；

虚拟环境渲染单元，用于在环境渲染功能被开启的情况下，从所述目标图像中提取所述环境的图像信息，并根据所述环境的图像信息渲染虚拟环境；

骨架信息提取单元，用于在骨架提取功能被开启的情况下，从所述目标图像中提取所述人物的骨架信息；

虚拟对象渲染单元，用于获得对象数据，并根据所述对象数据在所述虚拟环境中渲染虚拟对象；

虚拟对象控制单元，用于将所述骨架信息与所述虚拟对象进行绑定，并驱动所述虚拟对象执行与所述骨架信息对应的动作。

第三方面，本发明提供了一种电子设备，包括：

图像采集器，用于采集人物以及人物所在环境的目标图像，所述目标图像具有彩色信息以及深度信息；

处理器，用于在环境渲染功能被开启的情况下，从所述目标图像中提取所述环境的图像信息，并根据所述环境的图像信息渲染虚拟环境；在骨架提取功能被开启的情况下，从所述目标图像中提取所述人物的骨架信息；获得对象数据，并根据所述对象数据在所述虚拟环境中渲染虚拟对象；将所述骨架信息与所述虚拟对象进行绑定，并驱动所述虚拟对象执行与所述骨架信息对应的动作；

显示器，用于显示渲染的虚拟环境以及虚拟对象。

第四方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的对象模型的控制方法。

由以上技术方案可知，本发明提供了一种应用于电子设备的虚拟对象的控制方法，该方法可以获得人物以及人物所在环境的图像，从图像中提取环境的图像信息，根据该图像信息构建虚拟环境，从图像中提取人物的骨架信息并在虚拟环境中构建虚拟对象，根据骨架信息驱动虚拟对象的动作。电子设备采集到的图像中人物可以执行各种不同的动作，从而驱动虚拟对象执行相应的不同动作。可见，本发明实现了通过人物动作对虚拟对象进行控制，提高了人机交互效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为虚拟对象的控制方法的一个场景示意图；

图2为虚拟对象的控制方法的一个流程示意图；

图3为虚拟对象的控制效果的一个场景示意图；

图4为虚拟对象的控制装置的一个结构示意图；

图5为虚拟对象的控制装置的另一结构示意图；

图6为电子设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

mr技术，相较于ar和vr技术，具有更强的视觉效果。它结合真实和虚拟世界创造了新的环境和可视化三维世界，物理实体和数字对象共存，并可以实时相互作用，是虚拟现实技术的进一步发展。

本发明提供一种应用mr技术的电子设备，如手机、平板电脑、穿戴式眼镜设备等。如图1所示，电子设备可以采集周围真实环境的图像，根据图像构建与真实环境对应的虚拟环境，在虚拟环境中构建虚拟对象，由真实环境中的人物的行为动作实现对虚拟对象的控制。

如图2所示，虚拟对象的控制方法可以具体包括步骤s201～s205。

s201：获得人物以及人物所在环境的目标图像，目标图像具有彩色信息以及深度信息。

其中，电子设备具有图像采集器如摄像头，用于采集真实环境的图像，真实环境可以是户外也可以是室内等等，本发明并不做具体限定。图像中除了包括环境信息之外，还可以包括处于该环境中人物的图像信息。

图像采集器可以更具体为3d深度摄像头，其采集的图像不仅具有彩色信息，还具有深度信息。一般的摄像头都是二维，而实际生活环境是三维的，比如人类可以利用双眼的视差感知现实生活环境的深度信息。随着rgb-d传感器的出现以及发展，产生了应用该传感器的3d深度摄像头，利用3d深度摄像头采集带有深度信息的图像，对图像进行处理后可以还原真实环境。

s202：在环境渲染功能被开启的情况下，从目标图像中提取环境的图像信息，并根据环境的图像信息渲染虚拟环境。

其中，电子设备可以提供渲染开关，由用户选择是否开启环境渲染功能。如果环境渲染功能被开启，则执行本步骤的环境渲染功能。如果环境渲染功能被关闭，则本步骤可以省略执行，以节省电子设备的计算资源，提高电子设备的处理效率。

因此在环境渲染之前，可以确定渲染开关的状态。如果渲染开关的状态为开，则进行环境渲染操作。具体地，从目标图像中提取与环境相关的图像信息，依据环境的图像信息在电子设备的屏幕或者其他显示媒介上渲染出对应的虚拟环境。需要说明的是，步骤s201采集的目标图像可以是连续采集的多帧图像，本步骤以及后续步骤可以使用连续的多帧图像进行虚拟环境的渲染。

一种具体的渲染方法是，使用即时定位与地图构建算法(simultaneouslocalizationandmapping，slam)，从目标图像中提取环境的图像信息如位姿信息，并根据环境的图像信息渲染虚拟环境。

具体来讲，slam算法的输入数据为，目标图像中的彩色信息以及深度信息，其中深度信息可以为空间深度点云信息。该算法可以构建一种称为地图的数据结构，该数据结构中保存有3d真实环境中的大量信息，这些信息用于追踪真实环境中的物体，并定位物体在地图中的位置。地图是表示稀疏点云的3d点的地图，其中每个点对应于真实环境中的光学特征点的坐标，例如桌子的桌角。通过在相同坐标中检测到特征点的图像帧数，来进行虚拟环境与虚拟环境的匹配。使用密集点云会消耗更多的图像处理资源和电子设备内存，但处理效果更好，得到的虚拟环境更加精确。可见，slam算法是将图像采集器采集到的彩色图像信息映射到空间并且进行跟踪，识别平面，对环境感知，进行虚拟世界的构建。

需要说明的是，电子设备上还可以设置重力感应器、加速度感应器、陀螺仪等用于采集运动参数的传感器部件，其所采集的运动参数可以在slam算法计算过程中被使用到，以保证快速移动电子设备时，slam计算数据的不丢失，从容精准定位，无需多次重建地图。slam算法的输出数据包括：位姿信息、观察矩阵以及投射矩阵等信息，这些信息可以供渲染引擎进行图像渲染。

另外，在执行slam算法之前，还可以使用图像采集器的相关参数对slam算法进行初始化。具体地，可以将图像采集器的深度内参值以及彩色内参值传入slam算法中，初始化算法中的相关参数的参数值，以修正slam算法对彩色图和深度图进行处理过程中的信息偏差。当然，如果并未成功获取到图像采集器的相关参数值，可以使用默认的参数值进行初始化。

渲染引擎的虚拟摄像头需要与图像采集器进行绑定，这样，图像采集器采集的目标图像经过slam算法的处理后，得到环境图像信息如位姿信息，环境图像信息可以输入至渲染引擎的虚拟摄像头，以使渲染引擎根据该环境图像信息渲染出虚拟环境。

虚拟环境渲染的状态可以显示给用户，例如可以显示在电子设备屏幕上或者其他显示媒介上。状态可以包括成功或者失败，例如可以使用标记ok表示成功的状态，使用标记fail表示异常的状态。另外，虚拟环境渲染所需的时长也可以显示给用户，时长单位可以毫秒级别。

s203：在骨架提取功能被开启的情况下，从目标图像中提取人物的骨架信息。

其中，骨架提取功能可以被开启或者被关闭，关闭该功能可以节省电子设备的计算资源耗费，提供电子设备的处理效率。若骨架提取功能被开启，则电子设备可以对目标图像中的人物执行骨架提取过程。

具体地，目标图像中包含有人物信息，目标图像具有深度信息，骨架提取算法使用深度信息进行骨架提取。预先设置有人体骨骼结构数据，该结构数据按照人体骨骼关节特征设置，包括多个骨架节点。骨架提取算法从目标图像中提取每个骨架节点的相关数据，从而得到骨架信息。骨架信息可以具体包括：骨骼欧拉角以及骨架节点位置。

骨架提取算法可以具体为3d骨架提取算法，3d骨架提取算法可以对环境中人物进行确定，并对其肢体关节点进行识别与跟踪。相比于2d骨架提取算法，3d骨架提取算法的优势包括：稳定性好，不抖动；可识别各种特殊动作如抱头、胸前双手交叉，交互效果好；运算量小；准确率高等。

本步骤的一种具体实现方式包括：根据目标图像的深度信息以及彩色信息，提取人物的外围轮廓；依据外围轮廓腐蚀人物的图像边界，得到伪骨架信息；从伪骨架信息中，提取骨架信息。

其中，外围轮廓能够表现人物的姿态特点，因此可以首先从目标图像中提取人物的外围轮廓。具体地，可以根据目标图像的深度值大小以及像素值大小，将满足预设条件的像素点所组成的图像轮廓确定为人物的外围轮廓。

然后，从外围轮廓中提取出伪骨架信息，其中带有无关毛刺和冗余枝杈的骨架信息称为伪骨架信息。具体地，获取外围轮廓中的各个轮廓点；以及在外围轮廓中，依次检索8像素连通区域，并将不满足8像素连通区域的轮廓点删除，以得到伪骨架信息。其中检索过程为依次检索迭代外围轮廓的8像素连通区域，如果存在含有3、4、5、6或7个像素点的连通区域，这些连通区域即不满足8像素连通区域的像素点，则将这些像素点删除。迭代完成后，便可以得到伪骨架信息。

最后，从伪骨架信息中提取骨架信息。具体地，在伪骨架信息中，检索低于8像素的连通区域；若检索到低于8像素的连通区域，则将低于8像素的连通区域的像素点删除，以得到骨架信息。其中，低于8像素的连通区域可以包括：由2、3、4、5、6或7组成的连通区域。

s204：获得对象数据，并根据对象数据在虚拟环境中渲染虚拟对象。

其中，电子设备可以预先设置要被控制的虚拟对象，如虚拟对象可以是卡通动物等。虚拟对象的信息数据可以称为对象数据。对象数据可以包括虚拟对象的显示形象，初始显示姿态、初始显示位置等。其中初始显示姿态可以包括但不局限于以下几种：平举双手、双臂向下与水平成45度夹角、或双臂垂直向下。

对象数据可以预先存储在电子设备中，电子设备当需要渲染虚拟对象时，可以从存储单元中获取该对象数据，并根据对象数据进行虚拟对象的渲染。虚拟对象可以包括多个，用户可以根据实际需求选择任意虚拟对象进行渲染。

例如，用户可以点击电子设备上的功能按键选取虚拟对象，并可以点击电子设备屏幕的任意位置，以指示电子设备将虚拟对象渲染在该位置处。虚拟对象可以基于触控指令执行各种操作，如旋转、放大、缩小、前后左右移动等。

需要说明的是，虚拟对象可以渲染在电子设备的显示屏上，也可以渲染在其他媒介上。

s205：将骨架信息与虚拟对象进行绑定，并驱动虚拟对象执行与骨架信息对应的动作。

其中，将人物的骨架信息与虚拟对象的骨架信息进行绑定后，将骨架信息对应的动作确定为虚拟对象需要执行的动作，并将虚拟对象的骨架设置为该动作，从而实现通过人物动作对虚拟对象进行控制。

需要说明的是，虚拟对象的控制方法中各个步骤的执行顺序并不局限于图2所示，虚拟环境的渲染以及虚拟对象的渲染可以同时执行，并且骨架信息也可以与环境信息的提取同时执行。

由以上技术方案可知，本发明提供了一种应用于电子设备的虚拟对象的控制方法，该方法可以获得人物以及人物所在环境的图像，从图像中提取环境的图像信息，根据该图像信息构建虚拟环境，从图像中提取人物的骨架信息并在虚拟环境中构建虚拟对象，根据骨架信息驱动虚拟对象的动作。电子设备采集到的图像中人物可以执行各种不同的动作，从而驱动虚拟对象执行相应的不同动作。可见，本发明实现了通过人物动作对虚拟对象进行控制，提高了人机交互效果。

一种效果示意图参见图3，电子设备的屏幕上显示有虚拟对象模型，电子设备可以采集人物在环境中的图像，并从图像中提取到人物的动作信息为张开双臂，从而控制屏幕上所显示的虚拟对象模型执行相同的动作即张开双臂的动作。

在实际应用中，虚拟对象的动作也可以并非全部由人物控制，还可以由预先设置的动画进行控制。具体地，电子设备可以提供控制方式选择按键，由用户选择控制方式；或者，电子设备可以仅提供人物骨架控制功能的开启或关闭按键。若人物骨架控制功能被开启，则表示使用图2的控制方法，由人物骨架对虚拟对象进行控制；若人物骨架控制功能被关闭，则可以按照下述动画控制方式对虚拟对象进行控制。

在骨架提取功能被关闭的情况下，获取预设的动画模型；将动画模型的骨架信息与虚拟对象进行绑定，并驱动虚拟对象执行与动画模型的骨架信息对应的动作。

具体地，可以预先设置动画模型，动画模型具有骨架信息，并且预先设置该骨架信息对应的动作。将虚拟对象与动画模型的骨架信息绑定后，便可以控制虚拟对象执行动画模型预设的动作。

另外，电子设备还可以提供视频录制功能，即对包括虚拟环境及虚拟对象的画面进行视频录制。所录制的视频可以保存在电子设备本地，还可以被分享至其他系统或其他平台。

见图4，本发明提供了一种虚拟对象的控制装置，具体包括：目标图像采集单元401、虚拟环境渲染单元402、骨架信息提取单元403、虚拟对象渲染单元404以及虚拟对象控制单元405。

目标图像采集单元401，用于获得人物以及人物所在环境的目标图像，所述目标图像具有彩色信息以及深度信息；

虚拟环境渲染单元402，用于在环境渲染功能被开启的情况下，从所述目标图像中提取所述环境的图像信息，并根据所述环境的图像信息渲染虚拟环境；

骨架信息提取单元403，用于在骨架提取功能被开启的情况下，从所述目标图像中提取所述人物的骨架信息；

虚拟对象渲染单元404，用于获得对象数据，并根据所述对象数据在所述虚拟环境中渲染虚拟对象；

虚拟对象控制单元405，用于将所述骨架信息与所述虚拟对象进行绑定，并驱动所述虚拟对象执行与所述骨架信息对应的动作。

由上述技术方案可知，本发明提供了一种虚拟对象的控制装置，该装置可以获得人物以及人物所在环境的图像，从图像中提取环境的图像信息，根据该图像信息构建虚拟环境，从图像中提取人物的骨架信息并在虚拟环境中构建虚拟对象，根据骨架信息驱动虚拟对象的动作。电子设备采集到的图像中人物可以执行各种不同的动作，从而驱动虚拟对象执行相应的不同动作。可见，本发明实现了通过人物动作对虚拟对象进行控制，提高了人机交互效果。

在一种具体实现方式中，虚拟环境渲染单元402在从所述目标图像中提取所述环境的图像信息，并根据所述环境的图像信息渲染虚拟环境时，具体用于：

使用即时定位与地图构建算法，从所述目标图像中提取所述环境的图像信息，并根据所述环境的图像信息渲染虚拟环境。

在一种具体实现方式中，骨架信息提取单元403在从所述目标图像中提取所述人物的骨架信息时，具体用于：

根据所述目标图像的深度信息以及彩色信息，提取所述人物的外围轮廓；

依据所述外围轮廓腐蚀所述人物的图像边界，得到伪骨架信息；

从所述伪骨架信息中，提取骨架信息。

在一种具体实现方式中，骨架信息提取单元403根据所述目标图像的深度信息以及彩色信息，提取所述人物的外围轮廓时，具体用于：

根据所述目标图像的深度值大小以及像素值大小，将满足预设条件的图像轮廓确定为所述人物的外围轮廓。

在一种具体实现方式中，骨架信息提取单元403依据所述外围轮廓腐蚀所述人物的图像边界，得到伪骨架信息时，具体用于：

获取所述外围轮廓中的各个轮廓点；

在所述外围轮廓中，依次检索8像素连通区域，并将不满足所述8像素连通区域的轮廓点删除，以得到伪骨架信息。

在一种具体实现方式中，骨架信息提取单元403从所述伪骨架信息中，提取骨架信息时，具体用于：

在所述伪骨架信息中，检索低于8像素的连通区域；

若检索到低于8像素的连通区域，则将所述低于8像素的连通区域的像素点删除，以得到骨架信息。

见图5，本发明还提供了一种虚拟对象的控制装置，该虚拟对象的控制装置在图4所示的结构基础上，还可以包括：动画控制单元406。

动画控制单元406，用于在所述骨架提取功能被关闭的情况下，获取预设的动画模型；将所述动画模型的骨架信息与所述虚拟对象进行绑定，并驱动所述虚拟对象执行与所述动画模型的骨架信息对应的动作。

见图6，本发明还提供了一种电子设备，该电子设备具体包括：图像采集器601、存储器602、处理器603、显示器604以及通信总线605。

其中，图像采集器601、存储器602、处理器603以及显示器604通过通信总线605完成相互间的通信。

图像采集器601，用于采集人物以及人物所在环境的目标图像，所述目标图像具有彩色信息以及深度信息。图像采集器可以具体为3d摄像头。

存储器602，用于存放程序及相关数据；程序可以包括程序代码，所述程序代码包括处理器的操作指令。

处理器603，通过调用存储器602中的程序及数据，实现下述处理操作：在环境渲染功能被开启的情况下，从所述目标图像中提取所述环境的图像信息，并根据所述环境的图像信息渲染虚拟环境；在骨架提取功能被开启的情况下，从所述目标图像中提取所述人物的骨架信息；获得对象数据，并根据所述对象数据在所述虚拟环境中渲染虚拟对象；将所述骨架信息与所述虚拟对象进行绑定，并驱动所述虚拟对象执行与所述骨架信息对应的动作。

所述处理器可以执行与上述虚拟对象的控制方法相关的各个步骤，此处并不赘述。

显示器604，用于显示渲染的虚拟环境以及虚拟对象。

本发明还提供了一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述的任意一种虚拟对象的控制方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。