基于增强现实的显示方法、设备、存储介质及程序产品与流程

文档序号:25284831发布日期:2021-06-01 17:33阅读:103来源:国知局
本公开实施例涉及计算机与网络通信
技术领域
:,尤其涉及一种基于增强现实的显示方法、设备、存储介质及程序产品。
背景技术
::增强现实技术(augmentedreality,简称ar),是一种将虚拟信息与真实世界融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。随着增强现实技术的发展,其在各行业中均得到广泛应用。现有技术中对ar技术的一种应用是在真实世界中叠加虚拟模型,例如卡通人物模型、动物模型等,然而,现有技术中的虚拟模型通常是固定的,是由开发人员预先设计好的虚拟模型形象,这就导致虚拟模型形象比较单一,无法满足用户多样化的需求,进而影响用户使用ar技术的意愿和使用体验。技术实现要素:本公开实施例提供一种基于增强现实的显示方法、设备、存储介质及程序产品,以基于增强现实的显示方法、设备及存储介质,以克服虚拟模型形象比较单一,无法满足用户多样化的需求的问题。第一方面,本公开实施例提供一种基于增强现实的显示方法,包括:获取实时场景图像;若所述实时场景图像中包括目标对象的脸部图像,则从所述实时场景图像中获取目标对象的头部图像,其中所述目标对象的头部图像包括所述目标对象的脸部图像;根据所述头部图像,生成所述目标对象的虚拟形象;基于增强现实显示技术,在所述实时场景图像中显示所述目标对象的虚拟形象。第二方面,本公开实施例提供一种基于增强现实的显示设备,包括:获取单元,用于获取实时场景图像;图像分割单元,用于在所述实时场景图像中包括目标对象的脸部图像的情况下,从所述实时场景图像中获取目标对象的头部图像,其中所述目标对象的头部图像包括所述目标对象的脸部图像;生成单元,用于根据所述头部图像,生成所述目标对象的虚拟形象;显示单元,用于基于增强现实显示技术,在所述实时场景图像中显示所述目标对象的虚拟形象。第三方面,本公开实施例提供一种电子设备,包括:至少一个处理器和存储器;所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。第五方面,本公开实施例提供一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。本实施例提供的基于增强现实的显示方法、设备、存储介质及程序产品,通过获取实时场景图像;若实时场景图像中包括目标对象的脸部图像,则从实时场景图像中获取目标对象的头部图像,其中目标对象的头部图像包括目标对象的脸部图像;根据头部图像生成目标对象的虚拟形象;基于增强现实显示技术,在实时场景图像中显示目标对象的虚拟形象。本实施例通过获取目标对象的头部图像生成目标对象的虚拟形象,可以避免虚拟形象需要预先设计、且形象固定单一的问题,满足用户多样化的需求,通过增强现实技术将虚拟形象显示在实时场景图像中的目标位置处,提高用户使用增强现实技术的意愿和使用体验。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1为本公开一实施例提供的基于增强现实的显示方法流程示意图;图2为本公开另一实施例提供的基于增强现实的显示方法流程示意图;图3a为本公开一实施例提供的包括目标对象的脸部图像的实时场景图像的示例图;图3b为本公开一实施例提供的确定脸部图像的边界的示例图;图3c为本公开一实施例提供的生成目标对象的虚拟形象的示例图;图3d为本公开一实施例提供的在实时场景图像中显示目标对象的虚拟形象的示例图;图4为本公开另一实施例提供的基于增强现实的显示方法流程示意图;图5为本公开另一实施例提供的基于增强现实的显示方法流程示意图;图6为本公开另一实施例提供的基于增强现实的显示方法流程示意图;图7为本公开实施例提供的基于增强现实的显示设备的结构框图;图8为本公开实施例提供的电子设备的硬件结构示意图。具体实施方式为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。现有技术中对ar技术的一种应用是在真实世界中叠加虚拟模型,例如卡通人物模型、动物模型等,用户可通过手势等方式与虚拟模型进行交互,虚拟模型可做出特定的响应。现有技术中ar虚拟模型通常是固定的,由开发人员预先设计好虚拟模型的形象,导致虚拟模型形象比较单一,无法满足用户多样化的需求,影响用户使用ar的意愿和使用体验。为了解决上述技术问题,本公开中可以为用户提供一种能够基于人脸图像生成ar虚拟形象的方法,用户可通过电子设备的图像采集单元采集实时场景图像,若实时场景图像中包括目标对象的脸部图像,则从实时场景图像中获取目标对象的头部图像,其中目标对象的头部图像包括目标对象的脸部图像,其中目标对象可以为人,可选的也可以为动物,例如猫、狗等;再根据所述头部图像,生成目标对象的虚拟形象,例如在头部图像上长出肢体,肢体可以做出各种预设动作;进而基于增强现实显示技术,在实时场景图像中显示目标对象的虚拟形象,从而可以避免ar虚拟形象需要预先设计、且形象固定单一的问题,实现了可根据用户需求生成各种各样的人或动物等目标对象的ar虚拟形象,可以满足用户多样化的需求,提高用户使用ar的意愿和使用体验。本公开实施例可适用于任意的具备ar功能的电子设备,例如智能手机、平板电脑、可穿戴设备等等,本公开实施例的应用场景可以包括例如,电子设备通过其图像采集单元采集实时场景图像,根据场景图像中的目标对象的头部图像生成目标对象的虚拟形象,并经过本公开各实施例的增强现实的显示方法,最终将目标物体对应的虚拟形象在实时场景的中进行增强显示,其中增强显示包括:基于增强现实显示技术,显示目标对象的虚拟形象,例如实时场景图像中包括人物a的脸部图像,通过采用本公开实施例中的虚拟形象生成方法生成人物a的虚拟形象,在人物a头部图像上长出肢体,肢体可以做出各种预设动作,经过本公开各实施例的增强现实的显示方法后,可以将人物a的虚拟形象在实时场景图像中进行增强显示并进一步通过动画的形式动态显示,以使得人物a的虚拟形象在实时场景中运动。参考图1,图1为本公开实施例提供的基于增强现实的显示方法流程示意图一。本实施例的方法可以应用在具备ar功能的电子设备中,该基于增强现实的显示方法包括:s101、获取实时场景图像。在本实施例中,电子设备的图像采集单元如摄像头等可以采集实时场景图像,并显示在电子设备的显示单元中,从而使得用户可以在电子设备的显示单元中实时看到图像采集单元采集的实时场景图像,其中电子设备具备包括但不限于智能手机、平板电脑、可穿戴设备等等。s102、若所述实时场景图像中包括目标对象的脸部图像,则从所述实时场景图像中获取目标对象的头部图像,其中所述目标对象的头部图像包括所述目标对象的脸部图像。在本实施例中,实时场景图像中可能包括目标对象的脸部图像,其中目标对象可以是人的脸部图像,可选的,也可以为动物的脸部图像,例如猫、狗等,电子设备可对实时场景图像进行人脸检测,在确定实时场景图像中包括目标对象的脸部图像的情况下,从实时场景图像中获取目标对象的头部图像,目标对象的头部图像包括目标对象的脸部图像,也即目标对象的头部图像除了包括目标对象的脸部图像外,还可包括目标对象的脸部之外的头发图像、头饰图像等等。其中,从实时场景图像中获取目标对象的头部图像的过程,可以采用现有技术中任意图像分割方法,能够实现从实时场景图像中分割出目标对象的头部图像即可,例如人头部图像分割算法等等,此处可不做限定。在一种可选实施例中,目标对象的头部图像也可以是从预先拍摄的照片中获取的,或者通过其他途径获取的。s103、根据所述头部图像,生成所述目标对象的虚拟形象。在本实施例中,在获取到目标对象的头部图像后,电子设备可根据目标对象的头部图像生成目标对象的虚拟形象,其中虚拟形象可具有肢体和/或穿戴物体,且肢体和/或穿戴物体可以做出特定动作,例如在目标对象的头部图像上长出四肢,四肢可以做出跑、跳、招手、挥舞物体等特定动作,再如在目标对象的头部图像上添加头饰,头饰可以展示出特定动作,如随风摇动等。可选的,在根据所述头部图像,生成所述目标对象的虚拟形象时,可将头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象。也即,在本实施例中,可预先设置虚拟形象的肢体动作、所穿戴物体的动作,生成相应的动画素材,以用于后续的合成过程,也即在头部图像上添加该些动画素材,得到目标对象的虚拟形象,且该虚拟形象可以根据动画素材的播放进行特定的动作。s104、基于增强现实显示技术,在所述实时场景图像中显示所述目标对象的虚拟形象。在本实施例中,在得到目标对象的虚拟形象后,电子设备可通过增强显示技术,将目标对象的虚拟形象显示在实时场景图像中,也即将虚拟形象通过增强现实技术叠加到真实的实时场景图像中,实现增强显示的效果。其中可以将虚拟形象显示于实时场景图像中的任意位置,例如可以是在实时场景图像中检测到的任意平面区域,或者也可以是用户在实时场景图像中指定的目标位置,本实施例中可不做限定。在一种可选实施例中,用户可将获取到的目标对象的头部图像从初始位置出拖动至实时场景图像中的某一位置处,进一步的,基于增强现实显示技术,在该位置处显示目标对象的虚拟形象;或者也可先显示出基于复制后的目标对象的头部图像生成的目标对象的虚拟形象,再基于用户的拖动操作将该虚拟形象显示至实时场景图像中的某一位置处。在一个实施例中,用户还可对所显示的虚拟形象进行旋转、缩放、移动等。例如,用户可在电子设备的显示界面上发出对虚拟形象的控制指令,控制指令可包括但不限于旋转控制指令、缩小控制指令、移动控制指令、放大控制指令,电子设备响应于用户对虚拟形象的控制指令,对该虚拟形象进行相应的控制。需要说明的是,本实施例中的旋转可包括虚拟形象在任意情况下的角度变化,移动可包括虚拟形象在任意情况下的位置变化。缩放可以包括虚拟形象在任意情况下的大小的变化。当然本实施例中,用户还可与该虚拟形象进行更多其他的交互过程,为简明起见,此处不再一一赘述。本实施例提供的基于增强现实的显示方法,通过获取实时场景图像;若实时场景图像中包括目标对象的脸部图像,则从实时场景图像中获取目标对象的头部图像,其中目标对象的头部图像包括目标对象的脸部图像;根据头部图像生成目标对象的虚拟形象;基于增强现实显示技术,在实时场景图像中显示目标对象的虚拟形象。本实施例通过获取目标对象的头部图像生成目标对象的虚拟形象,可以避免虚拟形象需要预先设计、且形象固定单一的问题,满足用户多样化的需求,通过增强现实技术将虚拟形象显示在实时场景图像中的目标位置处,提高用户使用增强现实技术的意愿和使用体验。在上述任一实施例的基础上,s103所述的根据所述头部图像,生成所述目标对象的虚拟形象,具体可将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象。其中,可选的,虚拟形象可具有肢体和/或穿戴物体,且肢体和/或穿戴物体可以做出特定动作。如图2所示,在将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象时,具体可包括:s201、对所述头部图像进行脸部图像分割,确定所述头部图像中包括的脸部图像的边界;s202、根据所述脸部图像的边界、以及所述动画素材,确定所述动画素材与所述头部图像的连接点;其中所述连接点位于所述脸部图像的边界上、或所述脸部图像的边界附近预设区域;s203、通过所述连接点,将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象。在本实施例中,考虑到目标对象的头部可能具有较长的头发或头饰,如果直接在头部图像的边界上添加肢体和/或穿戴物体,则可能使得肢体和/或穿戴物体在目标对象的虚拟形象中的位置不合理,目标对象的虚拟形象展示效果不自然,因此本实施例中,可对头部图像进行脸部图像分割,确定头部图像中包括的脸部图像的边界,在脸部图像的边界上、或脸部图像的边界附近预设区域确定动画素材与头部图像的连接点,也即最终动画素材添加的肢体和/或穿戴物体在目标对象的脸部边界上或脸部边界附近。在本实施例中,对头部图像进行脸部图像分割,可采用任意的脸部图像分割算法,此处可不做限制,其中分割得到的脸部图像的边界可以为边界框,例如矩形边界框、圆形边界框、椭圆边界框,将脸部图像框在边界框之内,或者脸部图像的边界也可直接为脸部图像的轮廓线。在本实施例中,在确定动画素材与头部图像的连接点时,可考虑脸部图像的边界、以及动画素材的因素,其中连接点为动画素材与头部图像结合的位置,例如在头部图像中添加四肢的位置、添加头饰(如帽子)的位置。具体的,若动画素材中包括肢体动画素材,连接点可以在脸部图像的边界的左右两侧,若动画素材中包括穿戴物体,则根据穿戴物体在脸部图像的边界确定合适的连接点,例如帽子的连接点可以在脸部图像的边界的上方;此外,还可根据脸部图像的边界的尺寸、长宽比等确定连接点,例如对于肢体动画素材,若脸部图像的边界比较瘦高,则上肢的连接点和下肢的连接点间距可以相对大一些,而若脸部图像的边界比较矮胖,则上肢的连接点和下肢的连接点间距可以相对小一些,连接点位置相对比较紧凑。作为示例,如图3a所示,在确定实时场景图像中包括目标对象的脸部图像时,可获取目标对象的头部图像;对头部图像进行脸部图像分割,确定头部图像中包括的脸部图像的边界,如图3b所示,其中的矩形框为脸部图像的边界31;进而在图3b的脸部图像的边界31基础上,确定动画素材与头部图像的连接点32,连接点32位于脸部图像的边界31上,通过连接点32将头部图像与预设的动画素材进行合成,生成目标对象的虚拟形象33,如图3c所示;最后将目标对象的虚拟形象33显示在实时场景图像中,如图3d所示。需要说明的是,图3a-d中的人脸为虚构人脸,并非真实的人脸。在上述任一实施例的基础上,可预先配置多种不同的动画素材,而在需要进行合成前,可选择合适的动画素材,具体的,可以由用户自主选择,也可通过如下过程进行选择,在一种可选实施例中,如图4所示,在将所述头部图像与预设的动画素材进行合成前,还包括:s401、根据所述头部图像,获取所述目标对象的属性信息;s402、根据所述属性信息,从预设的动画素材集合中选择与所述属性信息相匹配的动画素材。在本实施例中,可根据头部图像获取目标对象的属性信息,进而可针对不同的属性信息可以选择不同的肢体动画素材和/或头饰动画素材,合成后可以得到与属性信息相匹配的虚拟形象,使得虚拟形象更加丰富多样,呈现更加丰富的展示效果,改善用户体验。在一种可选实施例中,针对同一个目标对象的头部图像,可以依次与多个不同的动画素材进行合成,分别生成该目标对象的多个不同的虚拟形象,其中,不同的动画素材可以为不同的动作类型,使得该目标对象的多个不同的虚拟形象分别执行不同的动作,如第一虚拟形象为跳跃的虚拟形象,第二虚拟形象为招手的虚拟形象,相应的,在播放时可先后展示不同的虚拟形象,进而展示出不同动作;或者不同的动画素材也可以配置不同的服饰、穿戴物体等等。在一种可选实施例中,在应用程序界面展示多个不同的动画素材,用户可以选择一个或多个动画素材,电子设备可以接收用户对动画素材的选择指令,根据对动画素材的选择指令确定动画素材,依次与目标对象的头部图像进行合成,分别生成该目标对象的多个不同的虚拟形象。可选的,在实时场景图像中显示所述目标对象的虚拟形象时,可将所生成的多个不同的虚拟形象同时显示在实时场景图像中,也可以按照一定顺序依次显示在实时场景图像中,或者也可按照其他显示策略进行显示。进一步的,在实时场景图像中显示所述目标对象的虚拟形象之前,若生成了多个虚拟形象,电子设备可以接收用户对虚拟形象的选择指令,根据对虚拟形象的选择指令来选择所需要显示的目标对象的一个或多个虚拟形象,若用户选择多个虚拟形象,该些虚拟形象可以同时显示在实时场景图像中,也可以按照一定顺序依次显示在实时场景图像中,例如用户可以设置多个虚拟形象显示顺序,或按照用户选择虚拟形象的顺序作为多个虚拟形象的显示顺序,或者也可按照其他显示策略进行显示,此处不再一一赘述;或者用户也可以在实时场景图像中显示虚拟形象的过程中,对所显示的虚拟形象进行切换,例如实时场景图像中当前显示的为目标对象的第一虚拟形象,在接收到切换指令后显示目标对象的第二虚拟形象;或者用户也可以在实时场景图像中显示虚拟形象的过程中,也可在实时场景图像中增加其他的虚拟形象,例如实时场景图像中当前显示的为目标对象的第一虚拟形象,在接收到增加指令后可以在实时场景图像中增加目标对象的第二虚拟形象,也即实时场景图像中同时显示目标对象的第一虚拟形象和第二虚拟形象。当然,在实时场景图像中同时显示目标对象的多个虚拟形象时,也可根据用户的删除指令删除其中某个虚拟形象。需要说明的时,若所需增加的虚拟形象已预先生成完毕,则直接在接收到增加指令后在应用程序界面展示出备选的虚拟形象;若所需增加的虚拟形象未预先生成,则可由用户重现选择动画素材,生成所需的虚拟形象。通过上述过程可以为用户提供更加丰富的虚拟形象,供用户选择,且在显示虚拟形象时由用户可对虚拟形象进行切换和增减,可增加用户与电子设备的交互乐趣,提升用户体验。在另一种可选实施例中,如图5所示,在将所述头部图像与预设的动画素材进行合成前,还包括:s411、获取所述脸部图像的边界的尺寸信息;s412、根据所述尺寸信息,从预设的动画素材集合中选择与所述尺寸信息相匹配的动画素材。在本实施例中,可根据脸部图像的边界获取脸部图像的边界的尺寸信息,例如长宽比、形状信息等,针对脸部图像的边界不同的长宽比、形状信息可以选择不同的肢体动画素材和/或头饰动画素材,例如,舞龙动画素材中需要双手持竹竿,或者举条幅的动画素材中需要双手举条幅,若脸部图像的边界过于矮胖,则可能需要将动画素材横向拉长,导致比例失调或图像失真,此时动画素材与脸部图像无法匹配,因此,本实施例中可选择与脸部图像的边界的尺寸信息相匹配的动画素材,避免上述的情况产生。在上述任一实施例的基础上,所述将所述头部图像与预设的动画素材进行合成,具体还包括:根据所述头部图像,对所述动画素材进行调整,将所述头部图像与调整后的动画素材进行合成。在本实施例中,在进行头部图像与动画素材进行合成时,会存在尺寸、长宽比不匹配的情况,可以对动画素材进行调整,以使调整后的动画素材能够与头部图像的尺寸、长宽比进行匹配,例如对于帽子的动画素材,可以调整动画素材的宽度,使得帽子的宽度和头部的宽度相同;由此提升显示效果,改善用户体验。在上述任一实施例的基础上,如图6所示,所述将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象前,还可包括:s501、获取所述头部图像的轴线,所述轴线包括横向轴线和/或纵向轴线;s502、根据所述头部图像的轴线对所述头部图像进行角度调整,以使所述横向轴线保持水平和/或所述纵向轴线保持竖直。在本实施例中,为了保证头部图像中头部朝上,可以对头部图像进行角度调整,具体的可以获取头部图像的轴线,例如通过双眼的位置确定横向轴线,通过双眼和鼻子的位置确定纵向轴线,等等,当然确定头部图像的轴线并不限于上述方法,此处不再赘述。进一步的,基于头部图像的轴线对头部图像进行角度调整,使得横向轴线保持水平,和/或,使得纵向轴线保持竖直。进一步的,在上述任一实施例的基础上,电子设备还可以播放动画素材,以对所述目标对象的虚拟形象进行动作控制,也即使得目标对象的虚拟形象的肢体和/或穿戴物体可以展示出相应的动作。具体的,电子设备可根据所述动画素材的预设动画帧播放所述动画素材,以对所述目标对象的虚拟形象进行动作控制。也即,上述的动画素材可包括预设动画帧,预设动画帧中可预先设置肢体和/或穿戴物体具体展示怎样的动画,在将头部图像与动画素材进行合成时,将头部图像与动画素材的每一预设动画帧进行合成,得到每一帧均为目标对象的虚拟形象,进而在显示目标对象的虚拟形象时,播放动画素材,也即依次播放所合成的每一帧目标对象的虚拟形象,显示出对目标对象的虚拟形象进行动作控制的展示效果。在上述任一实施例的基础上,s102所述的若所述实时场景图像中包括目标对象的脸部图像,则从所述实时场景图像中获取目标对象的头部图像,具体可包括:若所述实时场景图像中包括目标对象的脸部图像,且满足第一预设条件,则从所述实时场景图像中获取目标对象的头部图像;其中,所述第一预设条件包括以下至少一项:所述脸部图像在所述实时场景图像中所占面积比例超过预设比例阈值;或者所述脸部图像位于所述实时场景图像的中心区域;或者接收到用户对所述目标对象的选择指令。在本实施例中,在满足第一预设条件的情况下才从实时场景图像中获取目标对象的头部图像。具体的,在一种可选情况中,可以获取脸部图像在实时场景图像中所占面积比例,当脸部图像在实时场景图像中所占面积比例超过预设比例阈值时,才从实时场景图像中获取目标对象的头部图像。在一种可选情况中,也可判断脸部图像是否位于实时场景图像的中心区域,若确定脸部图像位于实时场景图像的中心区域,则从实时场景图像中获取目标对象的头部图像。在一种可选情况中,也可由用户来选择,用户在实时场景图像中选择了目标对象后,可从实时场景图像中获取目标对象的头部图像。当然,本实施例中也可并不限于上述的条件,其他条件亦可,此处不再一一赘述。需要说明的是,当实时场景图像中包括多个对象的脸部图像时,也可采用上述的条件在选择其中至少一个对象作为目标对象,例如从多个对象中选择脸部图像在所述实时场景图像中所占面积比例超过预设比例阈值的对象作为目标图像,或者选择脸部图像位于所述实时场景图像的中心区域的对象作为目标图像,或者由用户指定哪一个对象作为目标图像,进而从实时场景图像中获取目标对象的头部图像。此外,上述实施例中还可在实时场景图像中显示多个目标对象的虚拟形象,对于每一个目标对象均可采用上述基于增强现实的显示方法来实现,此处不再赘述。在上述实施例的基础上,若满足第二预设条件,则从所述实时场景图像中获取目标物体图像,根据所述目标物体生成所述目标物体的虚拟形象,并基于增强现实显示技术,在所述实时场景图像中显示所述目标物体的虚拟形象;其中,所述第二预设条件包括以下至少一项:所述实时场景图像中不包括所述脸部图像;或者所述实时场景图像中所述脸部图像在所述实时场景图像中所占面积比例未超过预设比例阈值;或者所述实时场景图像中所述脸部图像未位于所述实时场景图像的中心区域;或者所述实时场景图像中所述脸部图像为目标对象的侧脸,且目标对象的侧脸偏转角度超过预设角度阈值;或者接收到用户对所述实时场景图像中目标物体的选择指令。在本实施例中,还可在满足第二预设条件,从实时场景图像中获取目标物体图像,根据所述目标物体生成所述目标物体的虚拟形象,虚拟形象可具有肢体动作和/或表情动作,例如,当目标物体图像为芒果的图像时,则对应的虚拟形象可以在芒果的图像上长出四肢和面部表情,而其四肢和表情可做出特定的动作,进而基于增强现实显示技术,在所述实时场景图像中显示所述目标物体的虚拟形象。具体的,在一种可选情况中,可以设定目标对象的脸部图像的优先级高于目标物体,也即实时场景图像中包括目标对象的脸部图像,则生成目标对象的虚拟形象,否则则生成目标物体的虚拟形象,其中目标物体可以为实时场景图像中与背景颜色存在较大差异的物体,也可以为实时场景图像中心区域处的物体,或者实时场景图像中所占面积最大的物体,或者也可以是用户指定的物体。在一种可选情况中,实时场景图像中虽然存在脸部图像,但是脸部图像在实时场景图像中所占面积比例未超过预设比例阈值,则此时可生成目标物体的虚拟形象。在一种可选情况中,实时场景图像中虽然存在脸部图像,但是脸部图像未位于实时场景图像的中心区域,则此时可生成目标物体的虚拟形象。在一种可选情况中,实时场景图像中虽然存在脸部图像,但实时场景图像中所述脸部图像为目标对象的侧脸,且目标对象的侧脸偏转角度超过预设角度阈值,也即此时图像中的脸部图像可能显示的并不完整,因此此时可不对生成目标对象的虚拟形象,而是生成目标物体的虚拟形象。当然,这种情况中,可以预先配置一些侧脸适用的动画素材,进而在对于侧脸的情况生成目标对象的虚拟形象。需要说明的是,上述实施例中还可在实时场景图像中显示多个目标物体的虚拟形象,或者同时显示目标物体的虚拟形象和目标对象的虚拟形象。上述各实施例提供的基于增强现实的显示方法,通过生成虚拟形象,可以避免虚拟形象需要预先设计、且形象固定单一的问题,满足用户多样化的需求,通过增强现实技术将虚拟形象显示在实时场景图像中的目标位置处,提高用户使用增强现实技术的意愿和使用体验。对应于上文实施例的基于增强现实的显示方法,图7为本公开实施例提供的基于增强现实的显示设备的结构框图。为了便于说明,仅示出了与本公开实施例相关的部分。参照图7,所述基于增强现实的显示设备600包括:获取单元601、图像分割单元602、生成单元603、以及显示单元604。获取单元601,用于获取实时场景图像;图像分割单元602,用于在所述实时场景图像中包括目标对象的脸部图像的情况下,从所述实时场景图像中获取目标对象的头部图像,其中所述目标对象的头部图像包括所述目标对象的脸部图像;生成单元603,用于根据所述头部图像,生成所述目标对象的虚拟形象;显示单元604,用于基于增强现实显示技术,在所述实时场景图像中显示所述目标对象的虚拟形象。在本公开的一个实施例中,所述生成单元603在根据所述头部图像,生成所述目标对象的虚拟形象时,用于:将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象。在本公开的一个实施例中,所述生成单元603在将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象时,用于:对所述头部图像进行脸部图像分割,确定所述头部图像中包括的脸部图像的边界;根据所述脸部图像的边界、以及所述动画素材,确定所述动画素材与所述头部图像的连接点;其中所述连接点位于所述脸部图像的边界上、或所述脸部图像的边界附近预设区域;通过所述连接点,将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象。在本公开的一个实施例中,所述生成单元603在将所述头部图像与预设的动画素材进行合成前,还用于:根据所述头部图像,获取所述目标对象的属性信息;根据所述属性信息,从预设的动画素材集合中选择与所述属性信息相匹配的动画素材。在本公开的一个实施例中,所述生成单元603在将所述头部图像与预设的动画素材进行合成前,还用于:获取所述脸部图像的边界的尺寸信息;根据所述尺寸信息,从预设的动画素材集合中选择与所述尺寸信息相匹配的动画素材。在本公开的一个实施例中,所述生成单元603在将所述头部图像与预设的动画素材进行合成时,用于:根据所述头部图像,对所述动画素材进行调整,将所述头部图像与调整后的动画素材进行合成。在本公开的一个实施例中,所述生成单元603在将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象前,还用于:获取所述头部图像的轴线,所述轴线包括横向轴线和/或纵向轴线;根据所述头部图像的轴线对所述头部图像进行角度调整,以使所述横向轴线保持水平和/或所述纵向轴线保持竖直。在本公开的一个实施例中,所述图像分割单元602在所述实时场景图像中包括目标对象的脸部图像的情况下,从所述实时场景图像中获取目标对象的头部图像时,用于:若所述实时场景图像中包括目标对象的脸部图像,且满足第一预设条件,则从所述实时场景图像中获取目标对象的头部图像;其中,所述第一预设条件包括以下至少一项:所述脸部图像在所述实时场景图像中所占面积比例超过预设比例阈值;或者所述脸部图像位于所述实时场景图像的中心区域;或者接收到用户对所述目标对象的选择指令。在本公开的一个实施例中,所述图像分割单元602还用于,在满足第二预设条件的情况下,从所述实时场景图像中获取目标物体图像;所述生成单元603还用于,根据所述目标物体生成所述目标物体的虚拟形象;所述显示单元604还用于,基于增强现实显示技术,在所述实时场景图像中显示所述目标物体的虚拟形象;其中,所述第二预设条件包括以下至少一项:所述实时场景图像中不包括所述脸部图像;或者所述实时场景图像中所述脸部图像在所述实时场景图像中所占面积比例未超过预设比例阈值;或者所述实时场景图像中所述脸部图像未位于所述实时场景图像的中心区域;或者所述实时场景图像中所述脸部图像为目标对象的侧脸,且目标对象的侧脸偏转角度超过预设角度阈值;或者接收到用户对所述实时场景图像中目标物体的选择指令。在本公开的一个实施例中,所述显示单元604还用于:播放所述动画素材,以对所述目标对象的虚拟形象进行动作控制。在本公开的一个实施例中,所述显示单元604在播放所述动画素材,以对所述目标对象的虚拟形象进行动作控制时,用于:根据所述动画素材的预设动画帧播放所述动画素材,以对所述目标对象的虚拟形象进行动作控制。在本公开的一个实施例中,所述显示单元604还用于:响应于用户对所述目标对象的虚拟形象的控制指令,对所述目标对象的虚拟形象进行相应的控制,所述控制指令包括以下至少一项:旋转控制指令、缩小控制指令、移动控制指令、放大控制指令。本实施例提供的基于增强现实的显示设备,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。参考图8,其示出了适于用来实现本公开实施例的电子设备700的结构示意图,该电子设备700可以为终端设备或服务器。其中,终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(personaldigitalassistant,简称pda)、平板电脑(portableandroiddevice,简称pad)、便携式多媒体播放器(portablemediaplayer,简称pmp)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。如图8所示,电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(readonlymemory,简称rom)702中的程序或者从存储装置708加载到随机访问存储器(randomaccessmemory,简称ram)703中的程序而执行各种适当的动作和处理。在ram703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。通常,以下装置可以连接至i/o接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(liquidcrystaldisplay,简称lcd)、扬声器、振动器等的输出装置707;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从rom702被安装。在该计算机程序被处理装置701执行时,执行本公开实施例的方法中限定的上述功能。需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(localareanetwork,简称lan)或广域网(wideareanetwork,简称wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。第一方面,根据本公开的一个或多个实施例,提供了一种基于增强现实的显示方法,包括:获取实时场景图像;若所述实时场景图像中包括目标对象的脸部图像,则从所述实时场景图像中获取目标对象的头部图像,其中所述目标对象的头部图像包括所述目标对象的脸部图像;根据所述头部图像,生成所述目标对象的虚拟形象;基于增强现实显示技术,在所述实时场景图像中显示所述目标对象的虚拟形象。根据本公开的一个或多个实施例,所述根据所述头部图像,生成所述目标对象的虚拟形象,包括:将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象。根据本公开的一个或多个实施例,所述将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象,包括:对所述头部图像进行脸部图像分割,确定所述头部图像中包括的脸部图像的边界;根据所述脸部图像的边界、以及所述动画素材,确定所述动画素材与所述头部图像的连接点;其中所述连接点位于所述脸部图像的边界上、或所述脸部图像的边界附近预设区域;通过所述连接点,将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象。根据本公开的一个或多个实施例,所述将所述头部图像与预设的动画素材进行合成前,还包括:根据所述头部图像,获取所述目标对象的属性信息;根据所述属性信息,从预设的动画素材集合中选择与所述属性信息相匹配的动画素材。根据本公开的一个或多个实施例,所述将所述头部图像与预设的动画素材进行合成前,还包括:获取所述脸部图像的边界的尺寸信息;根据所述尺寸信息,从预设的动画素材集合中选择与所述尺寸信息相匹配的动画素材。根据本公开的一个或多个实施例,所述将所述头部图像与预设的动画素材进行合成,包括:根据所述头部图像,对所述动画素材进行调整,将所述头部图像与调整后的动画素材进行合成。根据本公开的一个或多个实施例,所述将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象前,还包括:获取所述头部图像的轴线,所述轴线包括横向轴线和/或纵向轴线;根据所述头部图像的轴线对所述头部图像进行角度调整,以使所述横向轴线保持水平和/或所述纵向轴线保持竖直。根据本公开的一个或多个实施例,所述若所述实时场景图像中包括目标对象的脸部图像,则从所述实时场景图像中获取目标对象的头部图像,包括:若所述实时场景图像中包括目标对象的脸部图像,且满足第一预设条件,则从所述实时场景图像中获取目标对象的头部图像;其中,所述第一预设条件包括以下至少一项:所述脸部图像在所述实时场景图像中所占面积比例超过预设比例阈值;或者所述脸部图像位于所述实时场景图像的中心区域;或者接收到用户对所述目标对象的选择指令。根据本公开的一个或多个实施例,所述方法还包括:若满足第二预设条件,则从所述实时场景图像中获取目标物体图像,根据所述目标物体生成所述目标物体的虚拟形象,并基于增强现实显示技术,在所述实时场景图像中显示所述目标物体的虚拟形象;其中,所述第二预设条件包括以下至少一项:所述实时场景图像中不包括所述脸部图像;或者所述实时场景图像中所述脸部图像在所述实时场景图像中所占面积比例未超过预设比例阈值;或者所述实时场景图像中所述脸部图像未位于所述实时场景图像的中心区域;或者所述实时场景图像中所述脸部图像为目标对象的侧脸,且目标对象的侧脸偏转角度超过预设角度阈值;或者接收到用户对所述实时场景图像中目标物体的选择指令。根据本公开的一个或多个实施例,所述方法还包括:播放所述动画素材,以对所述目标对象的虚拟形象进行动作控制。根据本公开的一个或多个实施例,所述播放所述动画素材,以对所述目标对象的虚拟形象进行动作控制,包括:根据所述动画素材的预设动画帧播放所述动画素材,以对所述目标对象的虚拟形象进行动作控制。根据本公开的一个或多个实施例,所述方法还包括:响应于用户对所述目标对象的虚拟形象的控制指令,对所述目标对象的虚拟形象进行相应的控制,所述控制指令包括以下至少一项:旋转控制指令、缩小控制指令、移动控制指令、放大控制指令。第二方面,根据本公开的一个或多个实施例,提供了一种基于增强现实的显示设备,包括:获取单元,用于获取实时场景图像;图像分割单元,用于在所述实时场景图像中包括目标对象的脸部图像的情况下,从所述实时场景图像中获取目标对象的头部图像,其中所述目标对象的头部图像包括所述目标对象的脸部图像;生成单元,用于根据所述头部图像,生成所述目标对象的虚拟形象;显示单元,用于基于增强现实显示技术,在所述实时场景图像中显示所述目标对象的虚拟形象。根据本公开的一个或多个实施例,所述生成单元在根据所述头部图像,生成所述目标对象的虚拟形象时,用于:将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象。根据本公开的一个或多个实施例,所述生成单元在将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象时,用于:对所述头部图像进行脸部图像分割,确定所述头部图像中包括的脸部图像的边界;根据所述脸部图像的边界、以及所述动画素材,确定所述动画素材与所述头部图像的连接点;其中所述连接点位于所述脸部图像的边界上、或所述脸部图像的边界附近预设区域;通过所述连接点,将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象。根据本公开的一个或多个实施例,所述生成单元在将所述头部图像与预设的动画素材进行合成前,还用于:根据所述头部图像,获取所述目标对象的属性信息;根据所述属性信息,从预设的动画素材集合中选择与所述属性信息相匹配的动画素材。根据本公开的一个或多个实施例,所述生成单元在将所述头部图像与预设的动画素材进行合成前,还用于:获取所述脸部图像的边界的尺寸信息;根据所述尺寸信息,从预设的动画素材集合中选择与所述尺寸信息相匹配的动画素材。根据本公开的一个或多个实施例,所述生成单元在将所述头部图像与预设的动画素材进行合成时,用于:根据所述头部图像,对所述动画素材进行调整,将所述头部图像与调整后的动画素材进行合成。根据本公开的一个或多个实施例,所述生成单元在将所述头部图像与预设的动画素材进行合成,生成所述目标对象的虚拟形象前,还用于:获取所述头部图像的轴线,所述轴线包括横向轴线和/或纵向轴线;根据所述头部图像的轴线对所述头部图像进行角度调整,以使所述横向轴线保持水平和/或所述纵向轴线保持竖直。根据本公开的一个或多个实施例,所述图像分割单元在所述实时场景图像中包括目标对象的脸部图像的情况下,从所述实时场景图像中获取目标对象的头部图像时,用于:若所述实时场景图像中包括目标对象的脸部图像,且满足第一预设条件,则从所述实时场景图像中获取目标对象的头部图像;其中,所述第一预设条件包括以下至少一项:所述脸部图像在所述实时场景图像中所占面积比例超过预设比例阈值;或者所述脸部图像位于所述实时场景图像的中心区域;或者接收到用户对所述目标对象的选择指令。根据本公开的一个或多个实施例,所述图像分割单元还用于,在满足第二预设条件的情况下,从所述实时场景图像中获取目标物体图像;所述生成单元还用于,根据所述目标物体生成所述目标物体的虚拟形象;所述显示单元还用于,基于增强现实显示技术,在所述实时场景图像中显示所述目标物体的虚拟形象;其中,所述第二预设条件包括以下至少一项:所述实时场景图像中不包括所述脸部图像;或者所述实时场景图像中所述脸部图像在所述实时场景图像中所占面积比例未超过预设比例阈值;或者所述实时场景图像中所述脸部图像未位于所述实时场景图像的中心区域;或者所述实时场景图像中所述脸部图像为目标对象的侧脸,且目标对象的侧脸偏转角度超过预设角度阈值;或者接收到用户对所述实时场景图像中目标物体的选择指令。根据本公开的一个或多个实施例,所述显示单元还用于:播放所述动画素材,以对所述目标对象的虚拟形象进行动作控制。根据本公开的一个或多个实施例,所述显示单元在播放所述动画素材,以对所述目标对象的虚拟形象进行动作控制时,用于:根据所述动画素材的预设动画帧播放所述动画素材,以对所述目标对象的虚拟形象进行动作控制。根据本公开的一个或多个实施例,所述显示单元还用于:响应于用户对所述目标对象的虚拟形象的控制指令,对所述目标对象的虚拟形象进行相应的控制,所述控制指令包括以下至少一项:旋转控制指令、缩小控制指令、移动控制指令、放大控制指令。第三方面,根据本公开的一个或多个实施例,提供了一种电子设备,包括:至少一个处理器和存储器;所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。第四方面,根据本公开的一个或多个实施例,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。第五方面,根据本公开的一个或多个实施例,提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的基于增强现实的显示方法。以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1