姿态矫正的方法、装置、电子设备及存储介质与流程

文档序号:22131167发布日期:2020-09-08 12:55阅读:117来源:国知局
姿态矫正的方法、装置、电子设备及存储介质与流程

本公开涉及图像处理技术领域,具体而言,涉及一种姿态矫正的方法、装置、电子设备及存储介质。



背景技术:

雕塑为具有一定寓意、象征、内涵的观赏物和纪念物,且雕塑具有生动直观、视觉冲击力强等特点,而人物雕塑是一个能够反映社会文化气息的、描述人物形态的雕塑,人物雕塑可以被广泛展示在科技馆、博物馆、展馆等各种场所中。

一般的,人物雕塑的动作、表情等具有特定的意义,为了对人物雕塑有一个深刻的理解,用户可以对人物雕塑的动作进行模仿,通过模仿人物雕塑的动作,对人物雕塑进行深入的了解。但是,用户对人物雕塑的模仿动作与人物雕塑的动作之间存在差异,在差异较大时,可能会造成无法对人物雕塑的精髓有细致、准确的理解。



技术实现要素:

有鉴于此,本公开至少提供一种姿态矫正的方法、装置、电子设备及存储介质。

第一方面,本公开提供了一种姿态矫正的方法,包括:

获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像;

基于所述用户模仿图像,确定所述目标用户的模仿姿态信息;

基于所述模仿姿态信息和所述目标对象的姿态信息,确定所述目标用户与所述目标对象之间的骨骼姿态匹配信息;

根据所述骨骼姿态匹配信息,生成并展示目标用户的骨骼姿态图像,其中,在所述目标用户的骨骼姿态图像中,对于骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼进行区分。

采用上述方法,通过获取的用户模仿图像,确定目标用户的模仿姿态信息、以及目标用户的骨骼姿态图像;并基于模仿姿态信息和目标对象的姿态信息,确定目标用户与目标对象之间的骨骼姿态匹配信息;骨骼姿态匹配信息中包含有骨骼姿态图像中展示的每根骨骼对应的姿态匹配信息;根据骨骼姿态匹配信息,生成并展示目标用户的骨骼姿态图像,其中,在更新后的骨骼姿态图像中,对于骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼进行区分,使得用户可以对姿态不匹配的骨骼进行查看,比如可以查看到是腿部骨骼姿态不匹配,或者是手部骨骼姿态不匹配等,进而可以对不匹配的骨骼姿态进行矫正,使得用户可以对目标对象(比如人物雕塑)有更为细致准确的了解,提高了目标对象的展示效果,实现了用户与展示的目标对象的交互。

一种可能的实施方式中,根据所述骨骼姿态匹配信息,生成并展示目标用户的骨骼姿态图像,包括:

在生成并展示的所述目标用户的骨骼姿态图像中,采用不同的颜色分别展示骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼。

一种可能的实施方式中,获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像,包括:

连续获取所述目标用户模仿目标对象姿态的用户模仿图像;

根据所述骨骼姿态匹配信息,生成并展示所述目标用户的骨骼姿态图像,包括:

控制与所述目标检测区域对应的显示设备,连续展示生成的所述目标用户的骨骼姿态图像。

上述实施方式中,通过连续获取用户模仿图像,并在与目标检测区域对应的显示设备上,连续更新并展示目标用户的骨骼姿态图像,通过对目标用户的骨骼姿态图像进行实时更新,以便目标用户可以根据实时更新的骨骼姿态图像,对姿态不匹配的骨骼进行调整,使得目标用户的模仿姿态与目标对象姿态一致,提高了用户模仿的显示效果。

一种可能的实施方式中,基于所述用户模仿图像,确定所述目标用户的模仿姿态信息,包括:

基于所述用户模仿图像,确定所述目标用户的各个骨骼分别对应的关键点信息;

基于所述目标用户的各个骨骼分别对应的关键点信息,确定所述目标用户的模仿姿态信息。

一种可能的实施方式中,所述方法还包括:

建立与所述目标对象对应的虚拟三维模型,其中所述虚拟三维模型的姿态与所述目标对象的姿态相同,计算所述虚拟三维模型中每根骨骼对应的多种姿态特征信息,将所述虚拟三维模型中各根骨骼分别对应的多种姿态特征信息作为所述目标对象的姿态信息进行存储;

基于所述模仿姿态信息和所述目标对象的姿态信息,确定所述目标用户与所述目标对象之间的骨骼姿态匹配信息,包括:

针对骨骼姿态图像中展示的每根骨骼,基于所述模仿姿态信息中所述骨骼对应的多种姿态特征下的特征信息,以及预先存储的所述虚拟三维模型中所述骨骼的多种姿态特征信息,确定所述骨骼对应的姿态匹配信息;

将各根骨骼分别对应的姿态匹配信息,确定为所述目标用户与所述目标对象之间的骨骼姿态匹配信息。

一种可能的实施方式中,针对骨骼姿态图像中展示的每根骨骼,基于所述模仿姿态信息中所述骨骼对应的多种姿态特征下的特征信息,以及预先存储的所述虚拟三维模型中所述骨骼的多种姿态特征信息,确定所述骨骼对应的姿态匹配信息,包括:

基于所述骨骼的多种姿态特征分别对应的权重,以及所述模仿姿态信息中所述骨骼对应的多种姿态特征下的特征信息与虚拟三维模型中所述骨骼对应的多种姿态特征信息,确定所述骨骼对应的姿态匹配信息。

上述实施方式中,可以为多种姿态特征中的每种姿态特征设置对应的权重,将姿态特征较重要的特征的权重设置的较大,将姿态特征不重要的特征的权重设置的较小,进而基于骨骼的多种姿态特征分别对应的权重,以及模仿姿态信息中骨骼对应的多种姿态特征下的特征信息与虚拟三维模型中骨骼对应的多种姿态特征信息,较准确的确定骨骼对应的姿态匹配信息。

一种可能的实施方式中,在获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像之前,包括:

响应目标用户的预设触发操作,控制与所述目标检测区域对应的显示设备展示存储的至少一个目标对象的图像;和/或,

在展示的目标对象为多个的情况下,响应目标用户触发的对象选择操作,控制与所述目标检测区域对应的显示设备展示目标用户选择的目标对象的图像,以便所述目标用户对所述显示设备展示的所述目标对象进行模仿。

一种可能的实施方式中,获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像,包括:

在接收到目标用户触发的模仿请求,或者,检测到预设区域存在目标用户之后,获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像。

以下装置、电子设备等的效果描述参见上述方法的说明,这里不再赘述。

第二方面,本公开提供了一种姿态矫正的装置,包括:

获取模块,用于获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像;

第一确定模块,用于基于所述用户模仿图像,确定所述目标用户的模仿姿态信息;

第二确定模块,用于基于所述模仿姿态信息和所述目标对象的姿态信息,确定所述目标用户与所述目标对象之间的骨骼姿态匹配信息;

生成模块,用于根据所述骨骼姿态匹配信息,生成并展示目标用户的骨骼姿态图像,其中,在所述目标用户的骨骼姿态图像中,对于骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼进行区分。

一种可能的实施方式中,所述生成模块,在根据所述骨骼姿态匹配信息,生成并展示目标用户的骨骼姿态图像时,用于:

在生成并展示的目标用户的骨骼姿态图像中,采用不同的颜色分别展示骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼。

一种可能的实施方式中,所述获取模块,在获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像时,用于:

连续获取所述目标用户模仿目标对象姿态的用户模仿图像;

所述生成模块,在根据所述骨骼姿态匹配信息,生成并展示所述目标用户的骨骼姿态图像时,用于:

控制与所述目标检测区域对应的显示设备,连续展示生成的所述目标用户的骨骼姿态图像。

一种可能的实施方式中,所述第一确定模块,在基于所述用户模仿图像,确定所述目标用户的模仿姿态信息、以及所述目标用户的骨骼姿态图像时,用于:

基于所述用户模仿图像,确定所述目标用户的各个骨骼分别对应的关键点信息;

基于所述目标用户的各个骨骼分别对应的关键点信息,确定所述目标用户的模仿姿态信息、以及所述目标用户的骨骼姿态图像。

一种可能的实施方式中,所述装置还包括:

计算模块,用于建立与所述目标对象对应的虚拟三维模型,其中所述虚拟三维模型的姿态与所述目标对象的姿态相同,计算所述虚拟三维模型中每根骨骼对应的多种姿态特征信息,将所述虚拟三维模型中各根骨骼分别对应的多种姿态特征信息作为所述目标对象的姿态信息进行存储;

第二确定模块,在基于所述模仿姿态信息和所述目标对象的姿态信息,确定所述目标用户与所述目标对象之间的骨骼姿态匹配信息时,用于:

针对骨骼姿态图像中展示的每根骨骼,基于所述模仿姿态信息中所述骨骼对应的多种姿态特征下的特征信息,以及预先存储的所述虚拟三维模型中所述骨骼的多种姿态特征信息,确定所述骨骼对应的姿态匹配信息;

将各根骨骼分别对应的姿态匹配信息,确定为所述目标用户与所述目标对象之间的骨骼姿态匹配信息。

一种可能的实施方式中,第二确定模块,在针对骨骼姿态图像中展示的每根骨骼,基于所述模仿姿态信息中所述骨骼对应的多种姿态特征下的特征信息,以及预先存储的所述虚拟三维模型中所述骨骼的多种姿态特征信息,确定所述骨骼对应的姿态匹配信息时,用于:

基于所述骨骼的多种姿态特征分别对应的权重,以及所述模仿姿态信息中所述骨骼对应的多种姿态特征下的特征信息与虚拟三维模型中所述骨骼对应的多种姿态特征信息,确定所述骨骼对应的姿态匹配信息。

一种可能的实施方式中,在获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像之前,包括:

第一展示模块,用于响应目标用户的预设触发操作,控制与所述目标检测区域对应的显示设备展示存储的至少一个目标对象的图像;和/或,

第二展示模块,用于在展示的目标对象为多个的情况下,响应目标用户触发的对象选择操作,控制与所述目标检测区域对应的显示设备展示目标用户选择的目标对象的图像,以便所述目标用户对所述显示设备展示的所述目标对象进行模仿。

一种可能的实施方式中,获取模块,在获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像时,用于:

在接收到目标用户触发的模仿请求,或者,检测到预设区域存在目标用户之后,获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像。

第三方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的姿态矫正的方法的步骤。

第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的姿态矫正的方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种姿态矫正的方法的流程示意图;

图2示出了本公开实施例所提供的一种姿态矫正的方法中,骨骼姿态图像的示意图;

图3示出了本公开实施例所提供的一种姿态矫正的方法中,显示设备的界面示意图;

图4示出了本公开实施例所提供的一种姿态矫正的装置的架构示意图;

图5示出了本公开实施例所提供的一种电子设备500的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

一般的,展馆内可以展示各种艺术品,比如,展馆内可以展示雕塑、蜡像等。而人物雕塑的动作、表情等具有特定的意义,为了对人物雕塑有一个深刻的理解,用户可以对人物雕塑的动作进行模仿,通过模仿人物雕塑的动作,对人物雕塑进行深入的了解。但是,用户对人物雕塑的模仿动作与人物雕塑的动作之间存在差异,在差异较大时,可能会造成无法对人物雕塑的精髓有细致、准确的理解。

为了解决上述问题,本公开实施例提供了一种姿态矫正的方法,通过生成并展示骨骼姿态图像,在生成的骨骼姿态图像中,对于骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼进行区分,使得用户可以对姿态不匹配的骨骼进行查看,比如可以查看到是腿部骨骼姿态不匹配,或者是手部骨骼姿态不匹配等,进而可以对不匹配的骨骼姿态进行矫正,使得用户可以对目标对象(比如人物雕塑)有更为细致准确的了解,提高了目标对象的展示效果,实现了用户与展示的目标对象的交互。

为便于对本公开实施例进行理解,首先对本公开实施例所公开的一种姿态矫正的方法进行详细介绍。

本公开实施例提供的姿态检测的方法可应用于服务器,或者应用于支持显示功能的终端设备。服务器可以是本地服务器也可以是云端服务器等,终端设备可以是智能手机、平板电脑、个人数字处理(personaldigitalassistant,pda)、智能电视等,本公开对此并不限定。

参见图1所示,为本公开实施例所提供的姿态矫正的方法流程示意图,该方法包括s101-s104,其中:

s101,获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像。

s102,基于用户模仿图像,确定目标用户的模仿姿态信息。

s103,基于模仿姿态信息和目标对象的姿态信息,确定目标用户与目标对象之间的骨骼姿态匹配信息。

s104,根据骨骼姿态匹配信息,生成并展示目标用户的骨骼姿态图像,其中,在目标用户的骨骼姿态图像中,对于骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼进行区分。

上述方法中,通过获取的用户模仿图像,确定目标用户的模仿姿态信息;并基于模仿姿态信息和目标对象的姿态信息,确定目标用户与目标对象之间的骨骼姿态匹配信息;根据骨骼姿态匹配信息,生成并展示目标用户的骨骼姿态图像,其中,在生成的骨骼姿态图像中,对于骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼进行区分,使得用户可以对姿态不匹配的骨骼进行查看,比如可以查看到是腿部骨骼姿态不匹配,或者是手部骨骼姿态不匹配等,进而可以对不匹配的骨骼姿态进行矫正,使得用户可以对目标对象(比如人物雕塑)有更为细致准确的了解,提高了目标对象的展示效果,实现了用户与展示的目标对象的交互。

针对s101:

这里,目标对象可以为展馆内展示的人物雕塑、图画中的人物等。具体实施时,目标用户可以根据展示的目标对象,对目标对象姿态进行模仿,同时,可以通过设置在目标检测区域内的摄像设备,获取目标用户模仿目标对象姿态的用户模仿图像。其中,展示的目标对象可以为展馆内展示的实体人物雕塑、实体图画中的人物;展示的目标对象也可以为展馆的显示设备上展示的图像中的人物,显示设备上展示的图像可以为人物雕塑的图像、图画对应的图像等;展示的目标对象还可以为通过增强现实设备展示的虚拟人物等。

一种可选实施方式中,获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像,可以包括:连续获取目标用户模仿目标对象姿态的用户模仿图像。以及根据骨骼姿态匹配信息,展示目标用户的骨骼姿态图像,包括:控制与目标检测区域对应的显示设备,连续展示目标用户的骨骼姿态图像。

这里,摄像设备可以实时的、连续获取目标用户模仿目标对象姿态的用户模仿图像,并根据每一帧用户模仿图像,确定该帧用户模仿图像对应的骨骼姿态匹配信息,进一步根据该帧用户模仿图像对应的骨骼姿态匹配信息,确定目标用户的、与该帧用户模仿图像对应的骨骼姿态图像,控制与目标检测区域对应的显示设备,连续展示目标用户的骨骼姿态图像;即控制与目标检测区域对应的显示设备,实时的展示与每一帧用户模仿图像对应的骨骼姿态图像。

上述实施方式中,通过连续获取用户模仿图像,并在与目标检测区域对应的显示设备上,连续展示目标用户的骨骼姿态图像,通过对目标用户的骨骼姿态图像进行实时更新,以便目标用户可以根据实时更新的骨骼姿态图像,对姿态不匹配的骨骼进行调整,使得目标用户的模仿姿态与目标对象姿态一致,提高了用户模仿的显示效果。

针对s102:

这里,可以根据用户模仿图像,确定目标用户的模仿姿态信息以及目标用户的骨骼姿态图像。

一种可选实施方式中,基于用户模仿图像,确定目标用户的模仿姿态信息、以及目标用户的骨骼姿态图像,可以包括:

一、基于用户模仿图像,确定目标用户的各个骨骼分别对应的关键点信息。

二、基于目标用户的各个骨骼分别对应的关键点信息,确定目标用户的模仿姿态信息。

对步骤一进行说明,可以利用关键点提取神经网络对用户模仿图像进行关键点提取,确定目标用户的各个骨骼分别对应的关键点信息。其中,各个骨骼可以包括手部、头部、臂部、腿部、脚部等部位对应的骨骼;每个骨骼对应的关键点的数量以及关键点的位置可以根据实际需要进行设置。比如,头部的关键点的数量可以为1,关键点的位置可以为额头正中间的位置。

对步骤二进行说明,在确定目标用户的各个骨骼分别对应的关键点信息之后,可以根据目标用户的各个骨骼分别对应的关键点信息,确定目标用户的模仿姿态信息。比如,可以根据每个骨骼的关键点信息,确定该骨骼与相邻骨骼之间的角度、该骨骼距离地面的高度等特征信息,将该骨骼对应的特征信息,确定为该骨骼对应的多种姿态特征下的特征信息。

在具体实施时,同时还可以根据目标用户的各个骨骼分别对应的关键点信息,得到目标用户的骨骼姿态图像,即可以根据人体的肢体结构,将各个关键点相连,得到目标用户的骨骼姿态图像。参见图2所示的一种姿态矫正的方法中,骨骼姿态图像的示意图,该骨骼姿态图像中包括头部骨骼的关键点、臂部骨骼的关键点、躯体骨骼的关键点、腿部骨骼的关键点。示例性的,头部骨骼的关键点位置可以为头顶中间的位置处;臂部骨骼的关键点可以包括左臂骨骼的关键点和右臂骨骼的关键点,左臂骨骼的关键点与右臂骨骼的关键点位置可以对称,左臂/右臂部骨骼的多个关键点位置可以位于:前臂与后臂之间关节位置处、前臂与手腕之间关节位置处、后臂与肩部之间关节位置处;躯体骨骼的多个关键点位置可以位于:颈部与躯体之间关节位置处、腹部中间位置处;腿部骨骼的关键点可以包括左腿骨骼的关键点和右腿骨骼的关键点,左腿骨骼的关键点与右腿骨骼的关键点位置可以对称,左腿/右腿部骨骼的多个关键点位置可以位于:腿部与胯骨之间关节位置处(左腿与右腿对应的该关键点位置相同)、大腿与小腿之间关节位置处、小腿与脚腕之间关节位置处。

针对s103:

这里,骨骼姿态匹配信息中包括每根骨骼对应的姿态匹配信息,姿态匹配信息可以包括匹配度,比如,骨骼a的姿态匹配信息可以为匹配度80%;即骨骼姿态匹配信息中可以包括每个骨骼对应的匹配度。

在获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像之前,该方法还包括:

建立与目标对象对应的虚拟三维模型,其中虚拟三维模型的姿态与目标对象的姿态相同,计算虚拟三维模型中每根骨骼对应的多种姿态特征信息,将虚拟三维模型中各根骨骼分别对应的多种姿态特征信息作为目标对象的姿态信息进行存储。

这里,可以建立目标对象对应的虚拟三维模型,比如,可以建立展示的雕塑的虚拟三维模型,其中,虚拟三维模型的姿态与目标对象的姿态相同。同时,还可以基于建立的虚拟三维模型,确定该目标对象的骨骼姿态图像,并可以在显示设备上显示该目标对象的骨骼姿态图像。并计算虚拟三维模型中每根骨骼对应的多种姿态特征信息,将虚拟三维模型中各根骨骼分别对应的多种姿态特征信息作为目标对象的姿态信息进行存储,为后续确定目标用户与目标对象之间的骨骼姿态匹配信息提供了数据支持。

示例性的,多种姿态特征可以包括以下特征中的至少一种:角度特征、间距特征、高度特征等。角度特征可以包括不同骨骼之间的角度,比如,不同骨骼之间的角度可以为头部骨骼与肩部骨骼之间的角度、前臂骨骼与后臂骨骼之间的角度、后臂骨骼与躯干骨骼之间的角度、大腿骨骼与小腿骨骼之间的角度、脚部骨骼与地面之间的角度等;间距特征可以包括不同骨骼之间的间距,比如,不同骨骼之间的间距可以为手部骨骼与躯干骨骼之间的间距、头部骨骼与肩部骨骼之间的间距、手部骨骼与腿部骨骼之间的间距等;高度特征可以包括各个骨骼的高度,比如,骨骼的高度可以为头部骨骼距离地面的高度、左手骨骼距离地面的高度、右手骨骼距离地面的高度、左肩骨骼距离地面的高度、右肩骨骼距离地面的高度等。其中,多种姿态信息可以根据实际需要进行设置,此处仅为示例性说明。

在具体实施时,可以通过每根骨骼对应的关键点信息,确定每个骨骼对应的多种姿态特征信息。

一种可选实施方式中,基于模仿姿态信息和目标对象的姿态信息,确定目标用户与目标对象之间的骨骼姿态匹配信息,可以包括:

一、针对骨骼姿态图像中展示的每根骨骼,基于模仿姿态信息中骨骼对应的多种姿态特征下的特征信息,以及预先存储的虚拟三维模型中骨骼的多种姿态特征信息,确定骨骼对应的姿态匹配信息。

二、将各根骨骼分别对应的姿态匹配信息,确定为目标用户与目标对象之间的骨骼姿态匹配信息。

这里,可以基于各根骨骼的关键点信息,确定每根骨骼对应的多种姿态特征下的特征信息,得到骨骼姿态图像中各根骨骼分别对应的多种姿态特征下的特征信息。进而针对骨骼姿态图像中展示的每根骨骼,可以基于模仿姿态信息中该骨骼对应的多种姿态特征下的特征信息,和预先存储的虚拟三维模型中骨骼的多种姿态特征信息,确定该骨骼对应的姿态匹配信息。

比如,可以计算模仿姿态信息中该骨骼对应的多种姿态特征下的特征信息、与预先存储的虚拟三维模型中骨骼的多种姿态特征信息之间的余弦相似度,基于计算得到的余弦相似度,确定该骨骼的匹配度,即确定该骨骼对应的姿态匹配信息;或者,还可以将模仿姿态信息中该骨骼对应的多种姿态特征下的特征信息、与预先存储的虚拟三维模型中骨骼的多种姿态特征信息输入至匹配度确定神经网络中,得到该骨骼对应的姿态匹配信息。进一步的,将得到的每个骨骼分别对应的姿态匹配信息,确定为目标用户与目标对象之间的骨骼姿态匹配信息。比如,得到了骨骼姿态图像中展示的每根骨骼的匹配度。

一种可选实施方式中,针对骨骼姿态图像中展示的每根骨骼,基于模仿姿态信息中骨骼对应的多种姿态特征下的特征信息,以及预先存储的虚拟三维模型中骨骼的多种姿态特征信息,确定骨骼对应的姿态匹配信息,可以包括:基于骨骼的多种姿态特征分别对应的权重,以及模仿姿态信息中骨骼对应的多种姿态特征下的特征信息与虚拟三维模型中骨骼对应的多种姿态特征信息,确定骨骼对应的姿态匹配信息。

在具体实施时,可以为多种姿态特征中每种姿态特征设置对应的权重,若多种姿态特征包括角度特征、间距特征、高度特征,则可以根据实际情况,为角度特征、间距特征、高度特征中的每个特征设置权重,其中角度特征、间距特征、高度特征对应的权重之和可以为1。

基于骨骼的多种姿态特征分别对应的权重,以及模仿姿态信息中骨骼对应的多种姿态特征下的特征信息与虚拟三维模型中骨骼对应的多种姿态特征信息,确定骨骼对应的姿态匹配信息。

示例性的,可以针对每根骨骼的多种姿态特征中的每种姿态特征,计算模仿姿态信息中该姿态特征对应的特征信息与虚拟三维模型中该姿态特征对应的特征信息之间的特征信息相似度,可以得到各个姿态特征分别对应的特征信息相似度;基于各个姿态特征对应的特征信息相似度以及每种姿态特征对应的权重,得到了目标用户的该骨骼的姿态匹配信息。

上述实施方式中,可以为多种姿态特征中的每种姿态特征设置对应的权重,将姿态特征较重要的特征的权重设置的较大,将姿态特征不重要的特征的权重设置的较小,进而基于骨骼的多种姿态特征分别对应的权重,以及模仿姿态信息中骨骼对应的多种姿态特征下的特征信息与虚拟三维模型中骨骼对应的多种姿态特征信息,较准确的确定骨骼对应的姿态匹配信息。

针对s104:

在得到每根骨骼对应的姿态匹配信息之后,可以根据每根骨骼的姿态匹配信息,生成目标用户的用户模仿图像对应的骨骼姿态图像。其中,骨骼姿态图像中,骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼具有不同的标识。同时还可以根据骨骼姿态图像中展示的每根骨骼对应的姿态匹配信息,确定该骨骼姿态图像对应的模仿相似度。比如,若每根骨骼对应的姿态匹配信息为匹配度时,可以将每根骨骼分别对应的匹配度求平均,得到该骨骼姿态图像对应的模仿相似度;或者,可以将每根骨骼分别对应的匹配度求加权平均,得到该骨骼姿态图像对应的模仿相似度。

一种可选实施方式中,根据骨骼姿态匹配信息,生成并展示目标用户的骨骼姿态图像,可以包括:在生成并展示的目标用户的骨骼姿态图像中,采用不同的颜色分别展示骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼。

比如,在骨骼姿态图像中,可以将骨骼姿态不匹配的骨骼的颜色设置为红色,将骨骼姿态匹配的骨骼的颜色设置为白色。或者,在使用线条表征骨骼时,还可以通过不同的线条类型分别展示骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼,比如,可以使用实线表征骨骼姿态匹配的骨骼,使用虚线表征骨骼姿态不匹配的骨骼。

一种可选实施方式中,在获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像之前,还包括:

响应目标用户的预设触发操作,控制与目标检测区域对应的显示设备展示存储的至少一个目标对象的图像;和/或,

在展示的目标对象为多个的情况下,响应目标用户触发的对象选择操作,控制与目标检测区域对应的显示设备展示目标用户选择的目标对象的图像,以便目标用户对显示设备展示的目标对象进行模仿。

这里,预设触发操作可以为预先设置的任一操作,比如,可以为点击预设的按钮等。响应目标用户的预设触发操作,可以控制目标检测区域对象的显示设备展示存储的至少一个目标对象的图像,以便目标用户可以对能够模仿的至少一个目标对象进行查看,进而可以从展示的至少一个目标对象的图像中选择想要模仿的目标对象姿态。

在具体实施时,在目标对象为多个时,可以在目标检测区域对应的显示设备上按照设置的顺序依次对每个目标对象的图像进行展示,或者,也可以在目标检测区域对应的显示设备上展示全部的目标对象的图像。

考虑到模仿的多样性和灵活性,这里可以提前存储多个目标对象,使得不同的用户可以根据需要模仿不同的目标对象姿态。具体实施时,目标用户可以从展示的多个目标对象中选择想要模仿的目标对象,即目标用户触发了对象选择操作,响应目标用户触发的对象选择操作,控制与目标检测区域对应的显示设备展示目标用户选择的目标对象的图像,方便目标用户根据展示的目标对象的图像,对选择的目标对象姿态进行模仿。

一种可选实施方式中,获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像,可以包括:在接收到目标用户触发的模仿请求,或者,检测到预设区域存在目标用户之后,获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像。

这里,目标用户想要对目标对象姿态进行模仿时,可以触发模仿请求,比如,可以点击设置在目标检测区域内的模仿按钮,触发模仿请求;或者,也可以点击通信设备上设置的模仿按钮,触发模仿请求;或者,还可以发出预设的模仿指令,比如,用户可以说“我要模仿目标对象a”,触发模仿请求等。其中,触发的模仿请求的形式有多种,此处仅为示例性说明。在接收到目标用户触发的模仿请求之后,获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像。

或者,还可以提前设置预设区域,在检测到预设区域中存在目标用户之后,获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像。

参见图3所示的一种显示设备的界面示意图,图3中包括骨骼姿态图像、目标对象的图像、模拟相似度、以及模拟标识(即图3中的圆形),其中模拟标识中黑色区域的面积与整个圆形区域的面积的比例与模拟相似度相匹配,即图中模拟相似度为:50%,则黑色的区域的面积为整个圆形区域面积的一半,模拟标识中黑色区域的面积可以根据模拟相似度进行实时的调整。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思,本公开实施例还提供了一种姿态矫正的装置,参见图4所示,为本公开实施例提供的一种姿态矫正的装置的架构示意图,包括获取模块401、第一确定模块402、第二确定模块403、生成模块404、计算模块405、第一展示模块406、以及第二展示模块407,具体的:

获取模块401,用于获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像;

第一确定模块402,用于基于所述用户模仿图像,确定所述目标用户的模仿姿态信息;

第二确定模块403,用于基于所述模仿姿态信息和所述目标对象的姿态信息,确定所述目标用户与所述目标对象之间的骨骼姿态匹配信息;

生成模块404,用于根据所述骨骼姿态匹配信息,生成并展示目标用户的骨骼姿态图像,其中,在所述目标用户的骨骼姿态图像中,对于骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼进行区分。

一种可能的实施方式中,所述生成模块404,在根据所述骨骼姿态匹配信息,生成并展示目标用户的骨骼姿态图像时,用于:

在生成并展示的所述目标用户的骨骼姿态图像中,采用不同的颜色分别展示骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼。

一种可能的实施方式中,所述获取模块401,在获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像时,用于:

连续获取所述目标用户模仿目标对象姿态的用户模仿图像;

所述生成模块404,在根据所述骨骼姿态匹配信息,生成并展示所述目标用户的骨骼姿态图像时,用于:

控制与所述目标检测区域对应的显示设备,连续展示生成的所述目标用户的骨骼姿态图像。

一种可能的实施方式中,所述第一确定模块402,在基于所述用户模仿图像,确定所述目标用户的模仿姿态信息时,用于:

基于所述用户模仿图像,确定所述目标用户的各个骨骼分别对应的关键点信息;

基于所述目标用户的各个骨骼分别对应的关键点信息,确定所述目标用户的模仿姿态信息。

一种可能的实施方式中,所述装置还包括:

计算模块405,用于建立与所述目标对象对应的虚拟三维模型,其中所述虚拟三维模型的姿态与所述目标对象的姿态相同,计算所述虚拟三维模型中每根骨骼对应的多种姿态特征信息,将所述虚拟三维模型中各根骨骼分别对应的多种姿态特征信息作为所述目标对象的姿态信息进行存储;

第二确定模块403,在基于所述模仿姿态信息和所述目标对象的姿态信息,确定所述目标用户与所述目标对象之间的骨骼姿态匹配信息时,用于:

针对骨骼姿态图像中展示的每根骨骼,基于所述模仿姿态信息中所述骨骼对应的多种姿态特征下的特征信息,以及预先存储的所述虚拟三维模型中所述骨骼的多种姿态特征信息,确定所述骨骼对应的姿态匹配信息;

将各根骨骼分别对应的姿态匹配信息,确定为所述目标用户与所述目标对象之间的骨骼姿态匹配信息。

一种可能的实施方式中,第二确定模块403,在针对骨骼姿态图像中展示的每根骨骼,基于所述模仿姿态信息中所述骨骼对应的多种姿态特征下的特征信息,以及预先存储的所述虚拟三维模型中所述骨骼的多种姿态特征信息,确定所述骨骼对应的姿态匹配信息时,用于:

基于所述骨骼的多种姿态特征分别对应的权重,以及所述模仿姿态信息中所述骨骼对应的多种姿态特征下的特征信息与虚拟三维模型中所述骨骼对应的多种姿态特征信息,确定所述骨骼对应的姿态匹配信息。

一种可能的实施方式中,在获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像之前,包括:

第一展示模块406,用于响应目标用户的预设触发操作,控制与所述目标检测区域对应的显示设备展示存储的至少一个目标对象的图像;和/或,

第二展示模块407,用于在展示的目标对象为多个的情况下,响应目标用户触发的对象选择操作,控制与所述目标检测区域对应的显示设备展示目标用户选择的目标对象的图像,以便所述目标用户对所述显示设备展示的所述目标对象进行模仿。

一种可能的实施方式中,获取模块401,在获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像时,用于:

在接收到目标用户触发的模仿请求,或者,检测到预设区域存在目标用户之后,获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像。

在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

基于同一技术构思,本公开实施例还提供了一种电子设备。参照图5所示,为本公开实施例提供的电子设备的结构示意图,包括处理器501、存储器502、和总线503。其中,存储器502用于存储执行指令,包括内存5021和外部存储器5022;这里的内存5021也称内存储器,用于暂时存放处理器501中的运算数据,以及与硬盘等外部存储器5022交换的数据,处理器501通过内存5021与外部存储器5022进行数据交换,当电子设备500运行时,处理器501与存储器502之间通过总线503通信,使得处理器501在执行以下指令:

获取位于目标检测区域内的目标用户模仿目标对象姿态的用户模仿图像;

基于所述用户模仿图像,确定所述目标用户的模仿姿态信息;

基于所述模仿姿态信息和所述目标对象的姿态信息,确定所述目标用户与所述目标对象之间的骨骼姿态匹配信息;

根据所述骨骼姿态匹配信息,生成并展示目标用户的骨骼姿态图像,其中,在所述目标用户的骨骼姿态图像中,对于骨骼姿态不匹配的骨骼和骨骼姿态匹配的骨骼进行区分。

此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的姿态矫正的方法的步骤。

本公开实施例所提供的姿态矫正的方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的姿态矫正的方法的步骤,具体可参见上述方法实施例,在此不再赘述。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1