一种对象展示方法、装置、设备、存储介质及程序产品与流程

本技术涉及计算机视觉技术，尤其涉及一种对象展示方法、装置、设备、存储介质及程序产品。

背景技术：

1、在扩展现实中，能够展示与使用者可以进行交互的三维互动对象，以通过三维互动对象向使用者提供多种趣味互动，例如向使用者提供线下实物趣味互动等，从而给使用者带来趣味性。相关技术中，在扩展现实中，一般是会预先设置一些三维互动对象，并将三维互动对象与一些特定场景进行关联，在图像采集设备采集到特定场景的图像时，展示三维互动对象。然而，这种方式会使得三维互动对象与现实场景中的物体的关联程度较低。

技术实现思路

1、本技术实施例提供一种对象展示方法、装置、设备、存储介质及程序产品，能够提升三维互动对象与现实场景中的物体的关联程度。

2、本技术实施例的技术方案是这样实现的：

3、本技术实施例提供一种对象展示方法，所述方法包括：

4、响应于针对互动触发界面的互动标识的触发操作，展示对象互动界面，并调用图像采集设备针对现实场景进行图像采集，得到场景图像；

5、针对所述场景图像中所包含的目标物体，生成对应的三维模型文件，并针对所述三维模型文件确定对应的骨骼模型；

6、将所述骨骼模型与所述三维模型文件进行绑定，并针对绑定骨骼后的三维模型文件添加动画动作，得到三维互动对象；

7、在所述对象互动界面中展示所述三维互动对象。

8、本技术实施例提供一种对象展示装置，包括：

9、信息展示模块，用于响应于针对互动触发界面的互动标识的触发操作，展示对象互动界面；

10、图像采集模块，用于调用图像采集设备针对现实场景进行图像采集，得到场景图像；

11、数据生成模块，用于针对所述场景图像中所包含的目标物体，生成对应的三维模型文件，并针对所述三维模型文件确定对应的骨骼模型；

12、数据绑定模块，用于将所述骨骼模型与所述三维模型文件进行绑定，并针对绑定骨骼后的三维模型文件添加动画动作，得到三维互动对象；

13、所述信息展示模块，还用于在所述对象互动界面中展示所述三维互动对象。

14、在本技术的一些实施例中，所述数据生成模块，还用于针对所述三维模型文件进行骨骼预测，得到所述三维模型文件对应的至少两个预测模型；基于至少两个所述预测模型，确定所述三维模型文件的多个关键骨骼点；将多个所述关键骨骼点进行连接，并将连接结果确定为所述三维模型文件对应的所述骨骼模型。

15、在本技术的一些实施例中，所述数据生成模块，还用于利用第i个模型算子，对第i个模型算子的输入特征进行处理，得到第i个模型算子的至少两个输出特征；其中，1≤i≤i，i为正整数；当i为1时，第i个模型算子的输入特征是对所述三维模型文件进行卷积处理后所得到的卷积特征，当i大于1时，第i个模型算子的输入特征为第i-1个模型算子的输入特征与第i-1个模型算子的至少两个输出特征的融合特征；对第i个模型算子的至少两个输出特征分别进行骨骼点还原，完成对所述三维模型文件的骨骼预测，得到至少两个所述预测模型。

16、在本技术的一些实施例中，所述模型算子包括：至少一个骨骼编码器、位于至少一个所述骨骼编码器之后的至少一个骨骼解码器，以及位于至少一个所述骨骼解码器之后的至少两路输出子网络；每路所述输出子网络中包括至少一个卷积层，不同的输出子网络的卷积层的结构相同，网络参数不相同；其中，所述骨骼编码器用于从输入特征中提取得到骨骼特征，所述骨骼解码器用于对骨骼特征进行解码，得到分散的骨骼点，所述输出子网络用于对所述分散的骨骼点进行特征提取，得到输出特征。

17、在本技术的一些实施例中，所述数据生成模块，还用于将至少两个所述预测模型进行融合，得到融合模型；将所述融合模型中的各个骨骼点划分至多个关节区域中；针对每个所述关节区域中的骨骼点进行聚类，并将多个所述关节区域各自的聚类结果，确定为所述三维模型形状的多个所述关键骨骼点。

18、在本技术的一些实施例中，所述数据生成模块，还用于将每个所述关节区域划分为至少两个子区域；对位于每个所述子区域中的骨骼点基于距离进行聚类，得到每个所述子区域的聚类点；当至少两个所述子区域所对应的至少两个所述聚类点之间的距离满足距离条件时，将至少两个所述聚类点作为每个所述关节区域的聚类结果。

19、在本技术的一些实施例中，所述距离条件包括：至少两个所述聚类点之间的距离，与多个交叉点对的距离均值相同，其中，多个所述交叉点对是由至少两个所述子区域中的骨骼点进行交叉组对得到。

20、在本技术的一些实施例中，所述数据生成模块，还用于从至少两个所述预测模型中，筛选得到基准模型；针对所述基准模型中的每个基准骨骼点，从至少一个剩余模型中分别确定匹配骨骼点；其中，至少一个所述剩余模型是指至少两个所述预测模型中除所述基准模型之外剩余的预测模型，所述匹配骨骼点是指所述剩余模型中与所述基准骨骼点距离最接近的骨骼点；将所述基准模型中的每个所述基准骨骼点的坐标与所述匹配骨骼点的坐标进行加权融合，得到所述融合模型。

21、在本技术的一些实施例中，所述骨骼模型包括多个关键骨骼点；所述数据绑定模块，还用于从多个所述关键骨骼点中，为所述三维模型文件的每个网格顶点筛选得到至少一个控制骨骼点；其中，所述控制骨骼点用于控制所述网格顶点的运动；将每个所述网格顶点与对应的至少一个所述控制骨骼点进行绑定，得到所述绑定骨骼后的三维模型文件。

22、在本技术的一些实施例中，所述信息展示模块，还用于响应于针对互动触发界面的互动标识的触发操作，针对所述图像采集设备在所述互动触发界面上展示权限申请提示信息和权限申请操作标识；

23、所述图像采集模块，还用于响应于针对所述权限申请操作标识的确认操作，调用图像采集设备针对所述现实场景进行图像采集，得到所述场景图像。

24、在本技术的一些实施例中，所述对象互动界面中展示有至少一个待点亮元素；所述信息展示模块，还用于在所述对象互动界面中展示针对所述三维互动对象的介绍信息；响应于针对所述介绍信息的关闭操作，撤销所述介绍信息的展示，并针对至少一个所述待点亮元素中与所述三维互动对象相对应的匹配元素进行点亮。

25、本技术实施例提供一种电子设备，所述电子设备包括：

26、存储器，用于存储计算机可执行指令；

27、处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本技术实施例提供的对象展示方法。

28、本技术实施例提供一种计算机可读存储介质，存储有计算机程序或计算机可执行指令，用于被处理器执行时实现本技术实施例提供的对象展示方法。

29、本技术实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，述计算机程序或计算机可执行指令被处理器执行时，实现本技术实施例提供的对象展示方法。

30、本技术实施例具有以下有益效果：电子设备可以在使用者对互动触发界面的互动标识进行了触发操作时，调用图像采集设备采集得到现实场景的场景图像，并针对场景图像进行分析，以确定在场景图像包含目标物体时，通过为目标物体的三维模型文件，并将三维模型文件与针对其所确定的骨骼模型进行绑定，最后添加动画动作，能够得到与现实场景中的目标物体存在关联的三维互动对象，也即实现了将现实物体实时转化为对应的三维互动对象的过程，从而提升三维互动对象与现实场景中的物体的关联程度。