1.本技术涉及计算机技术领域,具体涉及一种动画处理方法、一种动画处理装置、一种计算机设备、一种计算机可读存储介质及一种动画处理产品。
背景技术:2.随着科技研究的进步,人工智能技术飞速发展,并已经被广泛应用在各个领域;例如,动画处理、文本处理、信号处理、医疗检测等等。在动画处理领域中,基于动画中至少一张历史时间图像和至少一张未来时间图像可以预测二者中间的图像。研究发现,由于图像的预测过程中存在随机性,预测的图像的准确度较低;例如,动画中包含的对象(如人、物体、动物等)在预测的图像中的位置和姿态与该对象的实际位置和实际姿态之间的差异较大。
技术实现要素:3.本技术实施例提供了一种动画处理方法、装置、设备、计算机可读存储介质及产品,能够提高生成的图像的准确度。
4.一方面,本技术实施例提供了一种动画处理方法,包括:获取第一参考集合和第二参考集合,第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测,第一参考集合包含动画的第一时间段内的至少一张第一参考图像;第二参考集合包含动画的第二时间段内的至少一张第二参考图像;目标时间段在动画中位于第一时间段和第二时间段之间;且第一参考图像和第二参考图像中均包含目标对象;对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析,获得目标对象的运动特征信息;获取目标对象在目标时间段内的运动轨迹;根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像。
5.一方面,本技术实施例提供了一种动画处理装置,该动画处理装置包括:获取单元,用于获取第一参考集合和第二参考集合,第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测,第一参考集合包含动画的第一时间段内的至少一张第一参考图像;第二参考集合包含动画的第二时间段内的至少一张第二参考图像;目标时间段在动画中位于第一时间段和第二时间段之间;且第一参考图像和第二参考图像中均包含目标对象;处理单元,用于对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析,获得目标对象的运动特征信息;获取单元,还用于获取目标对象在目标时间段内的运动轨迹;处理单元,还用于根据目标对象的运动特征信息及目标对象在目标时间段内的运
动轨迹,预测动画中在目标时间段内的图像。
6.在一种实施方式中,动画中在目标时间段内的图像的数量为m,m为正整数;目标时间段内的m张图像中的任一张表示为第i张图像;若i=1,则处理单元用于,获取目标对象在目标时间段内的运动轨迹,具体用于:获取第一轨迹差异信息,第一轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异,第一参考轨迹信息是基于第一参考集合中的至少一张第一参考图像提取的;对第一轨迹差异信息进行偏移预测处理,得到第一轨迹偏移信息;通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理,得到目标对象在第i张图像中的轨迹信息;基于目标对象的初始轨迹位置,目标对象的终止轨迹位置和目标对象在第i张图像中的轨迹信息,确定目标对象在目标时间段内的运动轨迹;目标对象的初始轨迹位置是基于第一参考图像确定的,目标对象的终止轨迹位置是基于第二参考图像确定的。
7.在一种实施方式中,处理单元用于,对第一轨迹差异信息进行偏移预测处理,得到第一轨迹偏移信息,具体用于:连接第一轨迹差异信息和运动特征信息,得到待处理的第一连接信息;调用偏移预测模型对待处理的第一连接信息进行偏移预测处理,得到处理后的第一连接信息;对处理后的第一连接信息进行拆分处理,得到第一轨迹偏移信息。
8.在一种实施方式中,处理单元用于,获取第一轨迹差异信息,具体用于:采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理,得到目标对象在目标时间段内的参考轨迹;或者,基于第一参考集合和第二参考集合建模,得到目标对象在第一时间段内的参考轨迹;基于目标对象在第一时间段内的参考轨迹,确定目标对象在第i张图像中待降噪的轨迹信息;对第一参考集合中的至少一张第一参考图像进行轨迹信息提取处理,得到第一参考轨迹信息;根据目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异,计算第一轨迹差异信息。
9.在一种实施方式中,目标时间段内的m张图像按照播放顺序排列;若i不等于1,则处理单元用于,获取目标对象在目标时间段内的运动轨迹,具体用于:获取第二轨迹差异信息,第二轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异,第二参考轨迹信息为目标对象在第i-1张图像中的轨迹信息;对第二轨迹差异信息进行偏移预测处理,得到第二轨迹偏移信息;通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理,得到目标对象在第i张图像中的轨迹信息;基于目标对象在m张图像中的前i张图像中的轨迹信息,以及目标对象的初始轨迹位置和目标对象的终止轨迹位置,确定目标对象在目标时间段内的运动轨迹。
10.在一种实施方式中,处理单元用于,对第二轨迹差异信息进行偏移预测处理,得到第二轨迹偏移信息,具体用于:获取第i张图像的关联特征信息,第i张图像的关联特征信息包括:基于第i-1张图像提取到的目标对象的前向运动特征信息,以及基于第二参考集合中至少一张第二参考图像提取到的目标对象的后向运动特征信息;连接第二轨迹差异信息和第i张图像的关联特征信息,得到待处理的第二连接信息;调用偏移预测模型对待处理的第二连接信息进行偏移预测处理,得到处理后的第二连接信息;对处理后的第二连接信息进行拆分处理,得到第二轨迹偏移信息。
11.在一种实施方式中,处理单元用于,获取第二轨迹差异信息,具体用于:采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理,得到目标对象在目标时间段内的参考轨迹;或者,基于第一参考集合和第二参考集合建模,得到目标对象在第一时间段内的参考轨迹;基于目标对象在第一时间段内的参考轨迹,确定目标对象在第i张图像中待降噪的轨迹信息;将目标对象在第i-1张图像中的轨迹信息,确定为第二参考轨迹信息;根据目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异,计算第二轨迹差异信息。
12.在一种实施方式中,第一参考集合中的第一参考图像和第二参考集合中的第二参考图像均按照在动画中的播放顺序排列;处理单元还用于:将第一参考集合中最后一张第一参考图像中目标对象的姿态确定为第一姿态,并将第二参考集合中第一张第二参考图像中目标对象的姿态确定为第二姿态;基于第一姿态和第二姿态的姿态差异信息,确定动画中在目标时间段内的图像的数量;其中,姿态差异信息包括以下至少一项:第一姿态和第二姿态之间的距离、第一姿态对应的朝向信息、第二姿态对应的朝向信息。
13.在一种实施方式中,目标对象在目标时间段内的运动轨迹通过m*p的矩阵表示,m为动画中在目标时间段内的图像的数量,p为目标对象在目标时间段内的轨迹信息的维度;m,p均为正整数;目标对象在目标时间段内的轨迹信息包括以下至少一项:目标对象的根关节的三维位置在水平面上的投影,目标对象的根关节的三维位置,目标对象的根关节旋转特征。
14.在一种实施方式中,处理单元用于,根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像,具体用于:调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息,预测目标对象在目标时间段内的轨迹信息;对目标时间段内的轨迹信息进行渲染处理,得到动画中在目标时间段内的图像。
15.在一种实施方式中,处理单元还用于:按照图像在动画中的播放顺序,对第一参考集合中的第一参考图像,在目标时间
段内的图像和第二参考集中的第二参考图像进行合并,得到合成动画。
16.相应地,本技术提供了一种计算机设备,该计算机设备包括:存储器,存储器中存储有计算机程序;处理器,用于加载计算机程序实现上述动画处理方法。
17.相应地,本技术提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行上述动画处理方法。
18.相应地,本技术提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述动画处理方法。
19.本技术实施例中,获取第一参考集合和第二参考集合,第一参考集合包含动画的第一时间段内的至少一张第一参考图像,第二参考集合包含动画的第二时间段内的至少一张第二参考图像,且第一参考图像和第二参考图像中均包含目标对象,对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析,获得目标对象的运动特征信息,获取目标对象在目标时间段内的运动轨迹,根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像。可见,在图像预测过程中,通过目标对象在目标时间段内的运动轨迹对其进行约束,可以降低图像预测过程中的误差,提高生成的图像的准确度。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
21.图1a为本技术实施例提供的一种动画处理系统的场景架构图;图1b为本技术实施例提供的一种动画处理方案的流程示意图;图2为本技术实施例提供的一种动画处理方法的流程图;图3为本技术实施例提供的另一种动画处理方法的流程图;图4为本技术实施例提供的一种模型架构示意图;图5为本技术实施例提供的一种实验结果效果对比图;图6为本技术实施例提供的一种动画处理装置的结构示意图;图7为本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
22.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
23.人工智能(artificial intelligence,ai):所谓ai是利用数字计算机或者数字计
算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。本技术实施例主要涉及通过目标对象(如人、物体、动物、可移动机器人等)的运动轨迹对姿态预测模型的预测过程进行约束,提高预测的轨迹信息的准确度,进而提高生成的图像的准确度。
24.ai技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大应用程序的处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
25.计算机图形学(computer graphics,简称cg)是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学。简单地说,计算机图形学的主要研究内容就是研究如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原理与算法。本技术实施例主要涉及提取动画中至少一张历史时间图像和至少一张未来时间图像中目标对象的运动特征,并基于提取的运动特征预测目标对象在目标时间段(位于历史时间和未来时间之间)内的轨迹信息,并基于预测的目标对象在目标时间段内的轨迹信息渲染得到历史时间图像和未来时间图像的中间图像。需要说明的是,在本技术中所提及的任一图像,均可以是指二维图像信息,或者三维姿态信息,本技术对此不作限制。
26.深度学习:深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。本技术实施例主要涉及通过多层感知编码器对输入数据(如第一参考图像、第二参考图像)进行编码,以及通过多层感知解码器对输入数据(如网络层输出的数据)进行解码。
27.基于ai技术中的计算机图形学技术和深度学习技术,本技术实施例提供了一种动画处理方案,以提高生成的图像的准确度。图1a为本技术实施例提供的一种动画处理系统的场景架构图。如图1a所示,该动画处理系统可以包括:计算机设备101。本技术实施例提供的动画处理方案可由计算机设备101执行。计算机设备101具体可以是终端设备,也可以是服务器;其中,终端设备可以包括但不限于:智能手机(如android手机、ios手机等)、平板电脑、便携式个人计算机、移动互联网设备(mobile internet devices,简称mid)、车载终端、智能语音交互设备、智能家电、飞行器等智能设备,本技术实施例对此不做限定;服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,本技术实施例对此不做限定。
28.图1b为本技术实施例提供的一种动画处理方案的流程示意图。如图1b所示,动画处理方案的大致流程如下:(1)计算机设备101获取第一参考集合和第二参考集合。第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测,第一参考集合包含动画的第一时间
段内的至少一张第一参考图像,第二参考集合包含动画的第二时间段内的至少一张第二参考图像,目标时间段在动画中位于第一时间段和第二时间段之间;也就是说,预测的图像在动画中的播放顺序位于第一参考图像和第二参考图像之间。在一种实施方式中,第一参考图像和第二参考图像中均包含目标对象,目标对象具体可以是人、物体、动物、可移动机器人等等。
29.可选的,当第一参考集合中第一参考图像的数量大于1时,第一参考集合中可以存在不包含目标对象的第一参考图像;类似地,当第二参考集合中第二参考图像的数量大于1时,第二参考集合中可以存在不包含目标对象的第二参考图像。
30.(2)计算机设备101对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析,获得目标对象的运动特征信息。目标对象的运动特征信息用于描述目标对象的运动过程以及运动状态;例如,目标对象的运动特征信息可以包括但不限于:姿态信息,姿态信息用于指示目标对象在运动过程中的一个或多个姿态;速度信息,速度信息用于指示目标对象在运动过程中的速度;朝向信息,朝向信息用于指示目标对象在运动过程中的朝向。
31.在一种实施方式中,计算机设备101可以调用运动特征提取模型对第一参考图像和第二参考图像进行特征提取处理,得到目标对象的运动特征信息。可以理解的是,通过调用运动特征提取模型提取到的目标对象的运动特征信息具体可以是一个向量,或者是一个矩阵,或者是一个编码序列,本技术对此不作限制。
32.(3)计算机设备101获取目标对象在目标时间段内的运动轨迹。目标对象在目标时间段内的运动轨迹是基于目标对象的初始轨迹位置,目标对象在目标时间段内的至少一张图像中的轨迹信息和目标对象的终止轨迹位置确定的。其中,目标对象的初始轨迹位置是基于第一参考图像确定的;例如,按照动画的播放顺序对第一参考集合中的第一参考图像进行排序,目标对象的初始轨迹位置是基于目标对象在第一参考集合中的最后一张第一参考图像中的位置确定的。类似地,目标对象的终止轨迹位置是基于第二参考图像确定的;例如,按照动画的播放顺序对第二参考集合中的第二参考图像进行排序,目标对象的终止轨迹位置是基于目标对象在第二参考集合中的第一张第二参考图像中的位置确定的。目标对象在目标时间段内的目标图像中的轨迹信息用于是指目标对象在目标图像中的轨迹位置,目标图像为动画中目标时间段内的任一张图像,目标对象在目标图像中的轨迹信息是对目标对象在该图像中待降噪的轨迹信息进行降噪处理得到的,目标对象在目标图像中待降噪的轨迹信息可以是计算机设备101采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理得到的;也可以是计算机设备101基于第一参考集合和第二参考集合建模得到的,还可以是由动画制作人员指定的。
33.(4)计算机设备101根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像。在一种实施方式中,计算机设备101可以调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息,预测目标对象在目标时间段内的轨迹信息,目标对象在目标时间段内的轨迹信息包括以下至少一项:目标对象的根关节在目标时间段内的三维位置在水平面上的投影,目标对象的根关节在目标时间段内的三维位置,目标对象的根关节在目标时间段内的旋转特征。在得到目标对象在目标时间段内的轨迹信息后,计算机设备101对目标时间段内的轨迹信息进行
处理,得到动画中在目标时间段内的图像。其中,计算机设备101对目标时间段内的轨迹信息进行处理后得到的结果可以是目标对象的三维姿态信息,也可以是目标对象的三维姿态信息经过渲染后得到的二维图像,本技术对此不作限制。姿态预测模型是基于训练数据对模型进行训练得到的。具体来说,使用模型预测出的目标对象三维姿态信息和训练数据中对应的真实目标对象的三维姿态信息之间的差异,对模型中的权重参数进行优化,得到姿态预测模型。
34.本技术实施例中,获取第一参考集合和第二参考集合,第一参考集合包含动画的第一时间段内的至少一张第一参考图像,第二参考集合包含动画的第二时间段内的至少一张第二参考图像,且第一参考图像和第二参考图像中均包含目标对象,对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析,获得目标对象的运动特征信息,获取目标对象在目标时间段内的运动轨迹,根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像。可见,在图像预测过程中,通过目标对象在目标时间段内的运动轨迹对其进行约束,可以降低图像预测过程中的误差,提高生成的图像的准确度。
35.基于上述动画处理方案,本技术实施例提出更为详细的动画处理方法,下面将结合附图对本技术实施例提出的动画处理方法进行详细介绍。
36.请参阅图2,图2为本技术实施例提供的一种动画处理方法的流程图,该动画处理方法可以由计算机设备执行,该计算机设备可以是终端设备或者服务器。如图2所示,该动画处理方法可包括如下步骤s201-s204:s201、获取第一参考集合和第二参考集合。
37.第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测,第一参考集合包含动画的第一时间段内的至少一张第一参考图像,第二参考集合包含动画的第二时间段内的至少一张第二参考图像,目标时间段在动画中位于第一时间段和第二时间段之间;也就是说,预测的图像在动画中的播放顺序位于第一参考图像和第二参考图像之间。
38.举例来说,假设动画1由10帧构成,第一参考集合中包括3张第一参考图像,这3张第一参考图像为动画1中的第1帧到第3帧,第二参考集合中包括4张第二参考图像,这4张第二参考图像为动画1中的第7帧到第10帧,第一参考集合和第二参考集合可以用于对动画1中的第4帧到第6帧进行预测。
39.在一种实施方式中,第一参考图像和第二参考图像中均包含目标对象,目标对象具体可以是人、物体、动物、可移动机器人等等。
40.可选的,当第一参考集合中第一参考图像的数量大于1时,第一参考集合中可以存在不包含目标对象的第一参考图像,在此情况下,第一参考集合中存在至少一张包含目标对象的第一参考图像;类似地,当第二参考集合中第二参考图像的数量大于1时,第二参考集合中可以存在不包含目标对象的第二参考图像,在此情况下,第二参考集合中存在至少一张包含目标对象的第二参考图像。
41.s202、对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析,获得目标对象的运动特征信息。
42.目标对象的运动特征信息用于描述目标对象的运动过程以及运动状态;例如,目
标对象的运动特征信息可以包括但不限于:姿态信息,姿态信息用于指示目标对象在运动过程中的一个或多个姿态;速度信息,速度信息用于指示目标对象在运动过程中的速度;朝向信息,朝向信息用于指示目标对象在运动过程中的朝向。
43.在一种实施方式中,计算机设备可以调用运动特征提取模型对第一参考图像和第二参考图像进行特征提取处理,得到目标对象的运动特征信息。特征提取处理可以包括:对第一参考图像和第二参考图像进行编码处理,得到第一参考图像和第二参考图像的编码信息,通过运动特征提取模型中的网络层对第一参考图像和第二参考图像的编码信息进行处理(如信息过滤处理、信息融合处理等),得到目标对象的运动特征信息。可以理解的是,通过调用运动特征提取模型提取到的目标对象的运动特征信息具体可以是一个向量,或者是一个矩阵,或者是一个编码序列,本技术对此不作限制。
44.s203、获取目标对象在目标时间段内的运动轨迹。
45.目标对象在目标时间段内的运动轨迹是基于目标对象的初始轨迹位置,目标对象在目标时间段内的至少一张图像中的轨迹信息和目标对象的终止轨迹位置确定的。其中,目标对象的初始轨迹位置是基于第一参考图像确定的;例如,按照动画的播放顺序对第一参考集合中的第一参考图像进行排序,目标对象的初始轨迹位置是基于目标对象在第一参考集合中的最后一张第一参考图像中的位置确定的。类似地,目标对象的终止轨迹位置是基于第二参考图像确定的;例如,按照动画的播放顺序对第二参考集合中的第二参考图像进行排序,目标对象的终止轨迹位置是基于目标对象在第二参考集合中的第一张第二参考图像中的位置确定的。目标对象在目标时间段内的目标图像中的轨迹信息用于是指目标对象在目标图像中的轨迹位置,目标图像为动画中目标时间段内的任一张图像,目标对象在目标图像中的轨迹信息是对目标对象在该图像中待降噪的轨迹信息进行降噪处理得到的,目标对象在目标图像中待降噪的轨迹信息可以是计算机设备采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理得到的;也可以是计算机设备基于第一参考集合和第二参考集合建模得到的,还可以是由动画制作人员指定的。其中,目标对象在目标时间段内的轨迹信息包括以下至少一项:目标对象的根关节在目标时间段内的三维位置在水平面上的投影,目标对象的根关节在目标时间段内的三维位置,目标对象的根关节在目标时间段内的旋转特征。其中,目标对象的根关节是指:在将结构化的目标对象建模为一棵由关节铰链链接骨骼的树的情况下,这棵树的起点,即为目标对象的根关节,以人体为例,根关节通常可以选择盆骨或者脖子关节作为根关节。
46.在一种实施方式中,动画中在目标时间段内的图像的数量为m,m为正整数。目标时间段内的m张图像中的任一张表示为第i张图像。若i=1,则计算机设备获取第一轨迹差异信息,第一轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异,第一参考轨迹信息是基于第一参考集合中的至少一张第一参考图像提取的。计算机设备对获取的第一轨迹差异信息进行偏移预测处理,得到第一轨迹偏移信息。通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理,得到目标对象在第i张图像中的轨迹信息。在得到目标对象在第i张图像中的轨迹信息后,计算机设备基于目标对象的初始轨迹位置,目标对象的终止轨迹位置和目标对象在第i张图像中的轨迹信息,确定目标对象在目标时间段内的运动轨迹;例如,计算机设备可以通过平滑曲线对目标对象的初始轨迹位置,目标对象在第i张图像中的轨迹信息所指示的轨迹位置
和目标对象的终止轨迹位置进行连接,得到目标对象在目标时间段内的运动轨迹。
47.在另一种实施方式中,动画中在目标时间段内的图像的数量为m,m为正整数。目标时间段内的m张图像中的任一张表示为第i张图像。目标时间段内的m张图像按照播放顺序排列;若i不等于1,则计算机设备获取第二轨迹差异信息,第二轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异,第二参考轨迹信息为目标对象在第i-1张图像中的轨迹信息。计算机设备对获取的第二轨迹差异信息进行偏移预测处理,得到第二轨迹偏移信息。通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理,得到目标对象在第i张图像中的轨迹信息。在得到目标对象在第i张图像中的轨迹信息后,计算机设备基于目标对象在m张图像中的前i张图像中的轨迹信息,以及目标对象的初始轨迹位置和目标对象的终止轨迹位置,确定目标对象在目标时间段内的运动轨迹。
48.可选的,计算机设备还可以获取动画制作人员设定的目标对象在目标时间段内的运动轨迹,或者直接通过轨迹预测模型预测目标对象在目标时间段内的运动轨迹。
49.s204、根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像。
50.在一种实施方式中,计算机设备可以调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息,预测目标对象在目标时间段内的轨迹信息,目标对象在目标时间段内的轨迹信息包括以下至少一项:目标对象的根关节在目标时间段内的三维位置在水平面上的投影,目标对象的根关节在目标时间段内的三维位置,目标对象的根关节在目标时间段内的旋转特征。对目标时间段内的轨迹信息进行渲染处理,得到动画中在目标时间段内的一张或多张图像。其中,姿态预测模型是基于训练数据对模型进行训练得到的。具体来说,使用模型预测出的目标对象三维姿态信息和训练数据中对应的真实目标对象的三维姿态信息之间的差异,对模型中的权重参数进行优化,得到姿态预测模型。
51.进一步地,计算机设备还可以按照图像在动画中的播放顺序,对第一参考集合中的第一参考图像,在目标时间段内的图像和第二参考集中的第二参考图像进行合并,得到合成动画。
52.本技术实施例中,获取第一参考集合和第二参考集合,第一参考集合包含动画的第一时间段内的至少一张第一参考图像,第二参考集合包含动画的第二时间段内的至少一张第二参考图像,且第一参考图像和第二参考图像中均包含目标对象,对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析,获得目标对象的运动特征信息,获取目标对象在目标时间段内的运动轨迹,根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像。可见,在图像预测过程中,通过目标对象在目标时间段内的运动轨迹对其进行约束,可以降低图像预测过程中的误差,提高生成的图像的准确度。
53.请参阅图3,图3为本技术实施例提供的另一种动画处理方法的流程图,该动画处理方法可以由计算机设备执行,该计算机设备可以是终端设备或者服务器。如图3所示,该动画处理方法可包括如下步骤s301-s307:s301、获取第一参考集合和第二参考集合。
54.第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测,第一参考集合包含动画的第一时间段内的至少一张第一参考图像,第二参考集合包含动画的第二时间段内的至少一张第二参考图像,目标时间段在动画中位于第一时间段和第二时间段之间。
55.在一种实施方式中,第一参考集合中的第一参考图像属于第一动画,第二参考集合中的第二参考图像属于第二动画,第一动画和第二动画可以同属于一个动画(即第一动画和第二动画均为同一个动画中的一部分),也可以是两个不同的动画。第一动画和第二动画中均包含目标对象,且第一动画和第二动画可以通过预测到的图像进行连接,得到合成动画。
56.s302、对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析,获得目标对象的运动特征信息。
57.步骤s302的具体实施方式可参考图2中步骤s202的实施方式,在此不再赘述。
58.在一种实施方式中,第一参考集合中的第一参考图像和第二参考集合中的第二参考图像均按照在动画中的播放顺序排列;计算机设备将第一参考集合中最后一张(包含目标对象的)第一参考图像中目标对象的姿态确定为第一姿态,并将第二参考集合中第一张(包含目标对象的)第二参考图像中目标对象的姿态确定为第二姿态。计算机设备基于第一姿态和第二姿态的姿态差异信息,确定动画中在目标时间段内的图像的数量m;其中,姿态差异信息包括以下至少一项:第一姿态和第二姿态之间的距离、第一姿态对应的朝向信息,第一姿态对应的朝向信息用于指示目标对象在第一姿态下的朝向、第二姿态对应的朝向信息,第二姿态对应的朝向信息用于指示目标对象在第二姿态下的朝向,m为正整数。
59.举例来说,当姿态差异信息包括第一姿态和第二姿态之间的距离时,动画中在目标时间段内的图像的数量与第一姿态和第二姿态之间的距离成正比。
60.进一步地,将目标时间段内的m张图像中的任一张表示为第i张图像,当i=1时,计算机设备继续执行步骤s303。
61.s303、获取第一轨迹差异信息。
62.第一轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异,第一参考轨迹信息是基于第一参考集合中的至少一张第一参考图像提取的。目标对象的轨迹信息包括以下至少一项:目标对象的根关节的三维位置在水平面上的投影,目标对象的根关节的三维位置,目标对象的根关节的旋转特征。其中,目标对象的根关节是指:在将结构化的目标对象建模为一棵由关节铰链链接骨骼的树的情况下,这棵树的起点,即为目标对象的根关节,以人体为例,根关节通常可以选择盆骨或者脖子关节或髋关节作为根关节。
63.在一种实施方式中,一方面,计算机设备可以采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理,得到目标对象在目标时间段内的参考轨迹;或者,基于第一参考集合和第二参考集合建模,得到目标对象在第一时间段内的参考轨迹;或者获得动画制作人员输入的目标对象在目标时间段内的参考轨迹。在得到目标对象在目标时间段内的参考轨迹后,计算机设备基于目标对象在第一时间段内的参考轨迹,确定目标对象在第i张图像中待降噪的轨迹信息;例如,假设第i张图像对应时刻t,计算机设备,从目标对象在第一时间段内的参考轨迹中获取在时刻t时目标对象的轨迹位置,并根据目标对象在时
刻t时的轨迹位置,生成目标对象在第i张图像中待降噪的轨迹信息;例如,计算机设备可以将目标对象的根关节在时刻t时的三维位置,确定为目标对象在第i张图像中待降噪的轨迹信息。
64.另一方面,计算机设备对第一参考集合中的至少一张第一参考图像进行轨迹信息提取处理,得到第一参考轨迹信息;例如,计算机设备可以目标对象的根关节在至少一张第一参考图像中的位置,确定目标对象的根关节的三维位置,并将目标对象的根关节的三维位置,确定为第一参考轨迹信息。
65.在得到目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息后,计算机设备根据目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异,计算第一轨迹差异信息。具体可以表示为:其中,为第一轨迹差异信息,为目标对象在第i张图像中待降噪的轨迹信息,为第一参考轨迹信息。
66.s304、对第一轨迹差异信息进行偏移预测处理,得到第一轨迹偏移信息。
67.在一种实施方式中,计算机设备连接第一轨迹差异信息和目标对象的运动特征信息,得到待处理的第一连接信息;例如,假设第一轨迹差异信息表示为3*1的矩阵,目标对象的运动特征信息表示为4*1的矩阵,则连接第一轨迹差异信息和目标对象的运动特征信息得到的待处理的第一连接信息,可以表示为7*1的矩阵。在得到待处理的第一连接信息后,计算机设备可以调用偏移预测模型(如长短期记忆(long short-term memory,lstm)模型)对待处理的第一连接信息进行偏移预测处理,得到处理后的第一连接信息。计算机设备(如通过split)对处理后的第一连接信息进行拆分处理,得到第一轨迹偏移信息。
68.s305、通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理,得到目标对象在第i张图像中的轨迹信息。
69.在一种实施方式中,计算机设备通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行修正,得到目标对象在第i张图像中的轨迹信息,具体可以表示为:其中,为目标对象在第i张图像中的轨迹信息,为第一轨迹偏移信息,为目标对象在第i张图像中待降噪的轨迹信息。
70.在另一种实施方式中,计算机设备通过第一轨迹差异信息和第一轨迹偏移信息计算第一差异信息,具体可以表示为:其中,为第一差异信息,为第一轨迹差异信息,为第一轨迹偏移信息。
71.在得到第一差异信息后,计算机设备可以基于第一参考轨迹信息和第一差异信息,计算目标对象在第i张图像中的轨迹信息,具体可以表示为:
其中,为目标对象在第i张图像中的轨迹信息,为第一差异信息,为第一参考轨迹信息。
72.s306、基于目标对象在第i张图像中的轨迹信息,确定目标对象在目标时间段内的运动轨迹。
73.目标对象在目标时间段内的运动轨迹通过m*p的矩阵表示,m为动画中在目标时间段内的图像的数量,p为目标对象在目标时间段内的轨迹信息的维度,m,p均为正整数。目标对象在目标时间段内的轨迹信息包括以下至少一项:目标对象的根关节在目标时间段内的三维位置在水平面上的投影,目标对象的根关节在目标时间段内的三维位置,目标对象的根关节在目标时间段内的旋转特征。具体来说,当目标对象的根关节在目标时间段内的三维位置在水平面上的投影作为目标对象在目标时间段内的轨迹信息时,目标对象在目标时间段内的轨迹信息的维度为2;当目标对象的根关节在目标时间段内的三维位置作为目标对象在目标时间段内的轨迹信息时,目标对象在目标时间段内的轨迹信息的维度为3;当目标对象的根关节在目标时间段内的三维位置和目标对象的根关节在目标时间段内的旋转特征(通过四元树表示)作为目标对象在目标时间段内的轨迹信息时,目标对象在目标时间段内的轨迹信息的维度为7。
74.可见,通过上述任一种方式来表示目标对象在目标时间段内的轨迹信息时,由于轨迹信息的维度较小(轨迹信息的维度小于等于7),对本技术提供的动画处理方法的整体复杂度影响较小。另外,通过降噪后的第i张图像中的轨迹信息确定的目标对象在目标时间段内的运动轨迹,相比于通过第i张图像中待降噪的轨迹信息确定的目标对象在目标时间段内的运动轨迹来说,更加合理;例如,第i张图像中待降噪的轨迹信息中可能存在不合理的参数(如旋转特征不合理),在降噪处理过程中可以对不合理的参数进行修正,使得通过降噪后的第i张图像中的轨迹信息确定的目标对象在目标时间段内的运动轨迹更加合理。
75.在一种实施方式中,计算机设备基于目标对象的初始轨迹位置,目标对象的终止轨迹位置和目标对象在第i张图像中的轨迹信息,确定目标对象在目标时间段内的运动轨迹;其中,目标对象的初始轨迹位置是基于第一参考图像确定的;例如,按照动画的播放顺序对第一参考集合中的第一参考图像进行排序,目标对象的初始轨迹位置是基于目标对象在第一参考集合中的最后一张第一参考图像中的位置确定的。类似地,目标对象的终止轨迹位置是基于第二参考图像确定的;例如,按照动画的播放顺序对第二参考集合中的第二参考图像进行排序,目标对象的终止轨迹位置是基于目标对象在第二参考集合中的第一张第二参考图像中的位置确定的。在一种实现方式中,计算机设备可以通过平滑曲线对目标对象的初始轨迹位置,目标对象在第i张图像中的轨迹信息所指示的轨迹位置和目标对象的终止轨迹位置进行连接,得到目标对象在目标时间段内的运动轨迹。
76.s307、根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像。
77.在一种实施方式中,动画中在目标时间段内的图像的数量为1,即m=1。计算机设备可以调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息,预测目标对象在目标时间段内的轨迹信息,目标对象在目标时间段内的轨迹信息包括以下至少一项:目标对象的根关节在目标时间段内的三维位置在水平面上的投影,目标对象的根关节在目标时间段内的三维位置,目标对象的根关节在目标时间段内的旋转特
征。计算机设备对目标时间段内的轨迹信息进行渲染处理,得到动画中在目标时间段内的一张或多张图像。在一种实现方式中,动画中在目标时间段内的图像数量与目标对象在目标时间段内的轨迹信息的数量匹配。
78.在另一种实施方式中,动画中在目标时间段内的图像的数量大于1,即m》1。计算机设备可以调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息,预测目标对象在目标时间段内的第一个轨迹信息,并对第一个轨迹信息进行渲染处理得到动画中在目标时间段内的第一张图像。在得到动画中在目标时间段内的第一个轨迹信息后,计算机设备基于动画中在目标时间段内的第一个轨迹信息,预测动画中在目标时间段内的m-1张图像对应的m-1个轨迹信息,并对预测的m-1个轨迹信息进行渲染处理,得到目标时间段内除第一张图像外的其余m-1张图像。目标时间段内的m张图像按照播放顺序排列,计算机设备生成动画中在目标时间段内的第i张(i》1)图像的具体方式如下:计算机设备获取第二轨迹差异信息,第二轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异,第二参考轨迹信息是目标对象在第i-1张图像中的轨迹信息。具体来说,一方面计算机设备基于目标对象在第一时间段内的参考轨迹,确定目标对象在第i张图像中待降噪的轨迹信息;具体是实施方式可参考步骤s303中计算机设备基于目标对象在第一时间段内的参考轨迹,确定目标对象在第i张图像中待降噪的轨迹信息的实施方式,在此不再赘述。另一方面,计算机设备将位姿预测模型预测到的目标对象在第i-1张图像中的轨迹信息确定为第二参考轨迹信息。在得到目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息后,计算机设备根据目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异,计算第二轨迹差异信息。具体可以表示为:其中,为第二轨迹差异信息,为目标对象在第i张图像中待降噪的轨迹信息,为第二参考轨迹信息。
79.在得到第二轨迹差异信息后,计算机设备对第二轨迹差异信息进行偏移预测处理,得到第二轨迹偏移信息。具体来说,计算机设备获取第i张图像的关联特征信息,第i张图像的关联特征信息包括:基于第i-1张图像提取到的目标对象的前向运动特征信息,以及基于第二参考集合中至少一张第二参考图像提取到的目标对象的后向运动特征信息。计算机设备连接第二轨迹差异信息和第i张图像的关联特征信息,得到待处理的第二连接信息,并调用偏移预测模型对待处理的第二连接信息进行偏移预测处理,得到处理后的第二连接信息。接着计算机设备对处理后的第二连接信息进行拆分处理,得到第二轨迹偏移信息。
80.在得到第二轨迹偏移信息后,计算机设备通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理,得到目标对象在第i张图像中的轨迹信息。在一种实现方式中,计算机设备通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行修正,得到目标对象在第i张图像中的轨迹信息,具体可以表示为:其中,为目标对象在第i张图像中的轨迹信息,为第二轨迹偏移信息,
为目标对象在第i张图像中待降噪的轨迹信息。
81.在另一种实现方式中,计算机设备通过第二轨迹差异信息和第二轨迹偏移信息计算第二差异信息,具体可以表示为:其中,为第二差异信息,为第二轨迹差异信息,为第二轨迹偏移信息。
82.在得到第二差异信息后,计算机设备可以基于第二参考轨迹信息和第二差异信息,计算目标对象在第i张图像中的轨迹信息,具体可以表示为:其中,为目标对象在第i张图像中的轨迹信息,为第二差异信息,为第二参考轨迹信息。在得到目标对象在第i张图像中的轨迹信息后,计算机设备可以基于目标对象在m张图像中的前i张图像中的轨迹信息,以及目标对象的初始轨迹位置和目标对象的终止轨迹位置,确定目标对象在目标时间段内的运动轨迹,并根据该运动轨迹和目标对象的运动特征信息,预测动画中在目标时间段内的第i张图像。
83.图4为本技术实施例提供的一种模型架构示意图。如图4所示,首先通过编码器1-编码器3对第一参数集合和第二参数集合进行编码,得到编码数据;其中,编码器1可以是状态编码器(state encoder),编码器2可以是目标编码器(target encoder),编码器3可以是偏移编码器(offset encoder),每个编码器可以包含至少一组线性层与激活层,每个编码包含的线性层与激活层的具体组数可以基于实际情况动态调整,本技术不作限制;例如,编码器还可以是多层感知编码器(包含的线性层与激活层的组数大于1)。每组线性层与激活层用于对数据(如第一参考图像、第二参考图像)进行线性处理并激活,激活函数可以是分段线性单位(piecewise linear unit,plu)激活函数。在得到每个编码器输出的编码数据后(编码器1-编码器3输出的编码数据表示为编码数据1-编码数据3),将各个编码数据与时间数据(如time to arrive)融合,得到融合数据1-融合数据3。在得到融合数据1-融合数据3后,首先连接融合数据2和融合数据3,得到连接数据1,并将连接数据1与噪声数据融合,得到融合数据4,再将融合数据1和融合数据4,以及第i张图像中待降噪的轨迹信息进行连接,得到连接数据2。在得到连接数据2后,调用偏移预测模型(如长短期记忆(long short-term memory,lstm)模型)对连接数据进行偏移预测处理,得到连接数据2的偏移预测结果。再通过多层感知解码器对连接数据2的偏移预测结果进行解码处理,得到解码结果。需要说明的是,多层感知解码器包含至少两组线性层与激活层,每组线性层与激活层用于对数据(如连接数据2)进行线性处理并激活,激活函数可以是指数线性单位(exponential linear unit,plu)激活函数;在一些实现方式中,多层感知解码器也可以包含于偏移预测模型中。在得到解码结果后,通过拆分模块对解码结果进行拆分处理,得到轨迹偏移信息和其他信息。基于轨迹偏移信息对第i张图像中待降噪的轨迹信息进行降噪处理,得到目标对象在第i张图像中的轨迹信息。可以理解的是,在运行效率方面,轨迹信息添加部分只对偏移预测模型的输入在原维度(1024)的基础上增加了最多7个维度(实际由轨迹信息的表示方式确定),对模型的复杂度的影响非常小。在技术效果方面,将第i张图像中待降噪的轨迹信息与基于第一参数集合和第二参数集合得到的运动特征信息(即融合数据1和融合数据4)连接,并通过偏移预测模型进行偏移预测处理,可以在偏移预测处理过程中基于目标对象的运动
特征信息过滤出第i张图像中待降噪的轨迹信息中的噪声数据(即轨迹偏移信息);例如,通过目标对象的运动特征信息过滤第i张图像中待降噪的轨迹信息中不合理的参数。进一步地,基于噪声数据对第i张图像中待降噪的轨迹信息进行降噪处理,可以使得降噪后的第i张图像中的轨迹信息更加合理、准确度更高。
84.图5为本技术实施例提供的一种实验结果效果对比图。如图5所示,非灰度为不采用运动轨迹进行约束生成的图像与实际图像之间目标对象的轨迹位置差异,灰度为采用运动轨迹进行约束生成的图像与实际图像之间目标对象的轨迹位置差异。由图5可知,随着生成图像的数量的增加,不采用运动轨迹进行约束生成的图像与实际图像之间目标对象的轨迹位置差异明显增大,生成图像的准确度明显下降(如生成图像数量为80张时,平均轨迹位置差达到50cm左右);而随着生成图像的数量的增加,采用运动轨迹进行约束生成的图像与实际图像之间目标对象的轨迹位置差异变化相对较小(如生成图像数量为80张时,平均轨迹位置差不到5cm),生成图像的准确度较高。
85.本技术实施例中,获取第一参考集合和第二参考集合,第一参考集合包含动画的第一时间段内的至少一张第一参考图像,第二参考集合包含动画的第二时间段内的至少一张第二参考图像,且第一参考图像和第二参考图像中均包含目标对象,对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析,获得目标对象的运动特征信息,获取目标对象在目标时间段内的运动轨迹,根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像。可见,在图像预测过程中,通过目标对象在目标时间段内的运动轨迹对其进行约束,可以降低图像预测过程中的误差,提高生成的图像的准确度。此外,通过轨迹偏移信息对第i张图像中待降噪的轨迹信息进行降噪处理,可以对目标对象在目标时间段内的运动轨迹进行修正,进一步提高生成的图像的准确度。
86.上述详细阐述了本技术实施例的方法,为了便于更好地实施本技术实施例的上述方案,相应地,下面提供了本技术实施例的装置。
87.请参见图6,图6为本技术实施例提供的一种动画处理装置的结构示意图,图6所示的动画处理装置可以搭载在计算机设备中,该计算机设备具体可以是终端设备或者服务器。该动画处理装置可以用于执行上述图2和图3所描述的方法实施例中的部分或全部功能。请参见图6,该动画处理装置包括:获取单元601,用于获取第一参考集合和第二参考集合,第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测,第一参考集合包含动画的第一时间段内的至少一张第一参考图像;第二参考集合包含动画的第二时间段内的至少一张第二参考图像;目标时间段在动画中位于第一时间段和第二时间段之间;且第一参考图像和第二参考图像中均包含目标对象;处理单元602,用于对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析,获得目标对象的运动特征信息;获取单元601,还用于获取目标对象在目标时间段内的运动轨迹;处理单元602,还用于根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像。
88.在一种实施方式中,动画中在目标时间段内的图像的数量为m,m为正整数;目标时
间段内的m张图像中的任一张表示为第i张图像;若i=1,则处理单元602用于,获取目标对象在目标时间段内的运动轨迹,具体用于:获取第一轨迹差异信息,第一轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异,第一参考轨迹信息是基于第一参考集合中的至少一张第一参考图像提取的;对第一轨迹差异信息进行偏移预测处理,得到第一轨迹偏移信息;通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理,得到目标对象在第i张图像中的轨迹信息;基于目标对象的初始轨迹位置,目标对象的终止轨迹位置和目标对象在第i张图像中的轨迹信息,确定目标对象在目标时间段内的运动轨迹;目标对象的初始轨迹位置是基于第一参考图像确定的,目标对象的终止轨迹位置是基于第二参考图像确定的。
89.在一种实施方式中,处理单元602用于,对第一轨迹差异信息进行偏移预测处理,得到第一轨迹偏移信息,具体用于:连接第一轨迹差异信息和运动特征信息,得到待处理的第一连接信息;调用偏移预测模型对待处理的第一连接信息进行偏移预测处理,得到处理后的第一连接信息;对处理后的第一连接信息进行拆分处理,得到第一轨迹偏移信息。
90.在一种实施方式中,处理单元602用于,获取第一轨迹差异信息,具体用于:采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理,得到目标对象在目标时间段内的参考轨迹;或者,基于第一参考集合和第二参考集合建模,得到目标对象在第一时间段内的参考轨迹;基于目标对象在第一时间段内的参考轨迹,确定目标对象在第i张图像中待降噪的轨迹信息;对第一参考集合中的至少一张第一参考图像进行轨迹信息提取处理,得到第一参考轨迹信息;根据目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异,计算第一轨迹差异信息。
91.在一种实施方式中,目标时间段内的m张图像按照播放顺序排列;若i不等于1,则处理单元602用于,获取目标对象在目标时间段内的运动轨迹,具体用于:获取第二轨迹差异信息,第二轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异,第二参考轨迹信息为目标对象在第i-1张图像中的轨迹信息;对第二轨迹差异信息进行偏移预测处理,得到第二轨迹偏移信息;通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理,得到目标对象在第i张图像中的轨迹信息;基于目标对象在m张图像中的前i张图像中的轨迹信息,以及目标对象的初始轨迹位置和目标对象的终止轨迹位置,确定目标对象在目标时间段内的运动轨迹。
92.在一种实施方式中,处理单元602用于,对第二轨迹差异信息进行偏移预测处理,得到第二轨迹偏移信息,具体用于:
获取第i张图像的关联特征信息,第i张图像的关联特征信息包括:基于第i-1张图像提取到的目标对象的前向运动特征信息,以及基于第二参考集合中至少一张第二参考图像提取到的目标对象的后向运动特征信息;连接第二轨迹差异信息和第i张图像的关联特征信息,得到待处理的第二连接信息;调用偏移预测模型对待处理的第二连接信息进行偏移预测处理,得到处理后的第二连接信息;对处理后的第二连接信息进行拆分处理,得到第二轨迹偏移信息。
93.在一种实施方式中,处理单元602用于,获取第二轨迹差异信息,具体用于:采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理,得到目标对象在目标时间段内的参考轨迹;或者,基于第一参考集合和第二参考集合建模,得到目标对象在第一时间段内的参考轨迹;基于目标对象在第一时间段内的参考轨迹,确定目标对象在第i张图像中待降噪的轨迹信息;将目标对象在第i-1张图像中的轨迹信息,确定为第二参考轨迹信息;根据目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异,计算第二轨迹差异信息。
94.在一种实施方式中,第一参考集合中的第一参考图像和第二参考集合中的第二参考图像均按照在动画中的播放顺序排列;处理单元602还用于:将第一参考集合中最后一张第一参考图像中目标对象的姿态确定为第一姿态,并将第二参考集合中第一张第二参考图像中目标对象的姿态确定为第二姿态;基于第一姿态和第二姿态的姿态差异信息,确定动画中在目标时间段内的图像的数量;其中,姿态差异信息包括以下至少一项:第一姿态和第二姿态之间的距离、第一姿态对应的朝向信息、第二姿态对应的朝向信息。
95.在一种实施方式中,目标对象在目标时间段内的运动轨迹通过m*p的矩阵表示,m为动画中在目标时间段内的图像的数量,p为目标对象在目标时间段内的轨迹信息的维度;m,p均为正整数;目标对象在目标时间段内的轨迹信息包括以下至少一项:目标对象的根关节的三维位置在水平面上的投影,目标对象的根关节的三维位置,目标对象的根关节旋转特征。
96.在一种实施方式中,处理单元602用于,根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像,具体用于:调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息,预测目标对象在目标时间段内的轨迹信息;对目标时间段内的轨迹信息进行渲染处理,得到动画中在目标时间段内的图像。
97.在一种实施方式中,处理单元602还用于:按照图像在动画中的播放顺序,对第一参考集合中的第一参考图像,在目标时间段内的图像和第二参考集中的第二参考图像进行合并,得到合成动画。
98.根据本技术的一个实施例,图2和图3所示的动画处理方法所涉及的部分步骤可由
volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机可读存储介质。
103.在一个实施例中,处理器701通过运行存储器703中的计算机程序,执行如下操作:获取第一参考集合和第二参考集合,第一参考集合和第二参考集合均用于对动画中在目标时间段内的图像进行预测,第一参考集合包含动画的第一时间段内的至少一张第一参考图像;第二参考集合包含动画的第二时间段内的至少一张第二参考图像;目标时间段在动画中位于第一时间段和第二时间段之间;且第一参考图像和第二参考图像中均包含目标对象;对第一参考图像中及第二参考图像中的目标对象的运动状况进行分析,获得目标对象的运动特征信息;获取目标对象在目标时间段内的运动轨迹;根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像。
104.作为一种可选的实施例,动画中在目标时间段内的图像的数量为m,m为正整数;目标时间段内的m张图像中的任一张表示为第i张图像;若i=1,则处理器701获取目标对象在目标时间段内的运动轨迹的具体实施例为:获取第一轨迹差异信息,第一轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异,第一参考轨迹信息是基于第一参考集合中的至少一张第一参考图像提取的;对第一轨迹差异信息进行偏移预测处理,得到第一轨迹偏移信息;通过第一轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理,得到目标对象在第i张图像中的轨迹信息;基于目标对象的初始轨迹位置,目标对象的终止轨迹位置和目标对象在第i张图像中的轨迹信息,确定目标对象在目标时间段内的运动轨迹;目标对象的初始轨迹位置是基于第一参考图像确定的,目标对象的终止轨迹位置是基于第二参考图像确定的。
105.作为一种可选的实施例,处理器701对第一轨迹差异信息进行偏移预测处理,得到第一轨迹偏移信息的具体实施例为:连接第一轨迹差异信息和运动特征信息,得到待处理的第一连接信息;调用偏移预测模型对待处理的第一连接信息进行偏移预测处理,得到处理后的第一连接信息;对处理后的第一连接信息进行拆分处理,得到第一轨迹偏移信息。
106.作为一种可选的实施例,处理器701获取第一轨迹差异信息的具体实施例为:采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理,得到目标对象在目标时间段内的参考轨迹;或者,基于第一参考集合和第二参考集合建模,得到目标对象在第一时间段内的参考轨迹;基于目标对象在第一时间段内的参考轨迹,确定目标对象在第i张图像中待降噪的轨迹信息;对第一参考集合中的至少一张第一参考图像进行轨迹信息提取处理,得到第一参考轨迹信息;
根据目标对象在第i张图像中待降噪的轨迹信息和第一参考轨迹信息之间的差异,计算第一轨迹差异信息。
107.作为一种可选的实施例,目标时间段内的m张图像按照播放顺序排列;若i不等于1,则处理器701获取目标对象在目标时间段内的运动轨迹的具体实施例为:获取第二轨迹差异信息,第二轨迹差异信息用于指示目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异,第二参考轨迹信息为目标对象在第i-1张图像中的轨迹信息;对第二轨迹差异信息进行偏移预测处理,得到第二轨迹偏移信息;通过第二轨迹偏移信息对目标对象在第i张图像中待降噪的轨迹信息进行降噪处理,得到目标对象在第i张图像中的轨迹信息;基于目标对象在m张图像中的前i张图像中的轨迹信息,以及目标对象的初始轨迹位置和目标对象的终止轨迹位置,确定目标对象在目标时间段内的运动轨迹。
108.作为一种可选的实施例,处理器701对第二轨迹差异信息进行偏移预测处理,得到第二轨迹偏移信息的具体实施例为:获取第i张图像的关联特征信息,第i张图像的关联特征信息包括:基于第i-1张图像提取到的目标对象的前向运动特征信息,以及基于第二参考集合中至少一张第二参考图像提取到的目标对象的后向运动特征信息;连接第二轨迹差异信息和第i张图像的关联特征信息,得到待处理的第二连接信息;调用偏移预测模型对待处理的第二连接信息进行偏移预测处理,得到处理后的第二连接信息;对处理后的第二连接信息进行拆分处理,得到第二轨迹偏移信息。
109.作为一种可选的实施例,处理器701获取第二轨迹差异信息的具体实施例为:采用轨迹预测模型对第一参考集合和第二参考集合进行轨迹预测处理,得到目标对象在目标时间段内的参考轨迹;或者,基于第一参考集合和第二参考集合建模,得到目标对象在第一时间段内的参考轨迹;基于目标对象在第一时间段内的参考轨迹,确定目标对象在第i张图像中待降噪的轨迹信息;将目标对象在第i-1张图像中的轨迹信息,确定为第二参考轨迹信息;根据目标对象在第i张图像中待降噪的轨迹信息和第二参考轨迹信息之间的差异,计算第二轨迹差异信息。
110.作为一种可选的实施例,第一参考集合中的第一参考图像和第二参考集合中的第二参考图像均按照在动画中的播放顺序排列;处理器701通过运行存储器703中的计算机程序,还执行如下操作:将第一参考集合中最后一张第一参考图像中目标对象的姿态确定为第一姿态,并将第二参考集合中第一张第二参考图像中目标对象的姿态确定为第二姿态;基于第一姿态和第二姿态的姿态差异信息,确定动画中在目标时间段内的图像的数量;其中,姿态差异信息包括以下至少一项:第一姿态和第二姿态之间的距离、第一姿
态对应的朝向信息、第二姿态对应的朝向信息。
111.作为一种可选的实施例,目标对象在目标时间段内的运动轨迹通过m*p的矩阵表示,m为动画中在目标时间段内的图像的数量,p为目标对象在目标时间段内的轨迹信息的维度;m,p均为正整数;目标对象在目标时间段内的轨迹信息包括以下至少一项:目标对象的根关节的三维位置在水平面上的投影,目标对象的根关节的三维位置,目标对象的根关节旋转特征。
112.作为一种可选的实施例,处理器701根据目标对象的运动特征信息及目标对象在目标时间段内的运动轨迹,预测动画中在目标时间段内的图像的具体实施例为:调用姿态预测模型基于目标对象在目标时间段内的运动轨迹和目标对象的运动特征信息,预测目标对象在目标时间段内的轨迹信息;对目标时间段内的轨迹信息进行渲染处理,得到动画中在目标时间段内的图像。
113.作为一种可选的实施例,处理器701通过运行存储器703中的计算机程序,还执行如下操作:按照图像在动画中的播放顺序,对第一参考集合中的第一参考图像,在目标时间段内的图像和第二参考集中的第二参考图像进行合并,得到合成动画。
114.基于同一发明构思,本技术实施例中提供的计算机设备解决问题的原理与有益效果与本技术方法实施例中动画处理方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
115.本技术实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序适于被处理器加载并执行上述方法实施例的动画处理方法。
116.本技术实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,计算机程序适于被处理器加载并执行上述方法实施例的动画处理方法。
117.本技术实施例还提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的动画处理方法。
118.本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
119.本技术实施例装置中的模块可以根据实际需要进行合并、划分和删减。
120.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,可读存储介质可以包括:闪存盘、只读存储器(read-only memory ,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
121.以上所揭露的仅为本技术一种较佳实施例而已,当然不能以此来限定本技术之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本技术权利要求所作的等同变化,仍属于申请所涵盖的范围。