一种基于神经网络的人物网格模型自动蒙皮方法与设备

本申请涉及三维动画技术领域，更为具体来说，本申请涉及一种基于神经网络的人物网格模型自动蒙皮方法与设备。

背景技术：

近年来，在计算机图形学领域，为了使由动作捕捉数据驱动艺术美工设计的双足人物三维网格(mesh)进行变形并得到动画，通常需要经历繁琐的骨骼搭建(rigging)以及蒙皮权重绑定(skinning)。

然而，从运动捕捉数据中对3d角色进行动画处理是一项复杂而艰巨的技能，动画师会花费数年的时间来尝试掌握。另外不同的运动，例如弯曲肘部和蹲下等限于常用的蒙皮技术(线性融合蒙皮，linearblendskinning)的固有局限性，在关节区域的变形非常不理想。很多变形的细节是需要进行进一步的细化的，需要针对具体姿势的矫正变形，尤其是在关节区域。

因此，本申请提出一种基于神经网络的人物网格模型自动蒙皮方法，以至少部分地解决上述技术问题。

技术实现要素：

为实现上述技术目的，本申请提供了一种基于神经网络的人物网格模型自动蒙皮方法，包括以下步骤：

利用三维人物网格及其对应的动作参数训练神经网络；

将需要进行动画的三维人物网格输入到训练好的神经网络中；

所述训练好的神经网络生成蒙皮绑定权重、骨骼以及姿势依赖的变形修正基底；

利用融合系数对所述姿势依赖的变形修正基底进行处理，生成变形动画。

优选地，所述动作包括关节旋转。

具体地，所述神经网络包括网格卷积神经网络、骨骼感知卷积神经网络和多层感知机神经网络。

优选地，所述需要进行动画的三维人物网格为t姿势。

优选地，所述姿势依赖的变形修正基底为9个。

进一步地，所述训练好的神经网络生成蒙皮绑定权重、骨骼，包括：

将t姿势的三维人物网格分别输入到第一网格卷积神经网络和第二网格卷积神经网络中，所述第一网格卷积神经网络生成所述蒙皮绑定权重，所述第二网格卷积神经网络计算出所述t姿势的三维人物网格的深度表示；

利用所述深度表示与所述蒙皮绑定权重进行池化，将三维网格空间的特征转换到骨骼空间，再通过骨骼感知卷积神经网络生成骨骼。

进一步地，所述训练好的神经网络生成姿势依赖的变形修正基底的步骤为，将所述蒙皮绑定权重和所述深度表示连接并输入到第三网格卷积神经网络中生成姿势依赖的变形修正基底。

优选地，所述训练神经网络的方式为半监督学习。

进一步地，利用融合系数对所述姿势依赖的变形修正基底进行处理，生成变形动画，包括：

将关节旋转参数输入到多层感知机神经网络生成融合系数；

用所述融合系数对所述姿势依赖的变形修正基底做线性插值，生成姿势依赖的变形动画。

本发明第二方面提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行所述基于神经网络的人物网格模型自动蒙皮方法的步骤：

利用三维人物网格及其对应的动作参数训练神经网络；

将需要进行动画的三维人物网格输入到训练好的神经网络中；

所述训练好的神经网络生成蒙皮绑定权重、骨骼以及姿势依赖的变形修正基底；

利用融合系数对所述姿势依赖的变形修正基底进行处理，生成变形动画。

本申请的有益效果为：本申请提出的基于神经网络的人物网格模型自动蒙皮方法与设备由于运用动作捕捉的数据进行训练神经网络生成蒙皮绑定权重和骨骼，所以能够控制所生成骨骼的拓扑，进而能够提升三维人物网格变形的质量，特别是在处理三维人物网格关节区域的时候质量有极大的提升。

附图说明

图1示出了本申请实施例1的方法流程示意图；

图2示出了本申请实施例2的方法总体分支示意图；

图3示出了本申请实施例2的另一方法实施过程示意图；

图4示出了本申请实施例3的方法实施过程示意图；

图5示出了本申请实施例3的技术实施效果图；

图6示出了本申请一实施例所提供的一种电子设备的结构示意图；

图7示出了本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

以下，将参照附图来描述本申请的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。

应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。

现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

实施例1：

本实施例实施了一种基于神经网络的人物网格模型自动蒙皮方法，如图1所示，包括以下步骤：

s1、利用三维人物网格及其对应的动作参数训练神经网络；

s2、将需要进行动画的三维人物网格输入到训练好的神经网络中；

s3、所述训练好的神经网络生成蒙皮绑定权重、骨骼以及姿势依赖的变形修正基底；

s4、利用融合系数对所述姿势依赖的变形修正基底进行处理，生成变形动画。

优选地，所述动作包括关节旋转。

具体地，所述神经网络包括网格卷积神经网络、骨骼感知卷积神经网络和多层感知机神经网络。

优选地，所述需要进行动画的三维人物网格为t姿势。

优选地，所述姿势依赖的变形修正基底为9个。

进一步地，所述训练好的神经网络生成蒙皮绑定权重、骨骼，包括：

将t姿势的三维人物网格分别输入到第一网格卷积神经网络和第二网格卷积神经网络中，所述第一网格卷积神经网络生成所述蒙皮绑定权重，所述第二网格卷积神经网络计算出所述t姿势的三维人物网格的深度表示；

利用所述深度表示与所述蒙皮绑定权重进行池化，将三维网格空间的特征转换到骨骼空间，再通过骨骼感知卷积神经网络生成骨骼。

进一步地，所述训练好的神经网络生成姿势依赖的变形修正基底的步骤为，将所述蒙皮绑定权重和所述深度表示连接并输入到第三网格卷积神经网络中生成姿势依赖的变形修正基底。

优选地，所述训练神经网络的方式为半监督学习。

进一步地，利用融合系数对所述姿势依赖的变形修正基底进行处理，生成变形动画，包括：

将关节旋转参数输入到多层感知机神经网络生成融合系数；

用所述融合系数对所述姿势依赖的变形修正基底做线性插值，生成姿势依赖的变形动画。

实施例2：

本实施例实施了一种基于神经网络的人物网格模型自动蒙皮方法，包括以下步骤：

利用三维人物网格及其对应的动作参数训练神经网络；

将需要进行动画的三维人物网格输入到训练好的神经网络中；

所述训练好的神经网络生成蒙皮绑定权重、骨骼以及姿势依赖的变形修正基底；

利用融合系数对所述姿势依赖的变形修正基底进行处理，生成变形动画。

其中，在训练神经网络时包括两个分支，如图2所示，一个是包裹变形分支，一个是残余变形分支。包裹变形分支会预测相应的蒙皮绑定权重和骨骼，并使用可微分变形使输入模型变形。同时，残余变形分支使用输入三维人物网格来预测n(n＝9)个姿势依赖的变形修正基底，再利用关节旋转来预测相应的混合系数alpha_i，接着使用混合系数对所述变形修正基底进行线性插值，从而生成高质量的姿势依赖变形。

具体而言，请参照图3所示，我们采用了现在最先进的网格卷积神经网络，将输入的处于t姿势的三维人物网格(v,f)(网格顶点位置以及拓扑连接性)分别送入两个网格卷积构成的块网络当中，其中一个网络直接预测出蒙皮权重，另一个网络则计算出三维人物网格的深度表示，并使用蒙皮权重进行池化，将三维网格空间的特征转换到骨骼空间，然后通过骨骼感知卷积神经网络得到骨骼。训练神经网络的方式为半监督学习，训练过程还包括通过传统的正向运动学加上输入的关节旋转r以及基于线性融合蒙皮的可微分变形生成初步变形的网格。

实施例3：

本实施例实施了一种基于神经网络的人物网格模型自动蒙皮方法，包括以下步骤：

利用三维人物网格及其对应的动作参数训练神经网络；

将需要进行动画的三维人物网格输入到训练好的神经网络中；

所述训练好的神经网络生成蒙皮绑定权重、骨骼以及姿势依赖的变形修正基底；

利用融合系数对所述姿势依赖的变形修正基底进行处理，生成变形动画。

需要进行动画的三维人物网格为t姿势，具体地，将t姿势的三维人物网格分别输入到第一网格卷积神经网络和第二网格卷积神经网络中，所述第一网格卷积神经网络生成所述蒙皮绑定权重，所述第二网格卷积神经网络计算出所述t姿势的三维人物网格的深度表示；利用所述深度表示与所述蒙皮绑定权重进行池化，将三维网格空间的特征转换到骨骼空间，再通过骨骼感知卷积神经网络生成骨骼。

进一步地，所述训练好的神经网络生成姿势依赖的变形修正基底的步骤为，将所述蒙皮绑定权重和所述深度表示连接并输入到第三网格卷积神经网络中生成姿势依赖的变形修正基底。

在这里，把所述训练好的神经网络生成蒙皮绑定权重、骨骼看成一个分支称为包裹变形分支；把生成姿势依赖的变形修正基底和利用融合系数对所述姿势依赖的变形修正基底进行处理，生成变形动画看作第二个分支，称为残余变形分支。

在包裹变形分支中，将输入的处于t姿势的三维人物网格(v,f)(网格顶点位置以及拓扑连接性)分别送入两个网格卷积构成的块网络当中，其中一个网络直接预测出蒙皮权重，另一个网络则计算出三维人物网格的深度表示，并使用蒙皮权重进行池化，将三维网格空间的特征转换到骨骼空间，然后通过骨骼感知卷积神经网络得到骨骼。

在残余变形分支中，具体如图4所示，输入同样是处于t姿势的三维人物网格(v,f)。注意，这里的蒙皮块和包裹变形分支是共享的。同样，这里的几何块提取了网格的深度表示。然后通过将描述全局的蒙皮权重和所述深度表示连接，送入基底块，产生姿势依赖变形修正基底。蒙皮块、几何块和基底块的说法都是指本实施例中具体的神经网络。另外，这里生成了n个变形基底，我们选择了n＝9，同时为了使用根据关节旋转产生姿势依赖变形，我们使用了一个小型的多层感知机网络生成融合系数并对姿势依赖变形修正基底做线性插值。最终我们将姿势依赖变形修正直接叠加在t姿势上，然后使用线性融合变形进行网格变形，达到了非常优秀的效果，效果比较图如图5所示。图5中，从左到右依次是现有方法、单独使用包裹变形模块及本实施例采用的完整方法，可以看到我们的方法在处理关节区域的时候有极大的提升。

请参考图6，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图6所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于神经网络的人物网格模型自动蒙皮方法。

其中，存储器201可能包含高速随机存取存储器(ram：randomaccessmemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线202可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述基于神经网络的人物网格模型自动蒙皮方法可以应用于处理器200中，或者由处理器200实现。

处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的基于神经网络的人物网格模型自动蒙皮方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种实施前述基于神经网络的人物网格模型自动蒙皮方法的计算机可读存储介质，请参考图7，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于神经网络的人物网格模型自动蒙皮方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的空分复用光网络中量子密钥分发信道分配方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是，上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。