专利名称：基于异构特征降维的二维角色卡通生成方法
技术领域：
本发明涉及一种基于异构特征降维的二维角色卡通生成方法，具体涉及一种基于 异构特征处理与检索的二维卡通角色生成方法，属于计算机动画和计算机机器学习的综合 领域。
背景技术：
随着计算机二维动画和计算机机器学习在工业和娱乐领域内的大量应用，基于已 有二维卡通角色视频数据重用的二维卡通生成方法逐渐成为了一个重要的研究热点。尽 管目前关于这个领域的研究还是处于探索的阶段，但是已经产生了一些比较有代表性的方 法。研究者已经开发了一些基于多媒体数据重用的二维卡通合成方法。比如，发表 在2000年会议SIGGRAPH上的论文《Video Textures》，提取出了首先分析卡通视频片段， 进而通过改变原有的视频帧排列顺序来合成新的卡通视频的方法。发表在2002年会议 SIGGRAPH 上的论文《Motion texture :a two-level statistical model for character motion synthesis》，研究者成功地通过重用三维运动数据来获得新的三维卡通运动。以上 的方法激发了我们开发一种基于二维角色卡通数据重用的生成方法。目前已经有几个比较成熟的基于二维卡通角色数据重用的方法，这些方法代表了 目前比较流行的基于内容分析进行检索的合成技术。比如，发表在2004年会议SCA上的论 文《Cartoon Textures》，需要用户手工指定需合成的卡通视频帧中的初始帧和末端帧，提 高了合成的效率和实用性。但是，由此导致的问题是所合成的结果会被用户的指定很大程 度上限定，并且用户无法控制合成的方向和结果。由于方法本身不能进行迭代或者反复，如 果出现用户不满意的结果，将无法进行修改和反馈处理，并且合成过程中也存在着对于如 何指定动画角色与背景帧结合的具体实施细节交待不清的问题。发表在2008年期刊CAVW 上的论文《Perspective-aware Cartoon Clips Synthesis》，二维卡通资源的重用是集中 在卡通视频段这个层面上的，没有真正深入到帧的层次，通过拼接已有的二维卡通片段来 合成新的卡通视频。问题是，新合成的卡通视频中，原有片段内部帧的顺序并没有进行修改 过，并且也存在着用户无法控制合成过程的情况。基于上述两种方法的缺陷，我们希望开发 出一种基于内容分析检索、并且能够实现全程用户可控的二维角色卡通生成方法。我们所提出方法的关键点，除了上面所分析的如何设计基于内容分析的卡通检 索，还在于如何完成异构特征情况下基于姿态识别的卡通合成，比如如何量化地衡量真实 视频关键帧与卡通视频关键帧之间姿态的相似度，而这方面的研究目前比较少。为了能够 实现更高的姿态识别准确率，我们采用了不同的特征提取方法。发表在2010年期刊IVC 上白勺论文〈〈Silhouette representation and matching for 3D pose discrimination—A comparative study》，提出了在姿态识别领域中几种比较常用的特征提取方法，并针对不 同的朝向做了细致深入的比较试验。在我们的方法中，通过对比实验，最终利用了该论文中 所提到的方向性梯度直方图(HOG)特征提取方法来获得卡通角色的特征表达矩阵；占据图(OM)特征提取方法来获得真实人物的特征表达矩阵。
发明内容
本发明的目的是为了克服目前基于内容分析检索的二维卡通合成方法的局限性， 提供了一种基于异构特征分析与降维来完成卡通姿势识别的二维卡通生成方法。基于异构特征降维的二维角色卡通生成方法的步骤如下1)从二维卡通视频中提取包含角色卡通完整动作的视频段，并按照角色卡通的动 作内容和朝向，拍摄对应的由真实人物表演的动作视频，对角色卡通的动作视频和真实人 物表演的动作视频经过视频图像技术处理后，利用自定义的关键帧提取方法提取角色卡通 的动作视频和真实人物表演的动作视频的关键帧，得到卡通关键帧和真实关键帧，并对卡 通关键帧和真实关键帧进行归一化与中心化处理；对卡通关键帧和真实关键帧利用不同的 特征提取方法，获得卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵，并对特征表达 矩阵按照自定义的动作类别进行分类，建立“卡通-真实”角色数据库；2)从拍摄的真实人物表演的动作视频中，利用自定义的关键帧提取方法提取真实 人物表演的动作视频的关键帧，得到检索真实关键帧，并对检索真实关键帧进行归一化与 中心化处理；对检索真实关键帧利用特征提取方法获得检索真实关键帧特征表达矩阵；3)卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵通过自定义的异构特征 降维算法，经过训练获得卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵对应的卡通 关键帧特征表达矩阵的降维投影方向矩阵和真实关键帧特征表达矩阵的降维投影方向矩 阵；检索真实关键帧序列特征表达矩阵，用检索真实关键帧序列特征表达矩阵乘以真实关 键帧特征表达矩阵的降维投影方向矩阵获得检索真实关键帧序列降维特征表达矩阵，并在 投影空间中计算获得的“卡通-真实”角色数据库中和检索真实关键帧序列降维特征表达 矩阵距离最近的卡通关键帧序列，最后将计算得到的卡通关键帧序列返回；用户在返回的 卡通关键帧序列上进行编辑和插值，来获得最终的卡通效果视频。所述步骤1)包括从二维卡通角色视频中，提取包含完整卡通角色动作片段的卡通视频V。art，来由 真实人物按照V。art中卡通角色的动作内容和朝向在单目摄像机前进行模仿表演，获得包含 有完整真实人物动作片段的真实视频Vral ；对从V。art和Vral中渲染出来的视频帧，利用Hausdorff距离算法特征获得卡通 距离矩阵Meart = Rnixi11和真实距离矩阵 ⑷=Rn2Xn2，其中ηι和n2分别为卡通和真
实视频所渲染出来的帧数量，M^lt表示卡通视频帧中第i帧和第j帧之间的Hausdorff 距离，M^al表示真实视频帧中第i帧和第j帧之间的Hausdorff距离，矩阵M。art和MMal
中的每一项分别乘以系数1 — M$art/H和1 —来完成归一化，
I acart一max‘ areal_max
其中的d。 t—_和_分别为矩阵M。art和Mreal中的最大值，在获得经过归一化的距离 矩阵Mcart和Mreal之后，按照设定的阈值来过滤矩阵中的对角值，分别将得
到的M&rt乏> 丨所对应的第i帧作为关键帧，由此得到卡通关键帧(Icart, Ic2art,…JirJ和真实关键巾贞…，!；^)，其中n为两者的数量；针对卡通关键帧II^rtdIart,...,ParJ按照方向性梯度直方图特征提取方法获得
卡通关键帧特征表达矩阵X1 = [xhx^.yXl^eRnxds其中Cl1为每一关键帧对应的特征 表达向量xi的维度；同样地，针对真实关键帧I^iealJieal, ...,IJ1eal)按照占据图特征提取方
法获得真实关键帧特征表达矩阵X2 = fxfx·,…,XfleRnxdZ，其中d2为每一关键帧对应 的特征表达向量xi的维度；将&和\中所有的关键帧都按照动作内容的不同分为r类， 使得每一类中都有相同数量的卡通和真实关键帧从而形成&和\在类别层面上的一一对 应；对所获得的\和X2,分别经过如下变换获得中心化的矩阵X1 = -.HX1H5X2 = -^HX2H1其中H = I — -1·Ν1；；，并且N为&与&的样本数量η，至此完成归一化与中心化
操作，从而建立了 “卡通-真实”角色数据库。所述步骤3)包括归一化和中心化的卡通和真实特征表达矩阵&和\2’按照如下的目标函数算法来 进行计算获得卡通关键帧特征表达矩阵的降维投影方向矩阵W1和真实关键帧特征表达矩 阵的降维投影方向矩阵W2:
F^2tr(FTLsynF) + KiIX1W1 -F||| + ||| 一 PHX2W2 - F||| + y2||W2||| +
IIF-Ylll2α , Y1, β, Y2, δ 为复杂平衡度系数，矩阵 Y= [Yl,y2, ...,yn] e {0，1}ηΧ、其 中当卡通样本xi和真实样本4都属于第k个类别时，则Yik = 1 ；否则Yik = 0 ；xi和4属于 同一类别，形成满秩的Y矩阵；tr(.)为迹操作符；卡通关键帧特征表达矩阵和卡通关键帧 特征表达矩阵的拉格朗日矩阵L1 = D1-A1, L2 = D2-A2。Lsyn = [ ((I>L2) /2)' +((I>L2) /2) ]/23因此Lsyn = L' syn ；其中H.赌表示弗罗贝尼乌斯范式，并且IlZlIi = tr(ZTZ)满足
所有的矩阵Z ；经过求导，最后可以得到W1 = δ B1 ( α U+ β V+E) ^1Y 4W2 = δ B2 ( α U+ β V+E) ^1Y 5其中
U = B Jx j Xj^ B^ — Xj_Bi — BJX|" + I6
V = BJXJX2B2 — X2B2 _ BJxJ + I权利要求
1.一种基于异构特征降维的二维角色卡通生成方法，其特征在于它的步骤如下1)从二维卡通视频中提取包含角色卡通完整动作的视频段，并按照角色卡通的动作内 容和朝向，拍摄对应的由真实人物表演的动作视频，对角色卡通的动作视频和真实人物表 演的动作视频经过视频图像技术处理后，利用自定义的关键帧提取方法提取角色卡通的动 作视频和真实人物表演的动作视频的关键帧，得到卡通关键帧和真实关键帧，并对卡通关 键帧和真实关键帧进行归一化与中心化处理；对卡通关键帧和真实关键帧利用不同的特征 提取方法，获得卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵，并对特征表达矩阵 按照自定义的动作类别进行分类，建立“卡通-真实”角色数据库；2)从拍摄的真实人物表演的动作视频中，利用自定义的关键帧提取方法提取真实人物 表演的动作视频的关键帧，得到检索真实关键帧，并对检索真实关键帧进行归一化与中心 化处理；对检索真实关键帧利用特征提取方法获得检索真实关键帧特征表达矩阵；3)卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵通过自定义的异构特征降维 算法，经过训练获得卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵对应的卡通关键 帧特征表达矩阵的降维投影方向矩阵和真实关键帧特征表达矩阵的降维投影方向矩阵；检 索真实关键帧序列特征表达矩阵，用检索真实关键帧序列特征表达矩阵乘以真实关键帧特 征表达矩阵的降维投影方向矩阵获得检索真实关键帧序列降维特征表达矩阵，并在投影空 间中计算获得的“卡通-真实”角色数据库中和检索真实关键帧序列降维特征表达矩阵距 离最近的卡通关键帧序列，最后将计算得到的卡通关键帧序列返回；用户在返回的卡通关 键帧序列上进行编辑和插值，来获得最终的卡通效果视频。
2.根据权利要求1所述的一种基于异构特征降维的二维角色卡通生成方法，其特征在 于所述步骤1)包括从二维卡通角色视频中，提取包含完整卡通角色动作片段的卡通视频V。art，来由真实 人物按照V。art中卡通角色的动作内容和朝向在单目摄像机前进行模仿表演，获得包含有完 整真实人物动作片段的真实视频Vral ；对从V。 t和Vral中渲染出来的视频帧，利用Hausdorff距离算法特征获得卡通距离 矩阵Meart = Rnixi11和真实距离矩阵Mreal = Rn2Xn2，其中ηι和n2分别为卡通和真实视频所渲染出来的帧数量，表示卡通视频帧中第i帧和第j帧之间的Hausdorff距离， Mj^al表示真实视频帧中第i帧和第j帧之间的Hausdorff距离，矩阵M。art*Mral中的每一项分别乘以系数1和1 MrW来完成归一化，其中的cU
3.根据权利要求1所述的一种基于异构特征降维的二维角色卡通生成方法，其特征在 于所述步骤3)包括归一化和中心化的卡通和真实特征表达矩阵&和\，按照如下的目标函数算法来进行 计算获得卡通关键帧特征表达矩阵的降维投影方向矩阵W1和真实关键帧特征表达矩阵的 降维投影方向矩阵W2:
全文摘要
本发明公开了一种基于异构特征降维的二维角色卡通生成方法。利用机器学习和特征提取的知识，实现基于真实视频图片对数据库中含有相似姿态卡通图片的索引和编辑的功能。首先输入一段由真实人表演的动作序列关键帧，系统提取它们的特征表达式；将特征表达式辅以经过该方法训练的投影矩阵并在投影空间计算其和卡通邻节点的欧氏距离，并返回最为接近的卡通邻节点作为检索结果；用户在所得到的卡通关键帧序列上进行编辑。本发明通过以真实拍摄视频图片作为索引，降低了传统方法以卡通图片作为索引带来的实施困难；同时通过提出异构特征降维方法，解决了传统方法只能针对同构特征降维带来的适用性狭窄的问题，提高了准确性、扩大了应用的范围。
文档编号G06T13/80GK102129707SQ20111005258
公开日2011年7月20日 申请日期2011年2月28日 优先权日2011年2月28日
发明者庄越挺, 梁璋, 肖俊 申请人:浙江大学