一种基于动态弯曲算法的运动捕捉数据库检索方法

一种基于动态弯曲算法的运动捕捉数据库检索方法
【专利摘要】本发明公开了一种基于动态弯曲算法的运动捕捉数据库检索方法，通过选取合适的运动特征预先建立运动捕捉数据库的一、二级索引，提高了每次实例检索的速度；一级索引中包含运动瞬间姿态信息；二级索引的计算基于骨骼运动动态特征的姿态变化量，即使用相邻帧间特征夹角向量的欧式距离作为索引值；最后，通过带有下界函数的动态时间弯曲算法计算检索实例和候选片段之间的相似度。本发明实现了精确、快速的运动捕捉数据检索，提高了检索的准确率，并且缩短了检索的时间。
【专利说明】一种基于动态弯曲算法的运动捕捉数据库检索方法

【技术领域】
[0001]本发明属于运动捕捉【技术领域】，尤其涉及一种基于动态弯曲算法的运动捕捉数据 库检索方法。

【背景技术】
[0002]近年来，以动画、漫画、网络游戏等为代表的动漫产业已经成为发达国家一个新的 经济增长点，世界动漫产业主要集中在欧美及日、韩，美国是最早也是主要的发展国家之 一，其动漫产业已占据全球动漫产业的龙头；日本作为动漫产品出口大国，以其严密的产业 链结构，成熟的运营机制，在国际市场上占有重要的地位，在发达国家,动漫产业不仅重要， 而且是支柱产业之一，年市场的总量都在数百亿乃至数千亿美元之上，日本动画业年产值 在国民经济中列第六位，动画产品出口值远远高于钢铁出口值；韩国动漫业的产值仅次于 美国、日本，已成为韩国国民经济的六大支柱产业之一，英国数字娱乐产业2008年产值占 GDP的7. 9%，成为该国第一大产业，美国网络游戏业已连续4年超过好莱坞电影业，成为全 美最大娱乐产业，2007年仅迪斯尼公司一年总产值达365亿美元，2008年惊奇动画和梦工 厂动画的年利率分别为30. 4%和21. 9%，2009年日本动漫市场为2000亿美元；
[0003]动漫产业在我国同样发展迅速，到2008年为止，在我国已有30多个动漫产业园 区、5400多家动漫机构、450多所高校开设动漫专业、46万多动漫专业在校学生，而在中国 84万个各类网站中，动漫网站约有 L 5万个，占丨.8%，面对广阔的动漫市场，各地动漫产业 发展计划的制定更是如火如荼，纷纷打造自己的"动漫之都"，北京、上海、广州、福州己初步 形成以网络游戏、动画、手机游戏、单机游戏和与游戏相关的产业链，到2008年底，中国年 动漫节目需求量为180万分钟，意味着将有一个250亿美元的市场空间，而目前国内播出的 动漫作品每年只有2万分钟，不足实际播出量28万分钟的1/10,且大量依赖进口，但是，目 前中国绝大部分的影视动画作品，也包括漫画游戏作品，其收入的主要来源都来自于内地， 还没达到远销海外，相对来说，目前的产业水平在技术、创意、设计以及对市场的判断和对 市场的运作方面还没达到一个国际水平，为了振兴我国动漫产业，2009年国务院出台了《文 化产业振兴规划》，将动漫产业列为八大重点文化产业门类之一；
[0004]运^捕捉数据驱动的计算机动画技术由于其自身所具有的优点，已经逐渐成为三 维计算机动画的主流制作方法，例如，好莱坞电影《木乃伊》、《金刚》、《阿凡达》等几乎全部 采用运动捕捉数据产生计算机动画，2006年美国电影学院奖三部获奖动画影片中就有怪兽 屋（Monster House)和快乐大脚（Happy Feet)两部影片全部采用运动捕捉技术进行动画 设计；
[0005] 运动捕捉技术同样的被大量用于游戏娱乐市场上的许多作品，如《魔兽争霸》、《神 迹》、《Fifa 2001》、《T〇mb Raider》等，大连东锐软件有限公司利用自主研发的DVMC运动捕 捉系统为著名网络游戏《航海世纪》完成了运动捕捉工作。
[0006]随着各种光学运动捕捉系统的普及，每年通过各种途径产生的人体运动捕捉数据 量越来越大，导致大规模海量的三维人体运动库的不断建立，具有较大规模的商用、研究用 人体运动捕捉数据库也已经出现，例如：http://mocapdata. com/网站上就有4千多个的免 费运动捕捉文件，本发明实验采用的Carnegie-MelIon MoCap Database -共有2514个免 费运动捕捉文件，然而，运动捕捉系统仍然存在着一些缺点，首先，动作捕捉系统的购买、使 用费用相当昂贵·，第二，动作捕捉是一个费时费力的过程，仅仅是捕捉前的系统调整和定标 有时就需要花费大量的时间；第三，为了捕捉一个动作，即使专业的演员和导演，也需要重 复很多遍，以保证最后的动画效果，最重要的是，如果对于某个己经捕获的片断，哪怕只有 些许的改动要求，也只能对整个动作重新捕捉，因此，如何高效的从数据库中检索所需要的 数据，并对运动捕捉数据进行有效的编辑、合成，最终生成具有真实感、符合各种需求的动 画己经成为一个研究热点。
[0007] 运动捕捉数据库的复用系统，主要包括数据管理、检索、编辑、合成四个模块，检索 模块主要是针对用户的需求在数据库中检索符合条件的候选片段供用户选择，编辑模块与 合成模块其本质都是通过对原始运动数据进行修改、连接、融合的操作以达到复用的目的， 有时，编辑模块与合成模块的区分并不是特别明显，合成模块中可能包含了一些编辑模块 的功能。
[0008] 运动检索技术是实现运动捕捉数据复用的一项关键技术，主要原因有：第一，由于 昂贵的硬件、软件成本以及演员、设备操作成本使得获得运动捕捉数据的费用较高，所以通 过快速有效的检索技术在数据库中检索满足条件的运动捕捉数据，可以避免重复的运动捕 捉数据采集过程，减少设备和人力资源的浪费，进而节约制作成本并提高制作效率；第二， 由于运动捕捉数据的大量产生，使得大规模的运动捕捉数据库不断出现，导致管理和重用 此类数据库的人工成本大大增加；第三，现有的各种商用、研究用运动捕捉数据以不同的数 据格式存储，检索技术多数基于某种特征提取方法，理想的运动特征提取方法，可以为建立 大规模统一的运动捕捉数据库研究提供基础。
[0009] 现有的运动捕捉数据检索技术主要分为以下两种，一类是基于关键词的检索技 术，检索时直接对关键词进行检索，以上方法的优点是检索处理速度快，但是随着数据库规 模的增大人工输入关键词将是一项繁琐并且带有主观不确定性的工作，另一类是基于内容 的检索技术，用户检索时提供一个实例，检索过程实质是在数据库中找到与实例的相似度 满足一定要求的片段，此类方法的共同思想是选择合适的特征表示以及相似性度量方法实 现对数据的快速检索，本发明着重研究基于内容的检索技术。
[0010] 在人体运动捕捉数据的检索和特征提取方面，国内外研究人员开展了许多有意义 的工作，Yi Lin通过选取骨架中心点和四肢关节的距离地面高度参数计算特征值函数，该 方案可以比较准确有效的描述人体的运动特征，因为四肢关节的运动方式很大程度上反映 了人体的运动特征，但是，由于人体运动的骨骼尺寸大小差别较大，如儿童的骨骼尺寸可能 只有成年人骨骼尺寸的一半，因此，当数据库内运动主体骨骼尺寸不一的时候，需要进行繁 琐的骨骼尺寸标准化处理；Demuth等人将人体结构用24个关节点相连的线段来表示，并在 此节点模型基础上，定义了七类Boolean类型的特征，分别为处于平面前后位置关系、运动 方向关系、两节点是否近邻以及夹角变化等，最终构造特征矩阵以实现索引和匹配等进一 步的操作，该方法可以精确的刻画人体运动中的各种特征，已被广泛的采用；Muller等人 提出了一种运动模板用于人体运动捕捉数据的自动分类识别和检索，方法的本质在于逻辑 上相关的同一类运动可以提取出一个清晰表示的特征矩阵，基于模板的方法最关键的性质 在于一个未知运动的不同方面可以在通过与模板运动的对比中自动地被提取出来，该方法 引入了模板矩来描述运动特征，模板矩阵是一个布尔型（Boolean)特征构成的二维矩阵， 其中矩阵的列数表示相关特征的个数，行数表示运动数据的巾贞数，给定一组类似的运动进 行训练，得到一个合成的特征矩阵，进而用于未知运动的特征模板匹配，该方法适用于较大 规模时空分布的运动捕捉数据库，能够保证有效和高效性；Hong Pan等人提取四肢部分的 八段骨骼与骨架中心线之间的夹角作为运动特征，该方法首先采用骨骼夹角作为对原始运 动数据的特征表示并提取运动片断关键帧集合，以此作为原始运动片断的特征表示；然后 基于所提取关键帧数据在相似运动片断之间具有一致性的特点，在两两关键帧集合之间建 立距离矩阵进行相似度匹配.实验结果表明，该方法能够取得更好的时间效率且不依赖于 任何预先设定的参数；Yamasaki等人提出了一种基于内容的交叉搜索方案用于时间变化 网格数据和运动捕捉数据的检索，它包括形状几何特征提取、相似性评价两个部分；高岩对 基于内容的检索进行了系统的研究，提出了一种运动正规化算法，能够保证运动库中所有 的运动数据具有相同的骨架长度，简化了运动重定向算法的复杂度，并对Muller等人提出 的基于内容的检索框架进行了改进，在运动检索过程中集成了运动过渡能力，进而结合运 动重组织和运动检索的优点，能够按照用户的高层控制，自动拼接和检索出运动库中并不 存在的运动，并且在此基础上提出了一种人体运动描述语言；向坚提出了一种使用非线性 PCA降维的隐马尔可夫（Hidden Markov Model, HMM)学习的运动检索算法，在提取了人体 运动特征之后使用非线性PCA和径向基函数（racial basis function，RBF)神经网络进行 特征的降维处理，最后所有处理后的特征使用HMM学习的方法进行分类识别；冯林等人提 出基于运动能量的描述人体运动的模型，在此基础上引入熵的概念，提取能体现运动特征 的关键关节作为衡量动作相似性的基准，然后利用动态时间变形算法计算运动例子和检索 集之间的相似度，确定检索结果集；Keogh等人提出了一种大规模运动数据库的标定索引 方法，该方法基于边界封装在全局统一尺度下实现相似性搜索；Vlachos等人提出一种基 于LCSS (longest common subsequence)的多维轨迹比较测量方法。
[0011] 人体动作序列是一种典型的高维时间序列，对于高维信息的处理，如果采用常规 方法进行检索将耗费大量的运行时间和内存空间，如此大量的数据，一般采用降维的方法 解决大量时间和空间损耗的问题，但是降维处理必然导致信息的丢失，导致检索结果错失 率很高，因此，在大量的可能组合中选取合适的特征表示方法使得检索速度和检索质量都 可以接受显得非常重要；
[0012] 另一个问题是关于时间序列的相似度度量方法，常见的情况是视觉上相似的两个 运动片段的特征值序列差异大，而视觉上不相似的两个运动片段特征值序列差异反而比较 小，此种现象与由运动数据片断之间的相似性度量方法密切相关，传统的度量方法是采用 欧式距离的度量方法，这种度量方法的主要问题是无法匹配时间轴的伸缩，同时对于噪音 非常敏感，动态时间弯曲（DTW)方法是一种有效的用于不同长度的时间序列匹配方法，被 广泛应用于时间序列处理和信号处理领域中，然而，传统DTW方法的时间复杂度为0(mn) (m，η分别为检索序列和候选序列的长度，m彡η)导致查询时间较长，使得传统DTW算法无 法直接用于大规模运动数据库的检索，另外DTW算法对于数据的噪音比较敏感，需要对原 始数据进行必要的预处理工作。


【发明内容】

[0013] 本发明实施例的目的在于提供一种基于动态弯曲算法的运动捕捉数据库检索方 法，旨在解决采用常规方法检索存在的信息丢失，检索结果错失率高的问题。
[0014] 本发明实施例是这样实现的，一种基于动态弯曲算法的运动捕捉数据库检索方 法，该基于动态弯曲算法的运动捕捉数据库检索方法包括以下步骤：
[0015] 通过预先建立运动捕捉数据库的一、二级索引，提高每次实例检索的速度；一级索 引中包含运动瞬间姿态信息，二级索引采用基于骨骼运动动态特征的相邻帧间夹角向量的 欧式距离作为索引值；最后，利用Keogh下界减少DTW算法的时间耗费。
[0016] 进一步，建立一、二级索引需要提取每一帧左、右上臂，左、右大腿与上一级骨骼之 间的空间夹角数据，采用箱均值压缩的方法对原始的夹角数据进行压缩，因为原始数据采 样率为 3〇fps，设定箱均值的箱子的大小为3个采样点，压缩后采样率为l〇fpS，采样值为箱 内三个连续采样点的均值，实现原始数据的提取和预处理。
[0017] 进一步，人体姿态信息的一级索引编码和匹配的方法为：
[0018] 步骤一，假设人体的左、右上臂，左、右大腿与上一级骨骼之间的空间夹角分别为 ω" ω2, ω3, ω4,定义每一帧的一级索引编码函数〇(〇〇" ω2, ω3, ω4)为： 4 .
[0019] ? ￡ 〇)ψ 〇)f 0?) = F C fi)j) x 10*
[0020]

【权利要求】
1. 一种基于动态弯曲算法的运动捕捉数据库检索方法，其特征在于，该基于动态弯曲 算法的运动捕捉数据库检索方法包括以下步骤： 通过预先建立运动捕捉数据库的一、二级索引，提高每次实例检索的速度；一级索引中 包含运动瞬间姿态信息，二级索引采用基于骨骼运动动态特征的相邻帧间夹角向量的欧式 距离作为索引值；最后，利用Keogh下界减少DTW算法的时间耗费。
2. 如权利要求书1所述的基于动态弯曲算法的运动捕捉数据库检索方法，其特征在 于，建立一、二级索引需要提取每一帧左、右上臂，左、右大腿与上一级骨骼之间的空间夹角 数据，采用箱均值压缩的方法对原始的夹角数据进行压缩，因为原始数据采样率为30fps， 设定箱均值的箱子的大小为3个采样点，压缩后采样率为lOfps，采样值为箱内三个连续采 样点的均值，实现原始数据的提取和预处理。
3. 如权利要求书1所述的基于动态弯曲算法的运动捕捉数据库检索方法，其特征在 于，动瞬间姿态信息的一级索引编码和匹配的方法为： 步骤一，人体的左、右上臂，左、右大腿与上一级骨骼之间的空间夹角分别为W1, ?2， ?3,，定义每一巾贞的一级索引编码函数GO1, 〇2, 〇3, 〇4)为：
步骤二，然后，对候选片段C与实例片段Q中编码相同的，也就是函数G(O)1, ?2,《3， ?4)的值相同的相邻帧进行聚合，分别得到查询序列Q和候选序列C的编码序列Hc和Hq: Hc=G(C1)1G(C2),... ,G(Ci)1--^G(Cx) HqiG(Q1),G(Q2),...,G(Qi),...,G(Qy) 检索时先对检索片段和候选片段进行一级索引匹配，若Hq与Hc-致，则进行二级索引 的检索。
4. 如权利要求书1所述的基于动态弯曲算法的运动捕捉数据库检索方法，其特征在 于，骨骼运动动态特征的二级索引值计算的方法为： 步骤一，当前帧人体的左右上臂、左右大腿、左右下臂、左右小腿与上一级骨 骼之间的空间夹角为（《P?2，《 3，《 4，《 5，《 6，《 7，《 8)，上一帧的相应值为 (fl，f2， f3， f5， f6，(ThfS)，则帧的二级索引函数定义如下：
函数的值看作两个八维向量O1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)和(fl，免2，f3> 料，f6> f7， 卿)的空间距离，由于每两帧之间的采样间隔是固定的，所 以L实际上是前后两帧姿态变化大小的一种度量，L反映了运动片段中每一帧的动态特征。
5. 如权利要求书1所述的基于动态弯曲算法的运动捕捉数据库检索方法，其特征在 于，利用Keogh下界减少DTW算法采用动态规划法计算，需要检索前50个与实例片段DTW距离最小的候选片段的，则算法步骤如下： 步骤一，初始化； 步骤二，计算实例片段Q的一级索引编码、二级索引值； 步骤三，比较实例片段Q和数据库中候选片段C的一级索引编码是否匹配，如果匹配则 执行步骤四，否则转到步骤六； 步骤四，计算LB_Keogh(Q，C)，如果LB_Keogh(Q，C)>Max(DTWl，DTW2， …，DTW50)则执行步骤六，否则步骤五； 步骤五，计算DTW(Q，C)将DTW(Q，C)插入到队列DTW1，DTW2，…，DTW50的位置，使得 元素按照DTW值从小到大的顺序排列，删除序列中DTW值最大的元素，即DTW50 ; 步骤六，选择下一个与Q等长的候选片段C; 步骤七，如果数据库遍历结束则转到步骤八，否则转到步骤二； 步骤八，输出DTW1，DTW2，…，DTW50及对应的片段文件名及起始帧号。
【文档编号】G06F17/30GK104268285SQ201410561878
【公开日】2015年1月7日 申请日期:2014年10月21日 优先权日:2014年10月21日
【发明者】吴清锋, 张仲楠, 董槐林, 何志甘, 史亮 申请人:厦门大学