单视频内容驱动的服装三维动画生成方法
【技术领域】
[0001] 本发明涉及计算机动画生成领域，具体涉及单视频内容驱动的服装三维动画生成 方法。
【背景技术】
[0002] 虚拟现实（VirtualReality，简称VR)以计算机技术为核心，结合相关科学技术， 生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装 备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应真实环境的感受和 体验。随着社会生产力和科学技术的不断发展，各行业对虚拟现实技术的需求日益旺盛，人 们对虚拟现实技术的研宄日益重视，虚拟现实技术也取得了巨大进展，并逐步成为一个新 的科学技术领域。
[0003] 计算机动画可以提供直观的视觉感知与丰富的多维信息，已经在人们的工作和生 活中得到了广泛应用，并影响了人们的工作效率和生活方式。随着人们生活水平的日益提 高，设计制造、影视制作、文化娱乐、数字教育等行业，迫切需要更高效的计算机动画生成技 术，以及更多样的计算机动画驱动方式。例如，设计制造行业需要快速模拟出产品的三维动 态效果，以缩短设计缺陷的发现周期，降低产品设计制造成本；影视制作行业需要综合多种 方式，快速生成影视角色及服装的三维动态效果，以及影视场景内容的三维特效；文化娱乐 行业需要以图像视频素材为驱动，快速生成虚拟对象的三维动画，为虚实融合的交互互动 环境构建生成奠定基础；数字教育行业需要综合教学内容的各种素材，快速生成直观、形象 的三维动画演示，为教学质量的提高提供支撑。
[0004] 计算机动画生成是虚拟现实、计算机图形学、计算机视觉、视频处理等研宄领域及 其交叉方向的研宄重点。布料动画生成是计算机动画生成的重要内容和研宄难点，其致力 于高效地模拟出布料及其动态运动效果。早期的布料动画生成，利用可变形曲面描述布料， 通过纯几何变形，快速生成外观近似真实布料的三维动画，但生成的动画效果逼真度差。随 着计算机的发展及计算能力的提高，研宄人员通过为描述布料的可变形曲面赋予物理属 性，利用物理仿真技术，模拟出符合物理规律的布料三维动画，能够生成逼真度高的动画效 果，但生成速度较慢。近年来，随着摄像机的普及、以及布料动画数据的积累，逼真布料动画 快速生成、以及数据驱动的布料动画生成，已经成为相关领域的国际前沿研宄方向。
[0005] 基于多视频三维重建的布料动画生成方法，能够生成与真实布料动态效果相似的 布料动画，然而往往需要复杂的数据采集系统，而且被测服装的结构和运动都比较简单；数 据驱动估计的布料仿真参数，能够较为准确地描述布料的内部力学特性，可以在一定程度 上提高布料动画的逼真度，而现实世界中服装总是在复杂外界条件下发生形变，仅仅利用 估计的仿真参数，难以生成与真实服装运动相似的动画。基于轮廓的服装三维模型构建方 法，可以利用单张图像构建服装三维模型，但只能生成有限人体姿态对应的服装三维模型。
[0006] 为了解决服装三维动画快速准确的生成问题，因此，本发明的目标是提供单视频 内容驱动的服装三维动画生成方法，该方法可以便面复杂的数据采集系统，突破人体姿态 限制，生成与食品中服装运动相似的服装三维动画。
【发明内容】
[0007] 为完成发明目的，本发明采用的技术方案是：
[0008] (1)视频服装边界提取与无着装人体三维模型序列生成。视频服装边界提取，首先 利用成熟的工具从视频图像中分割出服装像素区域，然后根据服装像素区域，逐帧提取出 服装边界序列。有许多成熟的工具可以完成从视频图像中分割出服装像素区域，只需要少 量的人工交互，就可以从视频图像中分割出目标对象像素区域，类似的功能模块已经集成 到软件AdobeAfterEffects中。
[0009] 从着装人体运动的单个视频中估计无着装人体三维模型序列，可以通过两个步骤 实现：首先根据视频图像内容，估计出骨架图描述的人体姿态变化序列；然后利用人体姿 态变化序列和视频图像中提取的人体轮廓序列，估计出无着装人体三维模型序列。
[0010] (2)基于视频人体及其三维模型的服装三维动画初始形状生成。普通相机拍摄的 着装人体运动视频，其帧率一般为30FPS，帧时为1/30秒，因此，根据输入视频估计的无着 装人体三维模型序列中，连续无着装人体三维模型之间的时间间隔也为Atft= 1/30秒。若 以该时间间隔作为仿真时间步长，通过物理仿真方式，生成每帧服装三维动画的初始形状， 可能会引起碰撞处理失败或者服装三维动画抖动。为了避免这种情况，在基于视频估计的 连续无着装人体三维模型之间，线性地插入hs-l(本发明中hs取值为66)个三维模型，插值 生成的连续无着装人体三维模型之间的时间间隔变为At=At&/hs。利用线性插值获得 的无着装人体三维模型序列，以△t为仿真时间步长，通过物理仿真，从上一帧服装三维动 画开始，连续更新该帧服装三维动画的初始形状匕次，生成当前帧服装三维动画的初始形 状。
[0011] (3)基于视频内容边界的服装三维动画形状修正。本发明采用马尔可夫链的对 应关系构建方法，构建当前帧服装三维动画初始形状与对应视频帧服装边界之间的对应关 系，该对应关系通过服装三维模型顶点与视频服装边界点构成的点对描述；根据构成对应 关系的服装三维模型顶点与视频服装边界点之间的距离，移动服装三维模型顶点，变形当 前帧服装三维动画初始形状，获得与对应视频帧服装边界匹配的服装三维动画修正形状。
[0012] 本发明与现有的技术相比，其有益的特点是：单视频内容驱动的服装三维动画生 成方法，首次利用单视频内容驱动生成与视频内容相似的服装三维动画，适用范围广，操作 简便，能够生成比较稳定的服装三维动画。不需要复杂的数据采集系统，能够较为准确地描 述布料的内部力学特性，在一定程度上提高布料动画的逼真度，在设计制造、影视制作、文 化娱乐、数字教育等行业拥有广泛的应用前景。
【附图说明】
[0013] 图1是本发明的总体设计框架；
[0014] 图2是本发明的利用三个准则选择的T恤三维模型候选顶点。图2(a)以当前帧T 恤动画的初始形状及xy-平面为输入，图2 (b)首先计算当前帧T恤动画初始形状在xy-平 面上的投影区域，图2 (c)其次利用法向量准则选择候选顶点，图2 (d)然后利用三维模型边 沿准则增补候选顶点，图2(e)最后在法向量准则和三维模型边沿准则的基础上，利用模型 投影边界准则再次筛选候选顶点；
[0015] 图3是本发明的视频服装边界点获取过程。图3(a)输入视频图像；图3(b)视频 服装边沿像素点分为视频服装边界像素点和视频服装非边界像素点，图中视频服装边界像 素点为深色曲线，视频服装非边界像素点为浅色曲线；图3(c)视频服装边沿点；图3(d)视 频服装边界点。
[0016] 图4是本发明的服装三维模型候选顶点与视频服装边界点的对应关系。图4(a) 是输入的视频图像；图4(b)服装三维模型候选顶点与视频服装边界点构建的对应关系；
[0017] 图5是本发明的服装三维动画生成结果。
[0018] 图6本发明方法流程框图
【具体实施方式】
[0019] 下面结合附图对本发明做进一步说明，以使本领域普通技术人员参照本说明书后 能够据以实施。
[0020] 请参阅图1，为本发明所述方法的总体设计框架。根据输入视频图像，首先提取出 视频服装边界，并估计出与视频内容对应的人体模型序列；然后逐帧迭代生成与视频内容 相似的服装三维动画，每帧迭代包括服装三维动画初始形状生成和服装三维动画形状修正 两个步骤。
[0021] 步骤一、视频服装边界提取与无着装人体三维模型序列生成。提取视频服装边界， 首先利用成熟的工具从视频图像中分割出服装像素区域，然后根据服装像素区域，逐帧提 取出服装边界序列。本发明利用软件AdobeAfterEffects分割服装像素区域，在手工交 互下分割出视频中部分帧的服装像素区域，并将这些帧中服装像素区域传播给后续帧，分 割出视频中所有帧的服装像素区域。由于软件AdobeAfterEffects只能适应背景简单 的着装人体运动视频，对于背景比较复杂的着装人体运动视频，可以采用软件Macromedi