专利名称：基于静止图像的流体视频合成方法
技术领域：
本发明是一种图像处理技术领域的合成方法，具体是一种基于静止图像的流 体视频合成方法。
技术背景流体主要是指自然界里的水流、瀑布、烟雾等现象，流体视频动画合成是目 前计算机视觉领域中的一个研究热点，在数字娱乐和气象预测领域都有很广阔的 应用前景。人们不仅需要形象的真实感，也需要运动的真实感。而真实运动的复 杂度往往使得人们难以用一些过程表述，这个时候只有借助于真实世界的物理规 律才能得以体现。真实的背后就是物理，物理描述了物体如何运动、如何动作以 及它们之间如何相互影响。然而， 一方面，这个世界的有些物理规律本身很复 杂，对于现象的物理描述并不是很好，这些对应的学科发展也尚不成熟，因此也 很难建立一个比较完善的物理模型；另一方面，即使存在一个模型可供利用，但 由于计算的复杂度导致直接应用的困难。现有的图像或者动画编辑以及合成方法很难满足场景多样化的需求。因此需要一种新的流体视频合成技术来解决视频或 者动画场景多样、灵活变化的问题。经对现有技术的文献检索发现，Klingner等在《ACM Siggr即h》(全球计算 机图形与交互技术大会)(2006年第820-825页)上发表的"Fluid Animation with Dynamic Meshes"(基于动态网格的流体动画)，该文中提出采用四面体的网格来 模拟流体的动作，具体方法为应用非结构化的四面体网格来模拟流体，这些四面 体在模拟的每个时间段都会发生变化，这种方法可以使得流体边界的变化更加自 然，计算量可以集中在流体视觉变化明显的区域。其不足在于该方法虽然在细 节上改变了流体模拟的过程，但本质上仍然是基于物理的单纯图形学流体模拟， 计算量仍然很大，初始条件一旦确定就不能再改变，不能适应场景多变的要求。发明内容本发明针对现有技术存在的问题和不足，提出了一种基于静止图像的流体视 频合成方法。本发明对静止流体图像进行编辑得到流体视频，应用方便，通用性 强，视频合成的计算量小，可以方便的编辑加工包含流体的静止图像。本发明是通过以下技术方案实现的，本发明包括如下步骤第一步，建立包括对流、发散、旋转、平移和水波基本形态的三维流体模型;第二步，将要编辑的包含流体的静止图像运用抠图分割技术将待编辑的流体 部分分离出来；第三步，流体部分分离出来后，用图像补绘技术填补流体和背景的间隙； 第四步，将第一步建立的三维流体模型投影到分割的图像中，将得到的视频序列和补绘后得到的背景图像进行合成生成新的视频序列，将这些新的视频序列进行最终的动态融合得到连续的流体动画视频。所述的建立包括对流、发散、旋转、平移和水波基本形态的三维流体模型，具体为以流体力学理论为基础，对各种基本形态和基本的流体等进行理论建模。对于基本形态如对流、发散、旋转、平移和水波等在基本的NS (Navier-Stokes)方程的基础上进行建模。对于速度场的构建认为流体是不可压縮和非粘 性的，这里的速度场是三维的，按照极坐标来表示。将这些基本的速度场进行叠 加就可以建立更加复杂和灵活的速度场。对流(这里"代表速度，p为密度，u是粘性扩散率，p为压力，V是方向导数而F是外力)2 1-一Vp + uV2" + F 发散(^是流体的势，速度场"=(",, ,^)"， (r，6U)为极坐标)(1)旋转 <formula>formula see original document page 5</formula>(3)平移0 = Mr， wr=w， =0， w2=0 (4) 水波(X为水波水平位置，K为水波的波数，h为水面高度场，t为时间)mu)=2>(《,oz% (5)所述运用抠图分割技术将待编辑的流体部分分离出来，是指首先人工判断 肯定流体的部分，然后确定不是流体的背景部分，用本发明中的方法来分辨不能 确定的区域，来达到分割流体部分的目的。具体操作为将确定的流体前景改为白 色，确定的流体背景改为黑色，不能确定前景还是背景的部分改为灰色，输入这 样一张图片和原图片，通过最小化图像象素与前景和背景的差值，本方法可以自 动分离流体前景和背景。所述用图像补绘技术填补流体和背景的间隙，是指流体部分分离出来后， 再用图像补绘将填充由于流体运动所引起的前景和背景之间的间隙。由于各种流 体运动的范围不同，因此填充的大小可以根据运动大小的幅度进行调整。具体采 用基于相似区域的方法，在整个图像区域中寻找和待补绘区域最为匹配的图像块 进行复制。所述将建立的三维流体模型投影到分割的图像中，是指然后根据建立好的 平移、发散、旋转和水波等模型，选择相应的模型来将三维流体运动模型或速度 场投影到流体部分中。这个过程对于含有水波和其他流体的过程略有不同。对于 水波图像直接将水波的模型投影到图像中，对于烟雾等其他的流体图像要将各种 如方向流和旋转流等基本速度场进行叠加，然后再投影到流体部分中。投影采用 小孔成象的投影方法。将各种三维流体模型或速度场投影到流体部分后可以得到只包含流体部分 运动的帧序列，将这些帧序列与原来的背景进行合成来得到新的帧序列。将这些 帧序列连接得到连续的流体动画视频。本发明首先构建基本的流体数学模型构建并在时序图像中加以动态表达。以 流体力学理论为基础，对各种基本形态进行理论建模，生成可视媒体中各基本变 形运动如平移、发散、旋转和水波等流体模型。生成基本流体模型构建的基础后， 合成复杂变形运动，通过模式设定，使复杂变形在可视媒体中加以动态表达，使场景内容更加多样化。在以上工作的基础上，进行静止图像的抠图分割、背景图 像补绘、模型投影、动态视频图像生成，最终得到连续的流体动画视频。传统的 单纯计算机图形学模拟计算机计算量很大，耗费时间长，而直接基于视频的方法得到的分辨率较低。本发明系统使用图像处理的方法对静止图像进行编辑，不同 于传统的流体动画模拟和单纯的视频编辑。本发明针对的是单幅的包含流体的静 止图片。这些图像场景比单纯的流体动画模拟场景更加多样自然，而分辨率又比 单纯的流体视频编辑高，因此最后的视频的动画效果较好。本发明计算量小，操 作比较简便。
图1为建立的各种流体模型示意图；其中(a)为对流，(b)发散，(c)旋转，(d)平移，(e)水波。图2为图像分割抠图和图像补绘示意图；其中(a)为分割抠图，(b)为图像补绘。图3为视频合成过程图；其中(a)-(d)为瀑布的动画合成过程。
具体实施方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护 范围不限于下述的实施例。 实施例第一步、建立对流、发散、旋转、平移和水波等基本流体模型。在建立本模型过程中，本发明中与传统NS方程求解的过程所不同的是需要在求解的速度和精确性中做到平衡，因此忽略了一些因素，流体的运动看成是密 度场在速度场的驱动下进行运动。这样就可以先进行速度场的建立和计算，再进 行密度场的计算。对于速度场的构建认为流体是不可压縮和非粘性的，这里的速 度场是三维的，按照极坐标来表示。由于各种基本的形态如平移、旋转、发散和 源点流等在径向和角速度方向具有不同的物理特性，因此可以根据这些不同的物 理特性进行建模。对于水波的建模，根据海浪频谱和方向谱的相关公式实现水波的建模。通过对参数的调整可以改变水面的效果，如改变风速可以得到不同的水 面形状；改变频率分割数和方向分割数可以调整波浪模拟的细节。这种建模的方 法效果比较好，当频率分割数和方向分割数不是很大时非常逼真。得到这些基本 模型后可以进行叠加从而生成更加灵活多变的运动形态。如图1所示，(a)为对 流，(b)发散，(c)旋转，(d)平移，(e)水波。第二步、运用图像抠图分割技术将要被编辑的流体部分分离出来。 因为要对图像中的流体进行编辑，因此要将图像中的流体部分分离出来进行 编辑。抠图是将图像的背景和前景分离的技术，运用图像抠图分割技术将要被编 辑的流体部分分离出来，得到分离后的流体前景作为下面的加工备用。 在图像的合成中/ = F + (1 —丰 (6)/， ^和S分别为象素的合成、前景和背景颜色，《为权值。目的是从一个给定 的图像/中得到F， ^和a。得到的流体部分在下面的步骤中备用。将确定的 流体前景改为白色，确定的流体背景改为黑色，不能确定前景还是背景的部分改 为灰色，输入这样一张图片和原图片，通过最小化图像象素与前景和背景的差值， 即最小化下面的指标F = ||/-aF-(1-or)圳l (7)本方法可以自动分离流体前景和背景。如图2(a)所示为分割抠图。第三步、运用图像补绘技术将要分离流体后的背景图像进行补绘。 流体的运动使得流体部分和原来图像的背景部分出现间隙，如果不弥补这些 间隙就会影响最后合成的效果，因此需要对背景部分进行补绘的操作。给定一个 要被填充的区域wp，到最相似的区域^ ，然后把^的象素复制到^中。得到的背景图像在最后的合成中会被用到。如图2(b)所示为图像补绘。第四步、将第一步建立好的模型投影到第二步得到的流体图象前景，可以得 到一些视频序列，将这些序列和第三步得到的背景图像进行合成可以得到新的图 像序列。最后把这些序列进行连接得到最终的流体视频动画。图3所示为本实施例对瀑布、水和烟雾等三个单幅静止图像进行动画视频合成的全过程。(a)-(d)为瀑布的动画合成过程，(a)输入含有瀑布的图像，(b) 用图像抠图方法讲瀑布部分分离出来，(c)用图像补绘将填充由于流体运动所 引起的前景和背景之间的间隙，然后将平移和对流模型投影到(b)图瀑布部分， 得到图像帧序列，将得到得帧序列和背景(c)图进行合成来得到新的图像序列， (d)为最终视频中的一帧。(e) _ (h)是合成包含水波图像的过程。(i)-(l)是 含有烟雾图像的动画合成过程，将各种平移、旋转和发散速度场进行叠加，然后 将它们投影到分离出的烟雾部分(j)，其它的过程与合成瀑布和水波视频的过 程相同。(k)和(1)是最后得到烟雾视频中的两帧。通过使用含有流体的静止图像进行应用，测得本实施例对包含流体的静止图 像完全能够实施应用，按照本实施例的方法步骤，可制作出流畅的流体视频。本 实施例操作简便且计算机计算量减小。
权利要求
1、一种基于静止图像的流体视频合成方法，其特征在于，包括如下步骤第一步，建立包括对流、发散、旋转、平移和水波基本形态的三维流体模型；第二步，将要编辑的包含流体的静止图像运用抠图分割技术将待编辑的流体部分分离出来；第三步，流体部分分离出来后，用图像补绘技术填补流体和背景的间隙；第四步，将第一步建立的三维流体模型投影到分割的图像中，将得到的视频序列和补绘后得到的背景图像进行合成生成新的视频序列，将这些新的视频序列进行最终的动态融合得到连续的流体动画视频。
2、 根据权利要求1所述的基于静止图像的流体视频合成方法，其特征是，所述的建立包括对流、发散、旋转、平移和水波基本形态的三维流体模型，具体 为对于对流、发散、旋转、平移和水波在基本的NS方程的基础上进行建模， 对于速度场的构建认为流体是不可压縮和非粘性的，这里的速度场是三维的，按 照极坐标来表示，将这些基本的速度场进行叠加建立速度场，设w代表速度，/9 为密度，u是粘性扩散率，户为压力，V是方向导数而F是外力，^是流体的 势，速度场"=(^, ，^)7'， (r，《z)为极坐标，X为水波水平位置，K为水波的 波数，h为水面高度场，t为时间，则对流<formula>formula see original document page 2</formula>
3、 根据权利要求1所述的基于静止图像的流体视频合成方法，其特征是， 所述运用抠图分割技术将待编辑的流体部分分离出来，是指首先判断肯定流体 的部分，然后确定不是流体的背景部分，将确定的流体前景改为白色，确定的流 体背景改为黑色，不能确定前景还是背景的部分改为灰色，输入这样一张图片和 原图片，通过最小化图像象素与前景和背景的差值来分辨不能确定的区域，来实 现分割流体部分。
4、 根据权利要求1所述的基于静止图像的流体视频合成方法，其特征是， 所述用图像补绘技术填补流体和背景的间隙，是指流体部分分离出来后，再用 图像补绘将填充由于流体运动所引起的前景和背景之间的间隙，具体采用基于相 似区域的方法，在整个图像区域中寻找和待补绘区域最为匹配的图像块进行复 制。
5、 根据权利要求1所述的基于静止图像的流体视频合成方法，其特征是， 所述将建立的三维流体模型投影到分割的图像中，是指根据建立好三维流体模 型，将相应的三维流体运动模型或速度场投影到流体部分中，对于水波图像直接 将水波的模型投影到图像中，对于除水波外的流体图像将各种基本速度场进行叠 加，然后再投影到流体部分中，投影采用小孔成象的投影方法。
全文摘要
本发明公开一种计算机技术领域的基于静止图像的流体视频合成方法，首先根据流体力学的知识建立平移、发散、旋转和水波等流体的三维模型，然后对图像进行预处理，包括图像的抠图分割和背景补绘。之后将三维流体模型投影到分割的图像中，这个过程中可以根据视频编辑者的要求进行参数的调节。将得到的视频序列和补绘后得到的背景图像进行合成生成新的视频序列。将这些新的视频序列进行最终的动态融合可以得到连续的流体动画视频。本发明分步骤进行，应用方便，通用性强，视频合成的计算量小，可以方便的编辑加工包含流体的静止图像。
文档编号G06T15/70GK101324963SQ200810040909
公开日2008年12月17日 申请日期2008年7月24日 优先权日2008年7月24日
发明者刘允才, 鸣 张, 赵语涛 申请人:上海交通大学