用于三维建模的采样方法

专利名称：用于三维建模的采样方法
技术领域：
本发明涉及从一个三维表面提取信息和生成此三维表面的三维模型的技术。此技术的应用包括生成人体部位的三维模型，此模型可以用来选择批量生产的服装或定制服装的尺寸。
背景技术：
从三维表面生成数学模型的方法有多种。这些技术有很多可能的应用；但是，对于普通消费者而言，使用这些技术生成准确的三维模型过于困难和/或昂贵，因此，在例如选择衣服或试穿衣服一类的应用中，这些技术使用起来也太困难和/或昂贵。对例如人体等物体形状进行建模的困难物体形状建模，例如以试穿衣服为目的而建立人体部位的模型，是一个困难的问题。问题的许多难点在于现有形状建模技术的性质、人体形状的性质和服装设计制作的性质，包括以下内容·人的身体体型没有标准化；·生成精确的人体模型，例如为了选择定制服装的尺寸或试穿，需要进行大量的测量；·现有技术昂贵，笨拙，不准确，而且普通消费者使用起来很不方便；·标准尺寸的服装是基于模特制作的，对大部分用户来说是不准确的。举例来说，做衣服或试衣服的专家裁缝需要在用户身体部位上做许多测量。这等于说，裁缝在为用户的身体部位生成一个模型；裁缝也可能制造一个可调节的人体木偶，从而用量取的数据来调节这个木偶。裁缝的木偶是一个可调整物理模型以反映测量得到的数学模型。即便如此，服装还必须经过修改才能够合体，因为这样的模型还是不够准确。建立人体部位模型的现有技术目前已存在用于测量人体部位尺寸的自动化系统。激光身体扫描在服装裁制行业中已存在多种利用激光扫描技术来测量人体或部位尺寸的特定系统。在这些系统中，用户必须进入特殊的测量室，按照要求作姿势以完成人体尺寸测量。 该测量室中具有高精度的光源，例如安全激光灯，该光源用于沿精确定位的路径在用户身体上投射多条发光迹线。所述发光迹线从用户身体表面被反射的位置构成了一系列精确定位的参考点，基于所述参考点可以进行表面测量。经校准并位于已知精确位置的数码相机或其他光学取景传感器探测到从用户身体受激光照射位置反射的激光，并在激光照亮所述发光迹线时确定取景位置。运用如三角定位之类的数学方法，处理该位置信息以及光源和相机的确切位置，从而计算用户身体表面的实际路径位置并生成用户身体表面的数学模型。典型的此类系统包括Intellifit,网页intellifit. com/fitting_proces,和 TC2,网页tc2. com/products/body_scanner. html.(参考从万维网下载于 1 月 10 日，2009)此类系统存在以下缺点·该系统需要特殊设备，这些特殊设备必须经精确的校准；·该系统不能在消费者的家庭环境下使用；·该系统具有隐私侵犯性，即消费者需要在半公众场合，穿最少的衣服；·该技术利用的激光会给用户带来危害健康的感觉。键盘输入式测量系统这种系统中，用户手动测量自己的身体然后用电子方式将测量数据提交到系统中，由系统从这些测量数据中计算出三维模型。这些系统分为两类用来制做高级定制服装的系统，和消费者家用系统。定制高级服装的系统需要专家级的裁缝来测量用户，他们很少把从测量数据到生成身体模型的过程自动化。家用系统中，消费者自己，或在其选择的助手帮助下，测量自己的身体。这些尺寸是在家里根据操作指南来测量的。然后消费者把测量的结果输入电子表格，例如网页表格， 之后测量的结果被提交到系统中，并由系统从用户身体部位的测量数据中计算出三维模型。此三维模型可以被用来制作或试穿衣服。典型的此类系统包括 MyShape，网页myshape. com,禾口 MyVirtual Model,网页 myvirtualmodel.com/en/index.php.(参考从万维网下载于 1 月 10 0,2009)这种消费者系统存在以下问题·由消费者自己测量的身体尺寸不够准确； 对于消费者来说，在自己身体上进行多处测量是件费力的事，而且把这些数据输入到电脑里也是费力的；·手动提交数据的过程有可能出错；·无法提供足够的所需测量数据，或者无法提供许多所需的特殊测量。基于特征的建模基于特征的建模已被用于表面建模。基于特征的建模能根据一组二维图像来生成一个三维模型。基于特征的建模从图像中提取特征。一个特征代表了图像组中某个图像里出现的该表面上的一个元素。该特征标识了在图像中这一元素出现的位置。如果某个元素在多个图像中出现，每个图像可提取一个特征。基于特征的建模系统能利用图像组中图像里多个特征的不同位置，来生成这个表面的三维模型。在多个图像中，这个找出多个代表着该表面同一元素的特征的过程，称为建立特征之间的相互关联。一个使用基于特征建模技术的例子是计算机视觉系统。两个关于计算机视觉系统的参考文献是“计算机视觉一种现代方法(Computer Vision :A Modern Approacti) ”，作者大卫 Α.福赛斯(David A. Forsyth)和吉恩旁西(Jean Ponce)，普伦蒂斯 霍尔(prentice hall)，2002，和“在计算机视觉中的多视觉几何关系(Multiple View Geometry in Computer Vision)，第二版”， 作者理查德哈特利(Richard Hartley)和安德鲁西塞曼(Andrew Zisserman)，剑桥大学出版社(Cambridge UniversityPress), 2004o基于特征的建模技术包括立体视觉技术， 此技术要求照相机的视角、位置和旋转角经过精确的校准，利用相互关联的特征以生成三维模型；由运动恢复结构技术，此技术不需要精确校准的照相机就能利用相互关联的特征
6生成三维模型。基于特征建模技术也被应用到建立物体动态模型和对人体的动作捕捉。一个典型参考文献是“拓展活节式构筑物约束的无标定动作捕捉(Uncal ibrated Motion Capture Exploiting ArticulatedStructure Constraints)，，，作者大 Hl 勒 t専维茨 (DavidLebowitz)和斯蒂芬卡尔森(Stefan Carlsson)，2001年第八届计算机视觉，IEEE 会议温哥华，不列颠哥伦比亚省。不论是立体视觉技术还是由运动恢复结构技术，从拟建模表面的一组图像中生成此表面的模型，包括以下步骤·图像获取一组从不同视角对该表面拍摄的二维图像；·特征提取在图像组的每个图像中，提取出特征；·特征相互关联在多个二维图像之间，相同的特征被辨别出来并被匹配；其中特征相互关联的另一种称法是特征匹配；·模型计算利用在图像中相互关联特征的位置信息，计算出该表面的三维模型。为提高特征的质量，可采取额外步骤，例如处理图像或图像信息步骤。到目前为止，如果要根据相互关联特征生成一个精确模型，用立体视觉建模的严重局限是一个或多个相机相对于被建模表面的位置和角度，以及相机焦距，都必须精确校准。一个讲述立体视觉中相机校准数学理论的参考文献是“一种使用现成的TV相机和镜片的用于高精确度的3D机器视觉测量的通用照相机校准技术(A VersatileCamera Calibration Techniques for High-Accuracy 3D MachineVision Metrology Using Off-the-shelf TV Cameras and Lenses) ”，电机及电子学工程师联合会杂志机器人和自动化卷(1987年8月第4期第RA-3卷)。到目前为止，使用由运动恢复结构技术来建模的严重局限是在这组用以建模的图像中必须出现足够多的被建模表面的元素，才能有足够多的可相互关联的特征被提取， 进而提供足够密度的特征群，以建立达到实际应用准确度要求的模型。人体就是一个例子 人体表面通常没有足够的元素呈现在人体图像中，进而无法提取足够多的可相互关联的特征群来建造足够准确的，用于试穿衣服的模型。

发明内容
发明目的本发明的目的是，提供生成三维表面图像的技术，以解决现有方法中存在的问题。 该技术不需要精确校准照相机，而且能在图像里提供足够密集的元素，从而使得任意所需密度的可相互关联特征都可从图像里提取到。本发明的简要概述—方面，本发明目的之一是提供一种获取一组图像的方法，此组图像可用于生成一个表面的三维模型。此方法包括以下几个步骤在被建模的表面上加上一个图案。被建模的表面上的图案含有在被建模的表面上具有独特性的图案元素。在图案被加上后，拍摄一组表面的图像。这些图案元素在图像中可见。由可见图案元素中提取建模所需的特征。 可见图案元素的独特性使得从它们提取的特征之间可以建立起相互关联。可提取特征的密度是由图像组中可见图案元素的密度决定的。
本发明的另一方面是提供一种从上述方法得到的图像生成表面三维模型的方法。 此方法的步骤是从可见图案元素中提取可建模的特征，利用可见图案元素的独特性来建立已提取特征之间的相互关联，以及利用建立相互关联的已提取特征来生成三维模型。另外，本发明的另一方面是提供一种有上述图案并紧贴被建模的表面的覆盖物。 当此覆盖物紧贴在被建模的表面上时，用上述方法可拍摄一组图像。利用这些图像，可生成三维模型。覆盖物可以是用于制造模型的套件的一个组成部件。此技术实际应用之一是获取人身体部位的模型。在这个应用领域中，覆盖物是一件有着上述图案的服装，穿在被建模的身体部位上。本领域技术人员在仔细阅读以下详细说明以及附图之后，本发明的其他目的和有益效果将一目了然。


图1示出了一个优选实施例的大概操作过程；图2是在优选实施例中提取特征和使特征相互关联的流程图；图3示出了用于提取特征和建立特征相互关联的数据结构；图4示出了两个带有优选实施例图案的服装的例子；图5示出了穿着这种服装的人的几个视角，以拍摄图像；图6示出了一个典型的利用这种服装生成的线框模型；图7说明在优选实施例中这种服装的用法；图8示出了优选实施例图案的例子；图9示出了优选实施例中参考对象的例子；图10示出了姿势辅助物件的例子；图11示出了使用网络摄像头的优选实施例；图12示出了在优选实施例中，特征提取、特征的相互关联和建立模型各部分之间的关系。附图标记有三个或多个数字右边两个数字是附图内的标记，剩余的数字是附图号码。因此，第203项首先会出现在附图2的标记203。
具体实施例方式本发明的以下详细说明首先提供了此项创新技术的概述，然后公开了为试穿衣服生成人体部位三维模型的实施例。发明技术概述本发明的技术为在一定情况下生成物体表面三维模型的问题提供了一个解决方案。这些情况是模型有特定的精确度要求，而且在被建模的表面所产生的图像中没有足够的元素从而无法提取足够的可相互关联的特征，进而无法提供满足模型精确度要求的可相互关联的特征的一定密度。上述问题通过在被建模的表面上加一种可视图案予以解决。这种图案为上述实际应用提供了足够的可提取的特征，并且进一步提供一些特征，使这些特征利用被建模的表面上的图案元素的独特性很容易被相互关联起来。这里，在上述表面上具有独特性的图案元素是指在表面上独一无二的那部分图案。上述图案可用任何便捷的方法施加到表面上， 包括但不局限于在上述表面描画图案，在表面上投射图案，或在表面上覆盖具有上述图案
的覆盖物。上述技术可与任何基于特征的建模技术联合使用，以增加特征的密度，使特征的密度高于从表面的图像中可直接提取的特征的密度。

图1示出了本发明技术的图形化流程概述图，上述流程从100开始。110显示给表面加图案的第一步。示例性的物体是位于111处的一个具有覆盖物的中等高度圆形物体。本实施例中，图案是由不同颜色的实心矩形网格所构成。这种图案有着充分的独特性，使得从上述被覆盖物体的图像中可以提取所需要的可相互关联的特征， 同时这些特征具有足够高的密度，从而利用由运动恢复结构技术可以建立具有所需精确度的表面模型。120显示从不同角度对具有图案的物体111拍摄二维图像组的步骤。120例示三个照相机拍摄角度121，123，125。如120所示，图像取自多个不同的拍摄角度。由于是利用由运动恢复结构技术来生成模型，随后的140步中，相对于物体表面的相机位置和方向以及相机焦距无需特殊校准。130例示获取多个二维图像131。每一个图像显示具有覆盖物的物体的不同视角。 然后这些图像被提供给由运动恢复结构的建模系统一个例子是配备软件程序的计算机系统，上述软件利用由运动恢复结构算法从图像信息中生成三维模型。140是用由运动恢复结构系统建立模型的步骤。该系统通过执行软件来使用算法提取特征和建立特征之间的相互关联，并且利用由运动恢复结构算法从有覆盖物的表面的二维图像产生表面数学三维模型150。由运动恢复结构的建模系统如上所述。下面附图2 描述了特征提取和建立相互关联的具体实现。140的输出如150所示。150代表140生成的数学模型。数学模型的形式取决于140步骤中运用的由运动恢复结构算法一种形式是用一组上述表面模型的(χ，γ，ζ)三维坐标。此数学模型也可用线框的形式来表达线框模型是一种数学模型，此模型中在数学表面上的相邻各点由线段相连。附图6例示另一物体的线框模型。模型可以是静态模型，或动态模型。静态模型不反映移动表面。动态模型则反映移动的表面例如，表面的运动可以由变化矢量来表示，或一系列有时间顺序的表面静态模型来表示。一个模型可以是另一个模型的子模型。例如，在优选实施例中，躯干或左手臂可具有模型，这些模型都可以是人体上身模型的子模型。当一个模型包含子模型时，可视图案元素只需要在子模型中具有独特性。任何物理对象，例如需要更换的机械零件或一件艺术品，均可被建模，建立的模型可用来制造机械零件的替代部件，或艺术品的副本。模型也可以用于生产不同大小的物理对象的副本，如小一号的艺术品副本，或作为某个过程的一环生成物体的修改版，例如一尊雕像的副本中，某部分被改变而其余部分忠实于原始形象。在物理对象上加上本发明中的覆盖物，则可以就地建立此物理对象的模型，例如因不能轻易移动或运输而无法测量的大物体此类物体可以是任何物体，包括或大或小的考古文物，大型或重型设备，或建筑物。作为一个例子，模型可用于生成数据输入给三维打印机，三维打印机可制造物体的副本，大型或小型的个人雕像，定 制的奖品，或其他物体。建立相互关联概述(以优选实施例为例)图2是在图1中140步显示的特征提取及建立特征相互关联技术的流程图。该说明以优选实施例为参考这些例子并不是用于限定本发明。此过程从201开始，以图1中130步图像组中的图像之一为输入。211显示在图像中初始特征检测的步骤。这里，对特征的初始检测是指从图像中提取信息，以找到用以建立模型的特征的过程。特征初始检测有多种可能的办法。例如，在优选实施例中可应用边缘检测如已知的索贝尔(Sobel)边缘检测和坎尼(Carmy)边缘检测。 此步骤也可应用如平滑滤波处理以降低图像噪声等技术，来提高图像质量同时保留初始特征检测中的信息。213步检测出可用来建立模型的特征。优选实施例使用特征模板匹配的方法来检测图像中的特征。如203和205所展示，在优选实施例中，明确定义的几何形状被用作模板， 然后利用霍夫(Hough)变换之类的已知技术来将特征提取出来。在优选实施例中，图案和样板一起设计，以达到整体系统的性能最优化。205说明这种模板可以被参数化，因此任何类型的图案都可以使用，例如含有象商标，徽标，和图形符号之类任意元素的图案。在215步，利用被建模的表面的图案元素的独特性，在213步中检测出的特征被辨别出来。例如，在优选实施例中，每个图案元素的颜色组合被用来与特征参考表格中的条目中定义的颜色组合一一对照，附图3的300例示此步骤。当一个元素的颜色组合与特征参考表格中定义的颜色组合完全一样时，此元素对应的特征便会在条目中给于一个特征编号。217显示一个可选的利用更大图案的独特性的步骤，此较大图案含有在图像中不具备独特性的较小图案部分。当一部分图案在图像中不可见时，就会出现这类问题。不可见的图案部分被称作被挡住的部分。在优选实施例中，躯干上的部分元素可能会被用户的胳臂挡住。如果被挡部分旁边的特征已经被分辨出来，优选实施例中的图案的设计可以利用旁边已分辨的特征将被挡部分的特征也分辨出来。下面图3中的300所示数据结构进一步解释了此概念。219显示建立相互关联的步骤，此步骤建立多个图像中相同特征之间的相互关联。 此步骤的输出，如250显示，是多组为每个已识别特征所建立的相互关联的信息。250是特征提取和特征相互关联过程的输出，此信息将被由运动恢复结构的建模技术所利用以建立模型。在优选实施例中，相互关联是这样建立的在多幅图像中利用全局搜索方法，将不同图像中已分辨出的相同特征互相匹配起来。这一步描述于图3的350。优选实施例中的一些例子图3描述两个在图2中提到的优选实施例的数据结构。300举例说明优选实施例的特征参考表中的一个条目。301被标记为特征编号，是用来在参考表中辨别此特征条目的独特键值。303标记为身体部位。在优选实施例中，覆盖在不同身体部位的服装可能具有不同的图案。身体不同部位的模型是整个身体模型的子模型。在这样的情况下，图案元素只须要在子模型的图案内保持独特性。身体部位303是一个标识符以表示此特征所出现的身体部位根据服装的特定形式，例子可以是躯干，左腿，右臂，左小手指。因此这些标识符被用来辨认图案所覆盖的子模型。
305是一组色彩组合的数值，此组合出现于301中特征编号所对应特征之组成元
ο

307的数值是特征编号301附近的特征编号的数值。此例中，用来提取特征的图案元素的位置大约遵循直线排列方式四个附近的特征被简单的标为此输入特征的上面，右边，左边，或下边的特征。309表明，根据特定的实际应用，特征参考表的项目中还可能包括更多的信息。350例示一组关于一个特征的相互关联信息，如图2的250所述。361和363表示已在两个图像之间建立相互关联的某个特征的记录365表示此特征也可与其他图像相互关联。这组里的每一个记录都对应于同一个特征，因此具有相同的特征编号值351。351和353分别代表一个特征，和具有此特征的图像。355显示特征351在图像353中X和Y坐标数值。图12示出了，在优选实施例中，提取特征，建立相互关联，和生成模型的软件在具体实施时的关系。1210表明，实现特征提取和特征相互关联的软件可以共同地被视为基于图案的图像分析仪。基于图案的图像分析仪1210的输入是一套被施加有图案的表面的二维图像，如图2的201项所显示。1210分析仪的输出是一组已建立相互关联的特征，如图2的250项所显示。1211描述分析仪1210的内部运作是如何实现的，它首先包括一个这里称为基于图案的特征提取器的通用部件。此部件的输入是一组二维图像1201，输出是被提取的特征 1213。此输出转而成为第二个通用部件1215的输入，这里称为基于图案的特征相互关联器。1217的输出是多个图像1201中已被相互关联的特征。分析仪1210通用部件的输出是一组建立了相互关联的特征，如1221所示。此输出是1231的输入，1231在这里被称为一个由运动恢复结构的建模器，并被标注为已知技术从多组具有足够密度和质量并建立了相互关联的特征通过由运动恢复结构进行建模的技术，已在计算机视觉的参考文献里有详细描述.在这里，建模器1231输出的是表面1233 已构建好的三维模型。分析仪1210的输出也可被提供给任何一种利用相互关联的特征来建立模型的系统。例如，此输出可被用来提高立体视觉系统建模精度。优选实施例概述优选实施例是一个用来生成人体部位三维模型的系统。用于特征提取和特征相互关联的图案，通过带此图案的服装加在拟建模的人身上。这种服装与被建模的人体部位表面形状密切相贴。用这种服装建立模型的过程如下·用户在拟建模的身体部位上穿上这种服装；·穿着有这种图案的服装用户使用普通的数码相机从不同的角度拍摄一组自己的二维图像，由于是使用由运动恢复结构的建模技术，照相的方法不存在特殊要求。·这些图像被提供给由运动恢复结构的建模系统以构建模型。·由运动恢复结构的建模系统从图像中的图案里面提取特征，以及建立特征在多个图像中的相互关联。·利用这些特征所提供的此表面的信息，由运动恢复结构建模系统生成被此服装覆盖的身体部位三维模型。
附图4显示在目前优选实施例中两个这种服装及其图案的例子。400显示带图案服装的一种形式。此服装覆盖着而且紧贴着躯干401 此实施例中服装由足够贴身的材料制成，从而建立模型以便根据此试穿衣服是否舒适合身。用户作出向远离躯干的方向伸开双臂的姿势403和405，如此便可以从多个角度拍摄服装的图像。410显示第二种形式的服装411，这种图案同时也覆盖着双臂，如413和415所示。410显示的服装是由更贴身的材料制做的，例如氨纶。图5显示用户穿着优选实施例中的一种覆盖躯干和双臂的服装，做出和图4中400 相似的姿势，用照相机摄取图像的过程。501，503，505和507分别显示了从前面，左面，右面，和后面的角度摄取得图像。此例中带有图案的服装也覆盖了双臂。图6例示一个利用从图像中提取的特征信息而生成的由线框描述的三维模型。该模型代表一个利用图4的400中的服装所建立的模型，在图4的400中，这种有图案的服装覆盖了躯干，如601所示。这个模型不包括衣袖的表面或双臂，如603所示。以上这些为试衣服建立人体部位模型的技术包括以下优点·成本低唯一的特殊物件是带有图案的服装，这种服装制做便宜，且可以做成一次性使用服装。·易于制造和供给这种服装可以通过普通成衣的生产方法，由普通材料来制做， 而且服装可以通过普通邮件或其他方式提供给消费者。 对于普通消费者来说，易于使用，操作简单，不需要特殊的专长或培训。图像可以用普通消费级数码照相机来摄取，例如消费者可能已经拥有的普通相机。照片的拍摄角度及照相机和用户的位置，既不需要进行校准也不需要预先确定。图像可以很容易地提供给计算机来建造模型。·可用于消费者的家居环境，不需要或只需很少的帮助。·结果准确并且可靠生成的模型非常准确且精细。目前优选实施例的细节在目前的优选实施例中，用于建立人体躯干、肩膀和双臂模型的服装是一个长袖衬衫。该服装是由贴身、紧身并具有足够弹性的材料做成的，以便此服装能紧贴在身材大小不同的用户身上、肩膀和双臂上。氨纶是一种适合的服装材料，但也可采用其它材料图4 的410显示一个用类似于氨纶材料做的服装。如果此应用不需要建立双臂的模型，袖子可以从服装中省略。对于任何身体部位，都可以用同样的方式制作服装。该服装的使用图7详细地说明了在优选实施例中使用该服装的方法。710中的人形表示一个穿着服装的用户。作为示例，这里显示的人形全身穿着这种服装。两个照像机被标记为714和715，代表从不同角度712和718对穿着服装的用户进行拍照。716是一个可选的辅助物件一个在用户做姿势时用于支撑用户双臂的支架，其介绍如下。708是一个可选的辅助参考对象，在此例中，此辅助参考对象与辅助物件716相结合，以帮助决定图像和三维模型中的物体实际尺寸。在720中脚部的图案有着较大的密度 这一身体部位相比于躯干722具有较大的曲面曲率，因此需要较大的图案密度才能建立准确的脚部曲面模型。 这种服装可以是任何方便形式的服装，并可以覆盖多个身体部位。例如，这种服装可以是全身套服的形式。这种形式的服装，可能对某些实际应用方便一些，例如在商店里更衣室中使用的服装。这种服装可以用任何方便的方法整个或分部分制做，例如按需制做。比如，在需要的时候，这种服装可以由用户在其计算机打印机分部分打印，然后再结合起来。上述图案的例子图8显示多个在目前优选实施例中服装图案的例子。四种图案的例子是800， 810,820和830。801,811,821和831分别展示细节放大的图案。810,820，和830中显示的每个图案均由类似于网状结构的元素组成，其中元素由具有多个彩色部分的几何形状构成。图案元素中各部分的颜色组合在此模型上(可以是一个子模型)是独一无二的，从而为提取自不同图像的特征提供了建立相互关联所需的独特性。然而，这里没有要求图案必须是由类似的几何元素组成，也没有要求图案的任何一部分必须有规则的排列，也没有要求图案必须包括某种特殊独特的元素唯一的要求是能从图像里提取足够高密度的特征以建立模型，同时图像中的图案元素能为提取的特征建立相互关联。在图8的例子中，利用与特征对应的各部分颜色组合，提取的特征可以建立起相互关联。在覆盖被建模身体部位的服装上，此组合具有独特性。在目前优选实施例的图案中，提取的特征间的密度定义为在直线上不小于一个特征间距，为使得特征密度能够益于建立用以试穿衣服的人体躯干模型，此密度定为3厘米。 优选实施例中，较大的密度，如在直线上特征间距为1厘米的特征密度，可能被用于身体的其它部位。在不同部位的图案可能有不同。有着不同特征密度的图案可用于服装的不同部分。例如，在服装覆盖的身体部位具有比其他地方高的局部曲率时，可采用较大密度，例如， 对于手臂与躯干，手臂表面一般比躯干表面有较大的局部曲率。图案800是由框格线条组成，此线条由构成正方形的有颜色的线段组成。在优选实施例中，特征从线段的交点处提取模型中特征的位置由相关图像中线段交点的位置所决定。801显示一部分图案的放大视图803表示一个具体的图案元素803的箭头指向线段的交点。图案810是由多个不重叠的圆形元素组成的。这些圆形是由多个彩色的四分之一弧线段组成。在每一个弧线段内侧又有第二个彩色的弧线段。在优选实施例中，特征根据弧线段的组合来提取特征在该模型中的位置由圆形的中心决定。在这个图案中，圆形中颜色组合提供了特征的独特性。811显示一部分图案的放大视图813表示一个具体的图案元素813的箭头指向圆形的中心。图案820是由多个不重叠的十字形元素组成。每个十字形的一个臂是一条彩色线段。在每个臂的旁边还有另外一条彩色线段。在优选实施例中，特征是利用线段的组合来提取的特征在该模型中的位置由线段交点的位置决定。在这个图案中，线段颜色的组合提供了特征的独特性。821显示一部分图案的放大视图823表示一个具体的图案元素823 的箭头指向十字形的中心。图案830是由多个不重叠的钻石形元素组成。钻石形状的每边是彩色的线段。在钻石形状的外侧是第二组由彩色线段组成的边。在优选实施例中，特征是利用线段的组合来提取的特征在该模型中的位置由钻石形状的中心决定。在这个图案中，钻石形状中颜色的组合提供了特征的独特性。831显示一部分图案的放大视图833表示一个具体的图案元素813的箭头指向钻石形状的中心。
拍摄图像用的辅助物多个可选的辅助器材可以和服装一起使用。参考对象对于某些应用，从用以生成模型的图像里可能难以确定模型的实际尺寸。可以在一个或多个出现图案的图像里包括一个尺寸已知的参考对象，作为解决问题的辅助物。参考对象可与其他物件结合使用。图9显示优选实施例中一个可选的参考对象的例子。910显示优选实施例中一个可选的参考对象的例子，由一个粘在服装上的方形标签组成另一种选择是，标签可以永久做成服装的一部分。标签的正面打印有915所示的如下指示。“请贴在你的服装上。不要弯折。”标签917的背面是粘性表面，可在使用时将标签贴在服装上。同时在标签上印有一组参考标记911和913，参考标记的尺寸以及标记之间的距离是已知的，从而提供实际尺寸的参考。标记被着色以便在图像里更容易将标记识别出来。标签也可以具有已知的尺寸， 也可作为实际尺寸的参考。900展示优选实施例中可选参考对象的另一个例子。900显示两个由类似军用识别牌的标签，例如901中的标签，做成的参考对象。标签的尺寸已知，从而提供了实际尺寸的参考。标签可以方便地通过锁连903佩戴在脖子上。可选的参考对象无需与服装一起提供。用户已经拥有的物体也可以作为参考对象使用。例如，标准A4纸或81/2”xll”纸的大小是已知的，从而提供了实际尺寸的参考。该张信纸可以放在背景里从而使其在多个带有这种服装的图像中可见。姿势导引在像优选实施例这样利用由运动恢复结构技术的系统里，模型是根据所拍图像里的信息而建立的，而这些图像是在相对于表面不同的照相位置拍摄的。对用户来说，如何知道最佳的照相机位置可能会是个问题。辅助的姿势导引物可用于解决这样的问题，此姿势导引可帮助穿着这种服装的用户照出一组可以生成模型的图像。姿势导引可以是静态的，也可以是互动的。优选实施例中静态姿势导引的一个例子是打印出的垫子，如图10所示。打印出的垫子包含文字说明， 并含有符号用以显示为不同图像用户应如何、在哪里做姿势。当然，这些说明可以是图标式的或文字式的。1000显示一个打印垫子的例子。例子1000是为如下拍照方法设计的用户站立在大致上相同的位置，帮用户拍照的人用照相机从不同方向对用户拍照姿势导引显示了照相角度的最佳位置。1001建议用户首先站在黄色的脚印1005上。垫子上按顺序为每一个图像印制了指示，如在1002上:“从这个方向拍摄第7个照片。“1003和1004所示参考线显示了图像摄取的方向。1050显示另一个类似的打印垫子的例子。例子1050是为如下拍照方法设计的 照相机处于一个固定位置，在照每一个图像时，用户相对于照相机做不同的姿势。垫子有几个彩色的“脚印”图标，显示用户在哪里站立或移动，例如在1054。1502和1053是多条指明方向的参考线之中的两个参考线。在垫子上印有说明，如1051所示“步骤7 站在绿色脚印上”。如果图标和服装同时在多个图像中出现，那么打印垫子上尺寸已知的图标就可当作可选的参考对象使用。当然，任何姿势导引的实施例均可使用，正如任何其他形式的辅助物的实施例均可使用一样。辅助器材当表面组成部分在多个图像里处于相同或接近相同的相对位置时，由运动恢复结构的某些技术可能会产生更好的结果。给与用户一个辅助器材可以解决此问题，此辅助器材帮助用户在每个图像里做出相同的姿势。例如，可以用辅助器材来提供一个稳定手部的支架，使用户可以更舒适地将双臂保持相同姿势。图7例示一个辅助器材716的优选实施例。此辅助器材是一个在作姿势时用来支撑双臂的支架。此辅助器材也可以结合另一物件，例如辅助参考对象，一起使用708说明了此概念。此辅助器材也可以是用户已有的合适物件。例如，高背椅子可能适合于让用户将手放在椅子顶部。辅助物的各种形式辅助物可以以各种形式提供，并可以以各种组合形式提供，例如在辅助物件上印刷姿势导引。提供用来分析的图像图像可以用任何方便的手段或形式提供给建模系统以计算三维模型。例如，图像可以通过电子图像的形式，或照片形式，或胶卷形式，或录像带或视频文件形式，提供给系统。在特定的具体实现中，电子形式的图像可被方便地提供给个人电脑，或到互联网。又例如，如果使用网络摄影头，图片便可以自动地提供给系统。在一些实施例中，个人计算机可以运行软件来完成从图像生成模型这个过程其中一个或多个步骤，这时某些中间结果可以被上载到服务器，做包括应用处理在内的进一步的处理。这些中间结果包括改进质量的图像、特征，特征的相互关联，或建立好的模型。使用网络摄影头的典型优选实施例网络摄影头或者其他视频摄像机可被用于拍摄建模用的图像。摄像机可以连续地摄取图像。用户可以在镜头前移动，从而方便地产生从不同角度拍摄的图像。图11显示一个利用网络摄影头的优选实施例。穿着这种服装1111的用户1110 所使用的个人计算机1100运行某软件来显示指令，此指令指导用户如何为拍摄图像做姿势或如何移动这里所指的显示包括呈现给用户的任何形式的输出，例如可以是声响形式的输出。网络摄影头1101由该软件控制来摄取图像。该软件可以通过计算机的显示屏显示摄影头所拍摄的现场图像1103，从而使用户能够随时观察能否拍摄出适合的图像，并调整姿势，光照，及用户与摄影头的距离，或其它方面的图像参数。该软件可以显示指令形式的姿势导引，如1105所示。如果图像是静态图像而不是视频，该软件还可以在每个图像拍摄完后显示该图像，这样用户可以舍弃不理想的图像。该计算机也可以利用算法程序来验证图像的质量，并在1105为用户提供实时的反馈意见。例如，该软件可以决定图像里是否有足够数量的可见图案元素，是否可以看见用户的大部分身体，或是否能够从图像中提取足够数量的特征，或照明是否合适。
15
在网络摄影头实施例或其他实施例里，计算机软件也可以执行程序来生成三维模型，并将模型以图形形式显示给用户。计算机也可以给用户显示利用该模型生成的虚拟图像，例如在用户的实际体型上，显示根据模型形状而制造的衣服。用该服装生成的三维模型的使用对难以测量的对象的建模除了前面提到的使用方法，这种服装还可以用于为难以被测量的对象建立模型。 例如儿童或动物，作为被测量对象他们不会充分配合传统的测量方法。可以给他们穿上某种形式的这种服装，建立其形状模型，从而完成测量。这种服装特别适合于运动捕捉，因为穿上的服装能够紧贴在被捕捉运动的对象身上。人体部位模型的使用试穿衣服该模型可以作为技术参数，为被建模的用户生产合适的服装。该模型可以用来选择现成的或尺寸已定的衣服，以使用户穿着合身。这种服装可以是建模套件中的一部分，所建立的模型用以制作合身的衣服。该套件可以包括这种服装和在使用时取得指令的办法。根据特定实际应用中的需要，该套件可以包括更多的物品，如上述打印的垫子，参考对象，上述网络摄影头以及软件。另一种形式的套件可以由这种服装和可放置带有内置相机的手机的支架组成图像可通过电子邮件直接从手机上载。除了上述例子，在某些实际应用中，该服装可以作为套件的一部分而被提供。该套件还可以包括使用这种服装时的辅助物件，而且该套件可以包括针对特定应用的物件。例如，可以提供套件以参与电脑游戏，或医疗/健康诊断或治疗，或者体育训练。在套件中，这种服装可以是一个覆盖物，以用来为对象在现场直接建立模型。显示体形变化在用户体形可能变化的情况下，该模型可以作为一种记录方法，来记录用户的体形。例如，它可以用来记录个人体形在减肥计划，健身计划，怀孕期间，身体自然生长，整容修身手术，或其他任何造成体形改变的过程之前，期间，和之后发生的变化。模型当然也可以被操控。操控的模型可以用来展示人体部位的形状在改变之前的样子，及身体在改变之后看起来怎样，例如减肥计划、健身或外科手术产生的变化。解剖和生理上的应用模型可以用于生理领域的应用中，如外科手术的准备工作。特定病人的三维人体模型可以与计算机断层扫描(CT)、核磁共振(MRI)等其他输入模式相结合，从而为准备手术提供全面的、解剖学准确的虚拟病人描述。通过操控该模型，医生可以对假想情况进行分析，或模拟手术中复杂的操作步骤。化身模型可用于为用户生成化身或其身体的虚拟形象。在这里化身是指人或实体的数码表示。利用用户自己的身体形象或化身，该模型可以生成个人化的电子商品目录，例如把衣服显示成仿佛真的穿在用户身上一样，或其他物品仿佛真的被用户使用一样。用户可以据此决定是否选定或购买此衣服，或改变衣服合体程度从而使衣服有不同的适体度。用模型生成的化身的其他用途包括娱乐游戏，此类娱乐游戏显示以真人为题材的图像，如体育模拟游戏。化身也可以是特定体育人物的图像，从而使图像具有真人的真实感的和动感。统计多个这种模型可以被设计师作为数据库的组成部分来使用，从而在设计标准尺寸的衣服或其他物品时，作为一个统计工具以了解身体体形的分布。这里，设计师是指设计必须合体的服装或其他物品的设计师。培训和教育模型，包括动态模型，通过逼真地显示用户实际外观或者用户外观/体态会如何改变，可以在时装表演，舞蹈，或体态训练中用来培训用户。模型可以在虚拟训练系统中使用，例如战斗，紧急情况处理，体育培训，以产生更逼真的用户虚拟图像，虚拟物理事件和与虚拟环境的交互，或者与其他用户之间在虚拟环境下的交互。运动捕捉和运动输入使用这种服装生成的动态模型可用于运动捕捉，或作为电脑游戏输入信号以提供更多或更真实的游戏控制。除了已经提到优势外，本技术在运动捕捉方面相对于现有技术的一个优势是，这种图案的使用使得可以应用运动恢复结构技术来建模，而不是利用表面特定点的位置，如身体的关节点，来建模。游戏里的化身可以被输入信号控制以生成化身的图像，该化身图像可逼真地反映用户实际运动，并且可进一步显示与用户实际外观十分相似的化身，即便在用户外观变化时也如此。社交网络和个人选择该模型可用于社交网络。例如，用户在社交网络的社区可以提供她或他精确的的身体三维模型以作为其在此社交网络社区个人信息的一部分。然后该用户或其他用户可以给该用户推荐产品，例如衣服，或活动等服务衣服可以显示成仿佛用户真正地穿着它们一样，活动可利用用户的模型来显示和模拟。之后用户便可以决定购买物品或从事活动。此购买行为可在社交网络系统内完成。该模型可以用来让用户以虚拟的方式试穿和选择服装，例如此用户衣柜里已经拥有的或可能购买的衣服。该模型可以用来显示服装组合的虚拟图像，从而使用户知道服装组合在身上看起来如何，或者可以通过展示成衣而给出建议，从而使用户可以为特定场合挑选喜欢的组合。单方商业合作关系这种服装可从一个与用户有商业关系的某个实体那里得到。例如，这种服装可以由某个实体提供，作为商业关系的一部分，来提供合体的衣服，或者帮助挑选衣服。这种服装可以作为营销或广告的一部分，由一个实体提供。例如，可以提供该服装以鼓励用户从事一种活动或业务关系，在这种活动或业务关系中，该服装可以用于其他目的。此外，这种图案可以由包括标志，商标，或其他商业标志在内的元素组成。多方商业合作关系这种服装可以由一个实体提供给消费者，以建立在与另一实体商业关系中使用的模型。例如，一个实体可能会提供用于建模的套件，包括该服装和多个辅助摄取图像的器
17件。生成的模型可以存储于该实体处，如网络服务器上。消费者则可以从第二个实体的网站，根据第一家实体存储的模型虚拟试穿，进而购买衣服。试穿步骤可以由第一家实体给第二家实体提供模型来完成，或由第二家实体给第一个实体提供被试衣服的细节来完成。此外，第二个实体可以提供一个链接至第一个实体的网络服务器，以方便消费者访问或创建模型。类似的，第一个实体可以提供链接至使用第一个实体所供模型的第二个实体。结论上述详细描述对相关技术领域的技术人员公开了如何使用发明者的技术，此技术提供建立一定精度表面模型所需的可相互关联特征，同时公开了目前就发明者所知的最好的实施这些技术的方式。相关技术领域的技术人员很容易理解，该技术中的图案可以用不同于本文所述方法的其他方法加在被建模的表面上，任何一种图案，只要图案的元素能使模型精度所需的足够密度的特征被提取出来，而且为提取的特征提供一定程度的建立相互关联所需的独特性，都可以被使用。这种技术对图像摄取的精密程度没有任何要求，这使得此技术在从消费者提供的图像生成模型时特别有用，广泛地讲，在任何需要高密度的可相互关联特征来建模的情况下，该技术都非常有用。此外，相关技术领域的技术人员很容易理解，用此方法建立起相互关联的特征可以被任何一种基于特征的建模技术有利地利用。由于所有前述原因，此详细描述应该被完全视为是示例性而非限制性的，此处公开的本发明的广度不应根据详细描述来确定，而应该根据如按照专利法所允许的完整广度所解释的权利要求来确定。
权利要求
1.一种获取用于生成表面的三维模型的一组图像的方法，所述方法包括以下步骤在要建模的表面上施加上图案，被施加至所述表面的所述图案包含所述表面上具有独特性的图案元素；以及，在施加所述图案后，拍摄所述表面的一组图像，其中所述图案元素在所述图像中是可视的，并从所述可视的图案元素中提取建模所需的特征，以及利用所述可视的图案元素的独特性使所述提取的特征之间建立相互关联。
2.如权利要求1所述的方法，其特征在于，所述三维模型要求特定的精确度；以及，所述图案元素在所述图案中具有一定密度，从而使从所述可视的图案元素中提取的建模所需的所述特征在所述三维模型中也具有足够的密度，以实现所述三维模型所要求的所述特定的精确度。
3.如权利要求2所述的方法，其特征在于，所述三维模型包括多个被要求具有不同精确度的子模型；以及，所述图案被施加在所述表面，从而使相应于所述子模型的对象的区域的所述图案元素具有足够的密度，以实现所述子模型所要求的精确度。
4.如权利要求1所述的方法，其特征在于，所述图像是利用照相机进行拍摄；以及，在拍摄一组图像的步骤中，所述照相机相对于所述表面的位置的信息在拍摄图像时不需要与所述图像联系起来。
5.如权利要求4所述的方法，其特征在于，使用最佳拍摄位置的指示物进行拍摄所述图像。
6.如权利要求1所述的方法，还包括如下步骤在拍摄步骤中提供参考对象，所述参考对象出现在所述一组图像中，并且指示所述三维模型的比例。
7.如权利要求1所述的方法，其特征在于，在拍摄所述一组图像的过程中，被建模的所述表面在拍摄图像时是运动的；以及，所述表面的三维模型为动态模型。
8.如权利要求1-7任一项所述的方法，其特征在于，所述图案通过将具有所述图案的覆盖物紧贴在所述表面而被施加在所述表面上。
9.如权利要求8所述的方法，其特征在于，要建模的所述表面为活体实体的身体的部分；以及，所述覆盖物为所述实体所穿着的服装，所述服装覆盖在其表面需要被建模的所述身体的部分。
10.如权利要求9所述的方法，其特征在于，还包括如下步骤接收所述服装；以及向建模实体提供所述一组图像。
11.如权利要求10所述的方法，其特征在于，拍摄所述一组图像的步骤是通过与处理器相连的照相机进行；所述处理器和所述建模实体连接至网络；以及，所述处理器通过所述网络完成向所述建模实体提供所述一组图像的步骤。
12.一种利用表面的一组图像生成所述表面的三维模型的方法，所述一组图像在所述表面上被施加上图案后而形成，被施加的所述图案包含在所述表面上具有独特性的图案元素；所述图案元素在所述一组图像中是可视的；所述方法包括以下步骤从所述可视的图案元素中提取建模所需的特征；利用所述可视的图案元素的独特性使所述提取的特征之间建立相互关联；以及，利用所述相互关联特征生成所述三维模型。
13.如权利要求12所述的方法，其特征在于，还包括利用所述三维模型的步骤。
14.如权利要求12所述的方法，其特征在于，还包括向模型利用实体提供所述三维模型以供其利用的步骤。
15.如权利要求12所述的方法，其特征在于，还包括接收来自于具有特定用途的模型利用实体的信息；以及实现所述模型利用实体的所述用途。
16.如权利要求12-15任一项所述的方法，其特征在于，所述三维模型的使用是为了制作所述表面的复制品。
17.如权利要求12-15任一项所述的方法，其特征在于，所述表面的三维模型的用途是使某物体与所述表面相匹配。
18.如权利要求12-15任一项所述的方法，其特征在于，所要建模的所述表面是活体实体的身体的一部分；以及，所述图案通过覆盖有具有所述图案的并为所述活体实体所穿着的服装的所述部分被施加在所述表面上。
19.如权利要求18所述的方法，其特征在于，所述三维模型的用途是为了使所述活体实体进行衣物试穿。
20.如权利要求18所述的方法，其特征在于，所述三维模型的用途是为了创建所述活体实体的化身。
21.如权利要求20所述的方法，其特征在于，所述化身反映在虚拟世界中的所述活体实体。
22.如权利要求20所述的方法，其特征在于，所述化身被用于为所述化身的活体实体显示某件商品。
23.一种能与处理器相连的存储介质，其特征在于，所述存储介质包括代码，当所述代码被所述处理器执行时完成权利要求12-15任一项中所述的方法。
24.一种用于从表面的图像建立所述表面的三维模型的覆盖物，所述表面被所述覆盖物所覆盖，其特征在于，所述覆盖物紧贴要建模的所述表面；所述覆盖物具有图案，所述图案含有在被所述覆盖物所覆盖的表面上具有独特性的图案元素，所述图案元素在所述图像中是可视的，并从所述可视的图案元素中提取建模所需的特征，以及利用所述可视的图案元素的独特性使所述提取的特征之间建立相互关联。
25.如权利要求M所述的覆盖物，其特征在于，所要建模的所述表面为活体实体的身体的一部分；以及，所述覆盖物为所述活体实体所穿着的服装，所述服装覆盖其表面需要建模的身体的所述部分。
26.一种用于拍摄一组图像的套件，基于所述一组图像能够生成表面的三维模型，所述套件包括覆盖物，其紧贴所要建模的所述表面，并且具有图案，所述图案含有在被所述覆盖物所覆盖的表面上具有独特性的图案元素，所述图案元素在所述图像中是可视的，并从所述可视的图案元素中提取建模所需的特征，以及利用所述可视的图案元素的独特性使所述提取的特征之间建立相互关联；以及，至少一辅助物件用于拍摄所述一组图像。
27.如权利要求沈所述的套件，其特征在于，所述一组图像的拍摄不需要对照相机的位置进行精确校准；以及所述辅助物件为一指示物，用于显示进行所述一组图像拍摄的最佳拍摄位置。
28.如权利要求沈所述的套件，其特征在于，所述辅助物件为用于所述一组图像拍摄的参照对象，所述参照对象出现在所述一组图像的一个图像中，并且指示所述三维模型的比例。
29.如权利要求28所述的套件，其特征在于，所述辅助物件为所述覆盖物的一部分。
全文摘要
本发明提供一种利用由运动恢复结构的建模技术生成任何要求精度的任何表面的三维模型的技术。在此技术中，一种图案被加在了被建模表面上。这种图案中包含了在施加于表面的图案范围内具有独特性的元素，这些元素在图案中有一定的密度，从而在此表面上加了图案后并摄取此表面的二维图像时，二维图像里提取出来的可相互关联的特征具有达到建模精度要求的密度。在一个此技术应用的例子里，消费者穿着一件带有图案的服装以拍摄建立他或她身体模型所需的图像，此服装上的图案使得具有必要独特性和密度的可相互关联特征能够从此人的图像里提取出来，之后用户使用任何类型的数码相机对穿着此服装的他或她拍照，利用这些图片便可生成模型。
文档编号G06K9/00GK102439603SQ200980111397
公开日2012年5月2日 申请日期2009年1月28日 优先权日2008年1月28日
发明者杨凯翔, 陈健, 马晓旭 申请人:耐特维塔有限公司