使用摄像机和电视监视器的三维物体扫描的制作方法

专利名称：使用摄像机和电视监视器的三维物体扫描的制作方法
使用摄像机和电祝监视器的三维物体扫描 相关申请的交叉引用
该申请对2007年8月17日提交的题为"3D Object Scanning Using Video Camera and TV Monitor"的美国专利申请NO. 11/840,813和2007 年4月24日提交的题为"3D Object Scanning Using Video Camera and TV Monitor"的美国临时专利申请No. 60/913,793主张优先权，以上申请通 过引用并入本申请。
背景技术：
本发明涉及根据物体的二维图像建立该物体的三维模型的方法及 其装置。许多计算机图形图像(computer graphic image)的建立是通过 利用一个场景下的三维才莫型，从给定的视点数学地建模光线的交互。这 种过程称之为绘制(rendering),其从给定的视点产生场景的二维图像， 并且其类似于拍摄现实世界场景的照片。当场景随着时间流逝逐渐变化 时，通过绘制一系列的场景图像，可以建立动画序列。交互式软件应用 程序(诸如游戏和其它教育性或娱乐性的应用程序)经常使用绘制软件 和硬件以交互帧速率产生计算机图形图像，从而响应用户的输入。
典型地，交互式软件应用程序中的三维模型通过计算机图形艺术家 使用复杂的三维草图绘制或者建模应用程序产生。另外，雕刻家可以创 作物体的实物(physical)模型，然后通过使用专门的三维扫描仪将其转 换为三维计算机图形模型。所有这些技术都需要专门的硬件、软件和受 过高度训练的艺术家。由于这种复杂性，包含在交互式软件应用程序中 的三维物体通常仅限于那些由软件供应商或者能访问三维模型应用程 序的用户所提供的三维物体。
因此，需要一种系统和方法以允许用户建立实物物体(physical object)的三维图形模型用于交互式软件应用程序。进一步的需要是在 不要求使用建模或者草图绘制应用程序的情况下建立三维计算机图形 模型。更进一步的需要是使用成本低、广泛可用的消费电子产品来实现 该系统。

发明内容
本发明的一实施例包括一种用于建立实物物体的计算机图形;漢型 的系统。在显示设备上显示的照明图案(Illumination Pattern )随之而来 照亮了实物物体，摄像机获取 一 张或多张被照明图案所照亮的实物物体 的图像。照明图案可以包括运动和多样性颜色，从而使摄像机能获取实 物物体的表面阴影有较大变化的图像。分析来自所获取实物物体的图像 的阴影值以确定该实物物体上点的表面方位。本发明 一实施例评估所获 取的图像的质量和适合性，并可以使用该评估的结果来进一步选择合适 的要被显示的照明图案。照明图案可以针对实物物体的特定的光学、几 《可和物理属性而"&计，以增加系统对不同类型物体的通用性。
在一实施例中，根据由照明图案所产生的实物物体的图像中的每个 阴影值，照明模型确定一个或多个候选的表面方位(candidate surface orientation)。可选地，每个照明图案的阴影值可以与校准物体上类似 的阴影值相互参照(be crossed referenced),校准物体具有已知的几何 图形并且被同 一照明图案照亮。随着更多的实物物体图像和其它的的照 明图案，实物物体模型上的点的候选表面方位组在减少，直至模型表面 能拟合于模型点的表面方位。
本发明的实施例可以为任意目的向应用提供实物物体的模型，包括 使用户能建立和交换定制的虚拟物体，加强对实物物体的跟踪和视频会 议应用。


本发明将参考以下附图描述，其中
图1示出了根据本发明实施例的用于建立实物物体的三维计算机图 形模型的系统；
图2A-2B示出了适合于与本发明实施例一起使用的、评估实物物体 上的点的表面方位的技术；
图3示出了根据本发明实施例的建立三维计算机图形模型的方法； 图4A-4D示出了适合于与本发明实施例 一起使用的照明图案实例； 图5A-5C示出了适合于与本发明实施例一起使用的校准物体实例； 图6示出了适合于实现本发明实施例的计算机系统实例；以及
8图7示出了适合于实现本发明实施例的处理器实例。
具体实施例方式
图1示出了根据本发明实施例的用于建立实物物体的三维计算机图 形模型的系统100。系统100包括计算机设备105,其可以为任何类型 的计算设备，包括个人计算机、娱乐用机顶盒(set-t叩entertainment)、 家用或者便携式视频游戏控制台、个人数字助理、或视频会议设备。设 备105经有线接口或者无线接口与摄像机110连接。在一实施例中，摄 像机110内置于设备105中。在一替代实施例中，4聂像机110与设备105 分离。摄像机IIO被配置成获取静止或者移动的图像并传送这些图像到 设备105。在一实施例中，摄像机110进一步包括一个或者多个内置光 源112,该光源可以有选择地被激活，以提供可见的或者红外照明。相 似地，摄像机110可以具有获取由可见光和/或者红外光组成的图像的能 力。在一个典型实施例中，摄像机IIO可以类似于通常应用于因特网上 或者其它广域网络上的视频会议的低成本网络摄像头。
除摄像机110之外，系统100还包括显示设备115。显示设备115 可以为使用任何类型显示技术的电视或者计算机监视器，包括阴极射线 管、LED、 LCD、 OLED、和/或者等离子显示技术。设备105连接于显 示设备115,以使设备105所产生的计算机图形图像和图案由显示设备 115显示。
系统100的实施例设置显示设备115,使得由该显示设备115所产 生的图像照亮要被扫描的物体120。物体120可以是由用户所选择的任 何实物物体。尽管显示设备115不是旨在在屏幕或者任何其它物体上投 射图像或者图案的投影仪，但显示设备115在显示图像时，通常有足够 的亮度来附带照亮物体。
当物体120被显示设备U5所产生的一个或者多个图案所照亮时， 摄像头110将获取其图像。正如以下的详细讨论，显示设备115可以输 出许多不同的照明图案以建立物体120的准确才莫型。另外，用户能旋转 或者移动物体120至不同的位置和方位，以至于从所有角度建立物体 120的完整模型。通过分析这些图像，设备105能建立物体120的三维 计算机图形模型。由设备105或者其它设备所执行的交互式软件应用程 序随后可以将该三维计算机图形模型结合到它的操作中。或多张图像确定物体的结构或 者形状。 一种常用的技术是根据响应于来自一个或者多个光源的照亮的
物体的阴影来确定物体表面上的点的方位。图2A-2B所示为适合与本发 明实施例一起使用的、评估实物物体上的点的表面方位的技术。
图2A示意常用的照明^^莫型200,其基于物体表面在一个点上的方 位规定该物体上该点的阴影。在照明模型200中，表面207上的点205 的阴影是基于表面207上在点205处的法向矢量210和光线矢量215之 间的角度，光线矢量215从点205延伸至光源。例如，Phong照明模型 基于点积或者矢量210和215之间的角度给点分配漫射阴影值(diffuse shading value)。进一步，照明模型200可以让点205的阴影的一部分 基于光线矢量215的反射225和观察矢量220之间的角度，其中，观察 矢量220从点205延伸至摄像机或者观察者。例如，Phong照明才莫型基 于点积或者矢量210和215之间的角度的指数值分配镜面阴影值 (specular shading value )。
由于表面上点的阴影基于表面的方位，因此可以根据阴影值确定表 面的方位。通常，来自单一光源的给定阴影值可以对应于多个可能的表 面方位。然而，通过分析来自不同位置的多个光源的图像，表面点的候 选方位数量可以通常减少至一个方位。对图像的额外处理以及所得到的 提取的表面方位数据(诸如噪音减少和其它滤波、背景抽取、轮廓提取、 以及网格(mesh)的产生、复合和简化)然后可以被用于构建物体的三 维计算机模型。
图2B示意物体250的图像。通过从不同光源照明物体并分析多个 点上的表面的阴影，可以确定物体表面的方位。矢量域包括矢量 255a-255t,其定义物体250表面的法向矢量。本发明的实施例拟合表面 于矢量域，以定义物体250的计算机图形模型。矢量域255中的矢量数 量以示意目的示出，并且本发明实施例可以使用任意数量的矢量的矢量 域来定义物体的模型的表面，其仅受限于摄像机的分辨率和应用程序的 需求。
这种技术的之前实施方案在相对于物体和摄像机的特定位置上需 要专门的光源。通常，这些光源的调整必须考虑(account for)特定物 体的独特的拓朴特征、物理特征和光学特征，以建立精确和完整的物体。
相反，本发明的实施例使用显示设备所产生的图像或者图案作为光
10源来照亮物体。由于显示设备能够产生复杂并且变化的图案(这对于常 规光源通常是不可能实现的)，所以本发明的实施例可以在不需要用户 对光源进行复杂的人工调整的情况下，用于建立多种不同类型物体的模 型。
图3示意根据本发明实施例的建立三维计算机图形模型的方法 300。可选步骤305校准阴影参数。在一实施例中，步骤305在显示设 备上显示一个或者多个照明图案，并测量已知物体的表面上的阴影值以 使摄像机获取的阴影值与已知的表面方位值匹配。
步骤310选择用于显示的照明图案。在一实施例中，系统包括多个 预先选定的或者算法产生的照明图案可供选择。在又一实施例中，照明 图案可以包括动画，以使摄像机在光源相对物体移动时能够获取表面阴 影的变化。如以下的详细讨论，每个照明图案可以合适地与任何类型的 物体一起^f吏用，或者可以设计为适合(be tailored to )获取具有特歹木拓朴 的、物理的、和/或者光学的特征的物体的细节。在步骤310的初始迭代 时，通常选择通用的照明图案。利用这些照明图案所获取的作为结果的 图像以及模型的几何形状可以在随后的迭代步骤310中用于选择更加特 定的照明图案。
步骤315显示所选择的照明图案并使用摄像机来获取物体表面阴影 的一个或者多个图像。在一实施例中，步骤315使照明图案与空白图案 交替显示。涉及两个图案的图像之间差异将消除或者减少周围环境或其 它光源对物体表面阴影的影响。
步骤320判断在步骤315所获得的一个或者多个图像中的物体表面 的阴影是否适合用于确定模型的几何形状。例如，如果图像全部是或者 几乎是空白，那么其可能不适合用来提取物体的表面方位。如果物体不 能反射足够来自照明图案的光(例如如果蓝色的照明图案投射于绿色的 物体上)，那么可产生空白图像。合适性的其它标准可以包括是否有 较多的图像噪音，图像是否清晰并且正确曝光，图像中物体的轮廓是否 相似于从之前图像产生的轮廓，关联于物体的图像的一部分是否连续、 或者在图像的这部分中是否存在许多空白区域或者间隙，以及阴影是否 和其它图像的阴影相一致。
如杲步骤315所获取的图像中的物体阴影不适合用于建立物体模 型，则方法300从步骤320返回至步骤310以选择不同的照明图案。在一实施例中，步骤310中运用关于哪些照明图案产生合适的或者不合适 的物体图像的知识来选择一个合的照明图案，以获取物体的其它图像。 例如，如果蓝色的照明图案导致空白图像(其意味着物体很少或者几乎 没有反射蓝光)，则步骤310的实施例可以将随后选择的照明图案限定 在那些包括红色或者绿色光的照明图案。
相反地，如果步骤315所获取的一个或多个图像包括充分品质的物 体阴影，方法300将从步骤320执行至步骤325。步骤325运用步骤315 所获取的图像中的物体阴影来更新几何形状。在一实施例中，物体的轮 廓被确定并且其内部分布大量的网格点。使用一个或者多个交叠或者靠 近每个网格点的图像点的阴影值来确定每个网格点的一个或者多个候 选表面方位。 一个或者多个照明模型可以用于根据阴影值确定候选表面 方位。随着来自不同照明图案的其他图像被处理，每个网^f各点的候选表 面方位值的数量在减少。
在一实施例中，通过初始化每个网格点减少每个网格点的候选表面 方位值的数量以包括所有可能表面方位。当根据网格点的照明图案确定 候选表面方位组时，该表面方位组与网格点的之前候选表面方位的交集 (intersection)被确定。然后，该候选表面方位的相交的子集作为网格 点的剩余候选表面方位被存储。来自其它的的照明图案的其它候选表面 方位与方法300的后续迭代中的网格点剩下的表面方位形成交集。近似 和估计技术(诸如平均处理和最小二乘法近似)可以被运用于解决来自 摄像机的测量误差。
步骤330判断物体模型几何形状是否完全确定。在一实施例中，如 果所有或者大部分的网格点具有单个剩余候选表面方位，那么步骤330 判定物体;^莫型的几何形状是充分完整的。在又一实施例中，任何其它网 格点的表面方位可以通过插值确定。 一旦网格点的表面方位已经;故确 定，则拟合表面方位的模型表面被定义。模型表面可以使用三角形、多 边形、诸如NURBS的高次曲面(higher-order curved surface)、细分表 面、粒子系统(particle system)、或者本领城所熟知的任何其它的物体 几何形状的数学表示来定义。
如果几何形状被完全确定，那么方法300执行到步骤335以输出目 标模型。否则，方法300返回至步骤310以选择其它的照明图案。在一 实施例中，由步骤310后继迭代所选择的照明图案由网格点剩下的候选
12表面方位的数量和类型至少部分地确定。
例如，如果物体的一部分表面可能凸起或者凹陷(基于该表面点的
候选表面方位)，则步骤310的实施例可以选择照明图案，该照明图案 被设计为辨认凸起和凹陷的几何形状。例如，如果物体的凸起部分是从 下方照亮，则该部分的底部将比该部分的顶部更亮。相反地，如果物体 的凹陷部分是从下方照亮，那么，该部分的顶部将比该部分的底部更亮。
在又一实施例中，可以指导用户将物体旋转至新的位置，并重复步 骤310-330以确定摄像机之前所不能看到的物体的其它部分的几何形 状。该几何形状可以结合从物体之前的方位所辩识的物体几何形状以从 所有角度建立完整的和闭合的物体模型。或者，从一个或多个方位所确 定的物体几何形状可以结合预先定义的物体几何形状以建立闭合的物 体。例如，方法300可以用来确定用户脸部的几何形状。该几何形状可 以结合预先定义的头部模型。在再一实施例中，还根据物体图像建立结 构图(texture map)或者其它表面阴影信息。在一实施例中，建立方式 为选择其中一个图像或者多个图像的组合，消除背景，并且然后投影图 像至模型表面以确定结构的坐标。
本发明的实施例可以使用广泛多样的不同类型的照明图案以确定 物体表面上的点的方位。通常，照明图案被设计成从物体一个或者多个 方向投射光线至物体表面。图4A - 4D示出了适合于与本发明实施例一 起使用的照明图案实例。
图4A示意照明图案400实例。照明图案400包括图案左上角的红 光区域405、图案右上角的绿光区域410、和图案底端中部的蓝光区域 415。照明图案400适合与彩色摄l象机一起使用。由于典型的彩色摄像 机能同时地获取图像中的红、绿、蓝光，照明图案400使摄像机可以在 单个图像的不同位置获取来自三种不同光源的物体的阴影。在该实例 中，图像中所有的红光(即每个像素的红色分量)来源于区域405，图 像中所有的绿光(即每个像素的绿色分量)来源于区域410，并且图像 中所有的蓝光(即每个像素的蓝色分量)来源于区域415。
照明图案400实例假设物体表面对所有颜色的光的反射大约相等。 每个颜色分量的阴影值的比例化(scaling)或者归一化可以被用于补偿 以不同的量反射光的不同颜色的物体表面。在又一实例中，图4B示意 第二种照明图案420。除了颜色区域的位置被交换外，照明图案420与图案400相似。在照明图案420中，红色区域430位于右上角，绿色区 域435位于底端中部，蓝色区域位于左上角。通过分别对比来自区域405 和425的物体阴影、来自区域410和430的物体阴影、来自区域415和 435的物体阴影，本发明实施例可以补偿物体对不同颜色的反射特性。 例如，来自区域405和区域425的阴影值之比正比于红色光和蓝色光之 间的物体表面反射差的比率。
除使用颜色之外，照明图案可以利用运动(诸如平移和旋转)来观 察物体表面阴影的变化以响应于光源的移动。图4C示意包括在第一位 置和方位的照明三角形445的照明图案440实例。图4D示意包括在不 同位置和方位的相似三角形465的照明图案460实例。通过获取当三角 形在不同位置和方位之间移动时的物体阴影的图像，就有可能辨认物体 表面上的点的方位。
如上所述，表面光反射的阴影或者照明模型可以被用于基于来自光 源的点的阴影值确定点的候选表面方位。在又一实施例中，具有已知表 面方位的校准物体可以被用来改进表面方位分析的精确度。在一实施例 中，系统用一个或多个照明图案照亮校准物体。通过摄像机获取在多个 表面点上的校准物体的表面阴影。因为准物体具有已知的几何形状，所 以每个表面点的方位也是已知的。这样，对于每个照明图案，系统存储 使每个阴影值与一个或者多个候选表面方位相关联的数据结构。当以同 样的照明图案分析未知物体时，表面点的阴影值可以用来从该数据结构 中查找出一组候选表面方位。
图5A-5C示出了适合于与本发明实施例一起使用的校准物体实 例。图5A示意由第一照明图案500照亮的校准物体实例。在该实例中， 校准物体是球形的。如果第一照明图案以迎面方向照亮校准物体，则区 域505将具有大致相同的阴影值。由于校准物体的几何形状是已知的， 所以区域505将与一组包括表面法向矢量510a-510h的候选表面方位 组510相关联。当用同样的照明图案分析未知物体时，其阴影值相似于 区域505的阴影值的任何表面点将被分配以候选表面方位组的部分或全 部方位。对于第一照明图案，可以为具有其它阴影值的校准物体表面的 其它区域进行相似的分析。
图5B示意由第二照明图案520照亮的同一实例校准物体。在该实 例中，第二照明图案520从侧面照亮校准物体。校准物体表面的区域525
14将具有大致相同的阴影值。由于校准物体的几何形状是已知的，区域525 将与 一组包括表面法向矢量530a - 530h的候选表面方位组530相关联。 当用同样的照明图案分析未知物体时，其阴影值相似于区域525的阴影 值的任何表面点将被分配以候选表面方位组530的部分或者全部方位。 对于第二照明图案，可以为具有其它阴影值的校准物体表面的其它区域 进行相似的分析。
作为特定校准物体的另一个选择，本发明的实施例可以使用用户的 脸部特征作为校准物体。图5C示意由照明图案照亮的用户脸部实例 550。某一用户脸部特征可具有已知的几何形状。例如，鼻尖560、额头 555和眼睛565都大致为球形。该发明的实施例可以使用所有或者任一 脸部特征上的照明图案的阴影，使阴影值与候选表面方位相关联。
使用本发明实施例所建立的物体;^莫型可以以多种方式结合于交互 式软件应用程序中。例如，用户所喜爱的物体才莫型可以用来装饰用户的 虚拟空间，或者作为电子礼物给其它用户。用户可以把他们的脸加到游 戏中的角色上。使用本来领域所熟知的任何绘制(rendering)技术(包 括多边形光栅化(polygon rasterization)和射线跟踪绘制(ray tracing rendering)技术)，物体^t型能被绘制和显示给用户。
在又一实例中，本发明的实施例在视频会议应用中可以纠正摄像机 的位置。通常，视频会议的用户更多是看视频屏幕而不是摄像机。由于 在视频会议应用中摄像机通常置于屏幕的旁边或者上面，所以在视频会 议中用户难以通过眼睛交流。该发明的实施例使用以上所描迷的技术建 立用户的头部模型。该模型被用于确定摄像机相对于用户的头部的位 置。基于这些信息，本发明实施例的应用程序可以将获取的视频映射为 模型上的结构，并且然后绘制用户的头部模型，头部模型从迎面方向被 获取的视频结构覆盖，这样模拟了用户直接看着摄像机的效果。
在再一实施例中，系统使用从显示设备投射的照明图案以建立物体 的初始高分辨率模型。然后，系统可以使用来自显示设备的部分的可见 照明图案、或者从与该摄像机或另 一摄像机关联的光源所投射的可见或 红外照明图案，以获取物体的低分辨率模型。低分辨率模型可被应用程 序用于追踪物体的位置或者方位的改变，或者用于获取物体形状的持续 变化，例如，用户脸部的表情变化。这些变化可用来修改物体模型的高 分辨率版本的位置或者形状。来自低分辨率模型的信息可用来作为应用程序的输入，例如让游戏中角色的脸部表情真实反映用户的脸部表情、 或者让应用程序中的虛拟物体跟随用户的实物物体的运动。
图6示出了适合于用于实现本发明实施例的计算机系统1000实例。 图6是适合于实现本发明实施例的计算机系统1000的方块图，该计算 机系统例如是个人计算机、视频游戏控制台、个人数字助理或者其它数 字设备。计算机系统1000包括中央处理器(CPU) 1005，其用于运行 软件应用程序，执行逻辑功能，和可选的操作系统。CPU 1005可以包 括一个或者多个处理核。内存1010存储CPU1005所使用的应用程序和 数据。存储器1015为应用程序和数据提供非易失性存储，并且其可以 包括固定盘驱动器(fixed disk drives )、移动盘驱动器(removable disk drives)、闪存、CD-ROM、 DVD-ROM、蓝光光盘、HD-DVD或者其它 光学存储装置。用户输入设备1020将来自一个或多个用户的输入传输 至计算^f几系统1000,用户输入设备1020的例子可包括鍵盘、鼠标、操 纵杆、触控板(touch pad )、触摸屏，静态或者动态摄像机和/或麦克风。 网络接口 1025允许计算机系统IOOO经由电子通信网络与其它计算机系 统通信，并且可以包括在局域网和例如英特网之类的广域网上的有线或 者无线通信。音频处理器1055用于根据CPU1005、内存1010和/或存 储器1015提供的指令和/或数据产生才莫拟的或者数字的音频输出。计算 机系统1000的组件包括CPU1005、内存IOIO、数据存储器1015、用户 输入设备1020、网络接口 1025和音频处理器1055,这些组件经由一条 或多条数据总线1060连接在一起。在又一实施例中，静态或者摄像机 1065与数据总线1060连接。摄像机1065可以经由例如USB或火线 (Firewire)接口的外部接口、无线接口或者内部接口与数据线1065连 接。
图形子系统1030与数据总线1060和计算机系统1000的组件进一 步连接。图形子系统1030包括图形处理单元(GPU) 1035和图形存储 器1040。图形存储器1040包括用于存储输出图像的每个像素的像素数 据的显存(例如，帧緩冲器)。图形存储器1040可以集成在相同的装 置内作为GPU1035,也可以作为单独的器件连接于GPU1035,和/或在 内存1010中实现。可以直接从CPU10005向图形存储器1040提供像素 数据。或者，CPU1005提供定义所需输出图像的数据和/或指令给 GPU1035, GPU1035据此产生一个或多个输出图像的像素数据。定义所需输出图像的数据和/或指令可以存储在内存1010和/或图形存储器 1040中。在一实施例中，GPU1035包括根据指令和数据为输出图像产 生像素数据的3D绘制能力，其中指令和数据定义几何形状、照明 (lighting)、阴影、结构、运动和/或场景的摄像机参数。GPU1035进 一步可包括一个或多个能执行阴影化程序(shader programs)的可编程 执行单元。
图形子系统1030从图像存储器1040中周期性地输出图像的像素数 据，以将这些像素数据显示于显示设备1050上。显示设备1050是任何 能够响应于计算机系统1000信号而显示视觉信息的设备，其包括CRT、 LCD、等离子显示器、OLED显示器。计算机系统1000能给显示设备 1050提供^莫拟或者数字信号
在本发明的实施例中，CPU1005是一个或多个具有一个或多个处理 核的通用微处理器。本发明的其它实施例可使用下列一个或者多个CPU 实现，该CPU具有特别适合于高度并行和高计算强度的应用(例如媒 体和交互娱乐应用)的微处理器架构。图7示出了适合于实现本发明实 施例的处理器2000实例。
处理器2000包括多个处理器单元，每个能够并行执行独立的程序。 处理器2000包括PPE处理器单元2005。 PPE处理器单元是CISC、 RISC 或者本领域所熟知的其它处理器架构的通用处理器。在一实例中，PPE 处理器单元2005是64位、多线程RISC架构的处理器，例如，PowerPC 架构。PPE处理器单元2005可以包括分为一级、二级或者更多级的緩 存(cache memory) 2007,其暂时存储由PPE处理器单元2005所执行 的数据和指令。
作为附加性能，处理器2000包括多个SPE处理器单元2010。在该 实例中，处理器2000包括8个SPE处理器单元2010A-2010H;然而， 其它实例的处理器可以包括不同个数的SPE处理器单元。SPE处理器单 元2010适用于数据的流处理。在流处理中，程序在大的数据组中的每 一项上被重复地执行。为促进数据流处理，SPE处理器单元2010可以 包括指令执行单元，其能够同时对多个数据操作数执行SIMD指令。SPE 处理器单元2010也可包括指令单元，其能够执行用于更通常的处理任 务的单指令、单数据(SISD)。
每个SPE处理器单元(例如SPE处理器单元2010A)包括本地数据
17和指令存储器2012A。数椐和指令可以经由DMA单元2014A传送至和 传送出本地数据指令存储器2012A。 DMA单元(例如2014A单元)能 够在没有处理器监督的情况下从每个SPE处理器单元2010传送出和传 送进数据，从而使SPE处理器单元2010能够不中断地持续地处理数据。
数据和指令由处理器2000经由内存和I/O接口 2015进行输入和输 出，数据和指令可以经由处理器总线2020在内存与1/0接口 2015、 PPE 处理器单元2005和SPE处理器单元2010之间通信。
为阐明目的，讨论了以上计算机系统实例，本发明实施例能够容易 地适用于与包括摄像机以及能够照明附近物体的任何类型的显示设备 的任何类型系统 一起工作。本领域普通技术人员可以从说明书和附图预 想出进一步的实施例。在其它实施例中，可以方便地做出对以上所揭示 的发明的组合或者子组合。对结构的框图和流程图归类以易于理解。然 而，应当理解的是，在当前发明可选择的实施例中，方框的组合、新方 框的增加、方框的重新排布等都是可预料的。
相应地，说明书及附图被认为是示意性的而不是限制性的。但是， 在不脱离本发明的精神和权利要求所阐明范围的前提下，在其上^t文出的 各种各样的改进或者改动被认为是显而易见的。
权利要求
1、一种建立实物物体的计算机图形模型的方法，该方法包括选择第一照明图案；在显示设备上显示所述第一照明图案，使得所述第一照明图案照亮实物物体；获取至少一张由所述第一照明图案所照亮的所述实物物体的图像，其中，所述图像包括与实物物体上的点相对应并且具有阴影值的图像点；判断所述图像是否适合于建立所述实物物体的计算机图形模型；响应于所述图像是合适的判断，根据所述阴影值为计算机图形模型的模型点组中的每一个点确定候选表面方位，其中，所述模型点组的每一个与所述图像点的至少一部分相关联；以及响应于所述图像是不合适的判断，选择第二照明图案，并重复显示步骤、获取步骤和判断所述图像是否适合于所述第二照明图案的步骤。
2、 如权利要求1所迷方法，其中所述第一照明图案包括第一属性值，其中所述第二照明图案基于所述第 一属性值来选择。
3、 如权利要求2所述方法，其中选择第二照明图案包括根据包含不同于第一值的第二属性值的笫二照明图案，从用于照明图案的照明图案组中选择第二照明图案。
4、 如权利要求2所迷方法，其中所述属性为颜色，其包括笫一照明图案的实质部分。
5、 如权利要求l所述方法，其中，为模型点组中的每一个点确定候选表面方位包括步骤识别与每个网格点相关联的该部分图像点的阴影值；以及对于每个网格点，关联与所识别的阴影值对应的第一组候选表面的方位。
6、 如权利要求5所述方法，进一步包括步骤对于每个网格点，确定之前关联于所述网格点的笫二组候选表面方位和第一组候选表面方位的交集；以及对于每个网格点，将候选表面方位的交集与所述网格点关联。
7、 如权利要求5所述方法，其中，关联与所识别的阴影值相对应的第一组候选表面方位包括下列步骤从所述识别的阴影值和照明模型得出第 一组候选表面方位。
8、 如权利要求5所述方法，其中，关联与所识别的阴影值相对应的 第 一组候选表面方位包括下列步骤将所述阴影值与校准阴影值匹配，该校准阴影值得自具有已知几何 形状并且被第一照明图案照亮的校准物体的图像；以及根据所述校准物体的已知几何形状的部分定义所述第一组候选表面 方位，该部分对应所述校准阴影值。
9、 如权利要求8所述方法，其中校准物体是用户的脸的一部分。
10、 如权利要求l所述方法，进一步包括判断网格点的至少实质部分的每个是否与单 一候选表面方位相关联；响应于网格点的至少实质部分的每个与单一候选表面方位相关联的 判定，定义适于网格点的实质部分的候选表面方位的所述计算机图形模 型的表面。
11、 一种用于建立实物物体的计算机图形冲莫型的系统，所迷系统包括第一接口，适于与显示设备连接，其中所述第一接口包括第一接口 逻辑，所迷第 一接口逻辑适于产生要由显示设备输出的第 一组图像并提 供实物物体的附带照明；第二接口，适于与摄像机设备连接，其中所述第二接口包括第二接 口逻辑，所述第二接口逻辑适于接收由所述揭_像机设备所获取的第二组 图像，其中所述第二组图像包括通过笫一组图像附带照亮的实物物体的 图像；第一逻辑，适于识别第二组图像中的实物物体的图像；第二逻辑，适于定义计算机图形;溪型，该计算机图形模型包括与所识别的实物物体的图像相对应的网格点；第三逻辑，适于根据与所述网格点的每个相对应的实物物体的识别图像的部分，为所述计算机图形^^莫型的网格点的每个确定候选表面方位；第四逻辑，适于响应于网格点的至少实质部分以将表面拟合至与网 格点的候选表面方位一致的网格点，网格点的每一个具有单一候选表面方位。
12、 如权利要求11所述的系统，其中所述第二接口是内部接口并且所述系统进一步包括摄像机设备。
13、 如权利要求11所述的系统，其中所述第二接口是外部接口。
14、 如权利要求11所述的系统，其中所述第一接口是内部接口，并 且所迷系统进一步包括显示设备。
15、 如权利要求11所述的系统，其中所述第一接口是外部接口。
16、 如权利要求11所迷的系统，其中所述第一逻辑进一步适于识别 第二组图像中较差表现实物物体的图像并适于向第一接口逻辑提供反 馈指示符，其中第一接口逻辑进一步适于响应于反馈指示符，提供替换 图像组给显示设备。
17、 如权利要求16所述的系统，其中第二组图像中较差表现实物物 体的图像与第 一属性值相关联，并且其中替换图像组与不同于第 一属性 值的第二属性值相关联。
18、 如权利要求17所述的系统，其中所述属性为颜色，其包括较差 表现实物物体的第二組图像中的图像的实质部分。
19、 如权利要求11所迷的系统，其中所述第三逻辑进一步适于根据 与网格点的每个相对应的实物物体的识别图像的部分和照明模型得出 所述候选表面方位组。
20、 如权利要求ll所述的系统，其中所迷第三逻辑进一步适于将对应每个网格点的实物物体的所识别图像部分与从校准物体的图像得到的校准阴影值匹配，该校准物体具有已知的几何形状并且由第 一組图像的至少一部分照亮；以及适于根据与所述校准阴影值相对应的校准物体的已知几何形状的部分定义候选表面方位组。
21、 如权利要求20所述的系统，其中所迷校准物体是用户的脸的一 部分。
22、 一种计算机可读媒介，包括适于指示计算机执行操作的指令，所述操作包括选择第一照明图案；在显示设备上显示所述第 一照明图案，以至于第 一照明图案照亮实 物物体；获取至少一张由所述第一照明图案所照亮的所述实物物体的图像，其中，所迷图像包括与实物物体上的点相对应的并且具有阴影值的图像 占 判断所述图像是否适合于建立所迷实物物体的计算机图形模型；响应于所述图像是合适的判断，根据所迷阴影值为计算机图形模型的模型点组中每一个点确定候选表面方位，其中，所述模型点组的每一个与所述图像点的至少一部分相关联；以及响应于所述图像是不合适的判断，选择第二照明图案，并重复显示步骤、获取步骤和判断所述图像是否适合于所述第二照明图案的步骤。
23、 如权利要求22所述的计算机可读媒介，其中所迷第一照明图案 包括第 一属性值，其中所述第二照明图案基于所述第 一属性值来选择。
24、 如权利要求23所述的计算机可读媒介，其中选择第二照明图案 包括根据包含不同于第 一值的第二属性值的第二照明图案，从用于照明 图案的照明图案组中选择第二照明图案。
25、 如权利要求23所迷的计算机可读媒介，其中所迷属性为颜色， 其包括所述第一照明图案的实质部分。
26、 如权利要求22所述的计算机可读媒介，其中为模型点组中每一 个点确定候选表面方位包括步骤识别与每个网格点相关联的图像点的部分的阴影值；以及对于每个网格点，关联与所识别的阴影值对应的第 一组候选表面方位。
27、 如权利要求26所述的计算机可读媒介，进一步包括步骤 对于每个网格点，确定之前关联于所述网格点的第二组候选表面方位和笫一组候选表面方位的交集；以及对于每个网格点，将候选表面方位的交集与所述网格点关联。
28、 如权利要求26所述的计算机可读媒介，其中关联与所识别的阴 影值相对应的第 一组候选表面方位包括步骤根据所述识别的阴影值和照明模型，得出第 一组候选表面方位。
29、 如权利要求26所迷的计算机可读媒介，其中，关联与所识别的 阴影值相对应的第 一组候选表面方位包括步骤将所述阴影值与校准阴影值匹配，该校准阴影值得自具有已知几何 形状并且被第 一 照明图案照亮的校准物体的图像；以及根据所述校准物体的已知几何形状的部分定义所迷第一组候选表面 方位，该部分对应所迷校准阴影值。
30、 如权利要求29所述的计算机可读媒介，其中校准物体是用户的 脸的一部分。
31、 如权利要求22所述的计算机可读媒介，进一步包括 判断网格点的至少实质部分的每个是否与单一候选表面方位相关联；响应于网格点的至少实质部分的每个与单一候选表面方位相关联的 判定，定义适于网格点的实质部分的候选表面方位的所迷计算机图形模 型的表面。
全文摘要
一种系统，通过在显示设备上显示照明图案以附带照亮实物物体，建立实物物体的三维计算机模型。摄像机获取由所述图案所照亮的物体的图像。为获取物体表面阴影中具有较大变化的图像，所述图案可以包括运动或者多种颜色。分析所获取的物体图像的阴影值，以确定物体表面上的点的方位。所述系统评估所获取图像的质量，并选择适合于物体特殊属性的图案。通过利用照明模型或从校准阴影物体获取的阴影值对比所述点的阴影值物体，确定所述点的方位。模型表面拟合于所述点的方位。可以使用该模型于任何目的应用，包括建立和交换用户虚拟物体、增强物体追踪和视频会议应用。
文档编号G06T17/00GK101669146SQ200880013352
公开日2010年3月10日 申请日期2008年4月23日 优先权日2007年4月24日
发明者S·奥斯曼 申请人:索尼电脑娱乐公司