专利名称：从影子进行的三维重构的制作方法
技术领域：
本发明涉及一种图像处理的系统和方法，特别但不排他地，在玩具和视频游戏的范围内。
视频游戏和图形游戏以及其它涉及计算机的娱乐软件应用已变得日益普遍，并且在当前甚至被用于移动电话。在多玩者游戏或应用中，玩者用已知为化身的活生生的图形表示来作为其在虚拟环境中的代表。专用的设备正在为电子宠物玩具而上市，例如Tamaguchi一种饲养游戏，在其中用户必须照顾重现于显示监视器上的虚拟动物。
用图形生物和对象生成虚拟互动世界是一种技术形式，其并不能有效地帮助一个外行熟练地使用它，更不用说孩子。尽管如此，使得外行或年轻人能生成这样的生物或对象的软件应用将是受欢迎的，这是因为它们帮助人们对先前不能到达的电子世界给予控制。因此，本发明人提出一种系统和工具，使得能以用户友好和容易理解的方式来生成电子对象和生物。
本发明提供一种将3-D物理对象以电子格式绘制到2-D轮廓或侧影上的工具。例如，对3-D对象进行照明，而其影子被投射到光传感器阵列上。光传感器使得能将影子转变为2-D位图。旋转3-D对象给出另一个影子和另一个位图。优选地，每个位图被与有关光源、物理对象和传感器阵列相对方位的信息关联。位图和相对方位的集合使得能重构物理对象形状的3-D图形表示。例如，当位图沿其适当方位被投影到体素空间时，不属于有特定位图作为横截面的柱体的每个体素被从体素空间中去除。
对于其表面在任何地方为凸面的对象，这种方法工作是很好的。然而，有凹面部分的物理对象，例如有人已咬了一口的苹果、或茶杯，可造成畸变的图形表示。这是由于凹面部分在对象的所有方位上被包围凹面部位的物理对象部分遮住。因此，本发明人建议提供软件工具以使用户能使3-D图形对象变形以精制表面生成凹面部分、通孔、派生物(outgrowth)等。图形对象优选地被指定一个相关性(当用户通过在特定位置处移动或修改其表面(等效于在物理世界中拉或推)而使图形对象变形时，确保那个位置的邻域亦被变形以确保模型的连续性。例如，通过首先用大象(模型)的影像得到中间图形对象并且然后该中间对象的体素被变形以得到较接近于近似的大象形状或完全不同的虚拟生物的形状，虚拟的大象被生成。
假定图形模型欲表示活生生的有关节的生物等类人动物、四足动物、蜘蛛类动物、类企鹅动物等。优选地，软件工具包括预定义的骨架或火柴杆图，在其上可装饰图形模型，也许在重新比例调整(rescale)之后来做。通过限定模型的特定体素随着骨架的特定点一起运动，该模型被附着于骨架，例如在后者的四肢和关节处。使用预定脚本，骨架是可动的，例如行走、飞行、跳跃、转圈等。由于为图形模型所限定的相关性和弹性，则其表面被允许以较自然的方式跟随骨架的运动。
如果物理对象具有对称的一个或多个轴或者一个或多个平面，则需要较少的位图来描述对象。然后对称运算从所扫描物理对象的部分来重构图形对象。
对于单个复合图形对象，影子投射方法可被用于分别生成多个图形对象。例如，通过对基本部件(例如辐条轮、驾驶室、锅炉和火箱)进行影子投射，并结合使用预定图形元件(立方体、球体、杆、柱体)并在虚拟环境中组装图形对象，蒸汽机车的图形模型被生成。
如果在虚拟环境中不需要3-D，通过使用上述的影子投射将物理对象绘制到单个位图上以生成2-D侧影。
纹理绘制(texture mapping)可被应用于最终的图形模型以给其特定的外观。
用户可自己生成位图，例如，如在所捕获的侧影的基础上，并可将位图集提交给互联网上的服务。该服务根据体素或另一个表示将所述集转换为3-D图形模型，并将其发送回用户以便进行精制或个性化，或者准备用于虚拟环境或作为装饰。该服务亦可依照例如用户所提交的详细说明来进行精制，并且提供如以上所讨论的用于生动的脚本。
相应地，本发明人提供了相对廉价的软件工具，以通过用于由影子投射所得的中间图形模型的位图开始，并且然后通过使用弹性或非弹性变形或者剪掉或钻掉体素、纹理绘制、涂色等来修改其表面，从真实物理对象而生成图形对象。该工具相对容易使用，并且作为玩具、作为娱乐、用于教育目的或用于快速原型设计，是特别有趣的。尤其是，借助商用PC足够的处理能力，该工具是低成本的。
还有，取代影子投射设备，用户可用数字照相机来为物理对象拍照，并用图形编辑软件程序或照片编辑软件程序将这些数字图片转换为位图侧影。然后用户必须在某种程度上指定不同侧影的相对角度位置以使侧影的观察点与对象相对于照相机的相对方位关联。为了这个目的，例如可使用有预定角度的三角架和纸目标。
通过举例并参照附图，本发明将在以下被更详细地描述，在附图中
图1为本发明中系统的方块图；图2示出各种方位上大象物理模型的侧影；图3示出生成虚拟大象的过程中的一步；以及图4示出软件应用的方面。
在所有的图中，相同的参考数字表示类似或相应的特征。
如以上所讨论的，本发明的一方面涉及用于示出图形对象的软件应用。该应用包括用于接收多个相应位图的输入。每个位图都具有相应的索引并包括有第一和第二像素值(就是说，黑和白)之一的像素。所述应用具有对多个体素的域进行运算的鉴别器。该鉴别器在相应索引和相应位图像素值的控制下为每个相应的位图确定哪些特定的体素分配给对象的体素表示。所述应用可包括软件工具以使用户能修改图形对象的形状或在图形对象上绘制纹理。所述应用亦可包括用于使预定图形实体生动化的脚本，和用于组合实体与图形对象的软件工具，后者作为皮肤覆盖实体。这使得能够通过脚本来使对象生动化。
本发明的另一方面涉及用于与PC一起使用的外围设备。该设备包括用于生成位图以便在PC上进一步处理的光传感器阵列，以及基准系统，用于在相对于该基准系统的对象的相应方位上生成物理对象相应的位图。所述相应的方位由与相应位图关联的相应索引来表示。该设备与较早讨论的软件应用一起协作。
还有一个方面涉及例如在互联网上的服务以使得人们能够制作图形模型。人们能将位图集提交给服务的提供者，每个位图都有具有两个像素值之一的多个像素并有有关相对于彼此的相对方位的信息。该位图被用于如所述的将体素块造型为图形3-D模型。
图1为本发明中系统100的方块图。系统100包括对光源104所发射光敏感的光传感器102。被位于传感器102和光源104之间的物理对象106阻挡的光在传感器102上产生影子。传感器102优选地包括光敏单元阵列，以使单个单元对入射光或光的不存在的高或低的响应与阵列中该单元的位置一起来确定物理对象的位图中像素的二进制值。
优选地，传感器102与基准系统108协作以允许在不同方位上制作对象106的不同位图。例如，基准系统108包括用于对象106的支撑和控制器110。在制作下一个位图之前，在控制器110的控制下，支撑在一角度范围内转动对象106。该角度优选为用户可编程的，至少是在定性上。例如，用户可为每个位图将所需角度设定为在从很小到大的范围内的确定值。这样，角度/位图对的集合使得人们能依照方位来排序位图。
控制器110将位图数据传递给PC 112，在那里数据在软件应用114也可能在用户控制116的控制下被处理。位图数据习惯上通过将未被用于各种方位的位图中的至少一个的黑像素覆盖的体素去除而从体素块形成3-D图形对象。反馈回路可向用户显示在特定方位上需要另外的位图以解决模糊性。用户可按比例调整对象，通过纹理绘制过程控制其纹理，并修改形状，如以上所讨论的。结果和处理被显示于显示监视器118上。
取代在传感器102和源104的静止配置之间旋转物理对象106，对象106可保持静止而传感器-源这一对可绕对象102来旋转。图1给出了旋转的单个轴，或者换句话说，位图被取在沿圆周的一定角度上。显然对象106可由从各种点得到的一组位图来表示，所述点不是全部位于相同的圆周上，而是有的位于例如另一几何形式例如球体的表面上。在后者的情况下，每个位图用两个参数来检索，例如被用于球面坐标系统的角度2和N。控制器110然后控制旋转轴和/或光源104和传感器102的平面的方位。
由于该系统用于娱乐或作为玩具是特别有趣的，高精度不是最初的主要问题。例如，来自源104的光线可能不相互平行，这样导致了边界影子区，在其中光的强度从最大到最小逐渐变化；传感器102仅具有有限的分辨率；一些对象不容易用投射的影子绘制出，等等。然而，从位图数据的合成中出现的中间虚拟模型比给用户提供绘图工具并让他/她从勾划开始要大大接近于有意义的最终结果。光源104可以是有准直光束的源、有菲涅耳透镜的单光源或机械安装的激光器或者可被用于减少边界影子区的其它准直光源。传感器102可包括平板传感器阵列，它有阻挡杂散光的装置或聚集光并将其集中于(如在电子照相机中的)CCD或CMOS阵列上的透镜。
如较早所提及的，软件工具被提供用于精制中间模型，优选地以直觉上简单的方式洞可用虚拟的钻来钻；碎片可用虚拟的凿子或虚拟的冰淇淋勺(本发明人的喜好)来去除；可使用虚拟的车床或刳刨机；通过控制模型的弹性，借助推和拉来实现再成形，等等，均在虚拟环境中进行。
图2示出在关于传感器102的不同方位上大象物理模型的侧影位图202、204和206。
图3示出将位图204应用于体素的块304的结果，块304具有有限的尺度。结果为具有大象侧影的横截面的柱体。
图4示出以上已讨论的关于软件应用114的内容。应用114包括对块304进行雕刻的鉴别器402。雕刻过程的实例如下。对每个索引i，i＝1，2，...，N，从未被相应于索引i的位图中的黑像素所覆盖的块中去除体素，“i”为使得能依照其相应的方位(例如，观察角度)来排序位图的运行标记。鉴别器402亦可被用于计算柱体例如柱体302与体素空间的相交。一些体素可能仅部分地属于相交，而适当的过滤是明智的，以避免虚拟模型中的锯齿形表面。
在输入406处提供用于位图和其相关索引的输入。输入参数可由用户在输入408处提供，例如为按比例调节的目的。体素雕刻的结果被存储于存储器410中并被显示于显示监视器412上。应用114包括成形工具，以便在于输入414的用户的控制下，用户刻掉体素，并另外，修改位图的结果。用户通过监视器412获得这些操作的可视反馈。
当被用作玩具或用于娱乐时，生成过程本身优选地被伴以特别的图形和/或声音效果。例如，当使用位图作为雕刻工具以从体素块中去除所有那些未被位图侧影覆盖的体素时，该去除由从块的适当地方喷出的碎片雨并由快速凿动或爆炸的声音来示出。作为旁白布莱克山中的拉什莫尔山国家纪念碑(the Mt.Rushmore National Monumentin the Black Hills)由Gutzon Borglum用炸药雕刻到几英寸的精度。类似地，由Korzczak Ziolkowski设计的不远处的疯马酋长国家纪念碑也是用炸药雕刻的。
被引入作为参考的是以下专利文件-为GUI HAS LIBRARY METAPHOR BASED ON NON-EUCLIDEANGEOMETRY(具有基于非欧几里得几何的库隐喻的GUI)而授予GregRoelofs、提交于00年11月28日的U.S.序列号09/724,656(代理记录US 008072)。此文件涉及有GUI的数据处理系统，它使得用户能与虚拟环境进行交互。该环境具有基于库隐喻(library metaphor)的存储的图形表示。该存储被用于将信息项用图形来归档。虚拟环境具有依赖路径的几何结构。这允许修改存储以附加另外的项，而无需视觉上干扰先前存储的项的组织。
-为VIRTUAL MODEL GENERATION VIA PHYSICAL COMPONENTS(通过物理部件进行的虚拟模型的生成)而授予Greg Roelofs、提交于01年2月5日的U.S.序列号09/777,504(代理记录US 010024)。此文件涉及用于生成物理结构虚拟模型的系统。该系统包括基板；提供传感器数据的至少一个传感器；能被传感器传感并可安装于基板上的至少一个建立部件(building componet)；与传感器对接并从其接收数据的计算机，用于在传感器数据的基础上确定被安装于基板上的每个部件的位置和尺度；并且其中计算机基于每个部件的位置和尺寸而生成一由被安装于基板上的每个部件组成的结构的欲被显示于计算机显示器上的虚拟模型，该结构。建立部件包括具有电签名的电接触点。传感器为被连接于电源的电路板并且包括电压计、安培计、开关网络和从电压计接收数据并用于控制电压计、安培计和开关网络的处理器。传感器传感每个建立部件的电路板上的位置、方位和电记号。
-为ONE-TO-ONE DIRECT COMMUNICATION(一对一直接通信)而授予Nancy Kidney等、提交于01年3月30日的U.S.序列号09/823,460(代理记录US 018037)。此文件涉及用图形来表示当对象逐渐滑出发送者的显示器上的视野并逐渐滑入接收者的显示器上的视野时，从发送手持装置到接收器的传递电子对象的进程。手持装置中的重力传感器被用于确定传输的数据速率。对例如电子玩具这种可视反馈是人机工程学特征。
权利要求
1.一种用于生成图形对象的软件应用，该应用包括输入，用于接收多个相应的位图，每个具有相应的索引并包括有第一和第二像素值之一的像素；以及鉴别器，对多个体素的域进行运算以在相应索引和相应位图像素值的控制下为每个相应的位图确定哪些特定的体素分配给对象的体素表示。
2.权利要求1的应用，包括使得用户能修改图形对象的形状的软件工具。
3.权利要求1的应用，包括用于在图形对象上绘制纹理的软件工具。
4.权利要求1的应用，包括用于使预定图形实体生动化的脚本；用于组合实体与图形对象以使能够通过脚本来使对象生动化的软件工具。
5.权利要求1的应用，在商业上可用于非专业的目的。
6.一种用于与PC一起使用的外围设备，该设备包括光传感器阵列，用于生成位图以便在PC上的进一步处理。
7.权利要求6的设备，包括基准系统，用于在相对于该基准系统的对象的相应方位上生成物理对象相应的位图。
8.权利要求7的设备，用于与软件应用协作以生成图形对象，该应用包括输入，用于接收多个相应的位图，每个具有表示相应方位的相应索引并包括有第一和第二像素值之一的像素；以及鉴别器，对多个体素的域进行运算以在相应索引和相应位图像素值的控制下为每个相应的位图确定哪些特定的体素应分配给对象的体素表示。
9.一种数据处理系统，包括包括光传感器阵列的设备；以及用于生成虚拟对象的软件应用，该应用包括输入，用于接收多个相应的位图，每个具有相应的索引并包括有第一和第二像素值之一的像素；以及鉴别器，对多个体素的域进行运算以在相应索引和相应位图像素值的控制下为每个相应的位图确定哪些特定的体素应分配给对象的体素表示。
10.一种使得能制作图形模型的方法，该方法包括使得能提交位图集，每个位图有多个像素，其每个像素具有两个像素值的一个；以及用位图将体素的块造型为图形3-D模型。
11.一种用位图集制作的图形模型，每个位图有多个像素，其每个像素具有两个像素值的一个；并用位图将体素的块造型为图形模型。
12.权利要求11的图形模型，模仿大象或企鹅而成形。
全文摘要
通过使用不同方位上大象物理模型的位图侧影以从体素块中刻掉体素，得到了大象的图形模型。这给出了直觉上简单的工具，从而使得用户能生成物理对象的图形表示，以用于例如虚拟环境和视频游戏。
文档编号G06T17/40GK1462415SQ02801334
公开日2003年12月17日 申请日期2002年4月18日 优先权日2001年4月23日
发明者G·R·雷洛夫斯 申请人:皇家菲利浦电子有限公司