专利名称：用于对象提取的系统和方法
技术领域：
本申请涉及交互式计算机成像系统和方法，并且更具体地涉及用于识别从图像中提取的对象的系统和方法。
背景技术：
构造集(construction set)可以包括允许构造各种不同模型或形状的标准化互锁件。这些件可能不需要特殊训练或设计时间来构造复杂系统。互锁件可适合用于创建用作孩子玩具的临时结构。互锁构造集的一个示例是LEGO (乐高博士有限公司，丹麦)，其可以包括彩色互锁塑料砖以及附带的一系列装备、人偶和各种其他部件。这些互锁砖可被以许多方式组装和连接，以构造诸如车辆、建筑乃至工作机器人之类的对象。通过这些互锁砖构造的任何东西可被拆开，并且这些件可被用于制造其他对象。
发明内容
本发明的一个实施例提供了一种用于提取由砖构成的实体对象的图像的系统。该系统包括处理器或控制器，被耦合到该处理器或控制器并且被配置为提供被布置在包含图案或者视觉线索的背景上的所述实体对象的数字图像的数字成像设备，被耦合到所述控制器并且被配置为检测所述数字图像内的所述背景的边界和边缘的背景检测器单元，被耦合到所述控制器并且被配置为计算与所述实体对象的图像大体对齐的经校正虚拟网格的透视转换单元，被耦合到所述控制器并且被配置为通过对与经校正网格对齐的相关像素进行采样来在所述数字图像中定位颜色校准调色板的颜色校准提取单元，以及被耦合到所述控制器并且被配置为辨别所述数字图像中作为所述实体对象的图像的一部分的砖的砖识别器单元，所辨别出的砖组成提取出的图像。这里讨论的各种单元(被耦合的背景检测器单元，透视转换单元，等等)可以由所述处理器或控制器(例如由执行指令或代码的所述控制器或处理器)来实现。本发明的另一实施例提供了一种用于提取由砖构成的实体对象的图像的方法。该方法包括获取被布置在背景上的所述实体对象的数字图像，利用边缘检测运算符来检测所述背景的边界和边缘，其中被计算出是90°或者大约90°的边缘曲率是对于角的指示，执行透视转换计算以计算与所述实体对象的图像大体对齐的经校正虚拟网格，在数字图像中定位颜色校准调色板并且提取该颜色调色板的用于像素的颜色值信息，辨别作为所述实体对象的图像的一部分的砖，该辨别部分地基于较之颜色调色板和背景颜色对所述砖的颜色的判定，所辨别出的砖组成提取出的图像。本发明的另一实施例提供了一种编码在计算机可读介质(例如，存储设备、盘驱动器)内的计算机可读程序。该计算机可读程序包括被配置为指示系统提取由砖构成的实体对象的图像的可执行计算机程序代码。
图I示出根据本发明一个实施例的系统的示意图；图2示出图I的系统的组件的示意图；图3示出由图I中示出的系统捕捉的图像；图4示出根据本发明一个实施例的方法；图5示出根据图4中示出的方法的一个步骤的图像的表示；图6示出图4中示出的方法中的另一步骤的表示；图7示出图5的图像的一部分的特写；
图8示出图3的图像的元素的替代实施例；图9A-9C示出图4中示出的方法中的另一步骤的表示；图10示出根据图4中示出的方法从图3的图像中提取的图像；图11示出根据本发明一个实施例的方法；图12示出根据本发明一个实施例的方法；图13A示出真实世界对象的杂集(assortment)；图13B示出嵌入在视频游戏内的图IlA的对象的杂集；并且图14示出在手持移动设备上呈现的根据图2的方法的结果的表示。
具体实施例方式在以下描述中，本发明的各种实施例将被描述。为了说明目的，特定示例被提出以提供对本发明至少一个实施例的透彻理解。然而，本领域技术人员还将会明白，本发明的其他实施例不限于这里描述的示例。另外，众所周知的特征可被省略或简化，以便不使这里描述的本发明的实施例模糊。除非另有特别说明，如从以下讨论显见，将认识到在整个说明书中利用诸如“选择”、“评估”、“处理”、“估算”、“计算”、“关联”、“确定”、“指定”、“指派”等术语的讨论指的是
用于操纵在计算机系统的寄存器和/或存储器内被表示为物理(例如电子)量的数据并且/或者将该数据转换为在计算机系统的存储器、寄存器或者其他这种信息存储、传输或显示设备内被类似地表示为物理量的其他数据的计算机、计算机处理器或计算系统或类似电子计算设备的动作和/或处理。这里给出的处理和功能不是固有地与任何特定计算机、网络或其他装置有关。这里描述的本发明的实施例不是参考任何特定编程语言、机器码等描述的。将会认识到各种编程语言、网络系统、协议或者硬件配置可被用于实现在此描述的本发明的实施例的教导。在一些实施例中，本发明的实施例的一个或多个方法可被存储为诸如存储设备之类的制品中的指令或代码，其中这种指令当被处理器或计算机执行时引起本发明一个实施例的方法的执行。本申请与可以提取和识别在图像中捕捉的对象的交互式游戏和计算机视觉成像系统有关。该对象可以通过组装互锁砖(例如，LEGO 砖或建筑单元)或其他件或建筑砖来创建。在一个实施例中，所使用的砖或构造对象具有或者符合已知的尺寸集合(例如，已知和有限的形状和尺寸集合)。图像可以在未被控制的照明条件下被捕捉。对象的识别可以基于形状分析和/或形状比较。可以通过与预定义对象数据库中的记录相比较对对象进行识别和分类，以完成识别。通过将所提取的实体对象的图像嵌入在交互式视频游戏内，用户可以体验与所提取对象的一定水平的交互。图I是根据本发明一个实施例的系统100的示意图。系统100可以包括诸如工作站或个人计算机110之类的计算机以及数字成像设备190。个人计算机110可以包括处理器、显示器292 (图2)、一个或多个用户接口输入/输出设备296 (图2)(例如，键盘、箭头键和/或鼠标)，以及存储器245 (图2)。数字成像设备190例如可以是成像器、网络摄像机或者数字相机。与个人计算机110相连的可以是包含图像和其他数据(例如软件或代码)的数据库的数据存储装置170。数据存储装置170可以由存储器或者诸如硬盘驱动器之类的另一存储设备来实现。系统100可以是具有处理器、显示器、用户接口、存储器、数据库和数字成像设备的专用独立设备。系统100可被实现在诸如笔记本或上网本120、个人数字助理(PDA) 130、移动电话140或者平板(板式)计算机150之类的其它计算设备上。系统100可以包括例如PDA 130和移动电话140内的集成成像设备。数字成像设备190、192和194可被分别连接到个人计算机110、笔记本或上网本120以及平板计算机150。 系统100可以包括在非易失性存储器或者计算机可读介质(例如，硬盘驱动器、闪速存储器、CD ROM、磁介质等)中存储的计算机程序应用。计算机程序应用可以包括当被执行时可以指示或致使系统100的控制器或处理器执行在此讨论的方法(例如提取、识别或嵌入对象的方法)的代码或可执行指令。在另一实施例中，系统100的计算设备110、120、130、140、150各自可被配置为通过电子通信网络160连接到远程服务器180的客户端设备。电子通信网络160可以是因特网、局域网、广域网或者电子通信网络的其他合适配置。客户端设备计算设备110、120、130、140、150可以具有本地客户端应用，并且远程服务器180可以包括远程服务器应用。客户端应用和远程服务器应用组合起来可以为系统100提供用来执行在此讨论的方法(例如提取、识别和/或嵌入对象的方法)的指令。包含图像数据库的数据存储装置172可被连接到远程服务器180。在一个实施例中，包含图像数据库的独立数据存储装置174可被连接到电子通信网络160。数据存储装置174可被计算设备110、120、130、140、150和/或远程服务器180通过电子通信网络160访问。系统100可以提供可以从由数字成像设备190、192、194捕捉的真实世界场景图像中检测和提取实体对象图像的交互式系统。系统100可以在计算机显示器上对所提取对象建模以便虚拟化和嵌入在计算机视频游戏中。对象可以由互锁砖或其他物品或其他材料来构造。在一个实施例中，系统100可以向用户提供关于所要构造的对象(例如飞机、汽车、房屋、人物等)的建议形状或配置的指令。例如，处理器或控制器可以选择形状并且连同给用户的由砖来构造所显示形状的指令一起在显示器上呈现该形状，以创建实体对象。所建议的配置可被存储在例如数据存储装置170、172、174中。在建议对象被提取之后，系统100可以将所提取图像与所建议配置相比较，并且可以计算表示比较结果或者表示图像或实体对象与所建议的配置或形状之间的对应性的评级或者量度。图2示出了系统100的组件的示意。系统100可以包括可被连接到内部总线230的控制器或中央处理单元270。数字成像设备190可以经由输入/输出端口(未示出)被连接到CPU 270。存储器或者数据存储装置170也可以经由输入/输出端口被连接到CPU270。在替代实施例中，在数据存储装置内存储的形状配置可被存储在与内部总线230相耦合的存储器245中，从而减少对数据存储装置170的需要。CPU 270可以向背景检测器240提供由数字成像设备提供的数字图像。背景检测器240可以由专用硬件、软件模块和/或固件来实现，其中CPU 270执行指令。在此讨论的其他单元也可以由专用硬件单元、软件模块和/或固件来实现，其中CPU 270执行指令。可由背景检测器240利用边缘检测器处理或算法来计算和提取背景220的边界和边缘。为了将背景220(图3)与例如由砖或其他建筑单元组成的实体对象的图像205(图3)(例如数字图像)相区别，边缘的曲率可被计算并且曲率大约为90度的位置可被标记为角。每一个检测到的角可被和与之相连的边缘的曲率相关联。背景检测器可以将其结果提供给CPU 270以便例如作为数据存储装置170中的记录存储在内部存储器245或外部存储单元内。背景220可以包括使得能够提取实体对象图像的网格、图案或者视觉线索。背景无需被使用。透视转换校正(PTC)单元250可以计算与对象210的图像大体对齐的经校正虚拟网格。颜色校准提取器单元260可以使用经透视校正的网格来定位在背景220上形成的一个或多个颜色校准调色板。与调色板的砖相对应的来自图像205的相关像素的颜色值可 被颜色校准提取器单元提取并变换为另一颜色空间表示。同样，被选择为表示场颜色的来自背景220的背景场的少数校准点也可被颜色校准提取器单元260提取并变换为相同的HSV (色相(hue)、饱和度、色调(value))颜色空间。其他颜色空间可被使用，并且颜色无需被使用。砖标识符单元280可以采样和提取少数不同地方的图像205的相关像素的值。这些值可被变换为例如HSV颜色空间。经变换数据的色相值可被与背景220中的颜色校准调色板以及(可选的)场的色相值相比较。具有最小差异的颜色被砖标识符单元280选择为表示该网格位置的颜色。砖标识符单元280比较像素的亮度(intensity)和饱和度水平以确定砖是彩色、黑色还是白色的。如果所确定的砖的颜色不是背景的颜色，那么砖标识符单元280认识到该砖是所构造对象的一部分。比较单元290可以将检测到的图像的形状与存储在数据库中的记录相比较。该比较由比较单元例如利用相关函数(correlation function)来完成。图3示出布置在背景220上的对象210的图像205。对象210可以是由建筑砖或者其他单元组成的真实世界实体对象。类似地，背景220可以是由建筑砖或者其他单元组成的真实世界实体对象，或者被印刷在纸张或者硬纸板上。背景无需被使用。可以在具有预定义图案的背景上捕捉所要提取的对象。该预定义图案可以具有预定已知空间特征，该预定已知空间特征可以将属于对象210的像素与属于背景220的像素相区分。例如，图3示出具有正方形网格的背景220。背景220的空间图案可被与图像205的像素相区分，图像205包含由通常为固态刚性的互锁建筑砖组成的对象210。预定义的网格无需是正方形网格，并且预定义背景图案的其他实现方式可被使用。结果类似于利用蓝屏或绿屏从背景中分离前景对象的色度键控(chroma key)技术，系统100可以利用所提取的对象的空间和形态特征从图像205中提取对象210，并且可与颜色识别相独立地被完成。所捕捉的包含对象210的图像可被分析以从背景220中提取对象。一旦提取出对象210，可以为了形状识别而通过与预定义的对象数据库进行比较来分析对象210。一旦对象210的形状被识别出，则经数字提取的对象可被用于与玩家的各种动态交互。
图4示出了根据本发明一个实施例的处理400。可以利用诸如2D底帽(bottomhat)运算符之类的形态运算符来提取对象210的掩模(mask)，这可以给出随后可以利用阈值技术和其他形态运算符(例如，关闭和打开)的组合被过滤以除去伪像的图像。通过应用这些形态运算符而创建的由此得到的掩模可以表示从背景220中检测到并隔离出的对象 210。在一个实施例中，用于提取和识别对象210的处理400可被执行如下步骤410，可以通过在背景220上布置对象210并且拍摄该布置的数字图像来获得图像205。可以利用与计算设备110(个人计算机)相连的数字成像设备190来拍摄该图像。作为替代，可以利用上面描述的其他计算设备以及与这些其他计算设备相关联的外部或者内部的数字成像设备来拍摄图像。背景对象检测其上可以放置砖的背景对象可以是如下的任何表面，该表面具有诸如特定颜色、特定空间图案或者其他可以辅助对对象的检测和提取的一个或多个光谱/空间特征之类的已知特征。背景对象220例如可以是打印纸或硬纸板，或者由互锁砖组成的表面。如果例如互锁砖背景被用作背景，那么处理400可以包括检测例如可通过利用包含深色场的白周边砖创建的四个高对比度的角。这些角可被用于以以下方式寻找背景场的边界可以利用任何可以检测图像中的边缘的边缘检测器来计算和提取图像的边界，例如，Canny算法是一个这种多级算法。Canney算法可以使用可包括用于检测图像中的水平、垂直和对角边缘的四个滤波器的边缘检测运算符。边缘检测运算符可以返回水平方向和垂直方向上的一阶导数的值。根据这些导数，边缘的梯度和方向可被确定。其他非最大抑制边缘检测器技术也可被处理400使用。为了将背景220与图像205相区别，边缘的曲率可被计算并且曲率大约为90度的位置可被标记为角，步骤420。图5示出了具有处理400所识别出并由图中的“ + ”标记指示出的角的互锁砖背景和对象。被标记角中的每一个可被认为是背景场的候选角。参考图5，每个检测到的候选角可被和与之相连的边缘的曲率相关联。如果在预定阈值内发现这些边缘曲率接近零，那么这些边缘曲率可能在直线上。在这种情况下，这些角可被标记为背景场的角的候选者。候选角的每个相关边缘的斜率被计算并且其线方程被提取。如果第一候选角和与第二候选角相关联的线方程之一之间的距离小于某一预定阈值，那么这两个角被认为在同一线上。如果线组成四角形处的四个这种角被找到，那么认为背景场的角被找到。与其他角不在同一线上的候选角不再被考虑作为背景角。诱视转换校ιΗ 背景220可以是矩形或者方形或者其他形状，但是由于背景可能不一定被定位为垂直于相机透镜的轴的事实，因此得到的图像可能不是方形和真实的。背景220的检测到的角的位置可被用于执行透视转换计算，步骤430。该透视转换可被用于计算经校正的虚拟网格，该虚拟网格与组成图像205中所示的对象210的互锁砖的图像大体对齐。图6示出了叠加有透视转换计算之后的真实网格的图像205的表示。校准颜色提取:图7示出了示出颜色校准调色板610的背景220的一个角的特写。背景220可以 使颜色校准调色板610位于其四个角中的一个或多个中。每一个颜色校准调色板例如可以包括四种不同的有色块一例如，红色、黄色、绿色和蓝色。其他数目的颜色以及其他颜色可被使用。当背景220被装配时，有色块例如可以利用互锁砖组成。利用在步骤430中获得的经透视校正的网格，组成颜色校准调色板610的这些有色砖中的每一个有色砖的位置可被找到。与调色板的砖相对应的来自像素205的相关像素的颜色值可被提取，步骤440，并且被变换为另一颜色空间表示，例如HSV颜色空间。另外，被选择为表示场颜色的来自背景220的背景场的一些校准点也可被提取并被变换为相同的HSV颜色空间。有色建筑块可以经历另外的分析，并且可以进行对其颜色的分类以获得对象的颜色模型。图8示出了背景220的替代实施例。在该实施例中，背景220可被印制在诸如纸或硬纸板之类的合适平整表面和材料上。这里，背景220可以包括颜色校准调色板620，颜色校准调色板620可以包括按照特定空间布置来布置的颜色组合。颜色校准调色板620可 以允许对颜色的校准以补偿白平衡、动态范围和颜色一致性。砖识别对于每个网格位置，图像205的相关像素的值可被在几个不同位置被采样和提取，步骤450。这些值可被变换为HSV颜色空间。经变换数据的色相值可被与在步骤440期间获得的颜色校准调色板以及可选的背景场的色相值相比较。具有最小差异的颜色可被选择为表示该网格位置的颜色。相关像素的亮度水平可被和与在背景220的四个角中使用的砖所关联的黑色和白色像素的亮度水平和饱和度水平相比较。如果饱和度水平与白色的饱和度水平的接近程度超过其与颜色调色板和背景的饱和度水平的接近程度；并且如果其亮度水平也高，那么该网格位置的颜色可被标记为白色。如果亮度水平很低并且接近于黑色的亮度水平，那么网格位置可被标记为黑色。否则，该网格位置的颜色被指派来自颜色校准调色板的对应颜色。图9A-C示出了步骤440的中间结果。诸如2D底帽运算符之类的形态运算符将给出随后可以利用一种或多种阈值技术(见图9B)和其他形态运算符(例如关闭和打开)被过滤以除去伪像的图像(见图9A)。通过应用这些形态运算符而创建的由此得到的掩模可以表示从背景220中隔离出的对象210 (见图9C)。图10示出了在通过处理400从图像205中进行提取之后的对象210的图像示例。在对象210的图像被与背景220分离并且被从图像205中提取出之后，处理400可以通过应用二进制大对象(BLOB)分析、标注和时刻计算来执行对所提取图像的朝向的进一步分析，以获得可被用于使对象旋转至更加希望的角度的计算出的角度。在一个实施例中，对与检测到的对象相关联的空间和光谱特征的进一步分析可被用来将系统100训练为在以后例如通过检查检测到的对象的颜色直方图以及检测到的对象内的有色片段的关系来识别对象。该信息可被存储在数据存储装置170、172和174中。形状比较和评分:来自图像205的所提取出的对象的形状可被与数据存储装置170、172或174内存储的数据库中的记录相比较，步骤460、470。可以例如通过利用归一化的相关函数cor将所提取出的对象形状与来自数据库的输入形状相比较f(cor)=(所存储的配置，所提取出的形状)
如果所存储的配置=所提取出的形状，则f (cor) = I其中所存储的配置可以位于数据存储装置内，并且所提取出的形状可以例如通过处理400提供。其他操作可被使用。在一个实施例中，可以基于所提取出的图像及其分类来创建游戏。计算机可以以交互式方式使用户参与，以创建随后在供提取的图像中被提供给计算机的真实世界对象。计算机可以在计算机显示器上呈现来自数据库的记录并且请求玩家构建所显示的对象。所显示的对象例如可以是汽车。在对象被玩家组装之后，放置在合适背景上的对象的图像(如上面讨论的)可被获得。计算机然后可以提取对象的图像，并且将其与数据库记录相比较。图13A示出了可被构建的各种对象。例如，图13A示出了人物1010、汽车1020、树1030、飞机1040、脸1050和房子1060形式的真实世界对象。以下文本 是可被输出给用户的交互式脚本以及根据该实施例的对应动作的示例计算机欢迎，玩家，让我们进行有趣的讲故事冒险！计算机首先，我们需要一个人物...你能构建一个男孩人物吗？[玩家构建人物的身体并且将其显示在背景上]计算机[在提取出并且比较对象之后]:很好，现在让我们给他一张脸；你能为他构建一张脸吗？[玩家构建一张脸并且将其显示在背景上]计算机很好...嗯...让我们给他构建一栋房子...你能帮忙做这个吗？[玩家构建一栋房子并且将其显示在背景上]计算机这真是极好的房子。计算机嗨，那是什么声音？那是一架飞机吗？你能构建一架飞机吗？[玩家构建一架飞机并且将其显示在背景上]计算机这是什么声音？那是汽车喇叭声吗？让我们构建一辆...[玩家构建一辆汽车并且将其显示在背景上]如果显示错误的事物那么计算机响应以计算机这是很好的[脸/房子/飞机/汽车/树]但是让我们再试一次。通过获取所构造的对象的图像，计算设备可以检测形状的存在并且提取该形状，从而在显示屏幕上显示所提取出的形状的数字表示。用户可以通过操纵屏幕上的形状的数字表示的位置或者其他方面来创建虚拟世界。提取还可以涉及通过利用图像处理技术对形状进行自动识别。利用自动识别，计算机可以请求用户构建特定形状并且可以基于与数据库中的预定义图像的比较来给出某
一反馈。图11示出了可以实现游戏的处理700，游戏例如包括上面给出的交互式脚本。计算机(例如经由显示器或者监视器)指示玩家构造对象，步骤710。可以例如经由声卡通过音频(口头的或者声音)提供指令，或者可以通过在计算机显示器上呈现书面语来以可视方式提供指令。对象的图像可以被显示或者可以不被显示。通过不显示所指示对象的图像，玩家的知识、言语技能以及想象力可被练习。对象可从数据库中被随机选择，或者可按照预定顺序被选择。该预定顺序可被选择来使得玩家的构造技能通过对象选择的顺序而得到开发。在玩家构造对象之后，玩家可以如上面描述将对象放置在合适的背景上，并且利用数字成像设备拍摄对象和背景的数字图像。背景无需被使用。计算机从数字成像设备获得作为图像文件的实体对象的数字图像，步骤720。所构造的实体对象的图像可被从数字图像中提取，步骤730。可以例如利用上面参考图4描述的处理400的方法来执行提取。对象的提取出的图像可被与对应于所指示对象的数据库记录相比较，步骤740。在本发明的一个实施例中，该比较可以提供可以指示所构造对象与所指示对象的一致性的评分或者量度。提取出的图像可被嵌入在视频游戏中并且可被玩家在游戏参数内利用，步骤750。其他步骤或者其他系列的步骤可被使用。
在另一实施例中，计算机可以随机地选择形状(例如，从存储器或者数据库中取得的预定形状)并且在显示设备上示出或者显示该形状。例如在定时条件下，作为游戏的一部分，玩家可以利用砖或者其他构造对象来尝试和构造该形状。一旦玩家完成构造该形状，他使用数字成像器将他创建的图像上传到计算机。在计算机提取并识别出该对象之后，其可被与设备上示出的原始形状相比较。比较结果可被示出，以指示作为交互式竞争的一部分的构造任务的成功或失败。用户可被呈现以在计算设备的屏幕上出现的由砖或者其他建筑单元组成的选中形状。该选中形状还可以伴随着当用户第一次看见该形状时启动的定时器。该定时器可被用来测量用户可以多快利用互锁砖成功构建该形状。用户试图利用常规砖构建该形状并且在背景被使用的情况下可以将他构建的对象放置在被指定为背景区域的区域上。计算设备可以不断分析从数字相机获得的图像并且可以检测对象在背景区域上的存在。如果对象被检测到，那么方法的一个实施例可以通过利用本发明实施例中的处理(例如上面描述的处理400)来提取用户创建的对象的形状。该处理可以将所提取出的由用户构建的对象的图像与曾作为目标形状呈现的选中形状相比较，以确定用户构建形状有多成功。该比较可以提供基于用户的对象与选中形状相对应的精确程度的评分或者量度。该评分或者量度还可以包括指示构造对象所花费的时间的成分，其中该成分基于对象的复杂度而变化。图12示出了可以实现上面描述的定时构造的处理800。计算机可以从包含表示预定形状的记录的数据库中取回记录，步骤810。所取回的形状的视觉图像可被显示在计算机显示器上，步骤820。计算机可以提供请求玩家构造在显示器上看到的对象的消息，步骤830。可选地，计算机还可以在屏幕上呈现时钟计时器。该计时器(无论被显示与否)可以是递增计时器或者递减计时器，以跟踪用户构造实体对象所逝去的时间。在(例如经由用户输入设备)接收到用户已经完成构造的指示之后，或者等待预定时段逝去之后，步骤840，计算机指示玩家如上所述将对象放置在合适的背景上，并且利用数字成像设备拍摄对象和背景的数字图像。背景无需被使用。计算机可以从数字成像设备获得作为图像文件的数字图像，步骤850。
所构造的对象的图像可被从数字图像中提取，步骤860。可以例如利用上面参考图4描述的处理400的方法来执行提取。对象的提取出的图像可被与所取回的数据库记录相比较，步骤870。该比较可以提供可以指示所构造对象与所取回记录的一致性的评分或者量度。提取出的图像可被嵌入在视频游戏中并且可被玩家在游戏参数内利用，步骤880。其他步骤或者其他系列的步骤可被使用。提取出的图像(或者各种实体对象的多个提取出的图像)可以作为虚拟世界或者视频游戏的一部分被以数字方式表示在显示设备上，其中存在于虚拟世界和/或视频游戏的对象是根据真实世界中的构造集来设计和构建的。图13B示出了被嵌入在计算机图形中的图13A中的多个真实世界对象的所提取图像。 图14示出了在根据包含互锁砖背景和对象的真实世界组合1020的图像被处理之后的提取出的图像110。图14示出了在配备有内部相机的移动设备130、140上的提取出的图像。虽然已经示出并描述了被应用于若干实施例的本发明的基本的新颖特征，但是将会明白，本领域技术人员在不脱离本发明的精神和范围的情况下可以做出在例示实施例的形式、细节以及操作方面的各种省略、替换和改变。还充分预计并预期到从一个实施例到另一个实施例的元件替换。本发明仅由所附权利要求以及其中记载物的等同物来限定。
权利要求
1.一种用于提取由砖构成的实体对象的图像的系统，该系统包括 控制器； 数字成像设备，该数字成像设备被耦合到所述控制器并且被配置为提供被布置在背景上的所述实体对象的数字图像； 背景检测器单元，该背景检测器单元被耦合到所述控制器并且被配置为检测所述数字图像内的所述背景的边界和边缘；以及 砖识别器单元，该砖识别器单元被耦合到所述控制器并且被配置为辨别所述数字图像中作为所述实体对象的图像的一部分的砖，所辨别出的砖组成提取出的图像。
2.如权利要求I所述的系统，还包括比较单元和数据存储装置，该比较单元被耦合到所述控制器，该数据存储装置包含具有描述预定形状的记录的数据库，其中所述比较单元被配置为将所述提取出的图像与所述预定形状当中的对应形状相比较。
3.如权利要求I所述的系统，所述控制器被配置为将所述提取出的图像的数字表示嵌入在视频游戏显示中，其中所述数字表示可被用户操纵。
4.如权利要求2所述的系统，所述比较单元还被配置为提供对所述实体对象与所述对应形状之间的一致性的评分。
5.如权利要求2所述的系统，其中，所述控制器选择所述对应形状并且将该形状与给用户的由所述砖构造所显示形状的指令一起呈现在显示单元上，以创建所述实体对象。
6.如权利要求5所述的系统，其中，所述控制器被配置为跟踪所述用户完成对所述实体对象的构造所逝去的时间。
7.如权利要求2所述的系统，其中，所述控制器选择所述对应形状并且向用户提供由所述砖构造该形状的指令，以创建所述实体对象。
8.如权利要求I所述的系统，还包括透视转换单元，该透视转换单元被耦合到所述控制器并且被配置为计算与所述实体对象的图像大体对齐的经校正的虚拟网格。
9.如权利要求I所述的系统，还包括颜色校准提取单元，该颜色校准提取单元被耦合到所述控制器并且被配置为通过对与经校正网格对齐的相关像素进行采样来在所述数字图像中定位颜色校准调色板。
10.一种用于提取由砖构成的实体对象的图像的方法，该方法包括以下步骤 获取被布置在具有场的背景上的所述实体对象的数字图像； 利用边缘检测运算符来检测所述背景的边界和边缘，其中被计算出为大约90°的边缘曲率是角的指示； 辨别作为所述实体对象的图像的一部分的砖，该辨别部分地基于较之背景场对所述砖的颜色的判定，所辨别出的砖组成提取出的图像。
11.如权利要求10所述的方法，还包括将所述提取出的图像与描述对应形状的数据库记录相比较的步骤。
12.如权利要求10所述的方法，还包括将所述提取出的图像的数字表示嵌入在视频游戏中的步骤，其中所述数字表示能被用户操纵。
13.如权利要求11所述的方法，还包括提供对所述实体对象与所述对应形状之间的一致性的评分的步骤。
14.如权利要求11所述的方法，还包括将所述对应形状与给用户的由所述砖构造所显示形状的指令一起呈现在显示单元上以创建所述实体对象的步骤。
15.如权利要求14所述的方法，还包括跟踪所述用户完成对所述实体对象的构造所逝去的时间的步骤。
16.如权利要求11所述的方法，还包括以下步骤 选择所述对应形状；以及 向用户提供由所述砖构造该形状的指令，以创建所述实体对象。
17.如权利要求11所述的方法，还包括执行透视转换计算以计算与所述实体对象的图像大体对齐的经校正的虚拟网格的步骤。
18.如权利要求11所述的方法，还包括在所述数字图像中定位颜色校准调色板以及提取所述颜色校准调色板的用于像素的颜色值信息的步骤，其中所述辨别步骤还部分地基于较之所述颜色调色板对所述砖的颜色的判定。
19.一种具有存储在其上的指令的计算机可读介质，所述指令当被处理器执行时使该处理器执行如下方法 提取由砖构成的实体对象的图像； 获取被布置在具有场的背景上的所述实体对象的数字图像； 利用边缘检测运算符来检测所述背景的边界和边缘，其中被计算出为大约90°的边缘曲率是角的指示； 辨别作为所述实体对象的图像的一部分的砖，该辨别部分地基于较之背景场对所述砖的颜色的判定，所辨别出的砖组成提取出的图像。
20.如权利要求19所述的计算机可读介质，还包括当被执行时使所述处理器将所述提取出的图像与对应形状的数据库记录相比较的指令。
21.如权利要求19所述的计算机可读介质，还包括当被执行时使所述处理器将所述提取出的图像的数字表示嵌入在视频游戏中的指令，其中所述数字表示可被用户操纵。
22.如权利要求20所述的计算机可读介质，还包括当被执行时使所述处理器提供对所述实体对象与所述对应形状之间的一致性的评分的指令。
23.如权利要求20所述的计算机可读介质，还包括当被执行时使所述处理器将所述对应形状与给用户的由所述砖构造所显示形状的指令一起呈现在显示单元上以创建所述实体对象的指令。
24.如权利要求23所述的计算机可读介质，还包括当被执行时使所述处理器跟踪所述用户完成对所述实体对象的构造所逝去的时间的指令。
25.如权利要求20所述的计算机可读介质，还包括当被执行时使所述处理器执行以下步骤的指令 选择所述对应形状；以及 向用户提供由所述砖构造该形状的指令，以创建所述实体对象。
26.如权利要求19所述的计算机可读介质，包括当被执行时使所述处理器执行透视转换计算以计算与所述实体对象的图像大体对齐的经校正的虚拟网格的指令。
27.如权利要求19所述的计算机可读介质，包括当被执行时使所述处理器执行以下步骤的指令 在所述数字图像中定位颜色校准调色板；以及提取所述颜色校准调色板的用于像素的颜色值信息； 其中所述辨别指令还部分地基于较之所述颜色调色板对所述砖的颜色的判定。
全文摘要
用于提取例如由砖构成的实体对象的图像的系统和方法被给出。该方法和系统可以利用边缘检测运算符来检测背景的边界和边缘，执行透视转换计算以计算与实体对象的图像大体对齐的经校正虚拟网格，在数字图像中定位颜色校准调色板并且提取该颜色调色板的用于像素的颜色值信息，并且辨别作为实体对象的图像的一部分的砖，该辨别部分地基于较之颜色调色板和背景颜色对砖的颜色的判定，辨别出的砖组成提取出的图像。计算机可读介质可以包括使系统根据该方法提取由砖构成的实体对象的图像的指令。
文档编号G06K9/00GK102713931SQ201080044689
公开日2012年10月3日 申请日期2010年8月4日 优先权日2009年8月4日
发明者瑞安·卡夫托里, 罗农·霍洛维茨 申请人:艾修视力科技有限公司