信息处理装置和信息处理方法与流程

本发明涉及使用捕获图像识别目标对象的位置的信息处理装置和信息处理方法。

背景技术：

近年来，对于个人计算机、游戏机和配备有照相机的其他设备的用户来说，通常的做法是将其图像捕获用于各种用途。例如，可视电话和视频聊天服务允许用户经由网络将其未修改的图像发送给其他方。一些当前商业化的技术使得能够通过图像分析来识别用户的移动并且允许所识别的移动被用作游戏和信息处理的输入信息(例如，参见专利文献1)。特别地，给定在具有深度方向的三维空间中以高精度检测到的目标对象的移动，可能提供具有逼真感觉的游戏和图像表示。

[引用列表]

[专利文献]

[ptl1]

wo2007/050885a2

技术实现要素：

[技术问题]

在捕获包含各种对象的空间的图像以使得所捕获的图像用作信息处理的输入数据的情况下，与使用输入设备的硬件键(hardwarekey)或图形用户界面(gui)的操作进行信息处理相比，图像分析的精度对信息处理的精度影响更大。通过使用输入装置的硬件键或图形用户界面(gui)的操作来处理。为了实现复杂且高度精确的信息处理，需要以子像素为单位对图像进行详细分析。

鉴于上述情况作出了本发明。因此，本发明的目的是使用捕获图像提供用于高精度地检测目标对象的位置以用于的信息处理的技术。

[问题的解决方案]

在解决上述问题的过程中，根据本发明的实施例，提供了信息处理装置，包括：捕获图像获取部分，其被配置为获取目标对象的捕获图像的数据；轮廓搜索部分，其被配置为通过在所捕获的图像中搜索相对于其在目标对象图像所占据的区域内的位置的亮度变化满足预定条件的坐标点来获得目标对象的图像的轮廓线；位置信息生成部分，其被配置为基于轮廓线生成关于真实空间中的目标对象的位置信息。轮廓搜索部分将图像区域中的像素用作起始点，在像素阵列的对角线方向上搜索坐标点。

根据本发明的另一实施例，提供了信息处理方法，包括以下步骤：获取目标对象的捕获图像的数据，以便将数据存储到存储器中；通过在从存储器读取的捕获图像中搜索相对于其在目标对象图像所占据的区域内的位置的亮度变化满足预定条件的坐标点来获得目标对象的捕获图像的轮廓线；并且基于轮廓线生成关于真实空间中的目标对象的位置信息。获得轮廓线的步骤将图像区域中的像素用作起始点，在像素阵列的对角线方向上搜索坐标点。

顺便提及，如果上述组成元件的其他组合或本发明的上述表述在诸如方法、装置、系统、记录介质和计算机程序的不同形式之间转换，则它们仍然构成本发明的有效实施例。

[发明的有益效果]

根据本发明，使用捕获图像高精度地获取关于目标对象的位置信息。

附图说明

图1是描绘体现本发明的信息处理系统的典型系统配置的示意图。

图2是描绘实施例的发光设备的典型外形的示意图。

图3是描绘体现本发明的信息处理装置的内部电路配置的示意图。

图4是描绘作为实施例的信息处理装置的功能块的框图。

图5是说明一方面从右视点和左视点由实施例捕获的立体图像之间的视差与另一方面到目标对象的距离之间的关系的说明图。

图6是描绘实施例的视差相对于到成像装置的距离的变化的示意图。

图7是说明实施例的轮廓搜索部分识别目标对象的图像的轮廓的方法的说明图。

图8是说明实施例基于搜索方向上的亮度变化以比像素的分辨率更高的分辨率检测轮廓线的位置的方法的说明图。

图9是描绘设置目标对象的轮廓线的搜索方向的示例的示意图。

图10是示意性地描绘一方面目标对象的轮廓与另一方面要用对应于捕获图像中的每个像素的元素观察的颜色之间的关系的示意图。

图11是指示当类似于图9中搜索路径根据要用位于路径上的像素观察的颜色的模式进行分组时，给出的搜索路径计数的表格图。

图12是示意性地描绘实施例在搜索目标对象的轮廓线时使用的搜索路径的示意图。

图13是指示体现本发明的信息处理装置的位置信息获取部分获取关于目标对象的位置信息的处理步骤的流程图。

具体实施方式

图1描绘了体现本发明的信息处理系统的典型配置。该信息处理系统1包括由用户4持有的发光设备18、捕获包括发光设备18的空间的图像的成像装置12、识别发光设备18的位置并且基于所识别的设备位置执行信息处理的信息处理装置10，以及输出作为信息处理的结果而生成的数据的显示装置16。

信息处理装置10、成像装置12和显示装置16可以通过电缆或通过诸如蓝牙(注册商标)的任何现有无线通信技术互连。这些装置的外形不限于图中所示的那些。这些装置的至少两个可以集成到单个装置中。例如，信息处理装置10、成像装置12和装置16可以整体地实现为配备有相应功能的移动终端。成像装置12不一定需要安装在显示装置16上。取决于由信息处理装置10处理的内容，可以有多个用户4。也可以有多个发光设备18。

成像装置12具有以预定帧率捕获包括发光设备18的空间的图像的相机，以及通过对来自相机的输出信号执行诸如去马赛克的通常处理，在将生成的输出数据发送到信息处理装置10之前，生成捕获图像的输出数据的机制。相机配备有通常的可见光传感器，诸如电荷耦合设备(ccd)传感器或互补金属氧化物半导体(cmos)传感器。

如图所示，可以有两个这样的相机，以已知距离水平间隔开，以构成立体相机。立体相机在三维空间中识别诸如发光设备18的目标对象的位置，该三维空间包括从相机的成像平面到目标对象的距离。或者，成像装置12可以是单目相机。成像装置12可以向信息处理装置10输出包括由可见光传感器获取的拜耳阵列的所谓原始图像，使得信息处理装置10对未修改的原始图像执行诸如去马赛克的必要处理。

信息处理装置10使用从成像装置12发送的数据识别真实空间中的发光设备18的位置。通过基于位置信息进行必要的信息处理，信息处理装置10生成诸如图像和声音的表示处理结果的输出数据。由信息处理装置10使用关于发光设备18的位置信息执行的处理的细节不受任何特定限制。因此，可以取决于用户期望的功能和使用中的应用的细节适当地确定处理细节。例如，信息处理装置10可以从发光设备18的移动获取用户4的移动，并且允许其中出现执行类似移动的角色的游戏的进展。并且，信息处理装置10可以将发光设备18的移动转换为输入命令，并实现与命令相对应的功能。

显示装置16可以是包括用于输出显示图像的显示器和用于输出声音的扬声器的电视机，诸如液晶电视、有机el电视、等离子电视或pc显示器。或者，显示装置16可以是包括在平板终端或移动终端中的显示器和扬声器。显示装置16可以是诸如图中所示的纯平显示器、在佩戴头戴式显示器的用户的眼前呈现图像的头戴式显示器，或者是纯平显示器和头戴式显示器的组合。

信息处理系统1还可以包括输入装置，其在由用户操作时接受对开始和结束处理的请求以及对选择功能和各种命令的输入的请求，然后将所接受的请求作为电信号提供给信息处理装置10。输入装置可以是任何特定装置，诸如配备有硬件键的控制器、鼠标或操纵杆，或覆盖显示装置16的显示器的触摸板。

图2描绘了发光设备18的典型外形。发光设备18包括发光部分6和手柄8。所述发光部分6是由诸如透光树脂的遮盖材料形成的球体，其中包含有诸如发光二极管或灯泡的普通光源。打开设备时，整个球面会发光。在多个用户使用他们各自的发光设备18的情况下，这些装置被配置为发出不同颜色的光以用于个体识别。

手柄8是由用户的手抓握的部分，并且可以配备有未示出的诸如开/关按钮的输入按钮。手柄8还可以包括以有线或无线方式与信息处理装置10建立通信的通信部件，以便与其交换必要的信息。例如，信息处理装置10可以确定分配给多个发光设备的发光颜色，向每个发光设备18通知为其指派的发光颜色，并控制诸如照明和闪烁的设备发光模式。

此外，手柄8可以包含诸如加速度传感器和陀螺仪传感器的运动传感器，并且使它们的测量值以预定的速率从发光设备18发送到信息处理装置10。这允许信息处理装置10连续地识别发光设备18的姿态。顺便提及，发光设备18的外形不限于图中所示的内容。或者，发光设备18可以成形为佩戴在用户身体上或与上述头戴式显示器或输入装置一体形成。例如，头戴式显示器或输入装置的表面可包括预定形状的发光区域。在这种情况下，表面上可以有一个或多个发光区域。

该实施例从其中存在各种物体的空间捕获的图像中高精度地提取发光部分6的图像，并且基于发光部分6的位置和大小识别发光设备18的位置。在图2中所示的发光设备18的情况下，将发光部分6的图像提取为近似圆形的区域。只要使用已知光源，该光源可以是输入装置或头戴式显示器的一部分，其形状不受任何特定限制。尽管来自发光设备18的光发射有助于其与成像装置12的视场内的其他对象的区别，但是这不是对该实施例的限制。也就是说，其位置将被检测的对象仅需要在颜色和形状方面已知，并且不限于发光对象。在下面的描述中，将要基于其捕获图像获取其真实空间中的位置的诸如发光设备18的对象将被称为“目标对象”。

图3描绘了信息处理装置10的内部电路配置。信息处理装置10包括中央处理单元(cpu)22、图形处理单元(gpu)24和主存储器26。这些组件经由总线30互连。总线30还与输入/输出接口28连接。输入/输出接口28与包括诸如usb和ieee1394端口或有线或无线lan网络接口的外围设备接口的通信部分32、诸如硬盘驱动器或非易失性存储器的存储部分34、向显示装置16输出数据的输出部分36、从成像装置12和输入装置接收数据输入的输入部分38以及驱动诸如磁盘、光盘或半导体存储器的可移动记录介质的记录介质驱动部分40连接。

cpu22通过运行存储在存储部分34中的操作系统来控制整个信息处理装置10。此外，cpu22运行从可移动记录介质读取并加载到主存储器26中的程序或经由通信部分32下载的各种程序。具有几何引擎和渲染处理器的功能的gpu24根据来自cpu22的渲染指令进行渲染过程，并将如此渲染的显示图像存储到帧缓冲器中(未示出)。将存储在帧缓冲器中的显示图像转换为输出到输出部分36的视频信号。主存储器26包括存储处理所需的程序和数据的随机存取存储器(ram)。

图4描绘了体现本发明的信息处理装置10的功能块配置。信息处理装置10包括：捕获图像获取部分60，其从成像装置12获取捕获图像的数据；数据存储部分62，其存储捕获图像数据和位置信息数据；位置信息获取部分64，其通过从捕获图像中检测目标对象的图像来获取关于真实空间中的目标对象的位置信息；信息处理部分66，其基于位置信息执行预定信息处理；和输出数据生成部分68，其生成要作为信息处理的结果输出的数据。

图4中描绘作为用于执行各种处理的功能块的元件可以由各种电路以硬件构成，诸如图3中的cpu22、gpu24和主存储器26，或通过从由记录介质驱动部分40驱动的记录介质或从存储部分34加载到主存储器26中的程序以软件实现。因此，本领域技术人员可以理解，这些功能块可以是仅通过硬件、仅通过软件或通过两者的组合以多种方式实现，但不限于此。

捕获图像获取部分60连续地获取由成像装置12捕获的运动图像的帧数据，并将捕获图像存储到数据存储部分62中。在帧图像尚未经历去马赛克处理和阴影补偿的情况下，捕获图像获取部分60在将图像存储到数据存储部分62之前对帧图像执行这样的处理。位置信息获取部分64在从数据存储部分62读取的捕获图像中提取出目标对象的图像，并基于所提取的图像获取关于真实空间中的目标对象的位置信息。位置信息获取部分64包括：目标对象检测部分70，其检测目标对象图像的近似位置；轮廓搜索部分72，其搜索目标对象的轮廓；以及位置信息生成部分74，其生成关于三维空间中目标对象的位置信息。

目标对象检测部分70基于目标对象的发光颜色和形状从捕获图像中检测目标对象的图像。例如，可以预先准备发光标记图像的可能形状和颜色的模板。然后，可以从捕获图像中检测与模板中的一个具有高度相似性的区域。由目标对象检测部分70执行的检测过程仅需要足以检测目标对象图像的近似位置。也就是说，运行该过程的部件不受任何特定限制。轮廓搜索部分72基于目标对象检测部分70执行的检测的结果来搜索目标对象图像的轮廓，以便获得目标对象的准确位置。该实施例在子像素级上以高精度获得轮廓的位置，从而提高了获取真实空间中的目标对象的位置的精度和利用位置信息进行信息处理的精度。稍后将讨论实现这些目标的具体技术。

位置信息生成部分74基于由轮廓搜索部分72进行的轮廓搜索的结果，获取目标对象图像的重心的位置坐标及其大小。位置信息生成部分74使用由此获取的重心位置坐标和图像大小，识别真实空间中目标对象在的位置。在成像装置12是立体相机的情况下，位置信息生成部分74获得从右视点和左视点捕获的每个立体图像中的相同目标对象的图像重心的位置坐标。将两个图像重心之间在水平方向的差异用作视差，可以使用三角测量的一般原理来获取从成像平面到目标对象的距离。

在目标对象是诸如图2中的发光部分6的标记(无论角度如何，表观大小保持不变)的情况下，或者在目标对象是在设备表面上以预定距离间隔开的多个标记的情况下，单目相机仍可用于从图像大小或从标记到标记的间隔获取距离。位置信息生成部分74以这种方式识别从成像平面到目标对象在深度方向上的距离，以作为帧图像中的区域的目标对象图像的像素值表示该距离，以准备所谓的深度图用于例如位置信息数字化，并且将数字化的位置信息存储到数据存储部分62中。在存在多个目标对象的情况下，通过获得例如每个目标对象的重心位置来生成关于目标对象的位置信息。

信息处理部分66从数据存储部分62读取关于目标对象的位置信息，并相应地执行信息处理。如上所述，这里执行的信息处理的细节不受任何特定限制。输出数据生成部分68生成要显示的图像的数据和要输出的声音的数据，作为由信息处理部分66进行的信息处理的结果。输出数据生成部分68连续向显示装置16输出所生成的数据。

图5是说明一方面用作成像装置12的立体相机从右视点和左视点捕获的立体图像之间的视差与另一方面到目标对象的距离之间的关系的说明图。在图5中，第一相机13a和第二相机13b配对以构成立体相机。安装第一相机13a和第二相机13b，使它们的光轴彼此平行地隔开预定距离l。或者，第一相机13a和第二相机13b对其捕获图像进行校正，以在它们之间获得适当的视场角。在该示例中，假设目标对象位于箭头的最右侧位置，在深度方向上相隔距离z。

由真实空间中的每个相机捕获的图像中的每个像素表示的宽度δx关于距离z表示如下：

δx＝z×w/w

其中，w代表相机水平方向上的像素数，w表示当距离z为1时真实空间中水平方向上的视场范围，视场范围w由视角确定。

由相隔距离为l的相机捕获的相同目标对象的图像在像素计数方面具有近似如下定义的视差d：

d＝l/δx＝l×(w/w)×(1/z)＝c/z

其中，c是由相机及其设置确定的值，并且在操作平衡时被视为常数。

图6描绘了视差d相对于到成像装置12的距离z的变化。如上面的公式所指示的，视差d绘制与距离z成反比的曲线56。使用这种关系使得可以基于目标对象图像之间到立体图像的视差d，获得目标对象在深度方向上的的距离z。假设捕获图像被提供为表示以像素为单位的亮度的数据，其中目标对象图像的位置以及视差d也将以像素为单位获取，则到目标对象的距离是以δz为单位获得的，如下：

δz＝δx×z/l＝z²×(w/w)×(1/l)

也就是说，在以固定单位获得目标对象的位置的情况下，到目标对象的距离z的分辨率与距离z的平方成比例地下降。图6中的垂直虚线之间的间隔表示δz。例如，即使目标对象位于由箭头58指示的位置，如果以像素为单位识别图像位置，则距离z被计算为z1或z2，包括最大可达大约δz的误差。也就是说，由于从捕获图像获取图像位置的误差，目标对象离成像装置12越远，对距离计算的精度的不利影响越大。

而且，在将单目相机用作成像装置12使得距离是从目标对象图像的大小导出的情况下，即使在大小上只有少量的偏差，目标对象离成像装置12越远，距离计算中的误差越大，这一点保持不变。距离中包括的较大误差可导致三维空间中目标对象的位置坐标的显着误差，该坐标是通过从图像平面反投影获得的。可以想象，该错误可以以不可忽略的方式影响后续的信息处理。因此，该实施例的轮廓搜索部分72旨在通过在子像素级上精确地获得图像的轮廓线来提高获取关于真实空间中目标对象的位置信息的精度。

图7是说明该实施例的轮廓搜索部分72识别目标对象的图像的轮廓的方法的说明图。目标对象检测部分70使用诸如模板匹配或前景提取的通常方法从捕获图像80中提取目标对象图像82的区域。提取过程可以以像素为单位进行，或以更大的单位进行，以优先考虑效率。基于提取过程的结果，轮廓搜索部分72确定搜索路径的起点及其方向，以便搜索图像的轮廓位置。定性地，轮廓搜索部分72从目标对象图像的内侧到外侧执行搜索，并确定轮廓存在于亮度突变的位置处。

例如，通过从起点84在箭头86的方向上采样像素值来获得轮廓线上的坐标点88。在多个方向上执行该搜索以获得轮廓线上的多个坐标点。而图7将如此获得的坐标点指示为空心圆圈，它们仅表示图像平面上的位置坐标，并不表示捕获图像。轮廓搜索部分72使用诸如最小二乘法的通常技术来近似这些多个坐标点，以获取作为图像平面上的数学表达式的目标对象图像的轮廓线。

在目标对象是球形发光标记的情况下，其图像呈圆形。因此，使用圆形近似方法获得图像的轮廓线94为圆形。在检测到位置坐标的分布在近似时具有诸如椭圆畸变的整体畸变的情况下，使用通常的校正筛选器校正坐标点。如果存在任何具有偏离近似公式的大误差的坐标点，则排除该点，使得最终使坐标点收敛于近似公式。在所示的示例中，消除了在被发光设备的手柄隐藏的位置检测到并因此偏离发光标记的正常轮廓的坐标点92。

可能由于被某些其他对象隐藏，或者由于坐标点检测中的错误而出现要移除的坐标点。由此获得的轮廓线94的圆的中心坐标c(xc,yc)表示作为目标对象的发光标记的图像的重心，圆的半径r表示图像的大小。如上所述，位置信息生成部分74使用这些数据来获得真实空间中目标对象的位置。顺便提及，本领域技术人员应该理解，通过不同的技术来实现一组坐标点到线的近似以及目标对象图像的重心和大小的获取，并且因此，目标对象的形状不受任何特定限制。

也就是说，即使目标对象具有除球体之外的任何形状，只要目标对象图像的形状是有限的，就可以预先设置关于目标对象的信息，以便最终以误差最小的近似线确定其形状。利用如此确定的形状，用于获得目标对象图像的重心和大小的技术是唯一确定的。或者，直到捕获的运动图像的前一帧所获得的图像的形状可以用作估计图像的后续形状的基础，估计的图像用于近似。

由轮廓搜索部分72检测的轮廓线上的坐标点或位置坐标和基于所检测到的坐标点的重心的位置坐标以比像素的分辨率更高的分辨率获取。图8是说明实施例基于搜索方向上的亮度变化以比像素的分辨率更高的分辨率检测轮廓线的位置的方法的说明图。如果假设图8中的向右方向是搜索方向，通过从搜索路径提取像素并且对提取的像素进行排列，形成像素序列96。像素序列96中的每个像素具有亮度值。在像素之间的亮度变化被表示为相对于它们在搜索路径上的位置的变化的情况下，这些变化例如构成图98。

通常地，以像素为单位获得亮度值。因此，如果搜索方向上的像素的宽度由δx表示，则通过连接获得的关于位置x-2δx，x-δx，x，x+δx，x+2δx，x+3δx的离散亮度值来形成图98。通过例如归一化的这样的亮度变化，并行地平移预先准备的预测亮度变化曲线，以形成诸如曲线100a、100b和100c的预测曲线，以便在它们之间进行比较。例如，基于它们之间的差的总和来识别这些曲线之间相似度最高的状态。将该状态的预测曲线100b上的诸如中点m的参考位置用作目标对象的轮廓线的位置。在图8中，该位置由空心箭头表示。

对于一种匹配过程，预测曲线以小于每个像素的宽度δx的单位平移。这允许以小于像素宽度的单位识别轮廓线的位置。另一方面，即使以这种方式以子像素为单位检测轮廓线上的每个坐标点，如上所述，目标对象的位置越远，任何检测到的包括大误差的点将导致关于真实空间中目标对象的位置信息中的越大的误差。例如，在目标对象到成像装置122米远的情况下，检测的重心位置的仅0.5像素的偏差导致通过立体匹配计算的距离的大约3厘米的偏差。这可能导致静止的目标对象被错误地识别为在运动。

在上述情况下，发明人认识到关于轮廓线(其中要以高精度执行子像素级的位置检测)的搜索路径存在以下问题：

(1)坐标点检测的分辨率和精度根据搜索方向而变化。

(2)亮度数据的可信度通常根据在搜索路径上观察到的像素的颜色而变化。

以下是对上述问题(1)的说明。图9描绘了设置搜索方向的示例。在图9中，网格中的每个矩形表示像素。虚线箭头表示搜索路线及其方向。在该示例中，从估计为在由目标对象检测部分70近似识别的目标对象图像的中心附近的像素组102中的一个像素开始放射状地执行24次搜索。也就是说，如箭头组104a和104b所指示的，从像素组102开始向右和向左进行三次搜索，总共6次搜索。同样如箭头组106a和106b所指示的，从像素组102开始向上和向下进行三次搜索，总共6次搜索。

此外，如箭头组108a、108b、108c和108d所示，从像素组102分别在右上方向、右下方向、左下方向和左上方向上执行三次搜索，总共12次搜索。给定这些设置，如结合上面的问题(1)所提及的，出现了坐标点检测的分辨率和精度对方向的依赖性。也就是说，如图8所示，通过在搜索方向上平移预测亮度变化曲线来检测由图像平面上的水平分量和垂直分量形成的每个坐标点，由箭头组104a和104b指示的水平搜索允许以子像素为单位确定水平分量，但导致垂直分量以像素为单位获取。

由箭头组106a和106b指示的垂直搜索允许以子像素为单位确定垂直分量，但导致水平分量以像素为单位获取。也就是说，在水平和垂直方向上的搜索期间，在垂直或水平方向上的位置坐标中最多出现一个像素的误差。同时，由箭头组108a、108b、108c和108d指示的对角线方向上的搜索允许以子像素为单位确定垂直和水平分量二者。然而，因为在搜索方向上的像素到像素间隔，即，图8中的δx，是在垂直和水平方向上的搜索的像素到像素间隔的大约1.4倍，在两个方向上的位置坐标中出现最多大约0.7像素(＝1.4/2)的误差。

以下是对上述问题(2)的说明。如上所述，通过在去马赛克处理中内插其每个像素保持一种颜色的亮度数据的原始图像来生成用于分析的捕获图像。因此，以这种方式生成的捕获图像中的每个像素包括源自插值过程的误差。包含误差的方式因像素而异，取决于要用相应元素观察的颜色。图10示意性地描绘了一方面目标对象的轮廓与另一方面要用对应于捕获图像中的每个像素的元素观察的颜色之间的关系。在捕获图像112中，网格中的每个矩形表示单个像素。要用相应元素观察的红色、绿色和蓝色分别记为“r”、“g”和“b”。下面也将使用类似的符号。

图中的颜色阵列通常称为拜耳阵列。然而，该阵列不限于该实施例。如上所述，当要搜索目标对象图像的轮廓线114上的坐标点时，所检测到的坐标点的可信度根据诸如要用搜索路径上的像素观察的初始颜色、用于区分坐标点的特定颜色的亮度变化，以及目标对象的颜色等因素的组合而变化。例如，箭头a所指示的搜索路径上的像素构成颜色模式“r”、“b”、“r”、“b”等用于观察，而箭头b所指示的搜索路径上的像素都具有用于观察的颜色“g”。

此时，在使用颜色g的亮度变化来检测轮廓线114上的坐标点的情况下，箭头a所指示的关于搜索路径上的颜色g的信息包括由于插值引起的误差。因此，箭头b指示的搜索路径的结果更可靠。然而，即使在由箭头b指示的搜索路径的情况下，使用颜色r或b的亮度变化检测坐标点也会导致关于颜色的信息在路径上产生误差。这意味着可信度低于使用颜色g的亮度变化检测坐标点的可信度。

图11指示当类似于图9中搜索路径根据要用位于路径上的像素观察的颜色的模式进行分组时，给出的搜索路径计数。如图11中的下部子图所示，在搜索路径以以颜色b为中心的方式设置的情况下，对于具有重复颜色b和g作为要用路径上的像素观察的“bg阵列”，有两个水平搜索和两个垂直搜索。对于具有重复颜色r和g的“rg阵列”，有四个水平搜索和四个垂直搜索。对于具有重复颜色b和r的“br阵列”，有八个对角线搜索。此外，对于仅具有重复颜色g的“gg阵列”，有八个对角线搜索。

同样，即使在搜索路径的中心是r或g的情况下，当在垂直和水平方向上搜索时出现“bg阵列”和“rg阵列”，并且当在对角线方向上搜索时出现“br阵列”和“gg阵列”。以这种方式，颜色阵列出现的速率根据搜索方向而变化。并且，颜色阵列和搜索方向的组合的出现率根据要用搜索中心处的像素观察的颜色而变化。在搜索中心是g的情况下，出现率根据像素是在b的右侧还是左侧，或者在b的上方或下方而变化。在图11中，前一种情况记为“g1”，后一种情况标为“g2”，如下部子图所示。

如上所述，在如图所示设置路径的情况下，所使用的数据的可信度因搜索路径而异。诸如最小二乘法的计算方法基于以下假设：感兴趣的初始数据在特征上是均匀的。因此，如果检测到的坐标点的误差根据搜索路线而在特征上变化，则轮廓线的近似精度以及最终获取重心位置和大小的精度可能不够高。因为基于目标对象检测部分70执行的检测结果为每个帧确定搜索中心，所以由于对搜索中心依赖率的变化，计算重心位置和大小的结果可能在一帧到另一帧之间变化很大。如图11所示。鉴于这些发现，该实施例以这样的方式设置搜索路线：坐标点的误差特征在搜索路径之间和帧之间保持不变。

图12示意性地描绘了搜索目标对象的轮廓线的实施例所使用的搜索路径。如图中的虚线箭头所指示，该实施例执行从要观察颜色g的像素开始的搜索，搜索限于像素阵列中的对角线方向。也就是说，以跟踪像素的方式从作为起点的像素集进行搜索，以在右上、右下、左下和左上方向观察到相同的颜色g。在如图9所示的在24条路径上进行搜索的情况下，可以建立六个起点，如图12中的空心圆圈所示。

此时，通过选择观察目标是g并且如图所示在图像平面上的重复或水平方向上处于相同序列的那些像素作为起点来避免搜索路径的复制和偏斜分布。起点仅需要位于由目标对象检测部分70检测到的目标对象图像的近似区域内。优选地，起点序列的中心可以设置在该区域的重心附近。在所示的示例中，将垂直最近的g像素，例如，每隔一个像素，设置为起始点。但是，这不限制起点的间隔。例如，可以根据目标对象图像的大小来调整起点间隔。还可以根据使用中的装置的精度要求和处理性能来调整搜索次数。

以这种方式设置搜索路径解决了上述问题(1)和(2)。也就是说，所有搜索路径都在像素阵列的对角线方向上，使得以子像素为单位获得检测到的坐标点的垂直和水平分量，并且对于所有搜索路径，误差特征相同。因为搜索路径上的所有像素将其观察目标均匀地设置为g，所以包含误差的颜色及其范围是均匀的。结果，检测到的坐标点的特征总是均匀的，从而精确且稳定地获得通过最小二乘法近似的轮廓线和相应地检测到的重心的位置坐标。

如果假设球形目标对象，则可以通过进行24次搜索来识别其图像的重心，如图12所示，误差约为0.016像素。给定相同数量搜索次数，以这种方式获取的目标对象位置的精度至少是在三个方向(即，垂直，水平和对角线)上进行搜索的情况下的三倍，如图9所示，以基于每种颜色r、g和b的亮度变化获得坐标点。

使用图12中的搜索路径恰当地同时解决了上述问题(1)和(2)。通过将搜索路径限制到对角线方向，也可以单独解决问题(1)。如果将搜索起点限为r或b，则搜索路径上的像素仍具有要观察的均匀颜色阵列，使得检测到的坐标点的误差特征基本上均匀。结果，使得近似轮廓线的精度高于不限制起点像素的情况。

以下是使用上述配置实现的信息处理装置的工作的说明。图13是指示信息处理装置10的位置信息获取部分64获取关于目标对象的位置信息的处理步骤的流程图。首先，目标对象检测部分70例如通过模板匹配从捕获图像检测目标对象图像的区域(s10)。此时使用的捕获图像通常是经过去马赛克的rgb图像。

接下来，轮廓搜索部分72将在该区域中对应元素的观察目标是g的那些像素确定为搜索起点(s12)。在图12的示例中，在垂直方向上每隔一个像素选择一个像素，总共六个起点。应注意，可以根据需要调整像素到像素间隔和起点的数量。通过轮廓搜索部分72预先获取将捕获图像中的像素与要用相应元素观察的颜色关联起来的信息，并将其保留在内部。这是关于诸如图10中的捕获图像112中描绘的拜耳阵列的阵列的阵列信息。

在尚未获得要观察的颜色与像素之间的对应关系的情况下，可以通过利用检测结果误差小的校准过程来获取该关系。例如，捕获位于距成像装置12预定距离的目标对象的图像。然后，搜索起点一次向上、向下、向右和向左移动一个像素，以在对角线方向上进行搜索，以便获得每个方向的轮廓线。在不同的搜索条件下计算目标对象的位置。然后确定具有最小误差的起点是存在观察目标是g的像素的位置。当识别出至少一个这样的像素时，可以基于诸如拜耳阵列的重复模式，在整个捕获图像中将像素与要观察的颜色关联起来。

然后，轮廓搜索部分72从被确定为起点的像素开始在四个对角线方向上执行搜索，从而检测轮廓线上的坐标点(s14至s18)。具体地，对搜索路径上的像素的亮度值进行采样并将其存储到行缓冲器中(s14)。在图12的示例中，从六个起点开始在四个方向上进行采样，总共24个采样序列。首先基于沿每个采样序列的亮度y的变化检测轮廓线上的坐标点候选(s16)。具体地，如图8所示，将预测曲线进行位置平移以确定与亮度y的变化的曲线图的相似度最高的位置。该位置用作坐标点候选。

这里，亮度y是在yuv的颜色空间中表示的每个像素值时的亮度的分量。这样，使用通常的转换公式从rgb数据获得亮度y。可以在步骤s14中对rgb值进行采样之后执行转换。或者，可以在获取捕获图像的数据或者对其去马赛克时对整个捕获图像进行转换，并且可以将由转换产生的亮度图像作为采样目标。要对亮度y在坐标点检测时进行评估的原因有二：因为g在搜索路径上贡献率最高、误差最小，并且因为由于插值，亮度包括关于附近像素的r和b的信息。这使得可以考虑比单一颜色的目标更多的信息，并且能够以高且一致的精度实现评估。

然后，轮廓搜索部分72使用目标对象的颜色分量中的亮度变化对在步骤s16中检测到的坐标点候选进行筛选，并排除低可信度的坐标点(s18)。例如，在目标对象是红色发光的标记的情况下，使用r的亮度执行评估。在目标对象是品红色发光的标记的情况下，使用品红分量的亮度进行评估。如果仅要评估亮度y的变化，则可能在周围环境的影响下错误地检测坐标点。例如，在从成像装置12观看时，诸如窗户或照明设备的光源位于目标对象的轮廓附近的情况下，人眼容易区分目标对象，但是装置可能难以在仅给出亮度y的变化的条件下清楚地识别目标对象和附近光源之间的边界。

结果，有可能在偏离轮廓的位置检测到坐标点。因此排除了由于目标对象的初始颜色的变化而错误地检测到的这些坐标点。例如，在位于搜索方向上的坐标点候选之前和之后的预定数量的像素的序列中，如果目标对象的颜色分量的亮度变化低于预定范围，则评估该坐标点候选在目标对象图像内，而不是在轮廓上，并因此被排除。或者，如果在位于坐标点候选之前的预定数量的像素的序列与搜索起点处的像素之间的目标对象的颜色分量的亮度差大于预定阈值，则评估该坐标点在目标对象图像之外，并因此也被排除。

使用亮度y检测坐标点候选的过程和使用目标对象的颜色的亮度排除坐标点候选的过程可以如图所示在不同的步骤中执行，或者可以同时进行。例如，在相同位置计算搜索路径上的亮度y的采样序列和目标对象的颜色的亮度的采样序列，以便形成数据序列。将该数据序列与预测曲线匹配，以识别高可信度的坐标点。当以这种方式确定一组坐标点时，轮廓搜索部分72使用最小二乘法使坐标点的分布近似于预测形状的线，从而确定目标对象图像的轮廓(s20)。

此时，如上面参考图7所解释的，可以基于图像上的畸变来校正坐标点的分布，并且可以进一步排除显着偏离近似线的坐标点。位置信息生成部分74基于如此识别的轮廓线获取目标对象图像的重心和大小(s22)。在目标对象是如图7所示的球体的情况下，图像的轮廓线形成圆形。因此，获得圆的中心和半径。然后，位置信息生成部分74基于目标对象图像的重心和大小获取关于真实空间中目标对象的位置信息(s24)。在成像装置12是立体相机的情况下，对从右视点和左视点捕获的每个图像执行s10至s22的处理。然后，重心位置之间的视差允许获取到目标对象的距离。

在成像装置12是单目相机的情况下，通过将目标对象的实际大小与其图像的大小进行比较来获取到目标对象的距离。在具有不同发光颜色的多个目标对象在成像装置12的视场内的情况下，对每个目标对象执行s10至s24的处理。而且，通过以预定速率对由成像装置12捕获的运动图像的每个帧重复s10至s24的处理，获得目标对象的位置随时间的变化。信息处理部分66通过基于如此获得的关于目标对象的位置信息典型地识别用户的位置和移动来适当地执行信息处理。

根据上述实施例，当使用捕获图像检测到目标对象的位置时，通过从图像内搜索亮度来检测目标对象图像的轮廓。在这种情况下，将其对应的元素目标g(绿色)用于观察亮度的像素用作在像素阵列的四个对角线方向上进行搜索的起点。这使得通过单次搜索为在检测到的轮廓线上的坐标点的垂直和水平分量提供相同的分辨率成为可能。而且还使得在所有搜索路径上获得亮度的间隔相同，使亮度误差相等。因此，对于检测到的坐标点，精度是相等的。因此，使用诸如最小二乘法的统计近似方法容易且精确地获得目标对象的轮廓线。

而且，因为坐标点是基于yuv颜色空间中的亮度y的变化来检测的，所以使得额外考虑r(红色)和b(蓝色)的评估成为可能，重点考虑具有最小亮度误差的g的亮度。此外，使用目标对象的颜色亮度的变化来筛选坐标点候选，以便提高用于近似的坐标点的可信度。这保证了坐标点的鲁棒性对环境亮度的变化是可靠的。这些过程允许通常的可见光相机用于离散地检测r、g和b的每一个的亮度，以在子像素级上以高精度获取目标对象图像的轮廓线。通过利用如此获得的轮廓线和由此识别的目标对象图像的重心和大小，可以有效且高精度地获得真实空间中目标对象的位置。

以上结合具体实施例描述了本发明。本领域技术人员应理解，上述作为示例描述的实施例的组成元素和各种过程的适当组合将导致本发明的进一步的变型，并且这样的变型也落入本发明的范围内。

[参考符号列表]

6发光部分

1信息处理系统

10信息处理装置

12成像装置

16显示装置

18发光设备

22cpu

24gpu

26主存储器

60捕获图像获取部分

62数据存储部分

64位置信息获取部分

66信息处理部分

68输出数据生成部分

70目标对象检测部分

72轮廓搜索部分

74位置信息生成部分

[工业适用性]

如上所述，本发明可以应用于诸如游戏机、图像处理装置和个人计算机的信息处理装置，以及包括这些装置的任何一个的信息处理系统。