图像处理设备的制作方法

专利名称：图像处理设备的制作方法
技术领域：
本公开涉及图像处理设备、显示控制方法及程序。
背景技术：
近年来,被称为增强现实(AR, Augmented Reality)的技术引起了注意,其中，增强现实的技术以叠加的方式在真实世界上向用户呈现附加信息。在AR技术中，向用户的信息呈现有时被称为“注释(annotation) ”，并且可以使用诸如文本、图标或动画的各种形式的虚拟对象来可视化。在一般的AR应用中，虚拟对象被布置成对齐到真实对象(例如，存在于真实世界中的对象，其例如可在真实世界的图像中被识别)的位置。另外，存在如下应用，该应用能够将AR空间中的虚拟对象布置成对齐到真实对象的姿势以及真实对象的位置。例如，专利文献1(“PTL I”)提出了如下技术，该技术能够抑制虚拟对象的位置对齐的准确度的退化。引用列表[PTL 1]JP2010-134649背景然而，难以一贯地准确识别投影在图像中的真实世界中的真实对象的位置或姿势。即，当试图将虚拟对象的位置或姿势与真实世界的真实对象进行匹配时，虚拟对象由于识别准确度的时间退化而可能不稳定地显示。特别地，当进行不稳定的识别时，期望适当地控制虚拟对象的显示，以及由此防止用户由于虚拟对象的不稳定显示而迷惑。
发明内容如上所述，根据本公开，可防止用户由于虚拟对象的不稳定显示而迷惑。公开的实施例包括一种图像处理设备，该设备包括:识别单元，其被配置成在图像中识别真实对象。该设备还可包括:确定单元，其被配置成确定指示识别的稳定性的稳定性指示，以及显示控制单元，其被配置成根据稳定性指示修改虚拟对象的显示。根据上述图像处理设备，其中，显示控制单元还被配置成通过修改虚拟对象的至少一个属性，来根据稳定性指示修改虚拟对象的显示。根据上述图像处理设备，其中，显示控制单元还被配置成根据真实对象的跟踪位置或取向修改虚拟对象的显示。根据上述图像处理设备，其中，以跟踪速率跟踪跟踪位置，以及显示控制单元还被配置成根据稳定性指示选择跟踪速率。根据上述图像处理设备，还包括在显示虚拟对象之前选择跟踪速率。根据上述图像处理设备，还包括在稳定性指示增大时选择更高的跟踪速率，以及在稳定性指示减小时选择更低的跟踪速率。根据上述图像处理设备，其中，选择跟踪速率包括选择使得虚拟对象的经修改的显示与图像协同地移动的跟踪速率。[0015]根据上述图像处理设备，其中，经修改的图像属性为静态属性或动态属性中的至少之一。根据上述图像处理设备，其中，经修改的属性包括向用户提供的关于稳定性指示的变化的指示。根据上述图像处理设备，其中，静态属性包括以下各项中的至少之一:虚拟对象的显示的透明度,虚拟对象的显示的锐度,虚拟对象的显示的颜色,虚拟对象的显示的比例，虚拟对象的显示的形状，或叠加在虚拟对象的显示上的图案。根据上述图像处理设备，其中，动态属性包括以下各项中的至少之一:与虚拟对象的显示有关的动画，显示在虚拟对象的显示上的图案，或显示在虚拟对象的显示上的图案的显示定时。根据上述图像处理设备，其中，确定稳定性指示包括:将真实对象的状态量的一个方面的当前值与真实对象的状态量的该方面的至少一个先前值进行比较。根据上述图像处理设备，包括传感器；以及其中，确定单元被配置成通过将传感器输出的变化与真实对象的状态量的该方面的变化进行比较来确定稳定性指示。根据上述图像处理设备，其中，传感器包括具有指示设备的移动的输出的传感器。根据上述图像处理设备，其中，状态量为以下各项中的至少之一:真实对象的位置、取向或比例。根据上述图像处理设备，其中，状态量的该方面为以下各项中的至少之一:状态量的高频分量，状态量的绝对值，或状态量的微分。根据上述图像处理设备，其中，确定单元被配置成通过将状态量的该方面与图像中的真实对象的运动方向进行比较来确定稳定性指示。根据上述图像处理设备，其中，确定单元被配置成通过下述操作来确定稳定性指示:将真实对象的状态量的第一方面的当前值与状态量的第一方面的先前值进行比较；以及将状态量的第二方面的当前值与状态量的第二方面的先前值进行比较。根据上述图像处理设备，其中，状态量的第一方面和第二方面包括真实对象的位置和真实对象的取向。根据上述图像处理设备，其中，稳定性指示的值为图像中示出的真实对象的部分的反函数。根据上述图像处理设备，还包括:控制单元，其被配置成在稳定性指示降到阈值以下时警告用户。根据上述图像处理设备，其中，显示控制单元包括输入单元，该输入单元用于接收用户输入以禁止虚拟对象属性的显示的修改。根据上述图像处理设备，其中，显示控制单元被配置成:修改虚拟对象的显示以包括真实对象的识别的指示；以及将虚拟对象的信息显示叠加到图像、或虚拟对象的经修改的显示中的至少之一上。根据上述图像处理设备，其中:至少一个属性为虚拟对象的显示的锐度；以及显示控制单元被配置成在稳定性指示指示增大的稳定性时增大锐度，以及在稳定性指示指示减小的稳定性时减小锐度。根据上述图像处理设备，其中:至少一个属性为虚拟对象的显示的透明度；以及显示控制单元被配置成在稳定性指示指示增大的稳定性时减小透明度，以及在稳定性指示指示减小的稳定性时增大透明度。公开的实施例还包括一种方法，该方法包括:在图像中识别真实对象。该方法还可包括:确定指示识别的稳定性的稳定性指示，以及根据稳定性指示修改虚拟对象的显示。公开的实施例还包括一种有形地体现的非暂时性的计算机可读介质，包括指令，指令当被处理器执行时执行方法，该方法包括:在图像中识别真实对象。该方法还可包括:确定指示识别的稳定性的稳定性指示，以及根据稳定性指示修改虚拟对象的显示。

图1是用于说明根据实施例的图像处理设备的概要的图；图2是用于说明虚拟对象的布置的图；图3是用于说明与虚拟对象的布置有关的问题的图；图4是图示根据实施例的图像处理设备的硬件配置的示例的框图；图5是图示根据实施例的图像处理设备的逻辑功能的配置的示例的框图；图6是用于说明实施例中的所识别的真实对象的状态量的图；图7是用于说明用于确定识别的稳定性的确定技术的第一示例的图；图8是用于说明用于确定识别的稳定性的确定技术的第二示例的图；图9是用于说明用于确定识别的稳定性的确定技术的第三示例的图；图10是用于说明用于确定识别的稳定性的确定技术的第四示例的图；图11是用于说明用于确定识别的稳定性的确定技术的第五示例的图；图12是用于说明控制用于跟踪真实对象的虚拟对象的跟踪速率的示例的图；图13是用于说明控制虚拟对象的锐度的图；图14是用于说明控制虚拟对象的透明度的图；图15是用于说明提示用户采取用于增加稳定性的动作的显示的示例的图；以及图16是图示根据实施例的显示控制处理的流程的示例的流程图。
具体实施方式
在下文中，将参考附图详细描述本公开的实施例。注意，在本说明书和附图中，用相同的附图标记表示具有基本上相同功能和结构的结构部件，并且省略这些结构部件的重复说明。将按照下面的顺序进行说明。1.概要2.根据实施例的图像处理设备的硬件配置示例3.根据实施例的图像处理设备的功能配置示例3-1.图像获取单元3-2.图像识别单元3-3.检测单元3-4.确定单元3-5.数据获取单元[0061]3-6.显示控制单元4.根据实施例的显示控制处理的流程5.总结1.概要图1是用于说明本公开中公开的技术的实施例的概要的图。参考图1，示出了用户在真实空间I中携带的图像处理设备100。图像处理设备100是向用户提供AR应用的设备。例如，图像处理设备100例如可以是诸如智能手机、个人数字助理(PDA)、游戏机或便携式音乐播放器的终端设备，或者可以是诸如个人计算机(PC)或工作站的信息处理设备。真实空间I是可使用AR应用的空间的示例。真实对象12a、12b、12c、12d和12e存在于真实空间I中。应当理解，真实空间I和真实对象12a、12b、12c、12d和12e仅是示例性的。尽管为了图示的目的，每个被赋予形式和特征，但是这样的特征是任意的并且不是意在进行限制。真实对象12a是车辆。真实对象12b是导向板。真实对象12c是广告牌。真实对象12d和12e是建筑物。图像处理设备100获取通过对可存在各种真实对象的真实空间进行成像而获得的图像作为输入图像。然后，图像处理设备100根据投影在输入图像中的真实对象的识别结果，将用于AR的虚拟对象叠加在输入图像上。通过虚拟对象呈现给用户的信息可以是任意的信息，例如导航信息、广告信息、商店信息、新闻或天气预报信息。在本实施例中，由图像处理设备100提供的AR应用根据真实对象的位置或姿势，来布置与图像中的真实空间中的真实对象有关的虚拟对象。图2是用于说明虚拟对象的布置的图。图2的左侧示出的图像ImOl是由图像处理设备100获取的输入图像的示例。真实对象12a和12b投影在输入图像ImOl中。使得虚拟对象叠加在输入图像ImOl上而生成的输出图像Im02示出在图2的右侧。在输出图像Im02中，虚拟对象13a叠加在真实对象12a上，以及虚拟对象13b和14b叠加在真实对象12b上。虚拟对象13a和13b用作如下指示(指示)，该指示表示通过图像处理设备100识别真实对象的结果。同时，虚拟对象14b用作如下信息内容，该信息内容表示与真实对象12b有关的信息(在图12的示例中为产品的广告信息)。在本公开中，虚拟对象可包括指示和信息内容两者。可替选地，虚拟对象可包括指示或信息内容之一。在图12的示例中，根据真实对象12a的状态来布置虚拟对象13a。根据真实对象12b的状态来布置虚拟对象13b和14b。布置虚拟对象的准确度取决于对投影在图像中的真实对象的状态进行识别的准确度。图3是用于说明与虚拟对象的布置有关的问题的图。参考图3，分别示出了在时间t = η、时间t = n+1和时间t = n+2的时间点处的AR应用的输出图像Im02-l、Im02_2、Im02-3，其可通过现有技术来显示。在时间t = η处的输出图像Im02_l中，虚拟对象13a的布置匹配真实对象12a的状态。类似地，虚拟对象13b和14b的布置匹配真实对象12b的状态。然而，在时间t = n+1处的输出图像Im02-2中，虚拟对象13a的布置偏离了真实对象12a的状态。另外，在时间t = n+2处的输出图像Im02_3中，虚拟对象13b和14b的布置偏离了真实对象12b的状态。这样的偏离例如是由对真实对象的状态进行识别的准确度的退化所导致的。例如，识别准确度的退化可能突然是由各种事件导致的，例如输入图像中的真实对象的部分缺失，图像的模糊，存在多个具有类似外形的对象，或者照明条件的变化。除非特别地布置环境，否则难以完全地排除导致识别准确度的退化的原因。图3中所示的虚拟对象的布置的突然偏离不仅会给用户提供不舒服的感觉，而且也会带来不期望的结果，例如由虚拟对象表示的信息的可见度的退化，或者对广告目标产品的不好印象。例如，存在如下技术，该技术通过施加低通滤波器或移动平均滤波器来抑制虚拟对象的位置或姿势的突然变化。然而，当施加滤波器时，跟踪所识别的真实对象的虚拟对象的跟踪会延迟。在这点上，将在下节详细描述的根据本实施例的图像处理设备100确定识别准确度的稳定性，以及根据确定结果控制虚拟对象的显示。2.根据实施例的图像处理设备的硬件配置示例2-1.硬件配置图4是图示根据本实施例的图像处理设备100的硬件配置的示例的框图。参考图
4,图像处理设备100包括成像单元102、传感器单元104、输入单元106、存储单元108、显示单元112、通信单元114、总线118和控制单元120。成像单元成像单元102可包括用于对图像进行成像的相机模块。成像单元102可使用诸如电荷耦合器件(CCD)或金属互补氧化物半导体(CMOS)的成像器件对真实空间进行成像，以及生成所成像的图像。由成像单元102生成的所成像的图像可配置视频输入的各个帧。传感器单元传感器单元104可包括测量成像单元102的运动的运动传感器组。运动传感器的示例包括测量成像单元102的加速度的加速传感器、测量倾斜角的陀螺传感器、测量成像单元102所指向的方向的地磁传感器。另外，传感器单元104可包括全球定位系统(GPS)传感器，该GPS传感器接收GPS信号并且测量设备的纬度、经度和海拔高度。输入单元输入单元106是允许用户操作图像处理单元100或将信息输入到图像处理设备100的输入装置。输入单元106通常包括触摸传感器，该触摸传感器检测用户在显示单元112的屏幕上进行的触摸。取代(或附加到)触摸传感器，输入单元106可包括诸如鼠标或触摸板的指点装置、识别投影在图像中的用户手势的手势识别模块、或视线检测模块，其中，该视线检测模块包括头戴式显示器(HMD)并且检测用户的视线的方向。另外，输入单元106可包括任何其它类型的输入装置，例如键盘、小键盘(keypad)、按钮或开关。存储单元存储单元108配置有诸如半导体存储器或硬盘的存储介质，并且存储用于执行图像处理设备100的处理的程序和数据。存储在存储单元108中的数据的示例包括由成像单元102生成的图像数据和由传感器单元104生成的传感器数据。另外，例如，在图像处理设备100识别真实对象时所使用的模型数据和用于定义虚拟对象的对象数据可被包括为存储在存储单元108中的数据。显示单元显示单元112可包括显示模块，该显示模块配置有液晶显示器(IXD)、有机发光二极管(0LED)、阴极射线管(CRT)等。例如，显示单元112在屏幕上显示由成像单元102成像的图像或由控制单元120实现的AR应用的图像。显示单元112可以是用户握持的图像处理设备100的屏幕或用户安装的贯通型或非贯通型的HMD的屏幕。[0085]通信单元通信单元114可包括对图像处理设备100与其它设备之间的通信进行中介的通信接口。通信单元114可支持任意的无线通信协议或任意的有线通信协议，以及建立与其它设备的通信连接。总线总线118将成像单元102、传感器单元104、输入单元106、存储单元108、显示单元112、通信单元114和控制单元120彼此连接。控制单元控制单元120可包括处理器，例如中央处理单元(CPU)，或数字信号处理器(DSP)。控制单元120通过执行存储在存储单元108或其它存储介质中的程序，来实现稍后将描述的图像处理设备100的各种功能。特别地，控制单元120可包括或连接到用于对显示单元112等进行控制的显示控制单元。3.根据实施例的图像处理设备的功能配置示例图5是图示由图4所示的图像处理设备100的存储单元108和控制单元120实现的逻辑功能的配置的示例的框图。参考图5，图像处理设备100包括图像获取单元130、模型数据库(DB) 138、图像识别单元140、检测单元150、确定单元160、数据获取单元170、对象DB 172和显示控制单元190。3-1.图像获取单元图像获取单元130获取通过捕获真实空间而获得的图像作为输入图像。例如，图像获取单元130可顺序地获取来自成像单元102的视频输入的每个帧作为输入图像。图像获取单元130可获取过去已成像的、存储在存储单元108中的视频输入的每个帧作为输入图像。图像获取单元130将获取的输入图像输出到图像识别单元140。3-2.图像识别单元图像识别单元140 (或“识别单元”)可使用存储在模型DB 138中的数据来识别真实对象。在模型DB 138中，预先累积与被图像处理设备100视为识别目标的真实对象的形状或外形有关的模型数据。在本实施例中，被图像处理设备100识别的目标可为存在于真实空间中的任意对象，例如图1中所示的真实对象12a至12e。模型数据的示例包括定义各个真实对象的形状的数据、诸如附连到各个真实对象的预定符号标记或文本标签的图像数据、和从各个真实对象的已知图像中提取的特征量集合的数据。图像识别单元140可识别投影在从图像获取单元130输入的输入图像中的真实对象，以及识别投影在输入图像中的真实对象的状态。由图像识别单元140识别的真实对象的状态可包括真实对象的位置和姿势中的至少之一。在本实施例中，图像识别单元140在图像中识别真实对象的位置、姿势和比例。例如，图像识别单元140可将从输入图像中提取的特征点集合与可由模型数据定义的真实对象的形状进行比较。图像识别单元140可将可由模型数据定义的诸如符号标记或文本标签的图像数据与输入图像进行比较。另外，图像识别单元140可将可由模型数据定义的真实对象的图像的已知特征量与从输入图像中提取的特征量进行比较。即使在以上情况中的任一个中，图像识别单元140也可识别:将比较得分高于预定阈值的真实对象以对应于该比较得分的位置、姿势和比例投影在输入图像中。[0098]图6是用于说明由本实施例中的图像识别单元140识别的真实对象的状态量的图。参考图6，示出了由X轴和y轴、和z轴形成的全局坐标系统，其中，X轴和I轴在垂直于对输入图像进行成像的成像设备的光轴方向的平面上，z轴平行于光轴方向。图像识别单元140识别的真实对象12的位置P被作为真实对象在全局坐标系中的参考点的位置坐标。真实对象12的姿势W被作为各个轴周边的旋转角。真实对象12的比例Sc被作为各个轴方向的放大率。在本公开中，为了简化说明，各个真实对象的位置P、姿势W和比例Sc被描述为离散变量(状态量)。然而，例如可以通过一个表示全局坐标系与各个真实对象的模型坐标系之间的变换的4X4齐次变换矩阵，以综合(integrated)的方式来表示各个真实对象的位置P、姿势W和比例Sc。在这种情况下，根据需要从一个齐次变换矩阵中提取各个状态量(即，位置P、姿势W和比率Sc中的每个)，然后使用。全局坐标系可以是将成像设备的位置用作原点来表示相对坐标的坐标系。可替选地，全局坐标系可以是表示在真实空间中固定地定义的绝对值的坐标系。图像识别单元140将投影在输入图像中的各个真实对象的标识符、位置P、姿势W和比例Sc输出到确定单元160、数据获取单元170和显示控制单元190。3-3.检测单元检测单元150检测用户输入，并且将用户输入输出到显示控制单元190。由检测单元150检测到的用户输入的示例包括:输入到输入单元106的触摸传感器的触摸，按钮的按压，由传感器单元104的传感器组测量到的设备的运动(例如，倾斜、摇晃等)，用户的姿势，和用户的语音。3-4.确定单元确定单元160可确定由图像识别单元140对投影在输入图像中的真实对象的状态进行的识别的稳定性。确定单元160确定的稳定性可由连续值或离散值(例如，具有三个或更多个梯级的逐级值，或“高”和“低”的两个值)来表示。下面将参考图7至图11来描述由确定单元160确定稳定性的方法的五个示例。(I)第一示例例如，当图像识别单元140进行的识别不稳定时，真实对象的状态量的变化可能剧烈。因此，确定单元160可根据图像识别单元140识别的真实对象的状态量的时间变化来确定稳定性。例如，可通过将真实对象的状态量的频率特征、状态量的微分(或二阶微分)、或预定时间段内的状态量的历史与状态量的当前值进行比较，来检测真实对象的状态量的时间变化。图7图示真实对象的状态量的时间变化的示例。在图7中，水平轴表示时间t，而垂直轴表示状态量X及其一阶微分(dx/dt)。状态量可为关于某个真实对象的位置P、姿势W和比例Sc中的任一个，或其两个或更多个的组合。在图7的示例中，状态量X在时间TO与时间Tl之间的时间段期间柔和地改变。在这种情况下，例如，当通过傅立叶变换提取状态量X的频率分量时，状态量X的高频分量减少。状态量X的一阶微分的绝对值没有超过某个水平(对应于现实界限的水平，其中在现实界限处，真实对象相对于图像设备而移动)。这类似地适用于状态量X的二阶微分。另夕卜，由于状态量X的变化柔和，所以状态量X的当前值没有显著地不同于状态量X的先前m个样本的历史。状态量X的历史可为先前m个样本的简单平均值、或先前m个样本的加权平均值(例如，样本越是新近的，所设定的权重越大)。另一方面，状态量X在时间Tl与时间T2之间的时间段期间剧烈地改变。在这种情况下，当提取状态量X的频率分量时，状态量X的高频分量进一步增加。另外，状态量X的一阶微分在零附近振荡。一阶微分的绝对值高于预定水平。另外，状态量X的当前值可显著地不同于状态量X的先前m个样本的历史。因此，在第一确定技术中，确定单元160通过将真实对象的状态量的高频分量、状态量的一阶微分(或二阶微分)的绝对值(积分值)、和状态量的历史之一与状态量的当前值进行比较，来评估状态量的时间变化。然后，确定单元160确定:所评估的时间变化越剧烈，识别的稳定性越低。在图7的示例中，确定在TO与Tl之间的时间段的稳定性“高”，在Tl与T2之间的时间段的稳定性“低”，在T2与T3之间的时间段的稳定性“中等”，而在T3与T4之间的时间段的稳定性“低”。(2)第二示例当图像识别单元140进行的识别不稳定时，在现实情形中很少会发生的真实对象的状态变化可能示出在识别结果中。例如，当对在真实空间中保持静止的真实对象进行成像时，图像中的真实对象的位置或比例可根据视角的变化而改变。然而，在这种情况下，真实对象很少同时显著地旋转。在这点上，在第二确定技术中，确定单元160可根据图像识别单元140识别的真实对象的多个状态量之间的一致性来确定稳定性。参考图8，由图像识别单元140在时间Tl与时间T2之间的时间段期间获得的识别结果表示真实对象12正在移动并且真实对象12的姿势正在旋转。可以用位置P的微分dP来表示在时间Tl与时间T2之间的时间段期间的真实对象12的移动，以及可以用姿势W的微分dW来表不旋转。因此,例如，当移动dP大于第一阈值并且旋转dW大于第二阈值时，由于真实对象的状态的变化不自然，所以确定单元160可确定由图像识别单元140进行的识别的稳定性正在减小。⑶第三示例在第三确定技术中，确定单元160根据真实对象的状态量的变化与运动传感器测量到的成像单元102的运动之间的一致性来确定稳定性。参考图9，用户正移动图像处理设备100，使得成像单元102的视角可在时间Tl与时间T2之间的时间段期间改变。因此，投影在输入图像Imll-1的右下侧上的真实对象12b正移动到输入图像Imll-2的左上侧。可根据来自传感器单元104的运动传感器(例如，力口速传感器、陀螺传感器、或地磁传感器)的传感器数据，来识别成像单元102的视角的变化。在这种情况下，当真实对象12b的移动dP或旋转dW与根据传感器数据识别的图像处理设备100的运动不一致时，确定单元160可确定由图像识别单元140进行的识别的稳定性正在减小。(4)第四示例在第四确定技术中，确定单元160根据图像识别单元140识别的真实对象的状态量的变化与多个输入图像中示出的真实空间的运动方向之间的一致性来确定稳定性。例如，可根据从多个输入图像获得的光流来识别多个输入图像中示出的真实空间的运动方向。参考图10，示出了从时间Tl处成像的输入图像Iml2_l到时间T2处成像的输入图像Iml2-2的光流F。光流F表示向图像的左上侧移动的真实对象的运动。另一方面，由图像识别单元140获得的识别结果表示真实对象12b在向上移动的同时正在旋转。如上所述，当真实对象12b的移动dP或旋转dW与多个输入图像形成的光流不一致时,确定单元160可确定由图像识别单元140进行的识别的稳定性正在减小。另外，可根据从真实对象12b附近的光流预测的真实对象的运动向量与作为识别真实对象的结果所识别的真实对象的运动向量之间的相关性(例如，数积(scalarproduct)),来将真实对象的稳定性计算为连续值(例如，数积越大，识别越稳定)。(5)第五示例例如，当真实对象的一部分没有投影在输入图像中时，识别的准确度将减小的可能性高。在这点上，在第五确定技术中，当所识别的真实对象的一部分没有投影在输入图像中时，确定单元160确定识别的稳定性低于当整个真实对象投影在输入图像中时的。例如，当真实对象的一部分位于视角以外时，或者当真实对象的一部分被其它真实对象遮挡时(在所谓的闭塞(occlusion)的情况下)，所识别的真实对象的一部分可能没有投影在输入图像中。参考图11，真实对象12a和12b投影在输入图像Iml3中。真实对象12a的一部分被真实对象12b遮挡。真实对象12b的一部分在视角以外。图11所示的多个三角形符号表示可在图像识别单元140识别真实对象12a时使用的特征点的位置。例如，确定单元160计算由图像识别单元140识别的真实对象12a的特征点的数目与真实对象12a的特征点的总数目之间的比率。当所计算的比率低于预定阈值时，确定单元160可确定真实对象12a的一部分没有投影在输入图像中。另外，例如，当真实对象的中心在图像的稳定检测区域以外时，确定单元160可容易地确定真实对象的一部分没有投影在输入图像中具有高可能性。在图11的示例中，真实对象12a的中心Pa位于稳定检测区域R的内部，而真实对象12b的中心Pb位于稳定检测区域R以外。可将稳定检测区域R设定为输入图像的中心，使得稳定检测区域R的边界距离输入图像的边缘可具有预定的偏移。确定单元160使用上述技术来确定由图像识别单元140进行的识别的稳定性，以及将各个真实对象的稳定性输出到显示控制单元190。图像处理设备100可允许确定单元160选择上述技术中的两个或更多个，以及可根据条件自适应地改变要由确定单元160使用的技术。例如，当对动态的真实对象确定稳定性时，可选择第一技术，而当对静态的真实对象确定稳定性时，可选择第二至第四技术中的任一个。另外，在期望小的处理成本的情形中可选择第五技术。3-5.数据获取单元数据获取单元170获取与要通过显示控制单元190叠加在输入图像上的虚拟对象有关的数据。由数据获取单元170获取的数据包括定义虚拟对象的对象数据。对象数据的示例包括虚拟对象的类型、相关联的真实对象的标识符、距离真实对象的相对显示位置、和定义信息内容的内容的数据。数据获取单元170可获取先前存储在对象DB 172中的对象数据。可替选地，数据获取单元170可经由通信单元114从安装在真实空间中的数据服务器获取最新的对象数据。例如，从数据服务器提供的对象数据可为如下数据，该数据根据由传感器单元104测量的图像处理设备100的位置而不同。图像获取单元170将对象数据输出到显示控制单元190。[0124]3-6.显示控制单元显示控制单元190可控制由图像处理设备100提供的AR应用的虚拟对象的显示。更具体地，例如，与被图像识别单元140识别为投影在输入图像中的真实对象相关联的虚拟对象的对象数据从数据获取单元170输入到显示控制单元190。显示控制单元190根据对象数据生成虚拟对象的对象图像。由显示控制单元190生成的对象图像通常是通过将虚拟布置在三维真实空间中的虚拟对象投影在图像处理设备100的成像表面上而获得的图像。然后，显示控制单元190将生成的输出图像输出到显示单元112。因此，将AR应用的图像呈现给用户。根据相关联的真实对象的状态来决定虚拟对象的布置。即，显示控制单元190使虚拟对象显示在显示装置上，使得虚拟对象可跟踪各个真实对象的位置、姿势、和比例。在本实施例中，显示控制单元190根据图像识别单元140进行的识别的稳定性，来改变与各个所识别的真实对象相关联的虚拟对象的显示。例如，显示控制单元190根据稳定性改变用于跟踪各个真实对象的虚拟对象的跟踪速率。通常，当稳定性高时，显示控制单元190增大用于跟踪各个真实对象的虚拟对象的跟踪速率，但是，当稳定性低时，减小用于跟踪各个真实对象的虚拟对象的跟踪速率。例如，跟踪速率可由公式(I)中的插值系数k来表示。Zn+1 = Zn+k(Xn+1-Zn) (I)在公式(I)中，Zn和Zn+1表示在时间t = η处的虚拟对象的状态和在t = n+1处的虚拟对象的状态，而Xn+1表示在时间t = n+1处的所识别的真实对象的状态。显示控制单元190控制在大于零但是等于或小于I的范围内的插值系数k的值。例如，当k为I时，zn+1 = Xn+1并且在时间t = n+1处的虚拟对象的状态照原来的样子反映所识别的真实对象的状态。然而，当k为0.1时，Zn+1 = 0.1Χη+1+0.9Xn，在时间t = n+1处的虚拟对象的状态部分地反映所识别的真实对象的状态。图12是用于说明控制用于跟踪真实对象的虚拟对象的跟踪速率的示例的图。在图12的上部示出了当跟踪速率恒定不变时(当插值系数k恒定不变时)在时间t = n、t =n+1和t = n+2的三个时间点处的虚拟对象13a的状态。虚拟对象13a是与真实对象12a有关的虚拟对象。在时间t = n+1和t = n+2的时间点处，由于识别的稳定性低，所以虚拟对象13a的状态显著地偏离真实对象12a。同时,在图12的下部示出了当对跟踪速率进行动态控制时在时间t = n、t = n+1和t = n+2的三个时间点处的虚拟对象13a的状态。在这种情况下，在时间t = η的时间点处，由于稳定性高，所以跟踪速率快，以及真实对象12a的状态几乎与虚拟对象13a的状态一致。其后，在时间t = n+1和t = n+2的时间点处，当稳定性减小时，插值系数k的值减小，因此虚拟对象13a的状态柔和地跟踪真实对象12a的状态。因此，外在地抑制以减少虚拟对象13a与真实对象12a的状态的偏离。取代根据稳定性改变用于跟踪各个真实对象的虚拟对象的跟踪速率，或者在根据稳定性改变用于跟踪各个真实对象的虚拟对象的跟踪速率的同时，显示控制单元190可根据稳定性改变虚拟对象的显示属性。虚拟对象的显示属性可包括与虚拟对象的显示模式有关的静态属性和动态属性。与虚拟对象的显示模式有关的静态属性的示例包括虚拟对象的透明度、锐度、颜色、比例、形状、数目、和余像图案(afterimage pattern)。与虚拟对象的显示模式有关的动态属性包括虚拟对象的闪烁图案、闪烁循环、和动画的类型。通过改变虚拟对象的显示属性，可以使用户直观地理解真实对象的识别稳定性正在减小的事实。作为示例，参考图13，在真实对象的识别稳定性被确定为高的输入图像Im22_2a中,将虚拟对象13b的锐度设定为高。因此,清楚地显示输入图像Im22-2a的虚拟对象13b的轮廓。然而，在真实对象的识别稳定性被确定为低的输入图像Im22-2b中，将虚拟对象13b的锐度设定为低。因此，朦胧地显示输入图像Im22-2b的虚拟对象13b的轮廓。作为另一示例，参考图14，在真实对象的识别稳定性被确定为高的输入图像Im23-2a中，将虚拟对象13b的透明度设定为低。因此，输入图像Im23_2a的虚拟对象13b的轮廓不透明。然而，在真实对象的识别稳定性被确定为低的输入图像Im23-2b中，将虚拟对象13b的透明度设定为高。因此，输入图像Im23-2b的虚拟对象13b的轮廓透明。在图14的示例中，用作用于表示真实对象的识别结果的指示的虚拟对象13b的透明度根据识别的稳定性而改变，而用作信息内容的虚拟对象14b的透明度保持恒定不变。如上所述，显示控制单元190可仅改变指示和信息内容之一的显示。通过仅改变指示的显示，当真实对象的识别稳定性减小时，可以使用户理解稳定性的退化而不会减小信息内容的可见度。另一方面，通过仅改变信息内容的显示，当真实对象的识别稳定性减小时，可在通知用户真实对象已被识别得如何的同时防止对信息内容的印象变得更差。当由图像识别单元140进行的识别的稳定性低时，显示控制单元190还可使提示用户采取用于增加稳定性的动作的信息显示在显示装置上。在这种情况下，例如，要显示的信息可为提示设备的移动的消息(参见图15的图像Im30的消息15)，使得在视角以外示出的真实对象可位于视角以内。参考了信息的用户采取用于增加稳定性的动作，因此可避免虚拟对象的不稳定显示。另外，当检测单元150检测到预定的用户输入时，显示控制单元190可在稳定性高的假设下使显示装置进行虚拟对象的显示，而不管由确定单元160确定的识别稳定性。预定的用户输入的示例包括:到触摸传感器的输入、由运动传感器感测到的输入、设置在图像处理设备100上的按钮的按压、和诸如用户的手势或语音的任意用户输入。因此，当用户允许虚拟对象的不稳定显示时，可临时地停止根据稳定性的显示控制。4.根据实施例的显示控制处理的流程图16是图示由根据本实施例的图像处理设备100进行的显示控制处理的流程的示例的流程图。参考图16，首先，图像获取单元130获取投影在真实空间中的图像作为输入图像(步骤S102)。接着，图像识别单元140可识别投影在从图像获取单元130输入的各个输入图像中的真实对象，以及识别投影在输入图像中的各个真实对象的状态(步骤S104)。例如，所识别的真实对象的状态可包括真实对象的位置、姿势和比例。接着，确定单元160确定是否存在被图像识别单元140识别为投影在输入图像中的真实对象(步骤S106)。这里，当不存在任何识别的真实对象时，处理返回到步骤S102。然而，当存在识别的真实对象时，处理前进到步骤S108。在步骤S108，确定单元160可确定由图像识别单元140对投影在输入图像中的真实对象的状态进行的识别的稳定性。接着，数据获取单元170获取与图像识别单元140识别的各个真实对象有关的虚拟对象的对象数据(步骤S110)。另外，显示控制单元190根据确定单元160确定的识别稳定性来决定与各个识别的真实对象有关的虚拟对象的显示属性(步骤S112)。这里，显示属性可为插值系数k、或虚拟对象的透明度、锐度、闪烁图案、闪烁循环、或余像的比例。接着，显示控制单元190根据所决定的显示属性生成与各个真实对象有关的虚拟对象的图像(步骤S114)。然后，显示控制单元190将生成的虚拟对象的图像叠加在输入图像上(步骤SI 16)。5.总结到目前为止，参考图1至图16详细描述了根据实施例的图像处理设备100。根据本实施例，与真实对象有关的虚拟对象的显示根据对投影在图像中的真实对象的状态进行的识别的稳定性而动态地改变。因此，可以防止用户由于由识别的准确度的退化而导致的虚拟对象的不稳定显示而迷惑。另外，根据本实施例，例如，允许虚拟对象跟踪真实对象的位置或姿势的应用可根据稳定性来控制用于跟踪真实对象的虚拟对象的跟踪速率。因此，可在识别的准确度高的同时将跟踪延迟保持为小，以及可有效地减少当识别的准确度被降低时虚拟对象的布置中的突然偏离。另外，根据本实施例，可根据稳定性来控制虚拟对象的显示属性，例如虚拟对象的透明度、锐度、闪烁图案、闪烁循环、或余像的比例。因此，由于用户可直观地理解真实对象的识别稳定性正在减小的事实，所以可以在虚拟对象的显示不稳定时防止用户迷惑。另外，可根据真实对象的状态量的时间变化来确定稳定性。在这种情况下，可在不需要运动传感器等的辅助输入的情况下准确地确定稳定性，而不管目标真实对象是动态真实对象还是静态真实对象。另外，可根据所识别的状态量之间的一致性、状态量与设备的运动之间的一致性、或状态量与输入图像中示出的真实空间的运动方向之间的一致性来确定稳定性。在这种情况下，可确定稳定性而不需要计算，例如对真实对象的状态量的频率的分析或微分。另外，可根据真实对象是否具有未投影在输入图像中的部分来容易地确定稳定性。本公开中描述的图像处理设备100的处理可使用软件、硬件、或软件和硬件的组合来实现。例如，将配置软件的程序预先存储在设置在各个设备的内部或外部的存储介质中。例如，各个程序在执行时被读取到随机访问存储器(RAM)中，并且被诸如CPU的处理器执行。结合将图像主要显示在图像处理设备100的显示单元112的屏幕上的示例描述了本实施例。然而，作为另一实施例，从用户携带的终端设备接收输入图像的图像处理设备可识别投影在输入图像中的真实对象的位置或姿势，以及可根据识别的稳定性来控制与真实对象有关的虚拟对象的显示。在这种情况下，可将用于显示虚拟对象的图像从图像处理设备传送到终端设备，然后显示在终端设备的屏幕上。在本公开中，使用术语“稳定性”描述了用于标识识别的准确度的退化的指标，然而，可以用诸如“不稳定性”的其它术语来表示具有基本上相同技术含义的指标。尽管以上参考附图描述了本公开的优选实施例，但是本公开不限于此。本领域技术人员应当理解，根据设计需求和其它因素可进行各种修改、组合、子组合和替换，只要其在所附权利要求或其等同替换的范围之内即可。注意，下面的配置在本公开的范围之内。[0152](I) 一种图像处理设备，包括:识别单元，其被配置成识别投影在图像中的真实对象的位置或姿势；以及显示控制单元，其被配置成根据由所述识别单元进行的识别的稳定性来改变与所述真实对象有关的虚拟对象的显示。(2)根据(I)所述的图像处理设备，其中，所述显示控制单元将所述虚拟对象显示在针对所述虚拟对象的显示装置上，以跟踪所述真实对象的位置或姿势。(3)根据(2)所述的图像处理设备，其中，所述显示控制单元根据所述稳定性来改变针对所述真实对象的所述虚拟对象的跟踪速率。(4)根据(3)所述的图像处理设备，其中，所述显示控制单元在所述稳定性更高时将针对所述真实对象的所述虚拟对象的所述跟踪速率设定为更快。(5)根据(I)至(4)中任一项所述的图像处理设备，其中，所述显示控制单元根据所述稳定性来改变与所述虚拟对象的显示模式有关的静态属性和动态属性中的任一个或两者。(6)根据⑴至(5)中任一项所述的图像处理设备，还包括:确定单元，其被配置成确定所述稳定性。(7)根据(6)所述的图像处理设备，其中，所述确定单元根据所述识别单元识别的所述真实对象的状态量的时间变化来确定所述稳定性，以及所述真实对象的所述状态量与所述真实对象的位置、姿势和比例中的至少之一有关。(8)根据(6)所述的图像处理设备，其中，所述确定单元根据所述识别单元识别的所述真实对象的第一状态量与第二状态量之间的一致性来确定所述稳定性，以及所述真实对象的所述第一状态量和所述第二状态量中的每个与所述真实对象的位置、姿势和比例中的至少之一有关。(9)根据(6)所述的图像处理设备，其中，当所述识别单元识别的所述真实对象包括未投影在所述图像中的部分时，所述确定单元确定所述稳定性低于当整个真实对象投影在所述图像中时的。(10)根据(6)所述的图像处理设备，还包括:成像单元，其被配置成捕获所述图像；以及运动传感器，其被配置成测量所述成像单元的运动，其中，所述确定单元根据所述识别单元识别的所述真实对象的状态量的变化与所述运动传感器测量到的所述成像单元的运动之间的一致性来确定所述稳定性，以及所述真实对象的所述状态量与所述真实对象的位置、姿势和比率中的至少之一有关。(11)根据(6)所述的图像处理设备，其中，所述确定单元根据所述识别单元识别的所述真实对象的状态量的变化与多个输入图像中示出的真实空间的运动方向之间的一致性来确定所述稳定性，以及所述真实对象的所述状态量与所述真实对象的位置、姿势、和比例中的至少之一有关。(12)根据⑴至(11)中的任一项所述的图像处理设备，其中，当所述稳定性低时，所述显示控制单元显示提示用户采取用于增加所述稳定性的动作的信息。(13)根据⑴至(12)中的任一项所述的图像处理设备，其中，当检测到预定的用户输入时，所述显示控制单元在所述稳定性高的假设下使显示装置进行所述虚拟对象的显示，而不管由所述识别单元进行的识别的所述稳定性。(14)根据⑴至(13)中的任一项所述的图像处理设备，其中，所述虚拟对象是表示所述真实对象已被识别的指示。(15)根据(I)至(13)中的任一项所述的图像处理设备，其中，所述虚拟对象是与所识别的真实对象有关的信息内容。(16)根据(I)至(13)中的任一项所述的图像处理设备，其中，所述显示控制单元使表示所述真实对象已被识别的指示、和与所识别的真实对象有关的信息内容显示在显示装置上作为所述虚拟对象，以及根据所述稳定性来改变所述指示和所述信息内容中的任一个的显示。(17) —种显示控制方法，包括:识别投影在图像中的真实对象的位置或姿势；以及根据所述识别的稳定性来改变与所述真实对象有关的虚拟对象的显示；(18) 一种程序，其使控制图像处理设备的计算机用作:识别单元，其被配置成识别投影在图像中的真实对象的位置或姿势；以及显示控制单元，其被配置成根据由所述识别单元进行的识别的稳定性来改变与所述真实对象有关的虚拟对象的显示。(19) 一种设备，包括:识别单元，其被配置成在图像中识别真实对象；确定单元，其被配置成确定指示所述识别的稳定性的稳定性指示；以及显示控制单元，其被配置成根据所述稳定性指示修改虚拟对象的显示。(20)根据(19)所述的设备，其中，所述显示控制单元还被配置成通过修改所述虚拟对象的至少一个属性，来根据所述稳定性指示修改所述虚拟对象的所述显示。(21)根据(19)至(20)所述的设备，其中，所述显示控制单元还被配置成根据所述真实对象的跟踪位置或取向修改所述虚拟对象的所述显示。(22)根据(19)至(21)所述的设备，其中，以跟踪速率跟踪所述跟踪位置，以及所述显示控制单元还被配置成根据所述稳定性指示选择所述跟踪速率。(23)根据(19)至(22)所述的设备，还包括在显示所述虚拟对象之前选择所述跟
踪速率。(24)根据(19)至(23)所述的设备，还包括在所述稳定性指示增大时选择更高的跟踪速率，以及在所述稳定性指示减小时选择更低的跟踪速率。(25)根据(19)至(24)所述的设备，其中，选择跟踪速率包括选择使得所述虚拟对象的经修改的显示与所述图像协同地移动的跟踪速率。(26)根据(19)至(25)所述的设备，其中，经修改的图像属性为静态属性或动态属性中的至少之一。(27)根据(19)至(26)所述的设备，其中，经修改的属性包括向用户提供的关于所述稳定性指示的变化的指示。[0192](28)根据(19)至(27)所述的设备，其中，所述静态属性包括以下各项中的至少之一:所述虚拟对象的所述显示的透明度，所述虚拟对象的所述显示的锐度，所述虚拟对象的所述显示的颜色，所述虚拟对象的所述显示的比例，所述虚拟对象的所述显示的形状，或叠加在所述虚拟对象的所述显示上的图案。(29)根据(19)至(28)所述的设备，其中，所述动态属性包括以下各项中的至少之一:与所述虚拟对象的所述显示有关的动画，显示在所述虚拟对象的所述显示上的图案，或显示在所述虚拟对象的所述显示上的图案的显示定时。(30)根据(19)至(29)所述的设备，其中，确定稳定性指示包括:将所述真实对象的状态量的一个方面的当前值与所述真实对象的所述状态量的所述方面的至少一个先前值进行比较。(31)根据(19)至(30)所述的设备，包括传感器；以及其中，所述确定单元被配置成通过将传感器输出的变化与所述真实对象的状态量的所述方面的变化进行比较来确定稳定性指示。(32)根据(19)至(31)所述的设备，其中，所述传感器包括具有指示所述设备的移动的输出的传感器。(33)根据(19)至(32)所述的设备，其中，所述状态量为以下各项中的至少之一:所述真实对象的位置、取向或比例。(34)根据(19)至(33)所述的设备，其中，所述状态量的所述方面为以下各项中的至少之一:所述状态量的高频分量，所述状态量的绝对值，或所述状态量的微分。(35)根据(19)至(34)所述的设备，其中，所述确定单元被配置成通过将所述状态量的所述方面与所述图像中的所述真实对象的运动方向进行比较来确定稳定性指示。(36)根据(19)至(35)所述的设备，其中，所述确定单元被配置成通过下述操作来确定稳定性指不:将所述真实对象的状态量的第一方面的当前值与所述状态量的所述第一方面的先前值进行比较；以及将所述状态量的第二方面的当前值与所述状态量的所述第二方面的先前值进行比较。(37)根据(19)至(36)所述的设备，其中，所述状态量的所述第一方面和所述第二方面包括所述真实对象的位置和所述真实对象的取向。(38)根据(19)至(37)所述的设备，其中，所述稳定性指示的值为所述图像中示出的所述真实对象的部分的反函数。(39)根据(19)至(38)所述的设备，还包括:控制单元，其被配置成在所述稳定性指示降到阈值以下时警告用户。(40)根据(19)至(39)所述的设备，其中，所述显示控制单元包括输入单元，所述输入单元用于接收用户输入以禁止所述虚拟对象属性的所述显示的修改。(41)根据(19)至(40)所述的设备，其中，所述显示控制单元被配置成:修改所述虚拟对象的所述显示以包括所述真实对象的所述识别的指示；以及将所述虚拟对象的信息显示叠加到所述图像、或所述虚拟对象的经修改的显示中的至少之一上。[0210](42)根据(19)至(41)所述的设备，其中:所述至少一个属性为所述虚拟对象的所述显示的锐度；以及所述显示控制单元被配置成在所述稳定性指示指示增大的稳定性时增大所述锐度，以及在所述稳定性指示指示减小的稳定性时减小所述锐度。(43)根据(19)至(42)所述的设备，其中:所述至少一个属性为所述虚拟对象的所述显示的透明度；以及所述显示控制单元被配置成在所述稳定性指示指示增大的稳定性时减小所述透明度，以及在所述稳定性指示指示减小的稳定性时增大所述透明度。(44) 一种方法，包括:在图像中识别真实对象；确定指示所述识别的稳定性的稳定性指示；以及根据所述稳定性指示修改虚拟对象的显示。(45) 一种有形地体现的非暂时性的计算机可读介质，其存储指令，所述[0221 ]指令当被处理器执行时执行方法，所述方法包括:在图像中识别真实对象；确定指示所述识别的稳定性的稳定性指示；以及根据所述稳定性指示修改虚拟对象的显示。附图标记列表100图像处理设备102成像单元104传感器单元140图像识别单元160确定单元190显示控制单元
权利要求1.一种图像处理设备，包括: 识别单元，其被配置成在图像中识别真实对象； 确定单元，其被配置成确定指示所述识别的稳定性的稳定性指示；以及 显示控制单元，其被配置成根据所述稳定性指示修改虚拟对象的显示。
2.如权利要求1所述的图像处理设备，包括传感器；以及其中，所述确定单元被配置成通过将传感器输出的变化与所述真实对象的状态量的方面的变化进行比较来确定稳定性指示。
3.如权利要求2所述的图像处理设备，其中，所述传感器包括具有指示所述设备的移动的输出的传感器。
4.如权利要求1所述的图像处理设备，还包括:控制单元，其被配置成在所述稳定性指示降到阈值以下时警告用户。
5.如权利要求1所述的图像处理设备，其中，所述显示控制单元包括输入单元，所述输入单元用于接收用户输入以禁止所述虚拟对象属性的所述显示的修改。
专利摘要提供了一种图像处理设备，该设备包括识别单元，该识别单元被配置成在图像中识别真实对象。该设备还可包括确定单元和显示控制单元，该确定单元被配置成确定指示识别的稳定性的稳定性指示，该显示控制单元被配置成根据稳定性指示修改虚拟对象的显示。
文档编号G06K9/32GK202976122SQ201220143819
公开日2013年6月5日 申请日期2012年4月6日 优先权日2011年4月8日
发明者笠原俊一 申请人:索尼公司