图像处理设备和方法及其程序的制作方法

专利名称：图像处理设备和方法及其程序的制作方法
技术领域：
本发明涉及图像处理设备和方法及程序。更具体地，本发明涉及以最 小处理量允许指示设备的高识别鲁棒性和高准确位置检测的图像处理设 备和方法，并且涉及其程序。
背景技术：
近来，已经提出在照相机中使用多个界面来识别被用作指示设备的用 户的手的姿势，并且基于识别结果提供i殳备控制。
例如，日本待审专利申请公开说明书No.8-444卯公开了被配置成从 电荷耦合器件(CCD)照相机输入的所捕获的图像中提取对应于用户的手 的部分并且基于手的形状或位置执行控制的界面。

发明内容
在从所捕获的图像中提取对应于用户的手的部分的情况下，提取例如 所捕获的图像中所有对象的轮廓，并且使用例如匹配的技术，根据轮廓形 状选"^对应于手的部分，导致大量处理和相对较长的处理时间。此外，由 于存在各种手的形状，在基于轮廓形状的手的识别情况下，手的识别的鲁 棒性较低，并且手的位置检测的准确性也较低。
因此，期望以最小处理量提供指示设备的高识别鲁棒性和高准确位置 检测。
根据本发明的实施例，图像处理设备包含以下单元。提取装置从所捕
获的图像提取特征点。识别装置识别特征点的位置。显示控制装置基于特 征点的位置执行控制以显示指示该特征点的特征点指针。提交装置基于特 征点的位置提交对应于该特征点的位置或该特征点的运动的命令。
在根据本发明的实施例的图像处理设备中，显示控制装置可以基于特 征点的位置执行控制以显示特征点指针和预定用户界面，并且提交装置可 以基于特征点的位置提交对应于用户界面中在该特征点的位置处显示的 用户界面的命"令。
在根据本发明的实施例的图像处理设备中，提取装置可以从所捕获的 图像中提取多个特征点，并且提交装置可以针对每个特征点，基于特征点 的位置提交对应于该特征点的位置或该特征点的运动的命令.
在根据本发明的实施例的图像处理设备中，显示控制装置可以针对每 个特征点，基于特征点的位置执行控制以显示指示该特征点的特征点指针 和预定用户界面，并且提交装置可以针对每个特征点，基于特征点的位置 提交对应于用户界面中在该特征点的位置处显示的用户界面的奇"令。
在根据本发明的实施例的图像处理设备中，显示控制装置可以针对每 个特征点，基于特征点的位置执行控制以显示指示该特征点的特征点指针 并且显示预定用户界面，预定用户界面由多个特征点共享，并且提交装置 可以针对每个特征点，基于特征点的位置提交对应于用户界面中在该特征 点的位置处显示的用户界面的命令。
在根据本发明的实施例的图像处理设备中，提取装置可以从所捕获的 图像中提取多个特征点，并且提交装置可以提交对应于多个特征点的位置 或运动的命令。
根据本发明的另 一个实施例，被配置成从所捕获的图像中提取特征点
的图像处理设备的图像处理方法包含步骤从所捕获的图像中提取特征 点；识别特征点的位置；基于特征点的位置，显示指示该特征点的特征点 指针；和基于特征点的位置，提交对应于该特征点的位置或该特征点的运 动的命令.
根据本发明的另 一个实施例， 一个程序使计算机执行从所捕获的图像 中提取特征点的图像处理，该图像处理包含步骤从所捕获的图像中提取 特征点；识别特征点的位置；基于特征点的位置，显示指示该特征点的特 征点指针；和基于特征点的位置，提交对应于该特征点的位置或该特征点 的运动的命令。
根据本发明的实施例，从所捕获的图像中提取特征点，识别特征点的 位置，基于特征点的位置显示指示该特征点的特征点指针，和基于特征点 的位置提交对应于该特征点的位置或该特征点的运动的命令.
因此，#^本发明的实施例，通过最小处理量实现了指示设备的高识 别鲁棒性和高准确位置检测。


图1是示出根据本发明的笫一实施例的图像处理设备的概况的图例； 图2是示出图1所示的图像处理i殳备的示例结构的方框图； 图3是示出抓住特征点指针的运动的图例；
图4是示出在图2所示的图像处理设备中使用指示设备的例子的图
例；
图5是示出在图2所示的图像处理设备中使用指示设备的例子的图
例；
图6是示出在图2所示的图像处理设备中使用指示设备的例子的图
例；
图7是示出在图2所示的图像处理设备中使用指示设备的例子的图
例；
图8是示出在图2所示的图像处理设备中使用指示设备的例子的图
例；
图9是示出在图2所示的图像处理设备中使用指示设备的例子的图
例；
图IO是示出在图2所示的图像处理设备中使用指示设备的例子的图
例；
图11是示出在图2所示的图像处理设备中使用指示设备的例子的图
例；
图12是示出在图2所示的图像处理设备中使用指示设备的第二个例
子的图例；
图13是示出在图2所示的图像处理设备中使用指示设备的第二个例 子的图例；
图14是示出在图2所示的图像处理设备中使用指示设备的第二个例 子的图例；
图15是示出在图2所示的图像处理设备中使用指示设备的第二个例 子的图例；
图16是示出在图2所示的图像处理设备中使用指示设备的第二个例 子的图例；
图17是示出在图2所示的图像处理设备中使用指示设备的第二个例 子的图例；
图18是示出在图2所示的图像处理设备中使用指示设备的第二个例 子的图例；
图19是示出在图2所示的图像处理设备中使用指示设备的第二个例 子的图例；
图20是示出在图2所示的图像处理设备中使用指示i殳备的笫二个例 子的图例；
图21是示出由图2所示的图像处理设^L行的图像处理的流程图22是示出根据本发明的第二实施例的图像处理设备的示例结构的 方框图23是示出在图22所示的图像处理设备中使用指示设备的例子的图
例；
图24是示出由图22所示的图像处理设备执行图像处理的流程图； 图25是示出由两个用户执行操作的例子的图例；
图26是示出由两个用户执行^Mt的另一个例子的图例；
图27是示出根据本发明的第三实施例的图像处理设备的示例结构的 方框图28是示出在图27所示的图像处理设备中使用指示设备的例子的图
例；
图29是示出在图27所示的图像处理设备中使用指示设备的例子的图
例；
图30是示出在图27所示的图像处理设备中使用指示设备的例子的图
例；
图31是示出在图27所示的图像处理设备中使用指示设备的例子的图
图32是示出在图27所示的图像处理设备中使用指示设备的例子的图
图33是示出在图27所示的图像处理设备中使用指示设备的例子的图
图34是示出在图27所示的图像处理设备中使用指示设备的例子的图
图35是示出在图27所示的图像处理设备中使用指示设备的例子的图
图36是示出在图27所示的图像处理设备中使用指示设备的例子的图
图37是示出在图27所示的图像处理设备中使用指示设备的例子的图
图38是示出在图27所示的图像处理设备中使用指示设备的例子的图 和
图39是示出由图27所示的图像处理设^Mt的图像处理的 ;^图。
具体实施例方式
在描述本发明的实施例之前，讨论权利要求的特征和本发明的实施例 所公开的具体元素之间的对应关系。这个描述旨在保证本说明书中描述了 支持要求保护的发明的实施例。于是，即使以下实施例中的元素未被描述 为与本发明的某个特斜目关，这也不必定表明该元素与权利要求的该特征 无关。反之，即使实施例中的元素被描述为与本发明的某个特^目关，这 也不必X^明该元素与权利要求的其它特征无关。
，本发明的实施例，图^象处理^L^图2所示的图l象处理设备11) 包含从所捕获的图像中提取特征点的提取装置(例如，图2所示的特征点 提取单元34);识别特征点的位置的识别装置(例如，图2所示的计算单元 35);基于特征点的位置执行控制，以显示指示特征点的特征点指针的显 示控制装置(例如，图2所示的合成装置39);和基于特征点的位置，提交 对应于特征点的位置或特征点的运动的命令的提交装置(例如，图2所示
例 例 例 例 例 例 例:
的命令提交单元38)。
根据本发明的另 一个实施例，被配置成从所捕获的图像中提取特征点 的图像处理设备(例如，图2所示的图像处理设备11)的图像处理方法包含 步骤从所捕获的图像中提取特征点(例如，图21所示的步骤S13);识别 特征点的位置(例如，图21所示的步骤S17);基于特征点的位置，显示指 示特征点的特征点指针(例如，图21所示的步骤S15);和基于特征点的位 置，提交对应于特征点的位置或特征点的运动的命令(例如，图21所示的 步骤S19)。
参考附图详细描述本发明的具体实施例。
图1示出根据本发明的第一实施例的图像处理设备的概况。
参照图1，图像处理设备ll包含被配置成捕获用户的图像的照相机 12。图像处理设备ll分析用户的所捕获的图像，并且在例如显示监视器 的、在图像处理设备11上提供的显示单元13上显示通过分析得到的图像。
在图l所示的例子中，用户观看频道l(lch)上的电视节目。在这个例 子中，用户首先向照相机12挥手以改变要观看的电视节目的频道。
接着，如图1所示，在图像处理设备ll中，在显示单元13的频道1 的电视节目图像上显示指示所捕获的图像的特征点的特征点指针14,和 要进行操作以选择每个频道的用户界面(UI)15-1到15-7。在显示单元13 上，也半透明的方式显示所捕获的图像的镜像或水平翻转的图像。将UI 15-1到15-7沿环绕原始特征点指针14的预定圆團的圆周布置。为UI15-1 到15-7分配可选频道的编号。
接着，当观看当前显示单元13上以半透明的方式显示的所捕获的图 像时，用户执行动作用其手指从左边和右边包围现实世界的对应于特征 点指针14的空间体积，使得用户的手可以围绕空间体积闭合。在以下说 明中，这个运动被称为"抓住"。用户移动抓住特征点指针14的手，使得 特征点指针14可以被叠加在UI 15-1到15-7中分配有期望观看的电视节 目的频道号的UI上。
征点指针14指示的特:点的位置，并且i交UI 15-1到15-7中对应于位 于特征点的位置的UI的命令。
例如，在图l中，用户移动其用手指抓住特征点指针14的手，使得 特征点指针14能够M在显示单元13显示的UI15-4上，UI 15-4分配有
频道"6"。接着，提交显示频道6的电视节目图像的命令。结果，用户可 以观看频道6的电视节目。
在下面的描述中，UI 15-1到15-7被共同称作"UI 15"，除非另外单 独标识。
图2是示出图1所示的图像处理设备11的示例结构的方框图。
图2所示的图像处理设备11包含照相机12、显示单元13、图像获得 单元31、帧緩冲器32、触发检测单元33、特征点提取单元34、计算单元 35、 UI绘制单元36、命令确定单元37、命令提交单元38和合成单元39。
照相机12可以是摄^b机，其包含被配置成将光学图像转换成电信号 的光电转换单元，例如CCD传感器或互补金属氧化物半导体(CMOS)传 感器，并且照相机12被配置成捕获用户的图像。照相机12向图像获得单 元31逐帧提供所捕获的图像。
图像获得单元31向帧緩冲器32和合成单元39提供从照相机12提供 的所捕获的图像。帧緩冲器32存储在对应于预定数量的帧的时间段逐帧 从图像获得单元31提供的所捕获的图像。
触发检测单元33从帧緩冲器32中读取所捕获的图像。触发检测单元 33基于所捕获的图像检测指示用户向照相机12挥手的触发。可以使用例 如分析时域中的频率分量的方法，或使用帧间差值分析运动区域的运动的 方法来检测触发。触JL检测单元33向特征点提取单元34拔 映指示在所捕 获的图像内检测到用户挥手的区域的区域信息。
特征点提取单元34从帧緩沖器32中读取所捕获的图像。特征点提取 单元34在由触发检测单元33提供的区域信息指定的所捕获的图像的区域 内使用亮度分量提取一个角点作为特征点。术语"角点"表示在X方向(水 平方向)和Y方向(垂直方向)上都具有较大亮度梯度的点。
角点的例子包含Harris角点和使用SUSAN操作符提取的角点。例 如，在可以从http:Vwww.oita-ri.go.jp/report/2002/2002_12.pdf的主页得 至!j的、标题为"Detection of an Image Feature Point using the SUSAN Operator"的文章中描述了使用SUSAN操作符提取角点的技术。
因此，由于特征点提取单元34使用所捕获的图像的亮度分量提取特 征点，所以在照明环境条件下的特征点提取的鲁棒性较高。
特征点提取单元34向计算单元35和UI绘制单元36提供指示所提
取的特征点的位置的提取位置信息。
计算单元35从帧緩冲器32中读取所捕获的图像的两个相邻帧.计算
取位置信息或指示特征点的当前位置的特征点信息，针对每个帧计算特征 点的光流。
例如，可以4吏用块匹配方法或梯度法计算光流。如上所述，由于角点 是在X方向和Y方向上具有较大亮度梯度的点，所以光流的计算准确度 较高。
计算单元35还基于光流识别特征点的当前位置，并且更新特征点信 息。计算单元35向UI绘制单元36和命令确定单元37提供特征点信息。
UI绘制单元36事先存储特征点指针图像和UI图像。UI绘制单元36 基于从特征点提取单元34提供的提取位置信息确定UI的布置,使得可以 将UI围绕特征点排列。UI绘制单元36向合成单元39提供事先存储在其 中的指示UI的布置的UI信息和UI图像。UI绘制单元36还向合成单元 39提供事先存储在其中的特征点指针图像和从计算单元35提供的提取位 置信息或特征点信息.UI绘制单元36还向命令确定单元37提供UI信息。
命令确定单元37基于从计算单元35提供的特征点信息和从UI绘制 单元36提供的UI信息，检测当前在特征点的位置处显示的UI.命令确 定单元37向命令提交单元38提供指示已经操作UI的事件和标识该UI 的标识信息.
命令确定单元37事先存储表，表中特征点的运动和事件或命令彼此 相关。命令确定单元37基于从计算单元35提供的特征点信息，识别特征 点的位置的轨迹，并且从事先存储在其中的表中读取与由轨迹指示的运动 相关的事件或命令。命令确定单元37向命令提交单元38提供所读取的事 件或命令。
命令提交单元38事先存储表，表中标识信息和对应于由标识信息标 识的UI的命令彼此相关。命令提交单元38基于从命令确定单元37提供 的事件和标识信息，从事先存储在其中的表中读取与标识信息标识的UI 相关的命令，并且提交该命令。命令提交单元38还提交从命令确定单元 37提供的事件或命令作为命令，
合成单元39从例如通过调谐器或通过网络连接的设备的外部设^未 示出)获得期望XMr的内容的图像。合成单元39向显示单元13提供所期
望的图像，使得所期望的图像被直接显示为显示期望图像的屏幕的图像 (以下简称"图像观看屏幕")。
合成单元39还基于从UI绘制单元36提供的UI信息、UI图像、提 取位置信息或特征点信息、和特征点指针图像，将UI图像和特征点指针 图像与图^U! Jr屏幕的图像合并，并且向显示单元13提*成图像以用 于显示。
此夕卜，合成单元39产生从图像获得单元31提供的所捕获的图像的镜 象。合成单元39还将所捕获的图像的镜象与图像观看屏幕的合成图像合 并，使得所捕获图像的镜象可以以半透明方式在合成UI图像和特征点指 针图像的图像观看屏幕上显示。合成单元39向显示单元13提供结果合成 图像以用于显示。
现在参照图3描述抓住特征点指针14的动作。
在图3中，空间体积51是其位置对应于图1所示显示单元13上显示 的特征点指针14的位置的空间体积。如图3所示，当用户通过手指从左 边和右边包围空间体积51来用其手的抓住特征点指针14,使得手可以围 绕空间体积51闭合时，特征点位于抓住特征点指针14的手的图像中。
当用户移动抓住特征点指针14的手时，指示手的运动的光流被作为 特征点的光流来计算。结果，用户可以使用抓住特征点指针14的手作为 指示设备.
因此，图《象处理i殳备11被配置成识别由通过用户的手抓住的特征点 指针14指示而且和用户的手一起移动的特征点，而不是基于用户的手的 形状等等识别用户的手以检测手的运动，并且检测特征点的运动为用户的 手的运动。因此，与基于用户的手的形状等等识别用户的手以检测手的运
动的情;;U目比，可以用最小量的处理来提高指示设备的位置检测的识别鲁
棒性和精度。
此外，在图像处理设备ll中， 一旦用户用其手的抓住了特征点指针 14，则可以检测到手的运动。假定一旦用户移动其手则检测手的运动的检 测方法被称为全自动手姿势检测方法，图像处理设备11使用的检测方法 可以被称作半自动手姿势检测方法。
现在参考图4到11描述图像处理设备11中指示设备的使用。
如图4所示，首先，用户在观看例如频道l上的电视节目期间向照相 机12挥动其手。在图像处理设备ll中，用户的手的挥动被检测为区域
61内的触发，并且在区域61中提取特征点。
接着，如图5所示，在显示单元13上，将所捕获的图像的镜象以半 透明方式显示在图像观看屏幕上，在图像观看屏幕上当前正显示频道1 的电视节目的图像，并且根据特征点显示特征点指针14和UI15。因而， 用户可以同时观看作为要观看的目标的频道l的电视节目的图像，面对照 相机12的用户的图像、特征点指针14和UI15。
接着，如图6所示，在观看当前在显示单元13上显示的特征点指针 14的同时，用户用其右手的手指从左边和右边包围对应于特征点指针14 的空间体积，使得用户的右手可以以图7所示的方式围绕空间体积闭合。 即，用户抓住特征点指针14.
接着，例如，在观看在显示单元13上当前显示的特征点指针14和 UI15的同时，用户以图8所示的方式将其抓住特征点指针14的右手移动 到相对照相机12的左边，使得特征点指针14可以被叠加在显示单元13 的图像观看屏幕上的UI15-2上。
因而，设置频道3的电视节目作为要观看的目标的命令被作为与UI 15-2相关的^^^提交。结果，如图8所示，要在显示单元13上显示的目 标图像被从频道l的电视节目图像转变到频道3的电视节目图像。
接着，如图9所示，用户将其抓住特征点指针14的右手移动到相对 照相机12的右边。接着，如图10所示，用户将其抓住特征点指针14的
團外部。因而，提交终止界面显示过程的命令。
结果，如图ll所示，从显示单元13删除所捕获的图像、特征点指针 14和UI 15。即，在显示单元13的图像观看屏幕上只显示目标图像，即 频道3的电视节目。
如图9所示，当用户还期望转变要X! Jr的电视节目频道而不是终止界 面显示过程时，用户将其抓住特征点指针14的右手相对照相机12向右移 动以返回特征点指针14到UI 15定义的圆圏内，并且接着移动其抓住特 征点指针14的右手，使得特征点指针14可以被叠加在UI15中分配有期 望频道号的UI15上。结果，用户期望的频道的电视节目图像被显示在显 示单元13上，并且在这个图像上显示所捕获的图像、特征点指针14和 UI15。
在图4到11中，要观看的目标是例如电视节目，并且已经描述了转
变要观看的电视节目频道的指示设备的使用。然而，要观看的目标不局限 于电视节目。
例如，如图12到20所示，要观看的目标可以是网页。在这种情况下， 如图12所示，首先，用户在例如，见看具有链接82的网页(网页l)期间向 照相机12挥动其手。在图像处理设备ll中，用户手的挥动被检测为区域 81内的触发，并且在区域81中提取特征点。
接着，如图13所示，在显示单元13上，将所捕获的图像的镜象以半 透明方式显示在具有链接82的网页上，并且根据特征点显示特征点指针 83和Ul 91到93。 UI 91用于观看前一个网页，并且UI 92用于只錄下一 个网页。UI93用于终止界面显示过程。
接着，如图14所示，在观看当前在显示单元13上显示的特征点指针 83的同时，用户用其右手的手指从左边和右边包围对应于特征点指针83 的空间体积，使得用户的右手可以以图15所示的方式围绕空间体积闭合。 即，用户抓住特征点指针83。
接着，如图16所示，用户沿相对照相机12的顺时针方向将其抓住特 征点指针83的右手以圆團方式移动两次，并且接着停止两秒或更长时间。 这个动作(以下简称"两圆團运动和停止动作")对应于鼠标的点击。才艮据两 圆團运动和停止动作，图4象处理i殳备11提交改变特征点指针83的颜色的 命令.
接着，例如，如图17所示，在观看当前在显示单元13上显示的链二接 82、颜色已经改变的特征点指针83和UI91到93的同时，用户将其抓住 特征点指针83的右手相对照相机12向右移动，使得颜色已经改变的特征 点指针83可以被叠加在显示单元13的图像观看屏幕上的链接82上，并 且接着停止若干秒。
因而，在图像处理设备ll中，将对应于在链二接82上点击鼠标的事件 作为命令提交，并且还提交将特征点指针83的颜色恢复到原始颜色的命 令。结果，如图18所示，要在显示单元13上显示的目标图像被从具有链 接82的网页(网页l)转变到对应于链接82的网页(网页2)，并且将特征点 指针83的颜色恢复到原始颜色。
接着，如图19所示，用户将其抓住特征点指针83的右手相对照相机 12向下移动，使得特征点指针83可以被叠加在显示单元13的图像MJ" 屏幕上的UI93上。因而，提交终止界面显示过程的命令。 结果，如图20所示，从显示单元13删除所捕获的图像、特征点指针 83和UI 91到93。即，在显示单元13的图係J见看屏幕上只显示要观看的 目标图像，即网页(网页2)。
因此，图像处理设备11允许基于特征点指针83的无手光标指示，和 对应于点击鼠标的事件的提交。因而，图像处理设备11识别特征点的位 置作为鼠标的位置，从而控制现有浏览器以显示网页，而无需针对Web 浏览器来显示UI91到93。
接着，参考图21描述由图2所示的图像处理设备11执行的图像处理。 例如，这个图像处理在用户操作例如遥控器的操作单元(未示出)以提供观 看要观看的目标图《象的指令时开始。
在步骤SIO，合成单元39开始在显示单元13上显示目标图像。具体 地，合成单元39开始从外部设备(未示出)获得目标图像并且向显示单元 13提供目标图像的操作。
在步骤Sll，照相机12开始逐帧获得所捕获的图像的操作。所捕获 的图^^L提供给和存储在帧緩冲器32。所捕获的图^iE被提供^^成单 元39.
在步骤S12，基于帧緩冲器32中存储的所捕获的图像，确定触发检 测单元33是否已经检测到指示用户向照相机12挥动其手的触发.如果在 步骤S12确定未检测到触发，则处理前进到步骤S22。
如果在步骤S12确定检测到触发，则触发检测单元33向特征点提取 单元34提供区域信息。接着在步骤S13，特征点提取单元34在帧緩冲器 32中存储的所捕获的图像的区域中使用亮度分量提取一个角点作为特征 点，该区域通过触发检测单元33提供的区域信息指定。
例如，在图4所示区域61上的区域信息被从触发检测单元33提供给 特征点提取单元34的情况下，特征点提取单元34在区域61中使用亮度 分量提取单个特征点。特征点揭^取单元34向计算单元35和UI绘制单元 36提供指示所提取的特征点的位置的提取位置信息。
在步骤S14， UI绘制单元36基于从特征点提取单元34提供的提取 位置信息，确定UI的布置，使得可以将UI围绕该特征点排列。UI绘制 单元36向合成单元39提供事先存储在其中的有关UI的UI信息和UI图 像。UI绘制单元36还向合成单元39提供从计算单元35提供的提取位置 信息或特征点信息，和事先存储在其中的特征点指针图像。UI绘制单元
36还向命令确定单元37提供UI信息。在步骤S15，合成单元39基于从UI绘制单元36提供的信息和图像， 即UI信息、UI图像、提取位置信息或特征点信息，和特征点指针图像， 开始显示单个特征点指针和UI.具体地，合成单元39终止向提供单元13提供目标图像。接着，合成 单元39根据UI信息、UI图像、提取位置信息或特征点信息和特征点指 针图像，开始将单个特征点指针的图像和UI图像与图^^见看屏幕的图像 合并，并且向显示单元13提供该合成图像的操作。因而，例如，在显示 单元13的图像;见看屏幕上显示图5所示的特征点指针14和UI15。在步骤S16，合成单元39使用从图像获得单元31提供的所捕获的图 像，开始半透明显示所捕获的图像。具体地，合成单元39开始产生所捕获的图像的镜象的操作，并且终 止向显示单元13提供单个特征点指针的图像和UI图像与图^M见看屏幕的 图像合并的合成图像。合成单元39还开始下述操作进一步将作为在步 骤S15开始的合并的结果而获得的合成图像与所捕获的图像的镜象合并， 使得所捕获的图像的镜象可以以半透明方式在合并单个特征点指针的图 像和UI图像的图像观看屏幕上显示，并且向显示单元13提供该结果合成 图像。因而，例如，如图5所示，将所捕获的图像的水平翻转图像以半透 明方式在显示单元13的图像观看屏幕上显示。在步骤S17，计算单元35根据帧緩冲器32中存储的所捕获的图像的 连续两个帧和从特征点提取单元34提供的孩:取位置信息或特征点信息， 计算单个特征点的光流.接着，计算单元35基于该光流，识别特征点的 当前位置，并且更新特征点信息。计算单元35向UI绘制单元36和命令 确定单元37提供特征点信息。在步骤S18,命令确定单元37基于从计算单元35提供的特征点信息 和从UI绘制单元36提供的UI信息，确定是否从命令提交单元38提交 命令。具体地，例如，命令确定单元37基于特征点信息和UI信息，确定 当前在特征点的位置处显示的UI是否被找到。如果确定当前在特征点的位置处显示的UI被找到，则命令确定单元37确定要提交命令。如果确定 这种UI未被找到，则命令确定单元37确定没有要提交的命令。此外，例如，命令确定单元37基于特征点信息，确定抓住特征点指
针83的用户的右手是否如图16所示执行两圆團运动和停止动作.如果确 定已经执行两圆團运动和停止动作，则命令确定单元37确定要提交命令。 如果确定没有执行两圆圏运动和停止动作，则命令确定单元37确定没有 要提交的命令。如果在步骤S18确定要提交命令，则命令确定单元37向命令提交单 元38提供对应于要提交的命令的事件和标识信息，或要作为命令提交的 事件或命令。接着，在步骤S19,命令提交单元38提充基于从命令确定 单元37提供的事件和标识信息的命令，或对应于从命令确定单元37提供 的事件或命令的命令。例如，在如图8所示从命令确定单元37提供指示使用特征点指针14 对UI15的操作的事件和标识已经^Mt的UI15-2的标识信息的情况下， 命令提交单元38基于该事件和标识信息，提交将频道3的电视节目设置 为要观看的目标的命令。此外，在以图16所示的方式执行两圆團运动和停止动作之后，特征 点指针83被以图17所示的方式叠加在链接82上，并且对应于链接82上 的鼠标点击的事件和将特征点指针83的颜色恢复到原始颜色的命令被提 供^令确定单元37的情况下，命令提交单元38提交所提供的事件和命 令作为命令。在步骤S19的处理之后，处理前进到步骤S20。如果在步骤S18确定没有要提交的命令，则过程跳过步骤S19并且 进入步骤S20。在步骤S20,合成单元39确定是否终止界面相关图像的显 示.具体地，合成单元39确定终止显示界面相关图像的命令是否已经从 命令提交单元38提供。如果在步骤S20确定界面相关图像的显示未被终止，则过程返回到步 骤S17,并且基于帧緩沖器32中存储的所捕获的图像的随后两个相继帧 和在过程的前一迭代更新的特征点信息，计算特征点的光流。接着，执行 后续处理。如果在步骤S20确定界面相关图像的显示要被终止，则在步骤S21， 合成单元39终止特征点指针、UI和所捕获的图像的显示。具体地，合成 单元39终止从步骤S16开始的向显示单元13提M成图像，并且开始向 显示单元13提供目标图像。结果，例如，如图ll所示，在显示单元13 上只显示要X!^f的目标图像，即频道3的电视节目的图像。接着，过程前 进到步骤S22。
在步骤S22，合成单元39根据用户对操作单元(未示出)的操作确定是 否终止观看。如果在步骤S22确定不终止观看，则过程返回到步骤S12 并且重复步骤S12到S22的处理直到确定，见看要被终止。如果在步骤S22确定要终止观看，则在步骤S23，图像获得单元31 终止获得所捕获的图像的操作。在步骤S24，合成单元39终止目标图像 的显示。具体地，合成单元39终止从外部设备(未示出)获得目标图像的 操作。接着，过程结束.在前面的描述中，图像处理i殳备ll由单个用户^Mt。图像处理设备 ll可以由多个用户操作。图22示出由两个用户^作的图4象处理i殳备的示例结构。参照图22,图像处理设备lll包含照相机12、显示单元13、图像获 得单元31、帧緩冲器32、触发检测单元121、特征点换_取单元122、计算 单元123、 UI绘制单元124、命令确定单元125、命令提交单元126和合 成单元127。在图22中，与图2所示的那些相同或类似的组件^^示成 相同附图标记，并且不重复描述。像图2所示的触发检测单元33那样，图像处理设备111的触发检测 单元121从帧緩冲器32读取所捕获的图像。触发检测单元121基于所捕 获的图4象，检测指示第一用户向照相机12挥手的笫一触发。触发检测单 元121向特征点提取单元122提供对应于第一触发的区域信息，触发检测单元121还在检测第一触发之后的预定时间周期内检测指 示第二用户向照相机12挥动其手的第二触发。触发检测单元121向特征 点^1取单元122提供对应于第二触发的区域信息。像图2所示的特征点提取单元34那样，特征点提取单元122从帧緩 冲器32读取所捕获的图像。特征点提取单元122使用由对应于从触发检 测单元121提供的第一触发的区域信息指定的所捕获的图像的区域中的 亮度分量，提取一个角点作为第一用户的特征点，并且向计算单元123 和UI绘制单元124提供所提取特征点的提取位置信息.特征点提取单元122还以类似于第一用户的方式，使用由对应于第二 触发的区域信息指定的所捕获的图像的区域中的亮度分量，提取第二用户 的特征点，并且向计算单元123和UI绘制单元124提供所提取特征点的 提取位置信息。像图2所示的计算单元35那样，计算单元123从帧緩冲器32读取所
捕获的图像的两个相继帧。计算单元123根据所捕获的图像的所读取的两 个帧和从特征点提取单元122提供的第一用户的特征点的提取位置信息 或第一用户的特征点信息，针对每个帧计算第一用户的特征点的光流。计 算单元123基于该光流，识别第一用户的特征点的当前位置，并且更新第 一用户的特征点的特征点信息。计算单元123还以类似于第一用户的方式，根据所捕获的图像的两个 帧和笫二用户的特征点的提取位置信息或特征点信息，计算第二用户的光流。计算单元123向UI绘制单元124和命令确定单元125提供第一用户 的特征点的特征点信息和第二用户的特征点的特征点信息。UI绘制单元124事先存储第一和第二用户的特征点指针和UI图像。 UI绘制单元124基于从特征点提取单元122提供的第一用户的特征点的 提取位置信息，确定第一用户的UI的布置，4吏得第一用户的UI可以围 绕第一用户的特征点排列.UI绘制单元124向合成单元127提供事先存 储在其中的第一用户的UI的UI信息和第一用户的UI图像。UI绘制单元124还向合成单元127提供从计算单元123提供的第一 用户的特征点的提取位置信息或第一用户的特征点的特征点信息，和事先 存储在其中的第一用户的特征点的特征点指针图像。UI绘制单元124还 向命令确定单元125提供第一用户的UI的UI信息。UI绘制单元124还以类似于第一用户的方式，向合成单元127提供 第二用户的信息和图像，即UI的UI信息、UI图像、特征点的提取位置 信息或特征点信息和特征点指针图像。UI绘制单元124还以类似于第一 用户的方式，向命令确定单元125提供第二用户的UI的UI信息。命令确定单元125基于从计算单元123提供的第 一用户的特征点的特 征点信息，和从UI绘制单元124提供的第一用户的UI的UI信息，检测 第一用户的UI中当前在第一用户的特征点的位置处显示的UI。命令确定 单元125向命令提交单元126提供指示已经操作笫一用户的一个UI的事 件和标识第一用户的一个UI的标识信息。像图2所示的命令确定单元37那样，命令确定单元125事先存储表， 表中特征点的运动和事件或命令彼此相关。命令确定单元125基于从计算 单元123提供的特征点信息，识别第一用户的特征点的位置的轨迹，并且 从事先存储在其中的表中读取与由轨迹指示的运动相关的事件或命令。命 令确定单元125向命令提交单元126提供所读取的事件或命令，以作为第
一用户的事件或命令.命令确定单元125还以类似于第一用户的方式，向命令提交单元126 提供第二用户的事件和标识信息，或第二用户的事件或命令。像图2所示的命令提交单元38那样，命令提交单元126事先存储表, 表中标识信息和对应于由标识信息标识的UI的命令彼此相关。命令提交 单元126基于从命令确定单元125提供的第一用户的事件和标识信息，读 取与由标识信息标识的笫一用户的UI相关的命令，并且提交所读取的命 4^ft为第一用户的命令。命令提交单元126还提交从命令确定单元125提供的第 一用户的事件 或命^Ht为第一用户的命令。命令提交单元126还以类似于第一用户的方 式提交第二用户的命令。合成单元127从外部设备(未示出)获得第 一用户要观看的第 一 目标图 像和第二用户要观看的第二目标图像。然后，合成单元127将第一和第二 目标图像合并，使得第一和第二目标图像在图像观看屏幕的半个部分上显 示，并且将合成图像设置为图^J5l看屏幕的图像。合成单元127向显示单元13提供图像观看屏幕的图像以用于显示。 结果，第一用户要观看的第一目标图傳在显示单元13的图傳J见看屏幕的半个部分上显示，并且第二用户要观看的第二目标图像在图像观看屏幕的 另一半个部分上显示。合成单元127还根据从UI绘制单元124提供的第一和第二用户的信 息和图像，即UI信息、UI图像、提取位置信息或特征点信息和特征点指 针图像，将第一和第二用户的UI图像和特征点指针图像与图^M见看屏幕 的图像合并。像图2所示的合成单元39那样，合成单元127产生从图像获得单元 31提供的所捕获的图像的镜象。合成单元127还将所捕获的图像的镜象 与图^MW屏幕的合成图像合并，使得所捕获的图像的镜象可以以半透明 方式在合并第一和第二用户的UI图像和特征点指针的图像观看屏幕上显 示.合成单元127向显示单元13提供结果合成图像以用于显示。现在参考图23描述图22所示的图像处理设备111中指示设备的使用.在图23所示的例子中，笫一用户期望，见看频道3上的电视节目，并 且第二用户期望观看频道8上的电视节目。在图23中，在显示单元13
的图像观看屏幕的左半部分上显示频道3的电视节目图像，并且在图^^L 看屏幕的右半部分上显示频道8的电视节目图像。当第 一用户从相对照相机12的左边向照相机12挥动其手并且第二用 户^目对照相机12的右边向照相机12挥动其手时，在已经检测到用户手 的挥动的区域中拔:取第一和第二用户的特征点.因而，如图23所示，在 显示单元13的图像-见看屏幕的左半部分上显示指示第一用户的特征点的 第一特征点指针141，和在图像观看屏幕的右半部分上显示指示第二用户 的特征点的第二特征点指针142。此外，如图23所示，根据第一用户的特征点的提取位置信息，在显 示单元13的图^U见看屏幕的左半部分显示第一用户的UI151，并且才艮据 第二用户的特征点的提取位置信息，在图像观看屏幕的右半部分显示第二 用户的UI152。如图23所示，还以半透明方式在显示单元13上显示第一 和第二用户的所捕获的图像。在图23所示的例子中，UI151由类似于图 1所示的UI 15-1到15-7的UI形成，并且UI 152由类似于图1所示的 UI15-1到15-7的UI形成。UI151和152被用于选择每个频道。因此，在显示单元13上显示第一和第二特征点指针141和142和两 个用户的UI 151和152。这允许两个用户中的一个抓住第一特征点指针 141以选择期望观看的电视节目的频道，并且允许另一个用户抓住第二特 征点指针142以选择期望观看的电视节目的频道。接着，参考图24描述由图22所示的图像处理设备111执行的图像处 理。例如，这个图像处理在用户操作例如遥控器的^Mt单元(未示出)以提 供M^"要观看的目标图像的指令时开始.在步骤S40，合成单元127开始显示两个用户要观看的目标图像。具 体地，合成单元127开始从外部设备(未示出)获得第一用户要观看的目标 图像和笫二用户要观看的目标图像，合并所获得的目标图像以产生图^Jf见 看屏幕的图像和向显示单元13提供图像观看屏幕的图像的操作。因而， 例如，如图23所示，在显示单元13的图像观看屏幕的左半部分显示第一 用户要X!W的目标图像，并且在图^J见看屏幕的右半部分显示第二用户要 观看的目标图像。在步骤S41，像图21所示的步骤Sll那样，照相机12开始逐帧获得 所捕获的图像的操作.所捕获的图像被提供给和存储在帧緩冲器32。所 捕获的图傳还被提供^成单元127。
在步骤S42，基于帧緩冲器32中存储的所捕获的图像，确定触发检 测单元121是否已经检测到指示笫一用户向照相机12挥动其手的第一触 发。如果在步骤S42确定未检测到第一触发，则过程前进到步骤S53。如果在步骤S42确定已经检测到第一触发，则触发检测单元121向特 征点提取单元122提供对应于第一触发的区域信息。接着在步骤S43,确 定触发检测单元121是否在检测第一触发之后的预定时间周期内检测到 第二用户的第二触发。如果在步骤S43确定未检测到第二触发，则过程前 进到步骤S53。如果在步骤S43确定已经检测到第二触发，则触发检测单元121向特 征点提取单元122提供对应于第二触发的区域信息.接着在步骤S44,特征点提取单元122使用帧緩冲器32中存储的、 由对应于从触发检测单元121提供的第一触发的区域信息指定的所捕获 的图像的区域中的亮度分量，提取第一用户的特征点，并且使用由对应于 从触发检测单元121提供的第二触发的区域信息指定的所捕获的图像的 区域中的亮度分量，提取第二用户的特征点。特征点提取单元122向计算 单元123和UI绘制单元124提供指示第一用户的特征点的位置的提取位 置信息和指示第二用户的特征点的位置的提取位置信息。在步骤S45， UI绘制单元124基于从特征点提取单元122提供的两 个用户的提取位置信息，确定两个用户的UI的布置，使得第一用户的UI 可以围绕笫一用户的特征点排列并且第二用户的UI可以围绕第二用户的 特征点排列。UI绘制单元124向合成单元127提供事先存储在其中的两 个用户的UI上的UI信息和两个用户的UI图像。UI绘制单元124还向 合成单元127提供从计算单元123提供的两个用户的提取位置信息或两个 用户的特征点的特征点信息，和事先存储在其中的两个用户的特征点指针 图像。UI绘制单元124还向命令确定单元125提供两个用户的UI信息。在步骤S46，合成单元127基于从UI绘制单元124提供的两个用户 的信息和图像，即UI信息、UI图4象、提取位置信息或特征点信息，和特 征点指针图像，开始显示两个用户的特征点指针和两个用户的UI.步骤S47到S55的处理分别类似于图21所示的步骤S16到S24的处 理，并且这里不再描述。针对每个特征点执行步骤S48到S50的处理。在上述例子中，两个用户抓住特征点指针141和142以选^^要在显示 单元13的图像观看屏幕的单独屏幕部分上显示的期望频道。可选地，如
图25所示，两个用户可以选择要在显示单元13的整个图像观看屏幕上显 示的频道'在图25所示的例子中，在显示单元13的整个图像观看屏幕上显示频 道3的电视节目图像以作为要观看的目标图像。用户抓住和操作特征点指 针141和142以选择要在显示单元13的整个图^UC看屏幕上显示的电视 节目的频道。可选地，如图26所示，UI可以被两个用户共享。在图26所示的例 子中，两个特征点指针171和172和三个UI181到183被两个用户共享， 并JL^具有三个^^ 161到163、作为要，见看的图^象的网页(网页3)上显 示。用户的所捕获的图^iE以半透明方式在网页(网页3)上显示。因而， 用户可以4吏用特征点指针171或172操作UI181到183。当两个用户4吏用两个特征点指针操作图22所示的图4象处理设备111 时，可以由单个用户使用多个特征点指针操作图像处理设备。图27示出由单个用户使用两个特征点指针操作的图像处理设备的示 例结构。参照图27,图像处理设备211包含照相机12、显示单元13、图像获 得单元31、帧緩冲器32、触发检测单元33、特征点提取单元221、计算 单元222、命令确定单元223、命令提交单元224和合成单元225。在图 27中，与图2所示的那些相同或类似的组件^示成相同附图标记，并 且不重复描述。像图2所示的特征点提取单元34那样，图像处理设备211的特征点 提取单元221从帧緩冲器32读取所捕获的图像。特征点提取单元221使 用由从触发检测单元33提供的区域信息指定的所捕获的图像的区域中的 亮度分量，提取两个角点作为特征点，并且向计算单元222和合成单元 225提供两个特征点的提取位置信息.像图2所示的计算单元35那样，计算单元222从帧緩沖器32读取所 捕获的图像的两个相继帧。计算单元222根据所捕获的图像的所读取两个 帧和从特征点提取单元221提供的两个特征点的提取位置信息或两个特 征点的特征点信息，针对每个帧计算两个特征点的光流.计算单元222 根据两个光流更新两个特征点的特征点信息，并且向命令确定单元223 和合成单元225提供更新的特征点信息.命令确定单元223事先存储表，表中两个特征点的运动和命令彼此相关。命令确定单元223基于两个特征点的特征点信息，识别两个特征点的 位置轨迹，并且从事先存储在其中的表中读取对应于由轨迹指示的运动的 命令。命令确定单元223向命令提交单元224提供两个特征点的所读取的 命令和特征点信息。命令提交单元224根据从命令确定单元223提供的命令，提交使用特 征点信息的奇^令或不^吏用特征点信息的命令。像图2所示的合成单元39那样，合成单元225从外部设备(未示出) 获得期望观看的内容图像。接着，如合成单元39，合成单元225向显示 单元13提供包含期望图像的图像，使得该图傳被作为图像观看屏幕的图 像直接显示。合成单元225还基于从特征点提取单元221提供的提取位置信息，或 从计算单元222提供的特征点信息，和事先存储在其中的特征点指针图像，将特征点指针图像与图^M Jr屏幕的图像合并。此外，像图2所示的合成单元39那样，合成单元225产生从图像获 得单元31提供的所捕获的图像的镜象。合成单元225还将所捕获的图像 的镜象与图像观看屏幕的合成图像合并，使得所捕获的图像的镜象可以以 半透明方式在合并特征点指针的图像观看屏幕上显示。合成单元225向显 示单元13提供结果合成图像以用于显示。现在参考图28到38描述图像处理设备2U中指示设备的使用。如图28所示，用户在显示要观看的照片251期间向照相机12挥动其 手。在图像处理设备211中，在区域252内检测作为触发的用户手的挥动， 并且在区域252中提取两个特征点。接着，如图29所示，在显示单元13上，将所捕获的图像的镜象以半 透明方式在当前正在显示照片251的图像观看屏幕上显示，并且根据两个 特征点显示特征点指针261和262。接着，如图30所示，用户在观看当前在显示单元13上显示的特征点 指针261和262时，通过其左手的手指从左边和右边包围对应于特征点指 针261的空间体积，并且通过其右手的手指从左边和右边包围对应于特征 点指针262的空间体积。接着，如图31所示，用户的左手围绕对应于特征点指针261的空间 体积闭合，并且用户的右手围绕对应于特征点指针262的空间体积闭合。 即，用户分别通过其左和右手抓住特征点指针261和262。
接着，用户移动其手，使得当前在显示单元13上显示的特征点指针 261和262可以沿水平方向，即左右方向并排排列，使得例如如图2所示， 抓住特征点指针261和262的手执行两圓團运动和停止动作.因而，图像 处理设备211提交转变特征点指针261和262的颜色的命令和固定照片 251和特征点指针261和262之间的位置关系的命令，以作为对应于手的 两圆團运动和停止动作的命令。结果，如图32所示，特征点指针261和262的颜色首先转变成例如 红色。接着，转换到下述状态如图33所示，特征点指针261和262捕 获照片251，并且特征点指针261和262的颜色被转变成例如蓝色。接着，如图34所示，用户将其抓住特征点指针261的左手和其抓住 特征点指针262的右手分别向相对照相机12的左和右移动，以增加水平 方向上右手和左手之间的距离。因而，提交放大照片251而不改变照片 251和特征点指针261和262之间的位置关系的命^K结果，对于在如图34所示的移动之后特征点指针261和262之间的 距离相对于在图33所示的移动之前特征点指针261和262之间的原始距 离的增量，如图34所示，在水平方向上与该增量成比例M大照片251。尽管未在附图中示出，但用户可以将其抓住特征点指针261的左手和 其抓住特征点指针262的右手分别向相对照相机12的右和左移动，从而 减小水平方向上右手和左手之间的距离，以在水平方向上缩小照片251。 在这种情况下，对于在移动之后特征点指针261和262之间的距离相对于 在移动之前特征点指针261和262之间的距离的减小量，在水平方向上与 该减小量成比例地缩小照片251。此外，尽管未在附图中示出，但用户可以在将其抓住特征点指针261 的左手和其抓住特征点指针262的右手并书,沿垂直方向，即上下方向放置 之后执行两圆團运动和停止动作，并且可以增加或降低垂直方向上手之间 的距离，从而在垂直方向上放大或缩小照片251。接着，如图35所示，用户将其抓住特征点指针261的左手及其抓住 特征点指针262的右手沿顺时针方向移动预定角度。因而，提交旋转照片 251而不改变照片251和特征点指针261和262之间的位置关系的命令。结果，如图35所示，将照片251顺时针旋转角度e，该角度e被定义 在图34所示的转动之前连接特征点指针261和262的特征线263和图35 所示转动之后的特征线264之间。可以在显示单元13上显示特征线263和264,也可以不显示。接着，如图36所示，用户在图35所示的状态下停止两秒.响应于这 个动作，提交将特征点指针261和262的颜色改变为原始颜色的命令和解 除照片251和特征点指针261和262之间的固定位置关系的命令.结果，如图36所示，将特征点指针261和262的颜色恢复到原始颜 色。接着，完成由特征点指针261和262对照片251的捕获。接着，如图37所示，用户将其抓住特征点指针261的左手及其抓住 特征点指针262的右手相对照相机12向下移动，使得特征点指针261和 262可以被放置在显示单元13的图像观看屏幕的外部。因而，提交终止 接口显示过程的命令。结果，如图38所示，从显示单元13删除所捕获的图像和特征点指针 261和262。即，在显示单元13的图係Jf见看屏幕上只显示要观看的目标， 即照片251。已经参考图28到38描述了用户放大、缩小或旋转照片251的情况。 用户可以通过移动其抓住特征点指针261的左手及其抓住特征点指针262 的右手而不改变其间距离来移动照片251。用户的手除了两圆團运动和停止动作之外的任何操作可以被用作触 发，以切换到特征点指针261和262捕获照片251的状态。例如，用户可 以移动其抓住特征点指针261和262中的至少一个的手，使得特征点指针 261和262中的至少一个可以被叠加在当前正在显示单元13上显示的预 定UI，并且这个操作可以被检测为触发。接着，参考图39描述由图27所示的图像处理设备2U执行的图像处 理。例如，这个图像处理在用户^Mt例如遥控器的操作单元(未示出)以提 供X)Lt要观看的目标图《象的指令时开始。步骤S60到S62的处理分别类似于图21所示的步骤S10到S12的处 理，并且这里不再描述。在步骤S63，特征点提取单元221使用在帧緩冲器32中存储的所捕 获的图像的区域中的亮度分量，提取两个角点作为特征点，该亮度分量由 从触发检测单元33提供的区域信息指定。特征点提取单元221向计算单 元222和合成单元225提供指示所提取的特征点的位置的提取位置信息。在步骤S64,合成单元225基于从特征点提取单元221提供的两个特
征点的提取位置信息，或从计算单元222提供的两个特征点的特征点信 息，和特征点指针图像，开始显示两个特征点指针。结果，例如，如图 29所示，在显示单元13的图像观看屏幕上显示两个特征点指针261和 262'在步骤S65，像图21所示的步骤S16的处理那样，合成单元225使 用从图像获得单元31提供的所捕获的图像开始半透明显示所捕获的图 像。结果，例如，如图29所示，将所捕获的图像的水平翻转图像以半透 明方式在显示单元13的图像^见看屏幕上显示。在步骤S66，计算单元222根据帧緩冲器32中存储的所捕获的图像 的两个帧和从特征点提取单元221提供的两个特征点的提取位置信息或 两个特征点的特征点信息，计算两个特征点的光流。接着，计算单元222 根据每个特征点的光流，更新每个特征点的特征点信息。计算单元222 向命令确定单元223和合成单元225提供两个特征点的特征点信息。在步骤S67,命令确定单元223基于从计算单元222提供的两个特征 点的特征点信息，确定是否从命令提交单元224提交命令。具体地，命令确定单元223基于两个特征点的特征点信息，识别两个 特征点的位置轨迹，并且确定命令是否与事先存储在其中的表中包含的轨 迹指示的运动相关。如果确定命令被包含在事先存储的表中，则命令确定 单元223确定要提交命令.如果确定命令未包含在表中，则命令确定单元 223确定不提交命令。如果在步骤S67确定要提交命令，则命令确定单元223向命令提交单 元224提供对应于两个特征点的运动和特征点信息的命令。接着在步骤 S68，命令提交单元224根据从命令确定单元223提供的命令，提交使用 特征点信息的命令或不使用特征点信息的命令。具体地，例如，如图32所示，在用户在其手抓住特征点指针261和 262执行其手的两圆團运动和停止动作的情况下，命令提交单元224提交 对应于特征点指针261和262的运动的命令以作为不使用特征点信息的命 令，上述命令是从命令确定单元223提供的，是改变特征点指针261和 262的颜色的命令和固定照片251和特征点指针261和262之间的位置关 系的命令。此外，例如，如图34所示，在用户增加其抓住特征点指针261的左 手及其抓住特征点指针262的右手之间的水平方向上的距离的情况下，命令提交单元224提交从命令确定单元223提供的、对应于特征点指针261 和262的运动的命令以作为使用特征点信息的命令，即根据放大照片251 但不改变照片251和特征点指针261和262之间的位置关系的命令，在水 平方向上与基于特征点信息的增量成比例M大照片251的命令。如果在步骤S67确定没有要提交的命令，则过程跳过步骤S68并且 iftyV步骤S69。在步骤S69,像如图21所示的步骤S21的处理那样，合 成单元225确定是否终止界面相关图像的显示。具体地，合成单元225 确定是否从命令提交单元224提供了终止显示界面相关图像的命令。如果在步骤S69确定不终止显示界面相关图像，则过程返回到步骤 S66。接着，基于帧緩冲器32中存储的所捕获的图像的后续两个相继帧和 有关两个特征点的、在过程的前一迭代更新的特征点信息，计算两个特征 点的光流.接着，执行后续处理。如果在步骤S69确定终止显示界面相关图像，则在步骤S70,合成单 元225终止特征点指针和所捕获的图#>的显示。步骤S71到S73的处理分别类似于图21所示的步骤S22到S24的处 理，并且这里不再描述.在上述i兌明中，用户的手向照相机12的挥动^L检测为触发。然而， 任何其他操作可以被检测为触发。例如，在图《象处理i殳备ll(或111或211) 配有遥控器的情况下，遥控器上提供的预定按钮的操作可以被检测为触 发。在这种情况下，指示预定区域的区域信息被输出为区域信息。在上述i兌明中，角点被提取为特征点。可选地，位于轮廓线上的点可 以被提取为特征点。在这种情况下，位于轮廓线上的任何点可以被提取为 特征点，导致比提取角点作为特征点稳定性低的特征点指针定位。然而， 一旦用户通过其手抓住特征点，则特征点被定位在手内。因而，像角点被 提取为特征点的情况那样，图像处理设备ll(或111或2U)以最低量处理 允许高识别鲁棒性和高精度位置检测。此夕卜，在上述说明中，计算特征点的光流的方法被用于检测特征点的 运动。特征点的运动可以使用例如模板匹配的任何其他方法i]b险测。在说明书中，描述程序记录介质中存储的程序的步骤可以以时间序列 方式执行。这些步骤不必以时间序列方式执行，并且可以并行或单独执行。本发明的实施例不局限于上述实施例，并且可以在不偏离本发明的范 围的前提下i^行各种《多改。本领域的技术人员应当理解，根据设计需求和其它因素，可以进行各 种修改，组合，子组合和变化，只要它们在所附权利要求书或其等同表述 的范围内。
权利要求
1. 一种图像处理设备，包括提取装置，用于从所捕获的图像中提取特征点；识别装置，用于识别特征点的位置；显示控制装置，用于基于特征点的位置执行控制以显示指示特征点的特征点指针；和提交装置，用于基于特征点的位置提交对应于特征点的位置或特征点的运动的命令。
2. 如权利要求1所述的图像处理设备，其中显示控制装置基于特征 点的位置执行控制以显示特征点指针和预定用户界面，并且其中，提交装置基于特征点的位置提交对应于用户界面中正在特征点 的位置处显示的用户界面的命令。
3. 如权利要求1所述的图像处理设备，其中提取装置从所捕获的图 像中提取多个特征点，并且其中，针对每个所述特征点，提交装置基于所述特征点的位置，提交 对应于所述特征点的位置或所述特征点的运动的命令。
4. 如权利要求3所述的图像处理设备，其中针对每个所述特征点， 显示控制装置基于所述特征点的位置执行控制，以显示指示所述特征点的 特征点指针和预定用户界面，并且其中，针对每个所述特征点，提交装置基于所述特征点的位置提交对 应于用户界面中在所述特征点的位置处显示的用户界面的命令。
5. 如权利要求3所述的图像处理设备，其中针对每个所述特征点， 显示控制装置基于所述特征点的位置执行控制，以显示指示所述特征点的 特征点指针并且显示预定用户界面，该预定用户界面由所述多个特征点共 享，并且其中，针对每个所述特征点，提交装置基于所述特征点的位置提交对 应于用户界面中在所述特征点的位置处显示的用户界面的命令。
6. 如权利要求1所述的图像处理设备，其中提取装置从所捕获的图 像中提取多个特征点，并且其中，提交装置提交对应于所述多个特征点的位置或运动的命令。
7. —种用于配置成从所捕获的图像中提取特征点的图像处理设备的 图像处理方法，该图像处理方法包括步骤从所捕获的图像中提取特征点； 识别特征点的位置；基于特征点的位置，显示指示特征点的特征点指针；和 基于特征点的位置，提交对应于特征点的位置或特征点的运动的命令。
8. —种使计算机执行从所捕获的图像中提取特征点的图像处理的程 序，该图像处理包括步骤从所捕获的图像中提取特征点；识别特征点的位置；基于特征点的位置，显示指示特征点的特征点指针；和 基于特征点的位置，提交对应于特征点的位置或特征点的运动的命令。
9. 一种图4象处理设备，包括提取单元，被配置成从所捕获的图像中提取特征点； 识别单元，被配置成识别特征点的位置；显示控制单元，被配置成基于特征点的位置执行控制，以显示指示特 征点的特征点指针；和提交单元，被配置成基于特征点的位置，提交对应于特征点的位置或 特征点的运动的命令。
全文摘要
图像处理设备和方法及其程序。图像处理设备包含被配置成从所捕获的图像中提取特征点的提取单元；被配置成识别特征点的位置的识别单元；被配置成基于特征点的位置执行控制，以显示指示特征点的特征点指针的显示控制单元；和被配置成基于特征点的位置，提交对应于特征点的位置或特征点运动的命令的提交单元。
文档编号G06K9/00GK101393477SQ20081021154
公开日2009年3月25日 申请日期2008年9月17日 优先权日2007年9月19日
发明者土居正一, 鹤见辰吾 申请人:索尼株式会社