专利名称：手势识别设备、手势识别方法及程序的制作方法
技术领域：
本发明涉及手势识别设备、手势识别方法及程序。
背景技术：
近年来，通常执行作为用于控制例如系统的用户的动作或话语输入的手势的识别 (日本专利公开公布第2006-209563号)。在手势识别中，利用基于输入到摄像机或麦克风的动作或话语的一组手势信息来识别手势。该组手势信息例如是基于通过捕获对象的动作过程获得的一组图像或通过捕获例如关键词的讲话过程获得的一组语音的信息。在手势识别中，手势信息的输入反馈(下文中，被称作手势反馈)在改进应用手势识别的系统的便利方面是重要的。适当的手势反馈允许向用户请求手势信息的误差输入的校正，以及允许对用户教导输入手势的方法。在现有技术中，已知例如在显示装置上的、指示用户动作过程的图像的显示，作为手势反馈。在这种情况下，用户能够通过确认图像直观地了解手势信息的输入状态。另外， 还已知诸如指示用户动作过程的轨迹的信息的显示，来替代指示用户动作过程的图像。
发明内容
然而，在这些方法中，没有根据中途输入手势信息来预测手势，并且没有通知用户与预测手势的结果相关的预测信息。这里，手势预测信息可以是手势预测结果本身或者手势预测结果的可靠性。手势预测信息可以是指示通过继续输入手势信息哪种手势被识别或者在某些情况下该手势被识别成哪种程度的可靠性的指示符。因此，在现有技术中，不向用户请求手势信息的错误输入的校正，也没有向用户教导的输入手势的方法，因此没有充分地执行适当的手势反馈。鉴于以上内容，希望提供能够使用手势预测信息执行适当手势反馈的手势识别设备、手势识别方法和程序。根据本发明的实施例，提供了一种手势识别设备，该设备包括识别单元，其用于基于在给定输入时段输入的一组手势信息来识别手势；预测单元，其用于根据在该组手势信息之中的中途输入手势信息预测手势；通知单元，其用于向用户通知关于预测手势的结果的预测信息。手势的预测信息可以包括手势预测结果的可靠性。预测结果的可靠性可以被表示为中途输入手势信息与该组手势信息的比率。当比率增加时，预测结果的可靠性可以急剧增加。当预测结果的可靠性等于或大于给定阈值时，通知单元可以开始预测信息的通知。当在输入时段没有输入该组手势信息时，通知单元可以终止预测信息的通知。当在输入时段没有输入该组手势信息的频率等于或大于给定阈值时，通知单元可以通知可识别手势的列表。
该手势识别设备还可以包括用于向用户通知手势信息的第二通知单元。该手势识别设备还可以包括用于输入图像信息作为手势信息的输入单元。该手势识别设备还可以包括用于输入语音信息作为手势信息的输入单元。根据本发明的另一实施例，提供了一种手势识别方法，该方法包括基于在给定输入时段输入的一组手势信息来识别手势的步骤。该识别步骤可以包括根据在该组手势信息之中的中途输入手势信息来预测手势，以及向用户通知关于预测手势的结果的预测信肩、ο根据本发明的另一实施例，提供了一种使计算机执行以下步骤的程序基于在给定输入时段输入的一组手势信息来识别手势。该识别步骤可以包括根据在该组手势信息之中的中途输入手势信息来预测手势，以及向用户通知关于预测手势的结果的预测信息。根据以上描述的本发明的实施例，可提供能够使用手势预测信息执行适当手势反馈的手势识别设备、手势识别方法和程序。
图1是示出了根据本发明的实施例的手势识别设备的概况的图；图2是示出了手势识别设备的主要功能配置的框图；图3是示出了手势识别设备的操作的流程图；图4A是示出了预测结果和预测结果的可靠性的通知的示例的图(1/5)；图4B是示出了预测结果和预测结果的可靠性的通知的示例的图0/5)；图4C是示出了预测结果和预测结果的可靠性的通知的示例的图(3/5)；图4D是示出了预测结果和预测结果的可靠性的通知的示例的图0/5)；图4E是示出了预测结果和预测结果的可靠性的通知的示例的图(5/5)；图5A是示出了预测结果和预测结果的可靠性的通知的另一示例的图(1/3)；图5B是示出了预测结果和预测结果的可靠性的通知的另一示例的图(2/3)；图5C是示出了预测结果和预测结果的可靠性的通知的另一示例的图(3/3)；图6A是示出了预测结果和预测结果的可靠性的通知的又一示例的图(1/2)；图6B是示出了预测结果和预测结果的可靠性的通知的又一示例的图(2/2)；图7是示出了手势列表的通知的示例的图
图8A是示出了预测结果的可靠性的通知的示例的图(1/3)；图8B是示出了预测结果的可靠性的通知的示例的图(2/3)；图8C是示出了预测结果的可靠性的通知的示例的图(3/3)；图9A是示出了预测结果的可靠性的通知的另一示例的图(1/2)；图9B是示出了预测结果的可靠性的通知的另一示例的图(2/2)；图10是示出了根据修改的示例的手势识别设备的主要功能配置的框图。
具体实施例方式下文中，将参照附图更详细地描述本发明的优选实施例。注意，在本说明书和附图中，用相同的附图标记来表示具有基本相同功能和结构的结构元件，并且省略这些结构元件的重复说明。
[1.手势识别设备的概况]首先，将参照图1描述根据本发明的实施例的手势识别设备1的概况。如图1所示，手势识别设备1利用关于预测手势的结果的预测信息来执行适当的手势反馈。手势识别设备1是信息处理设备，诸如个人计算机、电视接收机、便携式信息终端或者便携式电话。来自诸如摄像机的运动图像传感器11的运动图像信号输入到手势识别设备1，来自诸如麦克风的语音传感器(未示出)的语音信号输入到手势识别设备1。手势识别设备1可以与运动图像/语音传感器整体地或分开地形成。当用户U在运动图像传感器11的前面执行给定动作时，手势识别设备1基于运动图像信号来识别动作手势。当用户U在语音传感器的周围说出给定的话语时，手势识别设备1基于语音信号识别讲话手势。这里，基于包括通过捕获对象0(例如手)的动作过程获得的一组图像的手势信息来识别动作手势，并且利用基于通过捕获例如关键字的讲话过程获得的一组语音的手势信息来识别讲话手势。动作手势可以包括例如在运动图像传感器11的前面向右移动对象0的轻拂 (flick)手势，以及利用对象0遮蔽运动图像传感器11的前面的遮蔽手势。讲话手势可以包括例如在语音传感器周围讲出给定字、短语、分句或句子的手势。这里，例如，当假定应用音乐回放应用时，左轻拂手势和右轻拂手势分别对应于前进和倒回，并且遮蔽手势对应于停止。例如，话语“MiseiTeisi”可以对应于音乐停止，话语“Saisei Okuri”和“Saisei Modosi”可以分别对应于前进和倒回。同样地，给定动作和讲话手势的组合可以对应于各种处理。手势识别设备1如下利用关于预测手势的结果的预测信息来执行适当的手势反馈。如上所述，手势识别设备1利用在给定输入时段内输入的一组手势信息来识别手势。当识别到手势时，执行对应于识别的手势的处理。在手势识别处理中，根据在一组手势信息之中的中途输入手势信息来预测手势， 并且向用户U通知手势预测信息。这里，手势预测信息可以是手势预测结果本身或预测结果的可靠性。在图1中，示出了预测信息的通知的示例。在手势识别设备1中，实时捕获传感器前面的图像并将该图像显示在显示器D上。当用户U开始手势的输入时，在显示器D上显示手势预测信息。在图1所示的示例中，当用户U向右移动手0时，预测右轻拂手势的输入， 并且显示用于指定右轻拂手势的图标I和指示预测结果的可靠性的水平仪L。在本示例中， 当向右进一步移动手0时，预测结果的可靠性增加并更新水平仪L的显示。当手0向右移动了给定距离时，识别到右轻拂手势并执行对应于右轻拂手势的处理。因此，用户U通过借助预测信息的通知而继续输入手势信息，能够确认哪种手势被识别。因此，当未获得期望预测信息时，用户U能够注意到手势信息的错误输入并校正输入。另外，用户U能够通过反复试验输入手势信息和确认预测信息而直观地了解如何输入手势。[2.手势识别设备的配置]接下来，将参照图2描述手势识别设备1的主要功能配置。下文中，将描述识别用户U的手0的动作手势的情况。如图2所示，手势识别设备1包括运动图像传感器11、运动图像处理单元13、手势信息通知单元(第二通知单元)15、识别处理单元(识别单元)17、手势预测单元(预测单元)19、预测信息通知单元(通知单元)21、处理执行单元23、手势信息存储单元25、以及对照信息存储单元27。运动图像传感器11使传感器前面的场景成像并生成指示成像结果的运动图像信号。传感器前面的场景包括作为识别对象的对象0的图像、或者背景图像。运动图像处理单元13处理从运动图像传感器11提供的运动图像信号，并生成手势信息。手势信息是指示对象0的动作的信息。手势信息被暂时存储在手势信息存储单元 25中。手势信息通知单元15向用户U通知从运动图像处理单元13提供的手势信息。手势信息可以作为指示手0的动作过程的图像信息或作为指示手0的动作过程的语音信息被通知。手势信息通知单元15通过显示器D或未示出的扬声器向用户U通知手势信息。识别处理单元17读取来自手势信息存储单元25的手势信息和来自对照信息存储单元27的对照信息，并且基于对照信息来处理手势信息。识别处理单元17将一组手势信息和作为识别对象的每个手势的对照信息进行对照，并生成对照结果。对照信息是要与一组手势信息进行对照以识别手势的信息，并且针对作为识别对象的每个手势预先设置对照信息。例如，动作手势的对照信息被设置成在给定方向上运动的对象0的运动模式(例如， 运动方向、距离和速度)。对照结果对应于由该组手势信息指示的运动模式与由每个手势的对照信息指示的运动模式之间的相似度。手势预测单元19基于从识别处理单元17提供的对照结果，来预测将要输入的手势。手势预测单元19指定具有最高相似度的手势作为手势预测结果。另外，指定预测手势的相似度作为预测结果的可靠性。手势预测信息是与手势预测结果有关的信息，并且包括手势预测结果本身和/或预测结果的可靠性。这里，手势预测结果是指示通过继续输入手势信息识别到哪种手势的指示信息，并且预测结果的可靠性是指示识别到手势的哪种水平的可靠性的指示信息。预测信息通知单元21向用户U通知从手势预测单元19提供的手势预测信息。预测信息可以作为图像信息或作为语音信息被通知。预测信息通知单元21通过显示器D或未示出的扬声器向用户U通知预测信息。处理执行单元23基于手势识别结果来执行对应于识别到的手势的处理。在处理执行单元23中，例如，当识别到左轻拂手势和右轻拂手势时，执行前进和倒回处理，并且当识别到遮蔽手势时，执行停止处理。运动图像传感器11被形成为诸如摄像机的图像输入装置。运动图像处理单元13、 手势信息通知单元15、识别处理单元17、手势预测单元19、预测信息通知单元21和处理执行单元23被形成为具有诸如CPU或DSP的处理器的信息处理设备。手势信息通知单元15 和预测信息通知单元21连接到显示器D或未示出的扬声器。手势信息存储单元25和对照信息存储单元27被形成为诸如存储器的内部存储装置、或者外部存储装置。部件的至少一些功能可以被实现为诸如电路的硬件或诸如程序的软件。另外，当每个部件被实现为软件时，通过在处理器上执行的程序来实现部件的功能。[3.手势识别设备的操作]接下来，将参照图3至图7来描述手势识别设备1的操作。如图3所示，手势识别设备1判断是否已开始手势输入(步骤Sll)。在运动图像传感器11中，使传感器前面的场景成像，并且生成指示成像结果的运动图像信号。在运动图像处理单元13中，根据运动图像信号生成帧图像。这里，可以基于传感器前面的识别对象的存在判断出手势输入开始。在这种情况下，在识别处理单元17中，利用诸如模式识别的技术，判断正被识别的对象0是否包括在帧图像中。当判断结果为正时，判断出已开始输入。在识别处理单元17中，可以判断出识别到的对象0是否包括在生成的具有比帧图像更粗糙的分辨率的灰度图像中。替选地，可以基于传感器前面的识别对象的运动状态判断出手势输入开始。在这种情况下，在运动图像处理单元13中，生成具有比帧图像更粗糙的分辨率的灰度图像。基于灰度图像之间的帧差异来检测运动区域，即变化区域，并且生成运动区域的中心位置作为手势信息。手势信息被暂时存储在手势信息存储单元25中。基于给定时段中的手势信息，判断出正被识别的对象0是否以给定运动模式开始运动。当判断结果为正时，确定已经开始输入。这里，当判断出已经开始输入时，处理定时器(未示出)启动(步骤S13)，并且开始步骤S15和随后步骤的处理。另一方面，当判断出没有开始输入时，重复步骤Sll的判断处理。当判断出已经开始输入时，根据处理定时器判断是否过去了给定输入时段(步骤 S15)。输入时段被设置为足以基于一组手势信息来识别手势的时段(例如，一秒到几秒的部分)。接下来，输入指示传感器前面的场景的运动图像信号(步骤S17)，如在判断是否已经开始输入的处理中。在运动图像传感器11中，使传感器前面的场景成像并且生成指示成像结果的运动图像信号。在运动图像处理单元13中，例如，执行以下运动图像处理。在运动图像处理单元13中，首先，根据运动图像信号产生帧图像，并生成具有比帧图像更粗糙的分辨率的灰度图像。基于灰度图像之间的帧差异来检测运动区域，即变化区域，并且生成运动区域的中心位置作为手势信息。可以通过使用灰度图像有效地检测运动区域。在手势信息通知单元15中，向用户U通知作为指示识别对象自身和/或识别对象的动作的信息的手势信息。手势信息与生成手势信息的次序相关联地被暂时存储在手势信息存储单元25中。至少在输入时段期间，手势信息被暂时存储在手势信息存储单元25中。接下来，执行识别处理(步骤S19)。在识别处理单元17中，从手势信息存储单元 25读取从输入时段的开始时间起输入的一组手势信息。另外，当基于识别对象的运动状态判断出输入开始时，判断处理中使用的手势信息可以包括在该组手势信息之中。另外，从对照信息存储单元27读取作为识别对象的每个手势的对照信息。接下来，将该组手势信息与作为识别对象的每个手势的对照信息进行对照，并生成对照结果。接下来，判断对照结果是否等于或大于第一给定阈值(步骤S21)。在识别处理单元17中，判断任何手势的对照结果是否表明第一阈值或更大的相似度。第一阈值是使得正被识别的手势能够被适当地识别的相似度并且根据识别处理所需的准确度来设置第一阈值。因此，判断出哪个手势被识别为识别对象。例如，轻拂手势的相似度被表示为直到手势被识别的实际运动距离与要移动的距离的比率。相似度可以被表示为包括实际运动距离与要移动的距离的比率作为参数的函数。在这种情况下，当距离比率相对小时，相似度可以根据距离比率缓慢增加，而当距离比率相对大时，相似度可以根据距离比率快速增加。这里，当已经识别到任何手势时，在处理执行单元23中执行对应于识别到的手势的处理(步骤S29)。判断识别处理是否终止(步骤S31)。当判断结果为正时，处理终止， 而当判断结果为负时，处理返回到步骤S11。替选地，在步骤Sll与幻9之间的任何时间可以判断出识别处理的终止。另一方面，当没有识别到手势时，预测将要输入的手势(步骤S2!3)。在手势预测单元19中，基于从识别处理单元17提供的对照结果，具有最高相似度的手势被指定为手势预测结果，并且预测手势的相似度被指定为预测结果的可靠性。接下来，判断预测结果的可靠性是否等于或大于第二给定阈值(步骤S25)。在预测信息通知单元21中，判断从手势预测单元19提供的预测结果的可靠性是否等于或大于第二阈值。第二阈值是使得作为识别对象的任何手势的开始被识别的相似度并根据识别处理所需的识别准确度来设置第二阈值。这里，第二阈值被设置为比用于手势识别的第一阈值小的相似度。因此，判断作为识别对象的任何手势的开始是否被识别。这里，当判断结果为正时，预测信息通知单元21向用户U通知手势预测结果本身和/或预测结果的可靠性(步骤S27)，并且当判断结果为负时，预测信息通知单元21不通知用户U。也就是，当作为识别对象的任何手势的开始被识别时通知预测信息。处理返回到步骤S15，在步骤S15判断输入时段是否已经过去。在图4A至图4E中，示出了预测结果和预测结果的可靠性的通知。如图4A所示， 当识别到传感器前面的正被识别的对象0(用户U的手0)存在时，判断出已经开始手势输入。在显示器D上显示通过捕获手0获得的图像。当判断出已经开始输入时，由于处理定时器的启动而开始输入时段，并且开始手势信息的输入和识别处理的执行。另外，在识别处理的执行期间，在显示器D上实时显示通过捕获传感器前面的场景获得的图像。如图4B所示，当判断出预测任何手势的结果的可靠性等于或大于第二阈值时，开始手势预测信息的通知。在显示器D上显示通过捕获手0获得的图像和指示预测信息的窗口 W。在窗口 W中显示指示作为识别对象的手势(例如，左轻拂手势、右轻拂手势和遮蔽手势)的图标II、12和13和指示预测结果的可靠性的水平仪Ll和L2。在图4B示出的示例中，当用户U将手0从图4A示出的状态向右移动特定距离时， 指定右轻拂手势作为预测结果，并判断出预测结果的可靠性等于或大于第二阈值。在窗口 W中，指示右轻拂手势的图标12被高亮显示并且用于右轻拂手势的水平仪L2略微增加。如图4C所示，当用户U进一步将手0从图4B示出的状态向右移动时，获得指示更高相似度的对照结果，并且判断出预测结果的可靠性进一步增加。在窗口 W中，用于右轻拂手势的水平仪L2进一步增加。这里，当用户U进一步将手0从图4C所示的状态向右移动(如图4D所示)并且在输入时段过去之前判断出右轻拂手势的对照结果指示第一阈值或更大的相似度时，识别到右轻拂手势。在窗口 W中，用于右轻拂手势的水平仪L2达到最高水平。另一方面，当用户U没有从图4C所示的状态向右移动手0时(如图4E所示)并且在输入时段过去之前没有判断出右轻拂手势的对照结果指示第一阈值或更大的相似度时，没有识别到右轻拂手势并且识别处理停止。在显示器D上，没有显示窗口 W并且仅显示了通过捕获手0获得的图像。在图5A至图5C中，示出了预测结果和预测结果的可靠性的通知的其它示例。在图5A所示的示例中，当左轻拂手势和右轻拂手势是识别对象时，用户U向上移动手0。在这种情况下，由于没有生成指示向左和向右移动的手势信息，所以没有判断预测任何手势的结果的可靠性等于或大于第二阈值。因此，没有开始手势预测信息的通知。由此，由于尽管手0有移动也没有通知预测信息，所以用户U能够通知手势信息的错误输入。同时，在图5B所示的示例中，用户U在右方向和上方向上移动手0。在这种情况下，由于生成指示向右略微移动的手势信息作为识别对象的运动向量的分量，所以判断出， 用户U某种程度上在右方向和上方向上移动手0时预测到右轻拂手势的结果的可靠性等于或大于第二阈值。因此，该显示比用户向右移动手0的情况要迟，但是开始手势预测信息的通知。在窗口 W中，指示右轻拂手势的图标12被高亮显示，并且右轻拂手势的水平仪L2 略微增加。由此，由于窗口 W的显示是迟的，并且尽管手0有移动，预测结果的可靠性也没有按照期望增加，所以用户U能够通知手势信息的错误输入。在图5C所示的示例中，用户U从图5B所示的状态向右移动手0。在这种情况下， 由于输入了指示向右移动的手势信息，所以获得指示更高相似度的对照结果，并且判断出预测结果的可靠性进一步增加。在窗口 W中，右轻拂手势的水平仪L2进一步增加。由此， 用户U能够通知手势信息的错误输入并校正该输入，并且能够确认由于预测结果的可靠性按照期望增加从而手势信息的输入是适当的。在图6A和图6B中，示出了预测结果和预测结果的可靠性的通知的其它示例。在图6A所示的示例中，尽管用户U期望输入左轻拂手势，但是用户U错误地向右略微移动手 0。在这种情况下，由于生成指示向右略微移动的手势信息，所以判断出预测右轻拂手势的结果的可靠性等于或大于第二阈值。因此，开始手势预测信息的通知。在窗口 W中，指示右轻拂手势的图标12被高亮显示，并且右轻拂手势的水平仪L2 略微增加。由此，通过确认尽管用户U期望输入左轻拂手势，但指示右轻拂手势的图标12 被高亮显示，用户U能够通知手势信息的错误输入。在图6B所示的示例中，用户U从图6A所示的状态向左移动手0。在这种情况下， 由于生成了指示向左移动的手势信息，所以预测左轻拂手势的结果指示第二阈值或更大的相似度。因此，在窗口 W中，指示左轻拂手势的而不是右轻拂手势的图标Il被高亮显示，并且左轻拂手势的水平仪Ll增加。因此，用户U能够通知手势信息的错误输入并且然后校正该输入。在图7中，示出了手势列表的通知的示例。在手势识别设备1中，当在输入时段内没有识别到手势时，记录识别失败日志。当在给定时段内以给定阈值或更大的频率来记录识别失败日志时，向用户U通知要识别的手势列表G。如图7所示，在手势列表G中，示出了要识别的手势类型和输入手势的方法。在手势列表中，例如，示出了如下指示能够通过向右和向左移动手0来执行音乐播放的快进和倒回，并且通过遮蔽运动图像传感器11的前面来执行停止。这允许不熟悉系统操纵的用户 U通过参考手势列表G来学习要识别的手势。
[4.预测信息的通知的变体]在图8A至图8C中，示出了预测结果的可靠性的通知的示例。在图8A所示的示例中，当利用对象O绘制圆的圆圈手势是识别对象时，利用指示对象0的移动的轨迹线TL(统称轨迹线)通知预测手势的结果的可靠性。如图8A所示，当用户U用手0绘制象限时，在显示器D上显示通过捕获手0获得的实时图像和指示手0的运动过程的象限轨迹线TL1。 轨迹线TLl被显示为相对细线或者浅色或黑色线。如图8B所示，当用户U用手0从图8A所示的状态绘制半圆时，在显示器D上显示指示手0的运动过程的半圆轨迹线TL2。这里，与图8A所示的轨迹线TLl相比，轨迹线TL2 被显示为粗线或者黑色或亮色线。也就是，由于指定图8B所示的状态下的圆圈手势的预测结果的可靠性与图8A所示的状态相比增加，所以通过轨迹线TL的类型、颜色或色度通知用户U可靠性增加。另外，如图8C所示，当用户U用手0从图8B所示的状态几乎绘出圆时，在显示器 D上显示指示手0的运动过程的基本圆形轨迹线TL3。这里，与图8B所示的轨迹线TL2比较，轨迹线TL3被显示为粗线或者黑色或亮色线。当判断出对照圆圈手势的结果指示第一阈值或更大的相似度时，识别到圆圈手势。在图9A和图9B中，示出了预测结果的可靠性的通知的另一示例。在图9A所示的示例中，当右轻拂手势是识别对象时，使用指示对象0的运动的轨迹点TP来通知手势预测结果的可靠性。如图9A所示，当用户U将手0向右移动了特定距离时，在显示器D上显示通过捕获手0获得的实时图像和指示手0的运动过程的多个轨迹点TP。通过将白点符号和位于白点符号中心处的黑点符号组合来显示轨迹点TP。如图9B所示，当用户U从图9A所示的状态进一步向右移动手0时，在显示器D上进一步显示指示手0的运动过程的多个轨迹点TP。这里，随着手0的运动距离增加，以更大尺寸显示位于白点符号中心处的黑点符号。也就是，随着手0的运动距离增加，指定右轻拂手势的预测结果的可靠性增加，由此通过黑点符号的改变的尺寸向用户U通知可靠性增加。当判断出右轻拂手势的对照结果指示第一阈值或更大的相似度时，识别到右轻拂手势。[5.手势识别设备的修改示例]接下来，将描述根据修改示例的手势识别设备2。在根据修改示例的手势识别设备 2中，利用语音传感器四和/或运动图像传感器11识别到动作手势和/或讲话手势。如图10所示，手势识别设备2包括运动图像传感器11、运动图像处理单元13、手势信息通知单元15、识别处理单元17、手势预测单元19、预测信息通知单元21、处理执行单元23、手势信息存储单元25、对照信息存储单元27、语音传感器四和语音处理单元31。下文中，将省略关于上述手势识别设备1的重叠说明。语音传感器四在传感器周围接收用户U的话语，并生成指示接收话语的结果的语音信号。语音处理单元31处理从语音传感器四提供的语音信号并生成讲话手势信息。讲话手势信息是指示用户U的讲话的信息，诸如字、短语、从句和句子。讲话手势信息被暂时存储在手势信息存储单元25中。识别处理单元17读取来自手势信息存储单元25的动作手势和/或讲话手势的手势信息和来自对照信息存储单元27的对照信息，并基于对照信息来处理手势信息。这里， 讲话手势的对照信息被设定为给定语音模式(例如，音素的高度、长度和音量)。对照结果对应于由一组手势信息表示的语音模式与由每个手势的对照信息表示的语音模式之间的相似度。这里，针对作为动作手势和讲话手势的组合的复合手势，通过将对照动作手势的结果和对照讲话手势的结果组合来获得对照结果，作为复合手势。手势信息通知单元15向用户U通知从运动图像处理单元13和语音处理单元31 提供的动作手势和/或讲话手势的手势信息。讲话手势的手势信息可以是指示识别到的语音模式的字符信息或叙述识别到的语音模式的语音信息。在手势信息通知单元15中，通过显示器D或未示出的扬声器向用户U通知手势信息。手势预测单元19基于从识别处理单元17提供的对照结果来预测要输入的手势。 在手势预测单元19中，具有最高相似度的手势被指定为手势预测结果。这里，对于复合手势，通过将对照动作手势的结果和对照讲话手势的结果的相似度组合来指定手势预测结^ ο例如，当识别到讲话手势“Saisei Okuri ”或“Saisei Modosi ”时，处理执行单元 23可以执行前进或倒回处理。当与轻拂手势一起识别到讲话手势“Okuri”或“Modosi”时， 处理执行单元23可以执行前进或倒回处理。[6.综述]如上所述，根据本发明的实施例的手势识别设备1或2和手势识别方法，在手势识别处理中，根据一组手势信息之中的中途输入手势信息来预测手势，并且向用户U通知关于手势预测结果的预测信息。因此，用户U通过借助预测信息的通知而继续输入手势信息， 能够确认哪种手势被识别。因此，当没有获得期望预测信息时，能够向用户U通知手势信息的错误输入并校正该输入。另外，用户U能够通过反复试验输入手势信息和确认预测信息而直觉地了解如何输入手势。因此，根据本发明的实施例的手势识别设备1或2和手势识别方法，可利用手势预测信息执行适当的手势反馈。本领域的技术人员应理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们落在所附权利要求或其等同物的范围内。例如，主要描述了通知手势预测信息和手势信息作为图像信息的情况。然而，可以通知手势预测信息和手势信息作为诸如替代图像信息(或与图像信息一起)的语音信息的 fn息ο本发明公开了以下实施例一种手势识别设备，包括识别单元，其用于基于在给定输入时段输入的一组手势信息来识别手势；预测单元，其用于根据在该组手势信息之中的中途输入手势信息来预测所述手势；通知单元，其用于向用户通知关于预测所述手势的结果的预测信息。本发明公开了以下实施例一种手势识别方法，其包括基于在给定输入时段输入的一组手势信息来识别手势的步骤，其中，所述识别步骤包括根据在该组手势信息之中的中途输入手势信息来预测所述手势，以及向用户通知关于预测所述手势的结果的预测信肩、ο本申请包含与在2010年6月M日向日本专利局提交的日本优先权专利申请JP 2010-143651中公开的主题相关的主题，其全部内容通过引用并入本申请。
权利要求
1.一种手势识别设备，包括识别单元，其用于基于在给定输入时段输入的一组手势信息来识别手势；预测单元，其用于根据在该组手势信息之中的中途输入手势信息来预测所述手势；通知单元，其用于向用户通知关于预测所述手势的结果的预测信息。
2.根据权利要求1所述的手势识别设备，其中所述手势的所述预测信息包括所述手势预测结果的可靠性。
3.根据权利要求2所述的手势识别设备，其中所述预测结果的可靠性被表示为所述中途输入手势信息与该组手势信息的比率。
4.根据权利要求3所述的手势识别设备，其中当所述比率增加时，所述预测结果的可靠性急剧增加。
5.根据权利要求1所述的手势识别设备，其中当所述预测结果的可靠性等于或大于给定阈值时，所述通知单元开始所述预测信息的通知。
6.根据权利要求5所述的手势识别设备，其中当在所述输入时段没有输入该组手势信息时，所述通知单元终止所述预测信息的通知。
7.根据权利要求1所述的手势识别设备，其中当在所述输入时段没有输入该组手势信息的频率等于或大于给定阈值时，所述通知单元通知可识别手势的列表。
8.根据权利要求1所述的手势识别设备，还包括用于向用户通知所述手势信息的第二通知单元。
9.根据权利要求1所述的手势识别设备，还包括用于输入图像信息作为所述手势信息的输入单元。
10.根据权利要求1所述的手势识别设备，还包括用于输入语音信息作为所述手势信息的输入单元。
11.一种手势识别方法，其包括基于在给定输入时段输入的一组手势信息来识别手势的步骤，其中，所述识别步骤包括根据在该组手势信息之中的中途输入手势信息来预测所述手势，以及向用户通知关于预测所述手势的结果的预测信息。
12.—种使计算机执行以下步骤的程序基于在给定输入时段输入的一组手势信息来识别手势，其中，所述识别步骤包括根据在该组手势信息之中的中途输入手势信息来预测所述手势，以及向用户通知关于预测所述手势的结果的预测信息。
全文摘要
本发明公开了一种手势识别设备、手势识别方法和程序。手势识别设备包括识别单元，其用于基于在给定输入时段输入的一组手势信息来识别手势；预测单元，其用于根据在该组手势信息之中的中途输入手势信息来预测手势；通知单元，其用于向用户通知关于预测手势的结果的预测信息。用户通过借助预测信息的通知而继续输入手势信息，能够确认哪种手势被识别。
文档编号G06F3/01GK102298442SQ20111016914
公开日2011年12月28日 申请日期2011年6月17日 优先权日2010年6月24日
发明者大木嘉人, 繁田修 申请人:索尼公司