手势判别装置、手势判别方法、以及计算机程序的制作方法
【专利摘要】本发明涉及手势判别装置、手势判别方法、以及计算机程序。在基于手势进行处理的装置中使用户的便利性比以往提高。在具有选择性地显示多个画面中的一个的触摸面板显示器的图像形成装置中，预先存储这些画面的每一个的、多个手势的各自的区分规则。然后，图像形成装置如果检测出用户对触摸面板显示器的动作，则读出显示中的画面的规则（#701），并基于读出的规则来判别该动作所表示的手势（#703～#708）。
【专利说明】手势判别装置、手势判别方法、以及计算机程序
【技术领域】
[0001]本发明涉及判别例如敲击(tap)以及轻拂(flick)等手势(gesture)的技术。
【背景技术】
[0002]近年来,触摸面板的技术在提高，能够实现敲击、长按(long tap)、双击(doubletap)、轻拂、拖动(drag)、捏合(pinch in)、以及拉伸(pinch out)等各种各样的手势。此夕卜，被称为“3D手势输入设备”或者“3D动作(mot1n)输入设备”等的、检测三维空间中的手势的装置也在开始得到普及。
[0003]用户通过灵活运用手势，能够比以往更容易进行数据以及指令的输入。
[0004]另一方面，如果手势的种类变得丰富，则用户所想的手势通过计算机被识别为是另一手势的情况会增多。
[0005]因此，为了更准确地进行手势的区分，提出了如下的技术。如果在定时器计时的时间T经过规定时间Tmax之前进行了触摸，则CPU基于在存储器中记录的各触摸位置的坐标信息，算出触摸位置的方差S。当算出的各方差Sx、Sy分别小于阈值Sxmax、Symax时，CPU将输入操作判别为是不包含移动的操作(敲击操作)。当各方差Sx、Sy不是分别小于阈值Sxmax>Symax时,CPU将输入操作判别为是包含移动的操作(拖动操作或者轻拂操作)(专利文献I)。
[0006]或者，即便在取得了对操作面进行的输入操作的接触时间后，也检查操作体是否还置留在操作面上，在尚且置留时判定为触摸操作，在没有置留时判定为敲击操作(专利文献2)。
[0007]或者，设定与手写笔(stylus)或手指等指示器(pointer)的移动量或者移动时间相应的基准速度，并基于指示器的移动速度和基准速度，判定基于指示器的轻拂操作的产生(专利文献3)。
[0008][专利文献I](日本)特开2011-134212号公报
[0009][专利文献2](日本)特开2007-156634号公报
[0010][专利文献3](日本)特开2012-128830号公报
[0011]但是，对于人而言始终进行同一动作是困难的。因此，即使用户打算进行同一手势，计算机也未必会始终判别为是同一手势。其结果，由装置执行用户意图外的处理，可能会对用户产生不利。或者，对于用户而言有时不易使用。
【发明内容】
[0012]本发明鉴于这样的问题点，其目的在于在基于手势进行处理的装置中比以往提高用户的便利性。
[0013]本发明的一个方式的手势判别装置具有:显示部件，选择性地显示多个画面中的一个；存储部件，存储所述多个画面的各自的、多个手势的各自的区分规则；检测部件，检测用户的动作；以及判别部件，从所述多个手势中，将通过所述检测部件检测出的所述动作所表示的手势，基于在检测出该动作时所述多个画面中的由所述显示部件所显示的画面即当前画面的所述规则进行判别。
[0014]优选的是，所述显示部件显示目的地选择画面作为所述多个画面中的一个，该目的地选择画面使用于通过所述用户进行第一手势而选择数据的目的地的多个按钮，根据所述用户进行的第二手势而滚动地依次出现，所述存储部件存储如下规则作为所述目的地选择画面的所述规则，即与所述当前画面为所述目的地选择画面以外的其他画面的情况相t匕，当所述当前画面为该目的地选择画面的情况下，所述动作所表示的手势更容易被判别为是所述第二手势。
[0015]或者，所述显示部件显示作业一览画面作为所述多个画面中的一个，该作业一览画面使用于通过所述用户进行第一手势而选择输出属性的作业的多个按钮，根据所述用户进行的第二手势而滚动地依次出现，所述存储部件存储如下规则作为所述作业一览画面的所述规则，即与所述当前画面为所述作业一览画面以外的其他画面的情况相比，当所述当前画面为该作业一览画面的情况下，所述动作所表示的手势更容易被判别为是所述第一手势。
[0016]例如，所述第一手势是敲击，所述第二手势是轻拂。或者，所述第一手势是长按，所述第二手势是拖动。或者，所述第一手势是空中敲击，所述第二手势是空中轻拂。
[0017]根据本发明，在基于手势进行处理的装置中能够比以往提高用户的便利性。
【专利附图】
【附图说明】
[0018]图1是表示内联网的整体结构的例子的图。
[0019]图2是表示图像形成装置的硬件结构的例子的图。
[0020]图3是表示图像形成装置的功能结构的例子的图。
[0021 ]图4是表示敲击阈值数据的例子的图。
[0022]图5是表示区分敲击以及轻拂的处理的流程的例子的流程图。
[0023]图6是表示文档发送画面的例子的图。
[0024]图7是表示作业历史确认画面的例子的图。
[0025]图8 (A)?(B)是表示每个画面的敲击以及轻拂的判别结果的例子的图。
[0026]图9是表示图像形成装置的功能结构的变形例的图。
[0027]图10是表示长按阈值数据的例子的图。
[0028]图11是表示区分长按以及拖动的处理的流程的例子的流程图。
[0029]图12是表示长按前的箱(box)文档(document)输出画面的例子的图。
[0030]图13是表示长按前的作业历史确认画面的例子的图。
[0031]图14是表示长按后的箱文档输出画面的例子的图。
[0032]图15是表示长按后的作业历史确认画面的例子的图。
[0033]图16 (A)?(B)是表示每个画面的长按以及拖动的判别结果的例子的图。
[0034]图17是表示图像形成装置的功能结构的变形例的图。
[0035]图18是表示空中敲击阈值数据的例子的图。
[0036]图19是表示区分空中敲击以及空中轻拂的处理的流程的例子的流程图。
[0037]图20 (A)?(B)是表示每个画面的空中敲击以及空中轻拂的判别结果的例子的图。
[0038]图21是表示区分敲击以及轻拂的处理的流程的变形例的流程图。
[0039]标号说明
[0040]I图像形成装置(手势判别装置)
[0041]1e触摸面板显示器(检测部件、显示部件)
[0042]1n视频摄像机(检测部件)
[0043]121敲击阈值存储部(存储部件)
[0044]123动作特性信息取得部(检测部件、接收部件)
[0045]126手势确定部(判别部件)
[0046]131长按阈值存储部(存储部件)
[0047]133动作特性信息取得部(检测部件、接收部件)
[0048]136手势确定部(判别部件)
[0049]151空中敲击阈值存储部(存储部件)
[0050]153动作特性信息取得部(检测部件、接收部件)
[0051]156手势确定部(判别部件)
[0052]5PD敲击阈值数据
[0053]5PE长按阈值数据
[0054]5PF空中敲击阈值数据
[0055]5MT动作特性数据
[0056]5MU动作特性数据
[0057]61文档发送画面
[0058]62作业历史确认画面
[0059]63箱文档输出画面
[0060]64作业历史确认画面
【具体实施方式】
[0061][第一实施方式]
[0062]图1是表示内联网3的整体结构的例子的图。图2是表示图像形成装置I的硬件结构的例子的图。图3是表示图像形成装置I的功能结构的例子的图。
[0063]如图1所示，内联网3由图像形成装置1、终端装置2、以及通信线路3NW等构成。图像形成装置I和终端装置2能够经由通信线路3NW进行通信。作为通信线路3NW，可利用公共线路、专用线、互联网、或者所谓的LAN (局域网)线路等。
[0064]图像形成装置I 一般是被称为复合机或者MFP (多功能外围设备)等的装置，是汇集了复印、网络打印、扫描、传真、箱、邮件收发器(mailer)等功能的装置。
[0065]“网络打印(network printing)功能”是从终端装置2接收图像数据，并基于该图像数据将图像印刷到用纸上的功能。有时也被称为“网络打印(network print)”或者“PC打印”。
[0066]“箱功能”是用户预先对每个用户提供被称为“箱”或者“个人箱(personal box)”等的存储区域，各个用于通过自己的存储区域来保存并管理图像数据等数据的功能。箱相当于个人计算机中的“文件夹(folder)”或者“目录(directory)”。
[0067]如图2所示，图像形成装置I由中央处理装置10a、RAM(随机存取存储器)10b、R0M(只读存储器)10c、大容量存储装置10d、触摸面板显示器10e、硬键面板10f、NIC (网络接口卡)10g、调制解调器10h、扫描单元101、图像存储部10j、图像处理单元10k、打印单元10m、以及视频摄像机1n等构成。
[0068]触摸面板显示器1e适当选择性地显示用于对用户提供消息的画面、表示处理结果的画面、或者用户用于对图像形成装置I输入数据以及指令的画面等。此外，触摸面板显示器1e检测被触摸的位置，并将其位置通知给中央处理装置10a。
[0069]硬键面板1f由数字键、开始键、停止键、以及功能键等所谓的硬件键构成。
[0070]用户通过操作触摸面板显示器1e或者硬键面板1f，能够对图像形成装置I提供指令或者输入数据。尤其，能够通过进行敲击、长按、轻拂、以及拖动等手势而进行输入。这些手势可通过一边触摸触摸面板显示器1e的显示面一边以规定方式移动手指而进行。
[0071]NIClOg是用于通过TCP/IP (传输控制协议/互联网协议)等协议与终端装置2等的装置进行通信的装置。
[0072]调制解调器1h是用于通过G3等协议与传真终端进行通信的装置。
[0073]扫描单元1i是读取在用纸中记载的文件、照片、绘画、或者图表等文档而生成图像数据。
[0074]图像存储部1j存储通过扫描单元1i获得的图像数据。此外，还能够存储通过NIClOg或者调制解调器1h接收的图像数据。
[0075]图像处理单元1k对图像存储部1j中存储的图像数据，进行顶底校正、倾斜校正、污点去除、或者分辨率变换等图像处理。
[0076]打印单元1m基于在图像存储部1j中存储的图像数据，在用纸上印刷文档。
[0077]视频摄像机1n是拍摄用户的手指的活动的装置，为了判别空中手势的种类而使用。空中手势有时也被称为“3D手势”或者“三维手势”等。
[0078]在ROMlOc或者大容量存储装置1d中存储了用于实现图3所示的手势判别部101、画面显示控制部102、以及作业执行控制部103等的功能的程序。该程序根据需要被载入RAMlOb,且通过中央处理装置1a执行。
[0079]作为大容量存储装置10d，利用硬盘或者SSD (固态驱动)等非易失性的记录介质。作为中央处理装置10a，利用CPU (中央处理单元)或者MPU (微处理单元)等。
[0080]手势判别部101由敲击阈值存储部121、敲击阈值读出部122、动作特性信息取得部123、距离比较部124、时间比较部125、以及手势确定部126等构成。并且，判定用户对触摸面板显示器1e的操作是什么手势。
[0081]尤其，在第一实施方式中，手势判别部101将对触摸面板显示器1e的操作(动作)所表示的手势是敲击还是轻拂，基于与进行该动作时所显示的画面(以下，记载为“当前(current)画面”)相应的条件进行判定。
[0082]图1的终端装置2是用于使用图像形成装置I提供的各种功能的客户机。作为终端装置2，可利用个人计算机、智能手机、平板计算机、或者便携式电话终端等。
[0083]以下，参照流程图等说明图3所示的图像形成装置I的手势判别部101的各部的功能。
[0084]图4是表示敲击阈值数据5H)的例子的图。图5是表示区分敲击以及轻拂的处理的流程的例子的流程图。图6是表示文档发送画面61的例子的图。图7是表示作业历史确认画面62的例子的图。图8是表示每个画面的敲击以及轻拂的判别结果的例子的图。
[0085]如图4所示，敲击阈值存储部121存储了每个画面的敲击阈值数据5PD。在敲击阈值数据5ro中示出了画面识别符G1、距离阈值Dmax_a、以及时间阈值Tmin_a。
[0086]画面识别符Gi是用于识别画面的识别符。距离阈值Dmax_a以及时间阈值Tmin_a是在区分敲击以及轻拂时使用的阈值。
[0087]触摸面板显示器1e检测到一根手指的触摸的情况下，敲击阈值读出部122乃至手势确定部126按照图5所示的顺序进行处理。
[0088]敲击阈值读出部122从敲击阈值存储部121读出当前画面的敲击阈值数据5PD(#701)。
[0089]动作特性信息取得部123根据触摸面板显示器1e的触摸的检测结果，取得表示进行了该触摸的时间(以下，记载为“触摸持续时间Ta”)以及手指移动的距离(以下，记载为“移动距离Da”)的动作特性数据5MT (#702)。
[0090]距离比较部124比较该动作特性数据5MT所示的移动距离Da和该敲击阈值数据5PD所示的距离阈值Dmax_a,判别该移动距离Da是否小于该距离阈值Dmax_a (#703)。
[0091]在该移动距离Da小于该距离阈值Dmax_a时(#704中“是”)，时间比较部125比较该动作特性数据5MT所示的触摸持续时间Ta和该敲击阈值数据5H)所示的时间阈值Tmin_a，判别该触摸持续时间Ta是否超过了该时间阈值Tmin_a (#705)。
[0092]手势确定部126根据距离比较部124以及时间比较部125的判别结果，如下确定对触摸面板显示器1e的动作所表示的手势。在该移动距离Da小于该距离阈值Dmax_a，并且该触摸持续时间Ta超过了该时间阈值Tmin_a时(#706中“是”)，将本次的动作所表示的手势判别为敲击(#707)。在该移动距离Da为该距离阈值Dmax_a以上,或者,该触摸持续时间Ta为该时间阈值Tmin_a以下时(#704中“否”或者#706中“否”)，将本次的动作所表示的手势判别为轻拂(#708)。
[0093]这里，一边比较显示着图6所示的文档发送画面61的情况以及显示着图7所示的作业历史确认画面62的情况，一边说明手势的判别结果的差异。
[0094]文档发送画面61是用户用于输入文档发送作业的条件以及指令的画面。“文档发送作业”是从用纸读取文档而将其电子数据化，并通过传真或者电子邮件发送到用户指定的目的地的作业。
[0095]文档发送画面61中设置了目的地指定区域61e。在目的地指定区域61e中，配置了预先注册在地址簿上的电子邮件地址以及传真号各自的选择按钮61b。在地址簿中注册了多个电子邮件地址以及传真号的情况下，无法一次性地将所有的选择按钮61b配置到目的地指定区域61e。该情况下，仅配置一部分(在图6的例子中为15个)选择按钮61b。并且，每当进行规定的手势时，目的地指定区域61e将滚动，剩余的选择按钮61b依次被配置在目的地指定区域61e。
[0096]用户通过轻拂目的地指定区域61e中的任意位置，能够使目的地指定区域61e滚动。此外，关于设为文档的目的地的电子邮件地址或者传真号，能够通过敲击与其对应的选择按钮61b来指定。
[0097]但是，尽管用户自以为进行了轻拂但图像形成装置I识别为选择按钮61b被敲击的情况并不理想。这是因为如果用户不注意这一点，则文档会被发送到意料外的目的地。因此，安全的是，就算用户自以为进行了敲击，图像形成装置I也识别为被轻拂。
[0098]本来，进行敲击的情况下，用户应当使触摸面板显示器上进行触摸的位置不改变。但是，如果在位置哪怕有一点(dot)变化时就判断为不是敲击而是轻拂，则对于用户而言，敲击将会变得困难。因此，一般预先设定作为敲击而允许的位置变化的标准值(最大值)。以下，将该最大值记载为“距离默认最大值Do_a”。
[0099]此外，通常，触摸面板显示器被触摸的时间在轻拂时比敲击时更长。以下，将预先设定的、敲击时被触摸的时间的一般长度和轻拂时被触摸的时间的一般长度的中间值记载为“时间默认最小值To_a”。
[0100]在显示着文档发送画面61时，根据上述的理由，期望用户进行的手势被判别为是轻拂的倾向比通常更强。
[0101]因此，在文档发送画面61的敲击阈值数据5PD (参照图4)中，设定比距离默认最大值Do_a还要小的值作为距离阈值Dmax_a。此外，设定比时间默认最小值To_a还要大的值作为时间阈值Tmin_a。
[0102]以下，将文档发送画面61的距离阈值Dmax_a以及时间阈值Tmin_a分别记载为“距离阈值d61”以及“时间阈值t61”。
[0103]另一方面，图7的作业历史确认画面62是用户用于确认过去图像形成装置I执行的作业的历史的画面。
[0104]在作业历史确认画面62中设置了作业一览区域62e。在作业一览区域62e中，按照由新到旧的顺序，每个作业的选择按钮62b从上到下配置成一列。在有多个作业时，无法一次性地将所有的选择按钮62b配置到作业一览区域62e。该情况下，仅配置一部分(在图7的例子中为7个)选择按钮62b。然后，每当进行规定的操作时，作业一览区域62e将滚动，剩余的选择按钮62b被依次配置在作业一览区域62e。
[0105]用户通过向上或者向下轻拂作业一览区域62e中的任意位置，能够使作业一览区域62e滚动。此外，想要使表示作业属性的细节(执行条件、指令源等)的画面显示时，能够通过敲击与该作业对应的选择按钮62b来发出指令。
[0106]一般，用户大多会确认更加新的作业的细节。因此，认为在作业历史确认画面62中与轻拂相比主要更多地进行敲击。
[0107]因此，在作业历史确认画面62的敲击阈值数据5H)中，设定比文档发送画面61的敲击阈值数据5PD中所示的距离阈值Dmax_a (B卩，距离阈值d61)还要大的值作为距离阈值Dmax_a。或者，也可以设定比距离默认最大值Do_a还要大的值。
[0108]此外，在作业历史确认画面62的敲击阈值数据5H)中，设定比文档发送画面61的敲击阈值数据5PD中所示的时间阈值Tmin_a (即，时间阈值t61)还要小的值作为时间阈值Tmin_a。或者，也可以设定比时间默认最小值To_a还要小的值。
[0109]以下,将作业历史确认画面62的距离阈值Dmax_a以及时间阈值Tmin_a分别记载为“距离阈值d62”以及“时间阈值t62”。
[0110]如上所述，距离阈值d62大于距离阈值d61。此外，时间阈值t62小于时间阈值t61。因此，若根据图5的处理，则比较图8 (A)和(B)可知，与显示了作业历史确认画面62的情况相比，显示了文档发送画面61的情况下，用户进行的手势更多地被判别为是轻拂。此外，与显示了文档发送画面61的情况相比，显示了作业历史确认画面62的情况下，用户进行的手势更多地被判别为是敲击。
[0111]另外，在显示了没有提供敲击阈值数据5H)的画面的情况下，手势判别部101基于距离默认最大值Do_a或者时间默认最小值To_a等，根据以往的方法来判别对触摸面板显示器1e的动作表示什么手势。此外，在显示了文档发送画面61以及作业历史确认画面62等提供了敲击阈值数据5PD的画面的情况下，敲击以及轻拂以外的手势也通过以往的方法来判别。
[0112]返回到图3，画面显示控制部102以及作业执行控制部103基于由手势判别部101判别的手势以及其对象(以下，记载为“操作内容”)，如下执行处理。
[0113]画面显示控制部102根据操作内容来滚动或者变更当前画面。
[0114]作业执行控制部103控制图2所示的各个硬件，以便根据操作内容执行各种作业。
[0115]画面显示控制部102以及作业执行控制部103能够通过现有的操作系统、固件、或者应用程序等来实现。
[0116]根据第一实施方式，能够根据画面比以往更好地区分敲击以及轻拂。由此，能够比以往减少对用户产生不利的情况。或者，能够比以往更容易使用。
[0117][第二实施方式]
[0118]图9是表示图像形成装置I的功能结构的变形例的图。图10是表示长按阈值数据5PE的例子的图。图11是表示区分长按以及拖动的处理的流程的例子的流程图。图12是表示长按前的箱文档输出画面63的例子的图。图13是表示长按前的作业历史确认画面64的例子的图。图14是表不长按后的箱文档输出画面63的例子的图。图15是表不长按后的作业历史确认画面64的例子的图。图16是表示每个画面的长按以及拖动的判别结果的例子的图。
[0119]在第一实施方式中，图像形成装置I基于与当前画面相应的阈值判别了敲击以及轻拂。在第二实施方式中，基于与当前画面相应的阈值来判别长按以及拖动。
[0120]第二实施方式中的内联网3的结构与第一实施方式的情况相同，如图1所示。图像形成装置I的硬件结构以及功能结构也基本上与第一实施方式的情况相同，分别如图2以及图3所示。但是，如图9所示，手势判别部101由长按阈值存储部131、长按阈值读出部132、动作特性信息取得部133、距离比较部134、时间比较部135、以及手势确定部136等构成。
[0121]以下，参照图11的流程图等说明手势判别部101的各部的功能。针对与第一实施方式重复的点则省略说明。
[0122]如图10所示，长按阈值存储部131存储了每个画面的长按阈值数据5PE。在长按阈值数据5PE中示出了画面识别符G1、距离阈值Dmax_b、以及时间阈值Tmin_b。距离阈值Dmax_b以及时间阈值Tmin_b是在区分长按和拖动时使用的阈值。
[0123]触摸面板显示器1e检测到一根手指的触摸的情况下，长按阈值读出部132乃至手势确定部136按照图11所示的顺序进行处理。
[0124]长按阈值读出部132从长按阈值存储部131读出当前画面的长按阈值数据5PE(#721)。
[0125]动作特性信息取得部133取得表示进行该触摸的时间(以下，记载为“触摸持续时间Tb”)以及手指移动的距离(以下，记载为“移动距离Db”)的动作特性数据5MU (#722)。
[0126]距离比较部134比较该动作特性数据5MU所示的移动距离Db和该长按阈值数据5PE所示的距离阈值Dmax_b,判别该移动距离Db是否小于该距离阈值Dmax_b (#723)。
[0127]在该移动距离Db小于该距离阈值Dmax_b时(#724中“是”)，时间比较部135比较该动作特性数据5MU所示的触摸持续时间Tb和该长按阈值数据5PE所示的时间阈值Tmin_b，判别该触摸持续时间Tb是否超过了该时间阈值Tmin_b (#725)。
[0128]手势确定部136根据距离比较部134以及时间比较部135的判别结果，如下确定对触摸面板显示器1e的操作(动作)所表示的手势。在该移动距离Db小于该距离阈值Dmax_b，并且，该触摸持续时间Tb超过了该时间阈值Tmin_b时(#726中“是”)，将本次的动作所表示的手势判别为长按(#727)。在该移动距离Db为该距离阈值Dmax_b以上,或者,该触摸持续时间Tb为该时间阈值Tmin_b以下时(#724中“否”或者#726中“否”)，将本次的动作所表示的手势判别为拖动(#728)。
[0129]这里，一边比较显示着图12所示的箱文档输出画面63的情况以及显示着图13所示的作业历史确认画面64的情况，一边说明手势的判别结果的差异。
[0130]箱文档输出画面63是用户用于输入箱文档发送作业或者箱文档印刷作业的指令的画面。“箱文档发送作业”是将箱中作为图像数据而保存的文档发送到其他装置的作业。“箱文档印刷作业”是将箱中作为图像数据而保存的文档印刷到用纸上的作业。
[0131]在箱文档输出画面63中设置了文档指定区域63e。在文档指定区域63e中配置了箱中作为图像数据而保存的每个文档的选择按钮63b。在注册有多个文档的情况下，无法一次性地将所有的选择按钮63b配置到文档指定区域63e。该情况下，仅配置一部分(在图12的例子中为8个)选择按钮63b。并且，每当进行规定的手势时，文档指定区域63e将滚动，剩余的选择按钮63b被依次配置到文档指定区域63e。
[0132]用户通过拖动文档指定区域63e中的任意位置，能够使文档指定区域63e滚动。
[0133]此外,用户通过如下进行长按以及拖放(drag and drop),能够将箱文档发送作业或者箱文档印刷作业的指令提供给图像形成装置I。
[0134]用户长按与想要发送或者印刷的文档对应的选择按钮63b。但是，在该时刻尚未将手指从触摸面板显示器1e拿开。即，将选择按钮63b持续触摸一定的时间以上。那么，在文档指定区域63e的上方，会如图14那样现出两个作业图标63il、63i2。作业图标63il是与箱文档发送作业对应的图标。作业图标63i2是与箱文档印刷作业对应的图标。并且，用户在想要执行箱文档发送作业时将其选择按钮63b拖动到作业图标63il之上后放开(drop)，在想要执行箱文档印刷作业时将其选择按钮63b拖动到作业图标63i2之上后放开。
[0135]当选择按钮63b在作业图标63il上放开时，与该选择按钮63b对应的文档的图像数据被发送到其他装置。另一方面，在作业图标63i2上放开时，与该选择按钮63b对应的文档被印刷到用纸上。
[0136]但是，可能会有以下情况，即尽管用户自以为只进行了拖动，但图像形成装置I识别为选择按钮63b被长按且接着进行了拖动。但是，这样的识别并不理想。这是因为有时文档会被发送到用户意料外的目的地或者进行无用的印刷。因此，安全的是，就算用户自以为是在长按后进行了拖动，图像形成装置I也识别为只进行了拖动。
[0137]本来，在进行长按的情况下，与进行敲击的情况同样，用户应当使相对于触摸面板显示器，用户触摸的位置不改变。但是，如果在位置哪怕有一点变化时就判断为不是长按而是拖动，则对于用户而言，长按将会变得困难。因此，一般预先设定作为长按而允许的位置变化的标准值(最大值)。以下，将该最大值记载为“距离默认最大值Do_b”。
[0138]此外，通常，触摸面板显示器被触摸的时间在拖动时比长按时更长。以下，将预先设定的、长按时被触摸的时间的一般长度和拖动时被触摸的时间的一般长度的中间值记载为“时间默认最小值To_b”。
[0139]在显示着箱文档输出画面63时，根据上述的理由，期望用户的动作所表示的手势与被判别为长按以及拖动相比被判别为只是拖动的倾向比通常更强。
[0140]因此，在箱文档输出画面63的长按阈值数据5PE (参照图10)中，设定比距离默认最大值Do_b还要小的值作为距离阈值Dmax_b。此外,设定比时间默认最小值To_b还要大的值作为时间阈值Tmin_b。
[0141]以下，将箱文档输出画面63的距离阈值Dmax_b以及时间阈值Tmin_b分别记载为“距离阈值d63”以及“时间阈值t63”。
[0142]另一方面，图13的作业历史确认画面64与作业历史确认画面62 (参照图7)同样，是用户用于确认过去图像形成装置I执行的作业的历史的画面。
[0143]作业历史确认画面64的结构也与作业历史确认画面62的结构基本相同。即，在作业历史确认画面64中设置了作业一览区域64e。在作业一览区域64e中，按照由新到旧的顺序，每个作业的选择按钮64b从上到下配置成一列。在有多个作业时，仅配置一部分选择按钮64b。然后，每当进行规定的操作时，作业一览区域64e将滚动，剩余的选择按钮64b被依次配置在作业一览区域64e。
[0144]但是，作业一览区域64e的用于滚动的手势以及用于选择作业的手势与作业历史确认画面62的情况不同。
[0145]用户通过向上或者向下拖动作业一览区域64e中的任意位置，能够使作业一览区域64e滚动。
[0146]此外，想要使表示作业的细节的画面显示时，用户如下进行操作。
[0147]用户长按与已确认细节的作业对应的选择按钮64b。但是，在该时刻尚未将手指从触摸面板显示器1e拿开。即，将选择按钮64b持续触摸一定的时间以上。那么，在作业一览区域64e的上方，会如图15那样现出细节图标64i。然后，用户将该选择按钮64b拖动到细节图标64i之上后放开。
[0148]如前所述，一般，用户大多会确认更加新的作业的细节。因此，认为在作业历史确认画面64中，与只有长按的操作相比主要进行将长按和拖动进行了组合的连续操作。
[0149]因此，在作业历史确认画面64的长按阈值数据5PE中，设定比箱文档输出画面63的长按阈值数据5PE中所示的距离阈值Dmax_b (B卩，距离阈值d63)还要大的值作为距离阈值Dmax_b。或者，也可以设定比距离默认最大值Do_b还要大的值。
[0150]此外，在作业历史确认画面64的长按阈值数据5PE中，设定比箱文档输出画面63的长按阈值数据5PE中所示的时间阈值Tmin_b (即，时间阈值t63)还要小的值作为时间阈值Tmin_b。或者，也可以设定比时间默认最小值To_b还要小的值。
[0151]以下,将作业历史确认画面64的距离阈值Dmax_b以及时间阈值Tmin_b分别记载为“距离阈值d64”以及“时间阈值t64”。
[0152]如上所述，距离阈值d64大于距离阈值d63。此外，时间阈值t64小于时间阈值t63。因此，若根据图11的处理，则比较图16 (A)和(B)可知，与显示了作业历史确认画面64的情况相比，显示了箱文档输出画面63的情况下，用户进行的手势更多地被判别为是拖动。此外，与显示了箱文档输出画面63的情况相比，显示了作业历史确认画面64的情况下，用户进行的手势更多地被判别为是长按。
[0153]返回到图9，画面显示控制部102以及作业执行控制部103与第一实施方式的情况同样地发挥作用。但是，作为手势的判别结果，利用手势确定部136的判别结果。
[0154]根据第二实施方式，能够根据画面比以往更好地区分长按以及拖动。由此，能够比以往减少对用户产生不利的情况。或者，能够比以往更容易使用。
[0155][第三实施方式]
[0156]图17是表示图像形成装置I的功能结构的变形例的图。图18是表示空中敲击阈值数据5PF的例子的图。图19是表示区分空中敲击以及空中轻拂的处理的流程的例子的流程图。图20是表示每个画面的空中敲击以及空中轻拂的判别结果的例子的图。
[0157]在第一实施方式以及第二实施方式中，图像形成装置I基于触摸面板显示器1e的显示面上被触摸的位置的变化而判别了手势。在第三实施方式中，图像形成装置I判别空中手势(air gesture).“空中手势”是通过在触摸面板显示器1e的正面的空间中移动手指来表现的手势。不触摸触摸面板显示器10e。
[0158]尤其，在第三实施方式中，图像形成装置I区分空中敲击以及空中轻拂。“空中敲击”是敲击的行为(仕草)或模拟(真似)，是将手指向触摸面板显示器1e靠近后立即离开的手势。“空中轻拂”是轻拂的行为或举止，是将手指向触摸面板显示器1e靠近，并移动手指以便与触摸面板显示器1e的显示面平行地挥动的手势。
[0159]第三实施方式中的内联网3的结构与第一实施方式以及第二实施方式的情况相同，如图1所示。图像形成装置I的硬件结构以及功能结构也与第一实施方式以及第二实施方式的情况相同，分别如图2以及图3所示。但是，如图17所示，手势判别部101由空中尚支击阈值存储部151、空中敲击阈值读出部152、动作特性信息取得部153、第一距尚比较部154、第二距离比较部155、以及手势确定部156等构成。
[0160]如图18所示，空中敲击阈值存储部151存储了每个画面的空中敲击阈值数据5PF。在空中敲击阈值数据5PF中示出了画面识别符G1、显示面距离阈值Dmax_C、以及垂直轴距离阈值Dmin_c。显不面距离阈值Dmax_c以及垂直轴距离阈值Dmin_c是在区分空中敲击以及空中轻拂时使用的阈值。
[0161]视频摄像机1n检测到手指的情况下，空中敲击阈值读出部152乃至手势确定部156按照图19所示的顺序进行处理。
[0162]空中敲击阈值读出部152从空中敲击阈值存储部151读出当前画面的空中敲击阈值数据 5PF (#731)。
[0163]动作特性信息取得部153通过分析由视频摄像机1n获得的手指的图像，求得在与触摸面板显示器1e的显示面平行的面(XY平面)中的手指的移动距离Dcl以及显示面的垂直方向(Z轴)中的手指的移动距离Dc2 (#732)。
[0164]第一距离比较部154比较移动距离Dcl和该空中敲击阈值数据5PF所示的显示面距离阈值Dmax_c,判别该移动距离Dcl是否小于该显示面距离阈值Dmax_c (#733)。
[0165]在该移动距离Dcl小于该显示面距离阈值Dmax_c时(#734中“是”)，第二距离比较部155比较移动距离Dc2和该空中敲击阈值数据5PF所示的垂直轴距离阈值Dmin_c，判别该移动距离Dc2是否小于该垂直轴距离阈值Dmin_c (#735)。
[0166]手势确定部156根据第一距离比较部154以及第二距离比较部155的判别结果，如下确定空中手势的种类。在该移动距离Dcl小于该显示面距离阈值Dmax_C，并且，该移动距离Dc2小于该垂直轴距离阈值0!1^11_(3时(#736中“是”)，将本次的手势判别为空中敲击(#737)。在该移动距离Dcl为该显示面距离阈值Dmax_c以上,或者,该移动距离Dc2为该垂直轴距离阈值Dmin_c以上时(#734中“否”或者#736中“否”)，将本次的手势判别为空中轻拂(#738)。
[0167]这里，一边比较显示着图6所示的文档发送画面61的情况以及显示着图7所示的作业历史确认画面62的情况，一边说明手势的判别结果的差异。
[0168]文档发送画面61以及作业历史确认画面62的结构以及用途等如之前说明的那样。但是，在第三实施方式中，代替敲击而使用空中敲击，代替轻拂而使用空中轻拂。
[0169]因而，在显示着文档发送画面61时，期望用户进行的手势被判别为是空中轻拂的倾向比通常更强。
[0170]因此，在文档发送画面61的空中敲击阈值数据5PF (参照图18)中，设定比距离默认值Do_cl ( —般，作为空中敲击而允许的XY平面上的位置变化的标准值)还要小的值作为显示面距离阈值Dmax_C。以下，将设定的值记载为“距离阈值d611”。此外，设定比距离默认值Do_c2 (—般，作为空中敲击而允许的Z轴方向上的位置变化的标准值)还要小的值作为垂直轴距离阈值Dmin_c。以下，将设定的值记载为“距离阈值d612”。
[0171]另一方面，在显示着作业历史确认画面62时，期望用户进行的手势被判别为是空中敲击的倾向比通常更强。
[0172]因此，在作业历史确认画面62的空中敲击阈值数据5PF中，设定比距离阈值d611还要大的值或者比距离默认值Do_cl还要大的值作为显示面距离阈值Dmax_C。以下，将设定的值记载为“距离阈值d621”。此外，设定比距离阈值d612还要大的值或者比距离默认值Do_c2还要大的值作为垂直轴距离阈值Dmin_c。以下，将设定的值记载为“距离阈值d622”。
[0173]如上所述，距离阈值d621小于距离阈值d611。此外，距离阈值d622小于距离阈值d612。因此，若根据图19的处理，则比较图20 (A)和(B)可知，与显示了作业历史确认画面62的情况相比，显示了文档发送画面61的情况下，用户进行的手势更多地被判别为是空中轻拂。此外，与显示了文档发送画面61的情况相比，显示了作业历史确认画面62的情况下，用户进行的手势更多地被判别为是空中敲击。
[0174]返回到图17，画面显示控制部102以及作业执行控制部103与第一实施方式以及第二实施方式的情况同样地发挥作用。但是，作为手势的判别结果，利用手势确定部156的判别结果。
[0175]根据第三实施方式，能够根据画面比以往更好地区分空中敲击以及空中轻拂。由此，能够比以往减少对用户产生不利的情况。或者，能够比以往更容易使用。
[0176]图21是表示区分敲击以及轻拂的处理的流程的变形例的流程图。
[0177]在第一实施方式至第三实施方式中，通过改变阈值，从而使手势的区分规则根据画面而不同，但也可以通过改变阈值以外的量而使之不同。
[0178]例如，也可以改变区分的算法。具体地说，在第一实施方式中，作为文档发送画面61的、敲击和轻拂的区分算法，采用如图5所示的算法。另一方面，作为作业历史确认画面62的算法，采用如图21所示那样的、如果满足距离的条件以及时间的条件中的至少一方(#744中“是”或者#746中“是”)就判别为是敲击的算法。
[0179]或者，也可以根据每个画面，改变在区分手势时使用的参数(移动距离、移动时间等)。例如，在第三实施方式中，当作业历史确认画面62为当前画面时，也可以不利用与触摸面板显示器1e的显示面平行的面的移动距离的条件，而是参照垂直方向的移动距离的条件。
[0180]在第一实施方式至第三实施方式中，分别利用两个参数区分了手势，但也可以利用一个参数进行区分。或者，也可以利用三个以上的参数进行区分。
[0181]在第一实施方式中区分了敲击和轻拂，在第二实施方式中区分了长按和拖动，但本发明也能够应用于区分敲击和长按的情况、以及区分轻拂和拖动的情况。这些情况下，主要根据每个画面而改变触摸的持续时间的阈值即可。如果想要增强被判别为敲击或者轻拂的倾向，则增大阈值即可。
[0182]此外，在区分由多个手指的动作所表示的手势(多点触摸手势)时也能够应用本发明。
[0183]例如，也能够应用于两指敲击和两指轻拂的区分。该情况下，与第一实施方式同样地，通过比较移动距离或者移动时间来区分即可。
[0184]或者，也能够应用于两指滚动(平行移动两根手指的手势)和缩放(pinch)的区分。该情况下，检测两根手指之间的距离的变化率，若变化率的绝对值小于阈值则判别为两指滚动，若为阈值以上则判别为缩放即可。然后，若想要增强被判别为两指滚动的倾向，则提高阈值，若想要增强被判别为缩放的倾向，则降低阈值即可。
[0185]在第三实施方式中，通过视频摄像机1n检测了手指的移动距离，但也可以通过具备了三轴加速度传感器的控制器(例如，任天堂公司的Wii遥控器或者APPLE公司的iPhone)、三维手势控制器(例如，LEAP公司的Leap Mot1n Controller)等进行检测。
[0186]在第一实施方式至第三实施方式中，以用户直接操作图像形成装置I的情况为例进行了说明，但在通过终端装置2远程操作图像形成装置I的情况下也能够应用本发明。该情况下，也可以通过使终端装置2执行手势的判别处理，并将判别结果发送到图像形成装置1，从而将指令或者数据输入到图像形成装置I。或者，终端装置2将动作的数据发送到图像形成装置1，并且在图像形成装置I中由动作特性信息取得部123、133、153(参照图3、图9、图17)接收该数据。然后，以下通过如上所述的方法，由手势确定部126、136、156等执行用于确定手势的处理即可。
[0187]此外，内联网3、图像形成装置I的整体或者各部的结构、处理内容、处理顺序、数据的结构、画面的结构等能够遵照本发明的宗旨而适当变更。
【权利要求】
1.一种手势判别装置，其特征在于，具有: 显示部件，选择性地显示多个画面中的一个； 存储部件，存储所述多个画面的每一个的、多个手势的各自的区分规则； 检测部件，检测用户的动作；以及 判别部件，从所述多个手势中，将通过所述检测部件检测出的所述动作所表示的手势，基于在检测出该动作时所述多个画面中的由所述显示部件所显示的画面即当前画面的所述规则进行判别。
2.如权利要求1所述的手势判别装置，其中， 所述显示部件显示目的地选择画面作为所述多个画面中的一个，该目的地选择画面使用于通过所述用户进行第一手势而选择数据的目的地的多个按钮，根据所述用户进行的第二手势而滚动地依次出现， 所述存储部件存储如下规则作为所述目的地选择画面的所述规则，即与所述当前画面为所述目的地选择画面以外的其他画面的情况相比，当所述当前画面为该目的地选择画面的情况下，所述动作所表示的手势更容易被判别为是所述第二手势。
3.如权利要求1所述的手势判别装置，其中， 所述显示部件显示作业 一览画面作为所述多个画面中的一个，该作业一览画面使用于通过所述用户进行第一手势而选择输出属性的作业的多个按钮，根据所述用户进行的第二手势而滚动地依次出现， 所述存储部件存储如下规则作为所述作业一览画面的所述规则，即与所述当前画面为所述作业一览画面以外的其他画面的情况相比，当所述当前画面为该作业一览画面的情况下，所述动作所表示的手势更容易被判别为是所述第一手势。
4.如权利要求2或3所述的手势判别装置，其中， 所述第一手势是敲击， 所述第二手势是轻拂。
5.如权利要求2或3所述的手势判别装置，其中， 所述第一手势是长按， 所述第二手势是拖动。
6.如权利要求2或3所述的手势判别装置，其中， 所述第一手势是空中敲击， 所述第二手势是空中轻拂。
7.如权利要求1所述的手势判别装置，其中， 所述检测部件具有触摸面板，且检测每个规定的时间的、所述用户的手指正在触摸所述触摸面板的位置作为所述动作， 所述存储部件存储距离的阈值即距离阈值作为所述规则， 所述判别部件在从通过所述检测部件检测出的所述位置所求的所述手指的移动距离小于所述距离阈值时，将所述动作所表示的手势判别为是第一手势，当该移动距离超过该距离阈值时，将所述动作所表示的手势判别为是第二手势。
8.如权利要求7所述的手势判别装置，其中， 所述显示部件显示目的地选择画面作为所述多个画面中的一个，该目的地选择画面使用于通过所述用户进行第一手势而选择数据的目的地的多个按钮，根据所述用户进行的第二手势而滚动地依次出现， 所述存储部件存储比所述目的地选择画面以外的其他画面的所述距离阈值还要小的值作为所述目的地选择画面的所述距离阈值。
9.如权利要求7所述的手势判别装置，其中， 所述显示部件显示作业一览画面作为所述多个画面中的一个，该作业一览画面使用于通过所述用户进行第一手势而选择输出属性的作业的多个按钮，根据所述用户进行的第二手势而滚动地依次出现， 所述存储部件存储比所述作业一览画面以外的其他画面的所述距离阈值还要大的值作为所述作业一览画面的所述距离阈值。
10.如权利要求1所述的手势判别装置，其中， 所述检测部件具有触摸面板，且检测每个规定的时间的、所述用户的手指正在触摸所述触摸面板的位置作为所述动作， 所述存储部件存储时间的阈值即时间阈值作为所述规则， 所述判别部件在通过所述检测部件连续检测出所述位置的触摸持续时间超过所述时间阈值时，将所述 动作所表示的手势判别为是第一手势，当该触摸持续时间小于该时间阈值时，将所述动作所表示的手势判别为是第二手势。
11.如权利要求10所述的手势判别装置，其中， 所述显示部件显示目的地选择画面作为所述多个画面中的一个，该目的地选择画面使用于通过所述用户进行第一手势而选择数据的目的地的多个按钮，根据所述用户进行的第二手势而滚动地依次出现， 所述存储部件存储比所述目的地选择画面以外的其他画面的所述时间阈值还要大的值作为所述目的地选择画面的所述时间阈值。
12.如权利要求10所述的手势判别装置，其中， 所述显示部件显示作业一览画面作为所述多个画面中的一个，该作业一览画面使用于通过所述用户进行第一手势而选择输出属性的作业的多个按钮，根据所述用户进行的第二手势而滚动地依次出现， 所述存储部件存储比所述作业一览画面以外的其他画面的所述时间阈值还要小的值作为所述作业一览画面的所述时间阈值。
13.如权利要求7至12的任一项所述的手势判别装置，其中， 所述第一手势是敲击， 所述第二手势是轻拂。
14.如权利要求7至12的任一项所述的手势判别装置，其中， 所述第一手势是长按， 所述第二手势是拖动。
15.如权利要求1所述的手势判别装置，其中， 所述检测部件检测每个规定的时间的三维空间中的所述用户的手指的位置作为所述动作， 所述存储部件存储距离的阈值即距离阈值作为所述规则，所述判别部件在从通过所述检测部件检测出的所述位置所求的所述手指在所述显示部件的显示面的垂直方向的移动距离超过所述距离阈值时，将所述动作所表示的手势判别为是空中轻拂，当该移动距离小于该距离阈值时，将所述动作所表示的手势判别为是空中尚支击。
16.如权利要求1所述的手势判别装置，其中， 所述检测部件检测每个规定的时间的三维空间中的所述用户的手指的位置作为所述动作， 所述存储部件存储距离的阈值即距离阈值作为所述规则， 所述判别部件在从通过所述检测部件 检测出的所述位置所求的所述手指在与所述显示部件的显示面平行的面上的移动距离超过所述距离阈值时，将所述动作所表示的手势判别为是空中轻拂，当该移动距离小于该距离阈值时，将所述动作所表示的手势判别为是空中敲击。
17.如权利要求15或16所述的手势判别装置，其中， 所述显示部件显示目的地选择画面作为所述多个画面中的一个，该目的地选择画面使用于通过所述用户进行空中敲击而选择数据的目的地的多个按钮，根据所述用户进行空中轻拂而滚动地依次出现， 所述存储部件存储比所述目的地选择画面以外的其他画面的所述距离阈值还要小的值作为所述目的地选择画面的所述距离阈值。
18.如权利要求15或16所述的手势判别装置，其中， 所述显示部件显示作业一览画面作为所述多个画面中的一个，该作业一览画面使用于通过所述用户进行空中敲击而选择输出属性的作业的多个按钮，根据所述用户进行空中轻拂而滚动地依次出现， 所述存储部件存储比所述作业一览画面以外的其他画面的所述距离阈值还要大的值作为所述作业一览画面的所述距离阈值。
19.一种手势判别装置，其特征在于，具有: 接收部件，从具有选择性地显示多个画面中的一个的显示部件和检测用户的动作的检测部件的可移动型的终端装置，接收通过所述检测部件检测出的所述动作； 存储部件，存储所述多个画面的每一个的、多个手势的各自的区分规则；以及 判别部件，从所述多个手势中，将通过所述接收部件接收到的所述动作所表示的手势，基于在检测出该动作时所述多个画面中的由所述显示部件所显示的画面即当前画面的所述规则进行判别。
20.一种手势判别方法，判别使用显示装置以及检测装置的用户进行了多个手势中的哪一个，该显示装置选择性地显示多个画面中的一个，该检测装置检测动作，其特征在于，该手势判别方法具有以下步骤: 将所述多个画面的每一个的、所述多个手势的各自的区分规则存储到存储装置； 使所述检测装置检测所述用户进行的所述动作； 使计算机从所述多个手势中，将通过所述检测装置检测出的所述动作所表示的手势，基于在检测出该动作时所述多个画面中的由所述显示装置所显示的画面即当前画面的所述规则进行判别。
【文档编号】G06F3/0484GK104076974SQ201410113790
【公开日】2014年10月1日 申请日期:2014年3月25日 优先权日:2013年3月25日
【发明者】杉浦博, 岩本博史, 泽田健一, 日比野健, 丸山伦子 申请人:柯尼卡美能达株式会社