本公开涉及信息处理装置和信息处理方法。
背景技术：
近年来，适用于将用于输入操作的操作主体的各种输入装置已随着操作主体多元化而被开发出来。具体来说，制造了将笔(触笔)、手指或两者设定为操作主体且以操作主体对检测表面的接近(即，近接)或接触为基础而检测输入的输入装置。
在这些将笔与手指两者设定为操作主体的输入装置中，显示单元和输入单元相互集成的输入装置已特别由通过手动操作来创作图像的创作者使用。人们认为，这是因为输入装置具有输入精密度以及创作者感觉如同创作者在纸上绘画图像的直观性(其是通过用笔直接在显示屏上执行输入而获得的)，并具有操作简易性(其是通过在不使用物件的情况下用手指直接执行输入而获得的)。
同时，在一些状况下，将笔与手指两者设定为操作主体的输入装置检测用户的无意输入。具体来说，在通过压敏方法检测笔与手指两者的状况下，难以在与笔的接触以及与手指(人体)的接触之间进行区分。应注意，在一些状况下，这种情况也在静电电容方法中发生。因此，例如当握住笔的手在用笔进行的输入期间与输入检测表面接触时，与笔的接触以及与手的接触两者被检测为输入。因此，检测了用户的无意输入。
关于这点，提供被称为所谓的手掌排斥(或手掌排除)的技术，其中这种技术用于抑制检测用户的无意输入或停用用户的无意输入。例如，专利文献1公开关于一种电子装置的发明，其中所述电子装置包含触摸屏、存储触摸屏上的触摸位置与手掌排斥区域之间的对应的存储器以及以所述对应为基础而停用对应于所检测的触摸位置的手掌排斥区域中的触摸操作的处理器。
引用文献列表
专利文献
专利文献1：jp2012-221358a
技术实现要素：
技术问题
然而，即使在专利文献1中所公开的电子装置中，也在一些状况下执行违背对输入进行操作的用户的意图的处理。例如，在用户并未预期的接触(下文中，也称为“手掌接触”)在不同于预先存储的手掌排斥区域的地方发生并对于触摸位置的状况下，以手掌接触为接触而检测的触摸操作并未被停用。因此，以触摸操作为基础而执行用户并未预期的显示处理等。
有鉴于此，本公开提出能够导致符合对将执行的输入进行操作的用户的意图的处理的机构。
问题的解决方案
根据本公开，提供一种信息处理装置，包含控制单元，其中所述控制单元被配置成控制基于根据操作主体的接近的输入的处理，这是以关于基于输入的检测结果的输入的所检测的位置的信息以及关于通过使用图像信息而估计的操作主体的位置的信息为基础的，所述图像信息是通过采集操作主体充当对象的图像而获得的。
此外，根据本公开，提供一种信息处理方法，包含使处理器控制基于根据操作主体的接近的输入的处理，这是以关于基于输入的检测结果的输入的所检测的位置的信息以及关于通过使用图像信息而估计的操作主体的位置的信息为基础的，所述图像信息是通过采集操作主体充当对象的图像而获得的。
此外，根据本公开，提供一种程序，用于使计算机实现控制功能，所述控制功能控制基于根据操作主体的接近的输入的处理，这是以关于基于输入的检测结果的输入的所检测的位置的信息以及关于通过使用图像信息而估计的操作主体的位置的信息为基础的，所述图像信息是通过采集操作主体充当对象的图像而获得的。
本发明的有利效果
如上所述，本公开提供能够导致符合对将执行的输入进行操作的用户的意图的处理的机构。应注意，上文所述的效果未必是限制性的。与上述效果一起或替代上述效果，可实现本说明书所述的效果中的任一个或可从本说明书领会的其它效果。
附图说明
图1是示意性地图示根据本公开的实施例的信息处理装置的外观的配置实例的图。
图2是图示基于接触区域的常规手掌排斥技术的图。
图3是图示基于所检测的位置的常规手掌排斥技术的图。
图4是图示使用多种常规检测方法的手掌排斥技术的图。
图5是图示根据本公开的第一实施例的信息处理装置的示意性功能配置的实例的框图。
图6是图示根据此实施例的信息处理装置中的ir标记的布置实例的图。
图7是图示此实施例中的空间坐标系统的设定实例的图。
图8是图示此实施例中的用户输入操作的实例的图。
图9a是相对于检测表面在上述z轴方向上从上方所见的图示用户执行操作的状态的图。
图9b是相对于检测表面在上述x轴方向上所见的图示用户执行操作的状态的图。
图10是在概念上示出由根据此实施例的信息处理装置执行的处理的概述的流程图。
图11是在概念上示出根据此实施例的信息处理装置中关于已知接触点的处理的流程图。
图12是在概念上示出根据此实施例的信息处理装置中关于新接触点的处理的流程图。
图13是图示用笔进行的输入的实例的图。
图14是图示用手指进行的输入的实例以及输入内插的实例的图。
图15是图示用握住笔的手指进行的输入操作的实例的图。
图16是图示在并未考虑用握住笔的手的手指进行的输入操作的状况下执行的处理的实例的图。
图17是图示根据本公开的第二实施例的信息处理装置的示意性功能配置的实例的框图。
图18是图示此实施例中的用户输入操作的实例的图。
图19是图示本公开的第三实施例中的多点触摸操作的实例的图。
图20是在概念上示出根据此实施例的信息处理装置中的多点触摸的输入确定处理的流程图。
图21是图示根据本公开的第四实施例的信息处理装置的示意性功能配置的实例的框图。
图22a是图示以单个所估计的位置为基础而设定的有效检测区域的实例的图。
图22b是图示以多个所估计的位置为基础而设定的有效检测区域的实例的图。
图23是图示由根据此实施例的信息处理装置执行的处理的图。
图24是图示由根据此实施例的信息处理装置执行的处理的图。
图25是图示由根据此实施例的信息处理装置执行的处理的图。
图26是图示由根据此实施例的信息处理装置执行的处理的图。
图27是图示在根据此实施例的修改实例的信息处理装置中设定的有效检测区域的实例的图。
图28是图示在根据此实施例的修改实例的信息处理装置中设定的有效检测区域的另一实例的图。
图29是示出根据本公开的实施例的信息处理装置的硬件配置的说明图。
具体实施方式
下文中，将参照附图来详细地描述本公开的优选实施例。应注意，在本说明书和附图中，以相同附图标记来表示具有实质上相同的功能和结构的结构元件，并且省去这些结构元件的重复解释。
应注意，将按以下次序进行描述。
1.根据本公开的实施例的信息处理装置的概述
2.第一实施例(基本形式)
2-1.装置的配置
2-2.装置的处理
2-3.第一实施例的总结
2-4.修改实例
3.第二实施例(基于笔的姿态的处理)
3-1.装置的配置
3-2.第二实施例的总结
3-3.修改实例
4.第三实施例(多个同时输入的确定)
4-1.装置的配置
4-2.装置的处理
4-3.第三实施例的总结
5.第四实施例(触摸输入的有效检测区域的设定)
5-1.装置的配置
5-2.装置的处理
5-3.第四实施例的总结
5-4.修改实例
6.根据本公开的实施例的信息处理装置的硬件配置
7.总结
<1.根据本公开的实施例的信息处理装置的概述>
首先，将参照图1来描述根据本公开的实施例的信息处理装置100的概述。图1是示意性地图示根据本公开的实施例的信息处理装置100的外观的配置实例的图。
信息处理装置100具有输入检测功能和显示输出功能。具体来说，输入检测功能具有检测表面并检测对检测表面的用户输入。此外，显示输出功能以输入检测功能所检测的输入为基础而输出图像。因此，信息处理装置100可基于用户的输入操作而输出图像。
例如，如图1所图示，信息处理装置100包含具有输入检测功能的一部分的触摸输入单元106以及具有显示输出功能的一部分的投影单元112。信息处理装置100使触摸输入单元106检测例如用笔200进行的输入，并使投影单元112以所检测的输入为基础而将图像投影到触摸输入单元106的检测表面上。
本文中，关于使用触摸屏等进行的输入的操作主体是笔和手指。绘画图像的可操作性通过使用如上所述的两种操作主体来提高。
然而，在笔与手指两者如上所述用作操作主体的状况下，在一些状况下，检测了用户的无意输入。关于这点，根据被称为手掌排斥的技术，避免用户的无意输入的检测或停用所检测的输入。下文中，将参照图2到图4来描述常规手掌排斥技术。图2是图示基于接触区域的常规手掌排斥技术的图，图3是图示基于所检测的位置的常规手掌排斥技术的图，并且图4是图示使用多种常规检测方法的手掌排斥技术的图。
作为手掌排斥技术，存在以所检测的输入的接触区域的大小为基础而确定借以执行输入的笔或手指并停用不使用笔或手指进行的输入的技术。例如，在用户如图2所图示用笔200执行输入的状况下，笔200的笔尖与检测表面之间的接触点t1的接触区域对应于预先存储的笔200的接触区域，并且因此在接触点t1处检测的输入被处理为有效输入。此外，握住笔200的手的侧表面与检测表面之间的接触点t3的接触区域大于笔200的接触区域，并且因此在接触点t3处检测的输入被处理为无效输入。
然而，在此技术中，在关于所检测的输入的接触区域对应于笔或手指的接触区域的状况下，即使在所检测的输入是用户的无意输入的状况下，也并未停用所检测的输入。例如，在确定握住笔200的手的手指与检测表面之间的接触点t2的接触区域(图示在图2中)对应于笔200的接触区域的状况下，在接触点t2处检测的输入被处理为有效输入。
此外，作为另一手掌排斥技术，存在在检测了多个输入的状况下启用在预定方向上远离输入的任何其它所检测的位置的所检测的位置处的输入并停用其它输入的技术。例如，人们认为，笔200与检测表面之间的接触点相比任何其它接触点定位在较远离用户的方向上。因此，在此技术中，相比其它接触点定位在较远离用户的方向上的接触点被处理为有效输入，并且其它接触点处的输入被处理为无效输入。
然而，在此技术中，在握住笔200的手的腕部弯曲的状况下，在一些状况下，确定了违背用户的意图的输入的启用或停用。例如，如图3所图示，握住笔200的手的腕部在朝向用户的方向上弯曲(向内弯曲)，与手指的接触点t2相比笔200与检测表面之间的接触点t1定位在较远离用户的方向上。这特别对于许多惯用左手的用户来说是常见的。在此状况下，接触点t1处的输入被处理为无效输入，并且接触点t2处的输入被处理为有效输入。
此外，作为又一手掌排斥技术，存在取决于操作主体的类型而使用不同检测方法的技术。例如，电磁感应方法用于检测用笔进行的输入，并且静电电容方法用于检测用手指进行的输入。在此状况下，例如，笔200与检测表面之间的接触点t1处的输入(图示在图4中)被处理为用笔200进行的输入。此外，手指与检测表面之间的接触点t4和t5处的输入被处理为用手指进行的输入。
如上所述，在此技术中，可以在用笔进行的输入与用手指进行的输入之间进行区分。因此，在用户想要仅用笔执行输入的状况下，可以通过导致用手指进行的输入的检测功能停止来较安全地执行手指排斥。此外，相反，也可以仅导致用手指进行的输入被检测。
然而，在使用用笔进行的输入与用手指进行的输入两者的状况下，在一些状况下，在此技术中，也产生用户并未预期的处理。这是因为，难以在用户打算执行输入并使其手指与检测表面接触的接触点与用户在不打算执行输入的情况下使其手指或其身体的另一部分接触的接触点之间进行区分。因此，产生了用户并未预期的处理。应注意，关于这点，为了避免由所述处理导致的应力以及操作效率的降低，人们认为，一些用户导致用手指进行的输入的检测功能在用笔进行的输入操作中停止。因此，可以说，使用用笔进行的输入以及用手指进行的输入两者仍存在技术问题。
如上所述，在常规手掌排斥技术中，在使用用笔进行的输入以及用手指进行的输入两者的状况下，可能执行违背用户的意图的处理。
有鉴于此，在本公开中，信息处理装置100控制基于根据操作主体的接近的输入的处理，这是以关于基于输入的检测结果的输入的所检测的位置的信息以及关于通过使用图像信息而估计的操作主体的位置的信息为基础的，所述图像信息是通过采集操作主体充当对象的图像而获得的。
例如，如图1所图示，信息处理装置100不仅包含触摸输入单元106和投影单元112，还包含成像单元102。信息处理装置100从触摸输入单元106获取用笔200或手指进行的输入的检测结果。此外，信息处理装置100获取由成像单元102采集并且笔200或手指充当对象的图像。接着，信息处理装置100以所述输入的检测结果为基础而指定已检测所述输入的位置并以所述图像为基础而估计笔200或手指的位置。接着，在所检测的位置和所估计的位置的二维位置不相互对应的状况下，信息处理装置100不处理所检测的位置处的输入，并且在所检测的位置和所估计的位置的二维位置相互对应的状况下，信息处理装置100执行基于所检测的位置处的输入的处理。
因此，基于输入的处理不仅以基于操作主体的接近的输入的检测结果为基础而且以出现操作主体的图像信息为基础来确定。这使得与仅使用基于操作主体的接近的输入的检测结果的状况相比，可以提高处理的准确度。因此，可以导致符合对将执行的输入进行操作的用户的意图的处理。下文中，将描述信息处理装置100的细节。应注意，为了便于解释，根据第一实施例到第四实施例的信息处理装置100通过将对应于实施例的数字添加到末尾来区分，例如，信息处理装置100-1到信息处理装置100-4。
应注意，在每一实施例中，术语具有以下含义。
所估计的位置：表示以图像信息为基础而估计的操作主体的位置，是三维位置，并且包含对应于输入的检测表面的位置(二维位置)。
所估计的接触区域(所估计的区域)：表示包含所估计的位置的二维位置的输入的检测表面上的区域。
输入的所检测的位置(所检测的位置)：表示以操作主体的接近为基础而检测的输入的检测表面上的位置。
有效检测区域(检测区域)：表示检测了输入的检测表面上的区域。
<2.第一实施例(基本形式)>
上文中，已描述根据本公开的实施例的信息处理装置100的概述。接着，将描述根据本公开的第一实施例的信息处理装置100-1。
<2-1.装置的配置>
首先，将参照图5来描述根据本公开的第一实施例的信息处理装置100-1的功能配置。图5是图示根据本公开的第一实施例的信息处理装置100-1的示意性功能配置的实例的框图。
如图5所图示，信息处理装置100-1包含成像单元102、输入位置估计单元104、触摸输入单元106、输入确定单元108、应用程序110和投影单元112。
(成像单元)
成像单元102采集操作主体充当对象的图像。具体来说，成像单元102被布置成使得触摸输入单元106的检测表面和检测表面的周边落入成像范围内并且将所采集的图像提供给输入位置估计单元104。应注意，成像单元102可以是可见光相机或红外线(ir)相机，或者可以是可见光相机与ir相机的组合。此外，可设置多个成像单元102。此外，代替成像单元102或除成像单元102之外，可还设置测量单元，其中所述测量单元由关于能够三维测量操作主体的任意传感器系统的传感器构成。
此外，成像单元102可由包含至少两个相机(ir相机)作为构成元件的立体相机构成。
(输入位置估计单元)
充当控制单元的一部分的输入位置估计单元104以图像信息为基础而估计操作主体的位置，其中所述图像信息是通过采集操作主体充当对象的图像而获得的。具体来说，操作主体的位置是接近检测表面的位置或不接近检测表面的位置。下文中，操作主体的所估计的位置还将被称为“所估计的位置”。此外，操作主体包含由用户操作的物件，例如，笔状物件或用户的手或手指，并且输入位置估计单元104具有与此对应的笔输入位置估计功能和手指输入位置估计功能。此外，将参照图6到图8来详细描述输入位置估计功能。图6是图示根据本实施例的信息处理装置100-1中的ir标记的布置实例的图，并且图7是图示此实施例中的空间坐标系统的设定实例的图。此外，图8是图示本实施例中的用户输入操作的实例的图。
首先，输入位置估计单元104估计触摸输入单元106的检测表面的位置。例如，如图6所图示，充当红外光发射器的ir标记m1到m4布置在检测表面上。
接着，输入位置估计单元104以检测表面的所估计的位置为基础来设定空间坐标系统。例如，如图7所图示，输入位置估计单元104设定空间坐标系统，其中检测表面的中心充当原点o，检测表面的长边方向充当x轴，检测表面的短边方向充当y轴，并且垂直于检测表面的方向充当z轴。
下文中，输入位置估计单元104以从成像单元102提供的图像为基础而估计操作主体的位置。
具体来说，输入位置估计单元104通过使用笔输入检测功能来确定笔200-1的所估计的位置(下文中，也称为“所估计的笔输入位置”)。更具体来说，输入位置估计单元104以充当在图像中出现的红外光发射器的ir标记为基础来检测笔200-1，并且估计执行输入的所检测的笔200-1的位置(下文中，也称为“输入部分”)的位置。例如，如图6所图示，ir标记m5和m6附接到笔200-1的两端。有鉴于此，输入位置估计单元104以ir标记m5和m6存在与否为基础来检测笔200-1。接着，以在立体图像中出现的ir标记m5和m6的位置以及形成成像单元102的相机之间的视差为基础来指定笔200-1的空间位置和姿态。例如，图8所图示的笔200-1的笔尖被确定为所估计的笔输入位置p1。应注意，在整个操作主体或操作主体的大部分是输入部分的状况下，可省略输入部分的指定。
此外，输入位置估计单元104通过使用手指输入检测功能而估计手指的位置。下文中，手指的所估计的位置还将被称为“所估计的手指输入位置”。具体来说，输入位置估计单元104以深度图(其以从成像单元102提供的立体图像为基础而产生)为基础而检测充当操作主体的手指，并估计所检测的手指的位置。例如，输入位置估计单元104通过在使用立体图像以及以立体图像为基础而产生的深度图的情况下执行图像识别处理来检测手指。接着，输入位置估计单元104将所检测的手指的指尖的位置(即，xyz轴上的坐标)确定为所估计的手指输入位置。例如，图8所图示的左手的食指的指尖被确定为所估计的手指输入位置f2。应注意，此时，可检测除操作主体之外的物件。例如，除操作主体之外的物件是人体除手或手指之外的其它部分(例如，手臂)或者并非人体的物件。此外，用户的人体除手或手指之外的其它部分可被识别为操作主体。
应注意，ir标记可以是可拆卸的。此外，可以用户的设定操作等为基础来切换ir标记是否发射光或ir标记是否接收光。此外，可通过使用ir标记来检测用户的手指以及笔200-1。例如，在用安装了图6所图示的ir标记的手指执行输入的状况下，输入位置估计单元104以ir标记存在与否为基础而检测手指。此外，相反，可通过使用图像识别处理来检测笔200-1和手指。
此外，输入位置估计单元104以图像信息为基础而将包含对应于所估计的位置处的输入的检测表面的位置(即，检测表面上充当参考的二维位置)的区域(下文中，也称为“所估计的接触区域”)确定为所估计的区域。将参照图8来详细描述所估计的接触区域。
当以采集图像的成像单元102所获得的图像信息为基础而估计操作主体的位置时，输入位置估计单元104确定包含对应于操作主体的所估计的位置处的输入的检测表面的位置的所估计的接触区域。具体来说，当估计操作主体的位置时，输入位置估计单元104将相对于检测表面上充当参考的操作主体的所估计的二维位置处于预定距离内的范围确定为所估计的接触区域。例如，当图8所图示的笔200-1的笔尖被确定为所估计的笔输入位置p1时，输入位置估计单元104将虚线所指示的圆圈(其中所估计的笔输入位置p1的二维位置充当中心)的内部确定为用笔200-1进行的输入的所估计的接触区域(下文中，也称为“所估计的笔输入接触区域”)pa1。此外，当图8所图示的左手的食指的指尖被确定为所估计的手指输入位置p2时，输入位置估计单元104将点线所指示的圆圈(其中所估计的手指输入位置f2的二维位置充当中心)的内部确定为用手指进行的输入的所估计的接触区域(下文中，也称为“所估计的手指输入接触区域”)fa2。
应注意，所估计的接触区域的大小可根据所估计的位置的准确度或精确度来改变。例如，如果所估计的位置与所检测的位置之间的偏移较小或所估计的位置的变化较小，那么所估计的接触区域被设定为较小。此外，所估计的接触区域可动态地改变。此外，所估计的接触区域的形状不限于圆形形状，并且可以是另一任意形状。例如，所估计的接触区域的形状可以是椭圆形形状、另一弯曲形状、多边形形状等。
此外，在操作主体是笔状物件的状况下，输入位置估计单元104确定用除所述操作主体之外的操作主体进行的输入被忽略的区域(下文中，也称为“笔输入排除区域”)。例如，输入位置估计单元104设定图8所图示的所估计的笔输入位置p1的笔输入排除区域oa1。作为实例，笔输入排除区域oa1被设定为相对于所检测的笔200-1的中心点处于预定距离内的范围的区域。
(触摸输入单元)
充当检测装置的触摸输入单元106检测用操作主体进行的输入。具体来说，触摸输入单元106以操作主体的接近(近接或接触)为基础而检测输入。接着，触摸输入单元106将指定了输入的所检测的位置的检测结果提供给输入确定单元108。更具体来说，触摸输入单元106通过使用压敏方法而检测输入。例如，触摸输入单元106以操作主体的接触所导致的压力存在与否或压力的量值为基础而检测输入。应注意，触摸输入单元106可使用另一输入检测方法，例如，静电电容方法或电磁感应方法。此外，触摸输入单元106可使用多种输入检测方法，并可将不同输入检测方法用于相应类型的操作主体。
此外，触摸输入单元106产生指示所检测的输入的接触点的信息(下文中，也称为“接触点信息”)并将所产生的接触点信息提供给输入确定单元108。例如，接触点信息包含指示检测表面上的接触点的位置的信息(即，检测表面上的接触点的坐标)以及用于识别接触点的识别信息(例如，id)。应注意，关于下文所述的已知接触点，触摸输入单元106在具有相同识别信息的接触点信息中更新指示接触点的位置的信息。
(输入确定单元)
充当控制单元的一部分的输入确定单元108以从触摸输入单元106获得的输入的检测结果所指示的输入的所检测的位置以及充当输入位置估计单元104所估计的操作主体的位置的所估计的位置为基础而控制基于输入的处理。具体来说，输入确定单元108根据所估计的位置是否对应于所检测的位置而控制对应于所述处理的检测表面的位置。所估计的位置是否对应于所检测的位置是以所检测的位置是否包含在包含对应于所估计的位置处的输入的检测表面的位置的所估计的接触区域中为基础来确定的。此外，将参照图8来详细描述输入确定单元108的功能。
首先，输入确定单元108从触摸输入单元106获取接触点信息作为输入检测结果，并且从输入位置估计单元104获取指示所估计的位置的信息。接着，输入确定单元108对每一段接触点信息执行以下接触点确定处理。
在所估计的位置的二维位置对应于所检测的位置的状况下，输入确定单元108将所检测的位置确定为所述处理的位置。例如，输入确定单元108将接触点t6确定为用笔200-1进行的输入的有效接触点(下文中，也称为“笔输入接触点”)，其中接触点t6是关于图8所图示的笔200-1的所估计的笔输入位置p1的所估计的笔输入接触区域pa1中所包含的所检测的位置。应注意，被确定为笔输入接触点的接触点作为通知而传输到应用程序110。
此外，在所估计的位置的二维位置不对应于所检测的位置的状况下，输入确定单元108不将所检测的位置确定为所述处理的位置。例如，并未包含在关于图8所图示的所估计的笔输入位置p1的所估计的笔输入接触区域pa1中的接触点t7并未被确定为笔输入接触点，而是被确定为无效接触点。也就是说，接触点t7并未作为通知传输到应用程序110。
类似地，即使在除操作主体之外的物件布置在触摸输入单元106的检测表面上并且输入被检测的状况下，除非所述输入的接触点包含在所估计的接触区域中，否则所述物件的接触点也被确定为无效接触点。例如，即使在除操作主体之外的图8所图示的物件10布置在检测表面上并且接触点t12到t15存在的状况下，接触点t12到t15也并未被确定为笔输入接触点或下文所述的手指输入接触点，这是因为接触点t12到t15并未包含在下文所述的所估计的笔输入接触区域pa1和所估计的手指输入接触区域fa1到fa3中的任一个中。也就是说，接触点t12到t15并未作为通知传输到应用程序，并且基于接触点t12到t15处的输入的处理并未被执行。
应注意，即使在操作主体是手指的状况下，也类似地执行所述处理。例如，关于图8所图示的左手的食指和拇指的所估计的手指输入位置f2和f3的相应所估计的手指输入接触区域fa2和fa3中所包含的接触点t9和t10被确定为用手指进行的输入的有效接触点(下文中，也称为“手指输入接触点”)。下文中，在并未区分笔输入接触点和手指输入接触点的状况下，那些输入接触点被统称为“有效接触点”。
此外，输入确定单元108根据操作主体是否是由用户操作的物件而控制关于由用户操作的物件的附近检测的输入的处理的位置。具体来说，在操作主体是笔状物件的状况下，输入确定单元108将在笔状物件的附近检测的输入的所检测的位置确定为无效接触点，并且是除用笔状物件进行的输入之外的输入。
例如，输入确定单元108将关于图8所图示的所估计的笔输入位置p1的笔输入排除区域oa1中所包含的接触点t7确定为无效接触点。此外，输入确定单元108还以操作主体的误检测为基础而将关于被估计为手指的位置的位置f1的所估计的接触区域fa1中所包含的接触点t8确定为无效接触点，这是因为接触点t8包含在笔输入排除区域oa1中。
此外，所述处理的位置可根据操作主体的所估计的位置来控制。具体来说，输入确定单元108以所估计的位置与检测表面之间的位置关系为基础而控制所述处理的位置。此外，将参照图9a和图9b来描述基于所估计的位置与检测表面之间的位置关系的所述处理的位置的控制。图9a是相对于检测表面在上述z轴方向上从上方所见的图示用户执行操作的状态的图，并且图9b是相对于检测表面在上述x轴方向上所见的图示用户执行操作的状态的图。
将描述以二维位置为基础而控制所述处理的位置的状况，其中所述二维位置是操作主体的所估计的位置并且平行于检测表面。应注意，在本文中，为了便于解释，假设成像单元102的光轴垂直于检测表面。例如，在仅以平行于图9a所图示的检测平面的xy轴方向上的位置为基础而控制所述处理的位置并且针对所估计的手指输入位置f4而设定所估计的接触区域的状况下，实质上确定物件10的接触点t16是用手指输入，并且接触点t16被确定为手指输入接触点。然而，实际上，如图9b所图示，手指定位在物件10上方，并且在一些状况下，用户不打算用手指执行输入。应注意，虽然已在上文描述中描述操作主体是手指的实例，但相同情形适用于操作主体是笔200-1的状况。
有鉴于此，输入确定单元108以操作主体的所估计的位置与检测表面之间的位置关系为基础而控制所述处理的位置。具体来说，输入确定单元108以所估计的位置与检测表面之间的距离为基础而控制是否设定所估计的接触区域。例如，在所估计的位置与检测表面之间的距离等于或大于预定长度的状况下，输入确定单元108不设定所估计的接触区域。据此，即使在除操作主体之外的物件布置在检测表面上并且操作主体定位在物件上方或附近的状况下，也可以抑制以物件的接触点为基础执行处理。应注意，已在上文描述中描述通过使用所估计的位置与检测表面之间的距离来控制是否设定所估计的接触区域的实例。然而，可通过使用z轴方向上的所估计的位置的坐标信息来控制是否设定所估计的接触区域。
上文中，已描述输入确定单元108的基本功能。本文中，上述基本功能是在以下假设下行使的功能：操作主体的所估计的位置与所检测的位置之间没有偏移，或者即使在存在偏移的状况下，偏移也足够小以使得所检测的位置可处于所估计的接触区域中。
然而，如果操作主体的移动较快，那么上述偏移较大。这是因为由于所估计的位置的确定处理比触摸输入的检测处理复杂，因此所估计的位置的确定处理的延迟大于触摸输入的检测处理的延迟。因此，即使在输入继续的状况下，在一些状况下，有效接触点也处于所估计的接触区域之外。接着，已是有效接触点的接触点被确定为无效接触点，并且因此基于输入的处理中断。这可导致用户并未预期的结果。
有鉴于此，输入确定单元108在已被检测且正被连续检测的输入的接触点(下文中，也称为“已知接触点”)与新检测的输入的接触点(下文中，也称为“新接触点”)之间执行不同类型的接触点确定处理。具体来说，关于已知接触点，输入确定单元108以关于已知接触点的所估计的位置的所估计的接触区域存在与否为基础而确定接触点的属性。
例如，关于被确定为笔输入接触点的已知接触点，输入确定单元108以关于笔输入接触点的所估计的笔输入位置的所估计的笔输入接触区域是否连续存在为基础而确定已知接触点是否连续充当笔输入接触点。同时，新接触点尚未经历接触点确定处理，并且因此接触点确定处理是通过使用上述基本功能来执行。应注意，相同情形适用于手指输入接触点的状况。
因此，在所估计的输入接触区域连续存在的状况下，维持了接触点的有效性。因此，即使在操作主体高速移动的状况下，基于输入的处理也不中断。因此，可以在抑制产生用户并未预期的处理结果的同时高速执行操作。
应注意，可以以过去所估计的位置为基础来校正所估计的位置。例如，所估计的位置按时间序列存储，并且输入确定单元108以按时间序列存储的所估计的位置为基础通过使用移动预测处理来校正当前所估计的位置。例如，移动预测处理可以是使用卡曼滤波器等的内插处理。此外，所估计的位置的校正可由输入位置估计单元104执行。此外，可仅校正检测表面上充当参考的所估计的位置的二维位置。
(应用程序)
将参照图5来继续信息处理装置100-1的配置的描述。应用程序110以从输入确定单元108获得的输入确定结果为基础而执行处理。具体来说，应用程序110执行基于由输入确定单元108作为通知传输的接触点处的输入的处理。例如，作为处理，应用程序110响应于作为通知而传输的接触点处的输入而产生包含显示物件(例如，字母、图形、符号或图片)的图像，并使投影单元112投影所产生的图像。此外，作为处理，应用程序110可执行基于作为通知而传输的接触点处的输入的内部处理，例如，存储处理、计算处理、通信处理等。
(投影单元)
投影单元112投影从应用程序110提供的图像。具体来说，投影单元112将图像投影到触摸输入单元106的检测表面上。应注意，可从应用程序提供适用于充当投影目标的检测表面的形状的图像，并且可按例如投影映射的形式投影所述图像。
<2-2.装置的处理>
接着，将描述由根据本实施例的信息处理装置100-1执行的处理。
(处理的概述)
首先，将参照图10来描述由根据本实施例的信息处理装置100-1执行的处理的概述。图10是在概念上示出由根据本实施例的信息处理装置100-1执行的处理的概述的流程图。
信息处理装置100-1获取关于触摸输入的接触点信息(步骤s302)。具体来说，触摸输入单元106新产生关于新接触点的接触点信息，并更新关于已知接触点信息的接触点的坐标信息。接着，输入确定单元108获取所产生或所更新的接触点信息。
接着，信息处理装置100-1确定所估计的笔输入位置(步骤s304)。具体来说，输入位置估计单元104以成像单元102所采集的ir立体图像为基础而检测笔200-1，并将所检测的笔200-1的笔尖确定为所估计的笔输入位置。
接着，信息处理装置100-1设定关于所估计的笔输入位置的所估计的笔输入接触区域和笔输入排除区域(步骤s306)。具体来说，输入位置估计单元104以所确定的所估计的笔输入位置为基础而设定所估计的笔输入接触区域。此外，输入位置估计单元104以所检测的笔200-1的位置为基础而设定笔输入排除区域。
接着，信息处理装置100-1确定所估计的手指输入位置(步骤s308)。具体来说，输入位置估计单元104以成像单元102所采集的立体图像为基础而检测手指，并将所检测的手指的指尖确定为所估计的手指输入位置。
接着，信息处理装置100-1设定关于所估计的手指输入位置的所估计的手指输入接触区域(步骤s310)。具体来说，输入位置估计单元104以所确定的所估计的手指输入位置为基础而设定所估计的手指输入接触区域。
接着，信息处理装置100-1确定已知接触点的有效性(步骤s312)。具体来说，输入确定单元108以诸段所获取的接触点信息中关于已知接触点的接触点信息为基础而确定已知接触点的有效性。下文将描述所述处理的细节。
接着，信息处理装置100-1确定新接触点的有效性(步骤s314)。具体来说，输入确定单元108以诸段所获取的接触点信息中关于新接触点的接触点信息为基础而确定新接触点的有效性。下文将描述所述处理的细节。
接着，信息处理装置100-1将关于有效接触点的信息提供给应用程序110(步骤s316)。具体来说，输入确定单元108将关于已知接触点与新接触点之间被确定为有效接触点的接触点的信息提供给应用程序110。例如，关于接触点的信息包含例如接触点的坐标信息和属性信息等信息。应注意，可不仅将关于有效接触点的信息，而且将关于无效接触点的信息提供给应用程序110。
(关于已知接触点的处理)
接着，将参照图11来描述关于已知接触点的处理。图11是在概念上示出根据本实施例的信息处理装置100-1中关于已知接触点的处理的流程图。
信息处理装置100-1确定未确定的已知接触点存在与否(步骤s402)。具体来说，输入确定单元108确定尚未确定接触点的有效性的已知接触点是否存在。
在确定未确定的已知接触点存在的状况下，信息处理装置100-1选择单个未确定的已知接触点(步骤s404)。具体来说，在多个未确定的已知接触点存在的状况下，输入确定单元108选择多个已知接触点中的一个。在存在单个未确定的已知接触点的状况下，选择单个已知接触点。
接着，信息处理装置100-1确定已知接触点是否已在先前被确定为笔输入接触点(步骤s406)。具体来说，输入确定单元108确定所选择的已知接触点的属性是否是笔输入接触点。
在确定已知接触点已在先前被确定为笔输入接触点的状况下，信息处理装置100-1确定所估计的笔输入接触区域存在与否(步骤s408)。具体来说，输入确定单元108确定是否设定所估计的笔输入接触区域。应注意，在一些状况下，设定多个所估计的笔输入接触区域，并且因此输入确定单元108可确定对应于被确定为笔输入接触点的已知接触点的所估计的笔输入接触区域存在与否。
在确定所估计的笔输入接触区域存在的状况下，信息处理装置100-1将已知接触点确定为笔输入接触点(步骤s410)。具体来说，在设定所估计的笔输入接触区域的状况下，输入确定单元108维持已知接触点的属性。
在确定所估计的笔输入接触区域不存在的状况下，信息处理装置100-1将已知接触点确定为无效接触点(步骤s412)。具体来说，在并未设定所估计的笔输入接触区域的状况下，输入确定单元108将已知接触点的属性改变为无效接触点。
此外，在步骤s406中确定已知接触点在先前尚未被确定为笔输入接触点的状况下，信息处理装置100-1确定已知接触点是否已在先前被确定为手指输入接触点(步骤s414)。具体来说，在确定已知接触点的属性不是笔输入接触点的状况下，输入确定单元108确定已知接触点的属性是否是手指接触点。
在确定已知接触点已在先前被确定为手指输入接触点的状况下，信息处理装置100-1确定所估计的手指输入接触区域存在与否(步骤s416)。具体来说，在确定已知接触点的属性是手指接触点的状况下，输入确定单元108确定是否设定所估计的手指输入接触区域。应注意，如同在所估计的笔输入接触区域的状况下，输入确定单元108可确定对应于被确定为手指输入接触点的已知接触点的所估计的手指输入接触区域存在与否。
在确定所估计的手指输入接触区域存在的状况下，信息处理装置100-1将已知接触点确定为手指输入接触点(步骤s418)。具体来说，在设定所估计的手指输入接触区域的状况下，输入确定单元108维持已知接触点的属性。
在确定所估计的手指输入接触区域不存在的状况下，信息处理装置100-1将已知接触点确定为无效接触点(步骤s420)。具体来说，在并未设定所估计的手指输入接触区域的状况下，输入确定单元108将已知接触点的属性改变为无效接触点。
(关于新接触点的处理)
接着，将参照图12来描述关于新接触点的处理。图12是在概念上示出根据本实施例的信息处理装置100-1中关于新接触点的处理的流程图。
信息处理装置100-1确定未确定的新接触点存在与否(步骤s502)。具体来说，输入确定单元108确定尚未确定接触点的有效性的新接触点是否存在。
在确定未确定的新接触点存在的状况下，信息处理装置100-1选择单个未确定的新接触点(步骤s504)。具体来说，在多个未确定的新接触点存在的状况下，输入确定单元108选择多个新接触点中的一个。在存在单个未确定的新接触点的状况下，选择单个新接触点。
接着，信息处理装置100-1确定所估计的笔输入接触区域存在与否(步骤s506)。具体来说，输入确定单元108确定是否设定所估计的笔输入接触区域。
在确定所估计的笔输入接触区域存在的状况下，信息处理装置100-1确定是否已确定笔输入接触点(步骤s508)。具体来说，在设定所估计的笔输入接触区域的状况下，输入确定单元108确定属性是笔输入接触点的另一接触点存在与否。应注意，在设定多个所估计的笔输入接触区域的状况下，输入确定单元108确定在所有所估计的笔输入接触区域中的每一个中，属性是笔输入接触点并且对应于所估计的笔输入接触区域的接触点存在与否。
在确定尚未确定笔输入接触点的状况下，信息处理装置100-1确定新接触点是否包含在所估计的笔输入接触区域中(步骤s510)。具体来说，在属性是笔输入接触点的接触点并不存在的状况下，输入确定单元108确定新接触点是否包含在所估计的笔输入接触区域中。应注意，在设定多个所估计的笔输入接触区域的状况下，输入确定单元108确定在属性是笔输入接触点的接触点并不存在的所有所估计的笔输入接触区域中的每一个中，新接触点是否包含在所估计的笔输入接触区域中。
在确定新接触点包含在手指输入接触区域中的状况下，信息处理装置100-1确定新接触点是否是最接近所估计的笔输入位置的接触点(步骤s512)。具体来说，在新接触点包含在所估计的笔输入接触区域中的状况下，输入确定单元108确定相比任何其它接触点，新接触点是否较接近所估计的笔输入接触区域中的所估计的笔输入位置的二维位置。
在确定新接触点是最接近所估计的笔输入位置的接触点的状况下，信息处理装置100-1将新接触点确定为笔输入接触点(步骤s514)。具体来说，在新接触点相比任何其它接触点较接近所估计的笔输入接触区域中的所估计的笔输入位置的二维位置的状况下，输入确定单元108将新接触点的属性设定为笔输入接触点。
此外，在步骤s508中确定已确定笔输入接触点的状况下，在步骤510中确定新接触点并未包含在所估计的笔输入接触区域中的状况下，或者在步骤s512中并未确定新接触点最接近所估计的笔输入位置的二维位置的状况下，信息处理装置100-1确定新接触点是否包含在笔输入排除区域中(步骤s516)。具体来说，输入确定单元108确定新接触点是否包含在笔输入排除区域中。
在确定新接触点包含在笔输入排除区域中的状况下，信息处理装置100-1将新接触点确定为无效接触点(步骤s518)。具体来说，在确定新接触点包含在笔输入排除区域中的状况下，输入确定单元108将新接触点的属性设定为无效接触点。
此外，在步骤s506中确定所估计的笔输入接触区域不存在的状况下，或者在步骤s516中确定新接触点并未包含在笔输入排除区域中的状况下，信息处理装置100-1确定所估计的手指输入接触区域存在与否(步骤s520)。具体来说，输入确定单元108确定是否设定所估计的手指输入接触区域。
在确定所估计的手指输入接触区域存在的状况下，信息处理装置100-1确定是否已确定手指输入接触点(步骤s522)。具体来说，在设定所估计的手指输入接触区域的状况下，输入确定单元108确定属性是手指输入接触点的另一接触点存在与否。应注意，在设定多个所估计的手指输入接触区域的状况下，输入确定单元108确定在所有所估计的手指输入接触区域中的每一个中，属性是手指输入接触点并且对应于所估计的手指输入接触区域的接触点存在与否。
在确定尚未确定所估计的手指输入接触区域的状况下，信息处理装置100-1确定新接触点是否包含在所估计的手指输入接触区域中(步骤s524)。具体来说，在属性是手指输入接触点的接触点并不存在的状况下，输入确定单元108确定新接触点是否包含在所估计的手指输入接触区域中。应注意，在设定多个所估计的手指输入接触区域的状况下，输入确定单元108确定在属性是手指输入接触点的接触点并不存在的所有所估计的手指输入接触区域中的每一个中，新接触点是否包含在所估计的手指输入接触区域中。
在确定新接触点包含在所估计的手指输入接触区域中的状况下，信息处理装置100-1将新接触点确定为手指输入接触点(步骤s526)。具体来说，在确定新接触点包含在所估计的手指输入接触区域中的状况下，输入确定单元108将新接触点的属性设定为手指输入接触点。
此外，在步骤s520中确定所估计的手指输入接触区域并不存在的状况下，在步骤s522中确定已确定手指输入接触点的状况下，或者在步骤s524中确定新接触点并未包含在所估计的手指输入接触区域中的状况下，信息处理装置100-1将新接触点确定为无效接触点(步骤s528)。具体来说，输入确定单元108将新接触点的属性设定为无效接触点。
<2-3.第一实施例的总结>
如上所述，根据本公开的第一实施例，信息处理装置100-1控制基于根据操作主体的接近的输入的处理，这是以关于基于输入的检测结果的输入的所检测的位置的信息以及关于通过使用图像信息而估计的操作主体的位置(所估计的位置)的信息为基础的，所述图像信息是通过采集操作主体充当对象的图像而获得的。因此，因为基于输入的处理是不仅以基于操作主体的接近的输入的检测结果为基础，而且以出现操作主体的图像为基础来执行的，所以与仅使用基于操作主体的接近的输入的检测结果的状况相比，可以提高所述处理的准确度。因此，可以导致符合对将执行的输入进行操作的用户的意图的处理。此外，根据本实施例，估计了当前操作的操作主体的输入位置，并且因此可以选择作为将处理的目标并基于实际执行的操作的输入。因此，即使在用户每次以不同形式执行操作的状况下，也可以使应用程序110等执行基于用户所预期的输入的处理。
此外，上述所估计的位置包含不接近上述输入的检测表面的位置。本文中，所采集的图像的处理比触摸输入的检测处理慢，并且因此在一些状况下，时间滞后在检测触摸输入的时间点与完成图像处理的时间点之间产生。例如，在一些状况下，在检测触摸输入的时间点获得的图像处理结果是在检测触摸输入之前采集的图像。在此状况下，如果估计了处于输入实际上被执行的状态下的操作主体的位置，那么在检测触摸输入的时间点并未估计操作主体的位置。因此，时间滞后在触摸输入的检测与操作主体的位置的估计之间产生。相反，根据本配置，抑制了时间滞后的产生，并且因此可以抑制时间滞后所导致的可操作性的降低。
此外，信息处理装置100-1根据上述所估计的位置是否对应于上述所检测的位置而控制上述处理的位置。因此，即使在多个所估计的位置存在的状况下，也可以选择二维位置对应于所检测的位置的所估计的位置。因此，可以抑制用户并未预期的所检测的位置被确定为所述处理的位置。这使得可以抑制违背用户的意图的处理的产生。
此外，上述所估计的位置是否对应于所检测的位置是以所检测的位置是否包含在包含所估计的位置的所估计的区域中为基础来确定的。本文中，在一些状况下，取决于执行输入的环境或情形，难以确保所估计的位置的精确度和准确度。在此状况下，当严格需要所估计的位置与所检测的位置之间的对应时，所检测的位置几乎不会被确定为所述处理的位置。这可降低可操作性。相反，根据本配置，在预定范围内允许所检测的位置与所估计的位置之间的偏移，并且因此所述处理倾向于根据用户的意图来执行。这使得可以提高可操作性。
此外，上述操作主体包含由用户操作的物件，并且信息处理装置100-1根据操作主体是否是由用户操作的物件而控制关于由用户操作的物件的附近检测的上述输入的上述处理的位置。本文中，当用笔200-1执行输入时，握住笔200-1的手倾向于与检测表面接触，并且因此输入倾向于被错误地确定。同时，在通过使用笔200-1执行操作的状况下，几乎不会执行使用握住笔200-1的手的手指的操作。关于这点，根据本配置，在笔200-1的附近检测的手指的位置并未被选择为所述处理的位置。因此，抑制了基于握住笔200-1的手与检测表面的接触的输入被错误地确定。这使得可以进一步抑制用户并未预期的处理的产生。
此外，上述操作主体包含用户的手或手指。因此，用户可执行直观输入操作。此外，可以通过组合用笔200-1进行的操作以及用手指进行的操作来提高操作效率。
此外，信息处理装置100-1以上述所估计的位置与上述输入的检测表面之间的位置关系为基础而控制所述处理的上述位置。因此，即使在除操作主体之外的物件布置在检测表面上并且操作主体定位在物件上方或附近的状况下，也可以抑制以物件的接触点为基础执行处理。
<2-4.修改实例>
上文中，已描述本公开的第一实施例。应注意，本实施例不限于上述实例。下文中，将描述本实施例的修改实例。
作为本实施例的修改实例，信息处理装置100-1可内插并未检测输入的位置处的输入。首先，将参照图13和图14来描述输入的内插适用的状况。图13是图示用笔200-1进行的输入的实例的图，并且图14是图示用手指进行的输入的实例以及输入内插的实例的图。
在触摸输入单元106是压敏传感器的状况下，如何接触通常取决于操作主体的类型而不同。例如，接触点的形状、区域、按压力等取决于操作主体的类型而不同。因此，当根据操作主体中的任一个来设定检测参数时，在一些状况下，几乎不会检测用其它操作主体进行的输入。
例如，将描述根据笔200-1而设定检测参数的状况。在此状况下，如图13所图示，当用户操作笔200-1以绘制圆圈时，用笔200-1进行的输入被连续检测为圆形形状。
同时，将描述在仍设定笔200-1的检测参数时执行用手指进行的输入的状况。在此状况下，如同在用笔200-1进行的输入的状况下，用户操作其手指以绘制圆圈，在一些状况下，如图14的左图所图示，用手指进行的输入被检测为部分间断的形状。此情形的原因之一在于，用手指进行的输入的按压力小于用笔200-1进行的输入的按压力。具体来说，根据笔200-1的按压力而设定检测阈值，并且因此，用手指进行的输入(其按压力小于笔200-1的按压力)倾向于具有低于检测阈值的按压力。因此，如图14的左图所图示，所检测的输入是间断的。
有鉴于此，在本修改实例中，在间歇性地检测输入的状况下，信息处理装置100-1以所检测的位置之间的间隔处的所估计的位置以及所检测的位置为基础来确定基于输入的处理的位置。具体来说，输入确定单元108以从输入位置估计单元104获得的所估计的位置的二维位置为基础而估计一系列输入的形状。接着，输入确定单元108以从触摸输入单元106获得的接触点信息为基础而指定接触点并未对应的所述一系列的输入的所估计的形状的一部分。接着，输入确定单元108将对应于接触点并未对应的形状的部分的位置确定为基于输入的处理的位置。例如，图14的右图中由点线指示的位置被作为有效接触点而添加。
如上所述，根据本实施例的修改实例，在间歇性地检测输入的状况下，信息处理装置100-1以所检测的位置之间的间隔处的所估计的位置以及所检测的位置为基础来确定基于输入的处理的位置。因此，因为以所估计的位置的二维位置的轨迹为基础来内插所检测的位置，所以可以实现用户预期的输入。此外，可以在不改变使用笔200-1的状况与使用手指的状况之间的检测参数的情况下维持可操作性。因此，省略例如检测参数的切换等操作。这使得可以提高便利性。
应注意，信息处理装置100-1可根据操作主体的类型而改变检测参数。例如，输入位置估计单元104以成像单元102所采集的图像为基础而确定操作主体的类型，并且将确定结果作为通知而传输到下文所述的触摸输入控制单元140。接着，触摸输入控制单元140根据操作主体的所确定的类型而设定检测参数。在此状况下，可以在检测参数的用户设定中节省时间和工作量。应注意，即使在如同在本配置中根据操作主体的类型而个别地设定适当检测参数的状况下，所检测的输入也可以是间断的。因此，本修改实例的上述输入内插功能仍适用。
<3.第二实施例(基于笔的姿态的处理)>
上文中，已描述根据本公开的第一实施例的信息处理装置100-1。接着，将描述根据本公开的第二实施例的信息处理装置100-2。首先，将参照图15和图16来描述第二实施例的背景。图15是图示用握住笔200-2的手指进行的输入操作的实例的图，并且图16是图示在并未考虑用握住笔200-2的手的手指进行的输入操作的状况下执行的处理的实例的图。
在信息处理装置100中允许用笔200-2进行的输入以及用手指进行的输入两者。在此状况下，预期握住笔200-2的手用笔200-2执行输入，并且另一手用手指执行输入。然而，实际上，在一些状况下，用手指进行的输入是由握住笔200-2的手执行。例如，如图15所图示，在笔200-2正被手指夹住时通过使用其它手指来执行输入。
当并未考虑这种用握住笔200-2的手的手指进行的输入时，输入可被错误地确定。例如，如图16所图示，在输入在笔200-2正被夹住时用食指和拇指执行的状况下，所估计的手指输入位置f6和f7被确定，并且所估计的手指输入接触区域fa6和fa7被设定。因此，所估计的手指输入接触区域fa6中所包含的接触点t17以及所估计的手指输入接触区域fa7中所包含的接触点t18似乎分别被确定为手指输入接触点。
然而，笔200-2也出现在图像中，并且因此，用笔200-2进行的输入的所估计的笔输入位置p2被确定，并且所估计的笔输入接触区域pa2和笔输入排除区域oa2被设定。因此，接触点t17包含在所估计的笔输入接触区域pa2中并因此被确定为笔输入接触点，并且接触点t18并未包含在所估计的笔输入接触区域pa2中，而是包含在笔输入排除区域oa2中并因此被确定为无效接触点。因此，并未执行用户预期的基于用手指进行的输入的处理，并且相反，执行了用户并未预期的基于用笔200-2进行的输入的处理。
有鉴于此，在操作主体是由用户操作的物件(例如，笔状物件)的状况下，根据本公开的第二实施例的信息处理装置100-2以笔状物件的姿态为基础而控制关于用笔状物件进行的输入的处理的位置。据此，可按照用户预期而处理用握住笔200-2的手的手指进行的上述输入。下文中，将描述信息处理装置100-2的细节。
<3-1.装置的配置>
首先，将参照图17来描述根据本公开的第二实施例的信息处理装置100-2的功能配置。图17是图示根据本公开的第二实施例的信息处理装置100-2的示意性功能配置的实例的框图。应注意，将省略与根据第一实施例的功能配置实质上相同的功能配置的描述。
如图17所图示，信息处理装置100-2除成像单元102、输入位置估计单元104、触摸输入单元106、输入确定单元108、应用程序110和投影单元112之外，还包含通信单元120。
(通信单元)
通信单元120与笔200-2通信。具体来说，通信单元120从笔200-2接收指定了笔200-2的姿态的信息(下文中，也称为“姿态信息”)。例如，通信单元120通过使用例如bluetooth(注册商标)或wi-fi(注册商标)等无线通信方法而与笔200-2通信。应注意，通信单元120可通过有线通信方法而与笔200-2通信。
(输入位置估计单元)
输入位置估计单元104以笔200-2的姿态信息为基础而控制关于所估计的位置的处理。具体来说，在操作主体是笔状物件的状况下，输入位置估计单元104以笔状物件的姿态为基础而控制关于笔状物件的所估计的位置的处理。将参照图18来详细描述基于姿态信息的关于所估计的位置的处理。图18是图示此实施例中的用户输入操作的实例的图。
首先，输入位置估计单元104以成像单元102所采集的图像为基础而检测操作主体。例如，输入位置估计单元104以所获得的图像为基础而检测笔200-2和手指。
接着，输入位置估计单元104确定所检测的操作主体是否是笔状主体。例如，输入位置估计单元104确定所检测的操作主体是否是笔200-2。
在确定操作主体是笔200-2的状况下，输入位置估计单元104确定是否以从通信单元120提供的姿态信息为基础而确定所估计的笔输入位置。例如，当检测了笔200-2时，输入位置估计单元104以从通信单元120提供的姿态信息为基础而计算笔200-2相对于检测表面的倾斜度。在所计算的倾斜度等于或小于预定角度的状况下，输入位置估计单元104确定并未估计笔200-2的输入位置。换句话说，确定并未执行笔200-2的所估计的笔输入位置的确定处理。
接着，输入位置估计单元104确定所检测的操作主体的所估计的位置。具体来说，输入位置估计单元104执行所检测的手指的所估计的手指输入位置的确定处理。应注意，关于在上述描述中被确定为并未确定所估计的笔输入位置的笔200-2，并未执行所估计的笔输入位置的确定过程。例如，如图18所图示，确定了所估计的手指输入位置f8和f9，并且并未确定笔200-2的所估计的笔输入位置。
接着，输入位置估计单元104确定所估计的位置的所估计的接触区域。例如，如图18所图示，输入位置估计单元104分别设定关于所确定的所估计的手指输入位置f8和f9的所估计的手指输入接触区域fa8和fa9。应注意，并未确定笔200-2的所估计的笔输入位置，并且因此并未设定所估计的笔输入接触区域和笔输入排除区域。
因此，在由输入确定单元108执行的处理中，图18所图示的接触点t19和t20被确定为手指输入接触点。因此，以用户预期的用手指进行的输入为基础而执行处理。因此，用户可也用握住笔200-2的手的手指来执行输入。这使得可以提高可操作性，如此导致操作效率的提高。
(笔)
应注意，也将描述笔200-2的功能配置。虽然未图示，但笔200-2包含用于检测笔200-2的姿态的传感器以及用于与信息处理装置100-2通信的通信模块。
传感器检测笔200-2的姿态。例如，传感器是角速度传感器或加速度传感器。此外，通信模块将指定了由传感器检测的姿态的姿态信息传输到信息处理装置100-2。应注意，姿态信息可按预定时间间隔更新，并且可在每次执行更新时传输到信息处理装置100-2。
<3-2.第二实施例的总结>
如上所述，根据本公开的第二实施例，在操作主体是由用户操作的物件的状况下，信息处理装置100-2以由用户操作的物件的姿态为基础而控制关于用由用户操作的物件进行的输入的处理的位置。因此，并未执行关于用并未用作操作主体的笔200-2进行的输入的所估计的位置的处理，并且因此可以避免输入的错误确定。因此，可按照用户预期而处理用握住笔200-2的手的手指进行的上述输入。
此外，经由通信而获得指定了由用户操作的上述物件的姿态的信息。因此，信息处理装置100-2不需要包含用于指定笔200-2的姿态的配置。这使得可以减少处理负载和成本。
应注意，虽然在本实施例中已描述经由通信而获得姿态信息的实例，但可在信息处理装置100-2中产生姿态信息。例如，输入位置估计单元104可以以出现笔200-2并由成像单元102采集的图像为基础而估计笔200-2的姿态，并且可产生关于所估计的姿态的姿态信息。在此状况下，并未包含用于检测姿态的传感器或用于传输姿态信息的通信模块的笔可用于信息处理装置100-2中。因此，用户可自由地选择笔200-2。此外，与使用从传感器获得的姿态信息的状况相比，提高了姿态信息的精确度。这使得可以提高基于输入的处理的准确度。
<3-3.修改实例>
上文中，已描述本公开的第二实施例。应注意，本实施例不限于上述实例。下文中，将描述本实施例的修改实例。
作为本实施例的修改实例，信息处理装置100-2可通过使用笔200-2的姿态信息而内插所估计的位置。在本文中，在一些状况下，安装在笔200-2上的ir标记被握住笔200-2的手、笔200-2的笔杆等隐藏，并且不出现在图像中。此现象也被称为“遮挡”。在此状况下，输入位置估计单元104无法确定笔200-2的所估计的笔输入位置，并且即使在实际上继续输入的状况下，所述输入的接触点也被确定为无效接触点并且基于所述输入的处理停止。
有鉴于此，输入位置估计单元104以姿态信息和过去所估计的位置为基础而确定当前所估计的位置。具体来说，输入位置估计单元104以角速度信息或加速度信息等姿态信息为基础而计算笔200-2的旋转量或移动量，并且以已在先前确定的所估计的位置以及所计算的旋转量或移动量为基础而确定当前所估计的位置。应注意，在所确定的当前所估计的位置处于检测表面之外的状况下，可确定输入操作的终止。
如上所述，根据本实施例的修改实例，信息处理装置100-2以姿态信息和过去所估计的位置为基础而确定当前所估计的位置。因此，即使在发生上述遮挡的状况下，也可以通过估计笔200-2的粗略位置而防止输入间断。因此，用户如何使用笔200-2不受限制，并且可以维持笔200-2的可操作性。
<4.第三实施例(多个同时输入的确定)>
上文中，已描述根据本公开的第二实施例的信息处理装置100-2。接着，将描述根据本公开的第三实施例的信息处理装置100-3。根据本实施例的信息处理装置100-3具有以多个操作主体进行的同时输入的确定功能(下文中，也称为“多点触摸”)。
<4-1.装置的配置>
首先，将描述根据本公开的第三实施例的信息处理装置100-3的功能配置。应注意，信息处理装置100-3的配置与信息处理装置100-1或100-2的配置实质上相同，并且因此将省略其描述，并且将仅描述与信息处理装置100-1和100-2的功能不同的功能。
(输入确定单元)
输入确定单元108执行上述多点触摸的输入确定。具体来说，输入确定单元108以除第一操作主体之外的第二操作主体与输入的检测表面之间的位置关系为基础而控制关于对应于所检测的位置的所估计的位置处的第二操作主体的处理的位置。应注意，第二操作主体和第一操作主体可以是相同类型的操作主体。例如，在第一操作主体是拇指的状况下，第二操作主体可以是除拇指之外的另一手指(食指、中指、无名指或小指)。此外，当然，第一操作主体和第二操作主体可以是不同类型的操作主体。此外，将参照图19来详细描述多点触摸的输入确定处理。图19是图示多点触摸操作的实例的图。
输入确定单元108执行关于所检测的接触点的接触点确定处理。例如，输入确定单元108执行第一实施例中所述的接触点确定处理。因此，例如，在用户尝试使用拇指、食指和中指来执行多点触摸的状况下，图19所图示的接触点t21被确定为拇指(第一操作主体)的所估计的手指输入位置f10处的手指输入接触点。
接着，输入确定单元108计算检测表面与被确定为有效接触点的接触点的所估计的位置之间的距离dt。例如，输入确定单元108获取被确定为有效接触点的接触点t21的所估计的手指输入位置f10的z轴坐标，并计算相对于检测表面的距离dt。这是因为，即使在接触点被确定为有效接触点的状况下，接触点的所估计的位置由于上述时间滞后也未必与检测表面接触。
接着，输入确定单元108计算检测表面与除被确定为有效接触点的接触点的第一所估计的位置之外的第二所估计的位置之间的距离di。例如，输入确定单元108获取除图19所图示的所估计的手指输入位置f10之外的食指和中指(第二操作主体)的相应所估计的手指输入位置f11到f14的z轴坐标，并计算相对于检测表面的距离d11到d14。
接着，输入确定单元108确定所计算的距离di等于或小于距离dt与预定距离δ的总和的另一所估计的位置是伴随有效接触点的多点触摸有效接触点。例如，输入确定单元108确定具有所计算的距离d11到d14中等于或小于的距离(dt+δ)的所估计的手指输入位置f11和f12是伴随有效接触点t21的多点触摸有效接触点，而作为预测接触的所估计的位置。应注意，所估计的手指输入位置f13和f14被确定为并未预测接触的所估计的位置，并且并未被确定为多点触摸有效接触点。
接着，输入确定单元108以被确定为多点触摸有效接触点的接触点的数量为基础而确定多点触摸的同时输入的数量。例如，输入确定单元108将通过将1与多点触摸有效接触点的数量相加而获得的数量确定为多点触摸的同时输入的数量。
应注意，虽然已在上文描述中描述用一只手进行的多点触摸的实例，但可用双手执行多点触摸。此外，已在上文描述中描述用手指进行的多点触摸输入，但多点触摸输入可以是用笔200-3进行的多点触摸输入，并且用手指进行的输入与用笔200-3进行的输入两者可被执行。此外，上述预定距离δ可具有预先设定的值或可改变。
<4-2.装置的处理>
接着，将参照图20来描述多点触摸的输入确定处理。图20是在概念上示出根据本实施例的信息处理装置100-3中的多点触摸的输入确定处理的流程图。
信息处理装置100-3获取所估计的位置(步骤s602)。具体来说，输入确定单元108获取由输入位置估计单元104确定的所估计的位置。
接着，信息处理装置100-3获取接触点的确定结果(步骤s604)。具体来说，输入确定单元108获取上述接触点确定处理的结果。应注意，可在所述步骤中执行接触点确定处理。
接着，信息处理装置100-3确定有效接触点存在与否(步骤s606)。具体来说，输入确定单元108以接触点的确定结果为基础而确定有效接触点存在与否。
在确定有效接触点存在的状况下，信息处理装置100-3计算有效接触点的所估计的位置与检测表面之间的距离dt(步骤s608)。具体来说，在有效接触点存在的状况下，输入确定单元108计算有效接触点的所估计的位置与触摸输入单元106的检测表面之间在z轴上的dt。
接着，信息处理装置100-3确定另一所估计的位置存在与否(步骤s610)。具体来说，输入确定单元108确定除有效接触点的所估计的位置之外的另一所估计的位置存在与否。
在确定除有效接触点之外的另一所估计的位置存在的状况下，信息处理装置100-3计算另一所估计的位置与检测表面之间的距离di(步骤s612)。具体来说，在另一所估计的位置存在的状况下，输入确定单元108计算另一所估计的位置与检测表面之间在z轴上的距离di。应注意，在存在多个其它所估计的位置的状况下，计算相对于所有其它所估计的位置的距离di。
接着，信息处理装置100-3对距离di等于或小于距离dt与预定距离δ的总和的所估计的位置进行计数(步骤s614)。具体来说，输入确定单元108对具有满足di<(dt+δ)的距离di的所估计的位置进行计数。
接着，信息处理装置100-3将通过计数而获得的数量确定为同时输入的数量(步骤s616)。具体来说，输入确定单元108将通过计数而获得的数量确定为多点触摸中的同时输入的数量。
在步骤s610中确定另一所估计的位置不存在的状况下，信息处理装置100-3将同时输入的数量确定为1(步骤s618)。具体来说，输入确定单元108将多点触摸中的同时输入的数量确定为1。应注意，可通过确定不存在同时输入来执行所述处理。
此外，在步骤s606中确定有效接触点不存在的状况下，信息处理装置100-3将同时输入的数量确定为0(步骤s620)。具体来说，输入确定单元108将多点触摸中的同时输入的数量确定为0。应注意，可通过确定不存在输入来执行所述处理。
<4-3.第三实施例的总结>
如上所述，根据本公开的第三实施例，信息处理装置100-3以除操作主体之外的第二操作主体与输入的检测表面之间的位置关系为基础而控制关于对应于所检测的位置的第一所估计的位置处的第二操作主体的处理的位置。本文中，在用多个操作主体进行的同时输入(即，多点触摸，其为输入操作的一种形式)中，希望同时检测预期输入。然而，在一些状况中，输入的检测时序在关于预期输入的多个操作主体之间偏移。在此状况下，处理可并未作为多点触摸执行。相反，根据本实施例，预测在接触之后即刻接触的操作主体被确定为正处于接触中，并且因此输入的检测时序之间的偏移被内插。这使得可以提高多点触摸的可操作性。
<5.第四实施例(触摸输入的有效检测区域的设定)>
上文中，已描述根据本公开的第三实施例的信息处理装置100-3。接着，将描述根据本公开的第四实施例的信息处理装置100-4。根据本实施例的信息处理装置100-4具有控制触摸输入单元106的输入检测功能的功能。
<5-1.装置的配置>
首先，将参照图21来描述根据本公开的第四实施例的信息处理装置100-4的功能配置。图21是图示根据本公开的第四实施例的信息处理装置100-4的示意性功能配置的实例的框图。应注意，将省略与根据第一实施例到第三实施例的功能配置实质上相同的功能配置的描述。
如图21所图示，信息处理装置100-4除成像单元102、输入位置估计单元104、触摸输入单元106、输入确定单元108、应用程序110投影单元112和通信单元120之外，还包含触摸输入控制单元140。
(触摸输入单元)
触摸输入单元106以由触摸输入控制单元140设定的检测参数为基础而检测输入。具体来说，触摸输入单元106仅检测由触摸输入控制单元140设定的检测区域(下文中，也称为“有效检测区域”)中的输入。例如，触摸输入单元106适用于以输入检测循环为单位而设定的检测参数。应注意，检测参数不仅可以是有效检测区域的大小或形状，而且可以是有效检测区域中的输入的检测灵敏度等。
(触摸输入控制单元)
充当控制单元的一部分的触摸输入控制单元140控制触摸输入单元106的输入检测功能。具体来说，触摸输入控制单元140设定有效检测区域以使得有效检测区域包含所估计的位置的二维位置。此外，将参照图22a和图22b来详细描述有效检测区域。图22a是图示以单个所估计的位置为基础而设定的有效检测区域的实例的图，并且图22b是图示以多个所估计的位置为基础而设定的有效检测区域的实例的图。
触摸输入控制单元140以所估计的位置的二维位置为基础而设定有效检测区域。具体来说，触摸输入控制单元140以相对于关于所估计的位置的所估计的接触区域的距离为基础而设定有效检测区域。例如，如图22a所图示，通过将预定距离dp与所估计的笔输入接触区域在水平方向(x轴方向)上的右侧部分与左侧部分两者相加而获得的距离被确定为水平长度并且通过将预定距离dp与所估计的笔输入接触区域在垂直方向(y轴方向)上的上部部分与下部部分相加而获得的距离被确定为垂直长度的区域被设定为有效检测区域。
此外，在所估计的接触区域相互邻近的状况下，触摸输入控制单元140将设定包含邻近所估计的接触区域的整体或部分的有效检测区域。例如，如图22b所图示，通过将预定距离df与垂直向上方向上的左上方所估计的手指输入接触区域相加并将预定距离df与垂直向下方向上的右下方所估计的手指输入接触区域相加而获得的距离被确定为垂直长度并且通过将预定距离df与水平向左方向上的左上方所估计的手指输入接触区域相加并将预定距离df与水平向右方向上的右下方所估计的手指输入接触区域相加而获得的距离被确定为水平向后长度的区域被设定为有效检测区域。
应注意，虽然在图22a和图22b中已描述有效检测区域具有长方形形状的实例，但有效检测区域的形状不限于此，并且具有任意形状。例如，有效检测区域可具有圆形形状、椭圆形形状、另一弯曲形状、除长方形形状之外的多边形形状等。
此外，触摸输入控制单元140控制触摸输入单元106以使得仅在有效检测区域中检测输入。具体来说，触摸输入控制单元140使触摸输入单元106将输入的检测范围设定为将设定的有效检测区域。因此，仅在有效检测区域的范围内检测输入，并且因此仅以有效检测区域中所包含的所检测的位置以及所估计的位置为基础而控制处理的位置。
应注意，触摸输入控制单元140可将有效检测区域应用到从触摸输入单元106获得的输入的检测结果。具体来说，触摸输入控制单元140仅将输入的所获得的所检测的位置中的有效检测区域中所包含的所检测的位置的检测结果提供给输入确定单元108。在此状况下，即使在触摸输入单元106不具有改变检测区域的功能的状况下，也可以仅将有效检测区域中的所检测的位置设定为用于由输入确定单元108执行的处理中的所检测的位置。因此，降低了输入确定单元108的吞吐量。这使得可以减少输入确定单元108的处理负载。
此外，触摸输入控制单元140可根据操作主体的类型而设定有效检测区域的不同检测参数。具体来说，检测参数不仅是有效检测区域的上述大小或形状，而且是有效检测区域中的输入的检测灵敏度等。例如，图22a中所图示的所估计的笔输入接触区域的有效检测区域中的预定距离dp以及图22b中所图示的所估计的手指输入接触区域的有效检测区域中的预定距离df被设定为具有不同长度。
<5-2.装置的处理>
接着，将参照图23到图26来描述由信息处理装置100-4执行的处理。图23到图26是图示由根据本实施例的信息处理装置100-4执行的处理的图。
首先，将参照图23来描述在用操作主体进行的输入之前的处理。例如，用户将其握住笔200-4的手及其并未握住任何东西的手带到触摸输入单元106的检测表面上方的部分。应注意，笔200-4和手指并不与检测表面接触，而是双手的底部与检测表面接触。此外，物件10布置在检测表面上。
在此状况下，输入位置估计单元104以所采集的图像为基础而确定笔200-4的所估计的笔输入位置p4，并且设定所估计的笔输入接触区域pa4和笔输入排除区域oa4。接着，触摸输入控制单元140以所设定的所估计的笔输入接触区域pa4为基础而设定有效检测区域da1。因此，在并未包含在有效检测区域da1中的接触点t22到t27处，并未检测输入。
接着，将参照图24来描述笔输入处理。例如，用户使笔200-4与检测表面接触。手指并不与检测表面接触，而是握住笔200-4的右手的侧表面与检测表面接触。
在此状况下，仍设定所估计的笔输入位置p4、所估计的笔输入接触区域pa4、笔输入排除区域oa4以及有效检测区域da1。除此之外，输入位置估计单元104以握住笔200-4的右手的手背上的手指的误检测为基础而确定所估计的手指输入位置f14，并设定所估计的手指输入接触区域fa14。此外，因为手指输入转变位置f14包含在笔输入排除区域oa4中，所以触摸输入控制单元140并未设定所估计的手指输入接触区域的有效检测区域。因此，右手的手背附近的接触点t29包含在所估计的手指输入接触区域fa14中，但连同接触点t23到t27，并未被检测。相反，接触点t28包含在有效检测区域da1中，并且因此被检测，并且包含在所估计的笔输入接触区域中并因此被确定为笔输入接触点。
接着，将参照图25来描述手指输入处理。例如，用户中断用右手所握住的笔200-4进行的输入，并开始用并未握住笔200-4的左手的手指进行的输入。应注意，并未执行输入操作的左手的手指与检测表面部分地接触。
在此状况下，仍设定所估计的笔输入位置p4、所估计的笔输入接触区域pa4、笔输入排除区域oa4以及有效检测区域da1。除此之外，输入位置估计单元104还确定所估计的手指输入位置f15和f16并设定所估计的手指输入接触区域fa15和fa16。此外，触摸输入控制单元140以所估计的手指输入接触区域fa15和fa16为基础而设定有效检测区域da2。因此，检测了接触点t30到t32，并且并未检测其它接触点t23到t27。此外，接触点t30和t31分别包含在所估计的手指输入接触区域fa15和fa16中，并且因此被确定为手指输入接触点。然而，接触点t32并未包含在所估计的手指输入接触区域中的任一个中，并且因此被确定为无效接触点。
接着，将参照图26来描述用握住笔200-4的手的手指进行的输入的处理。例如，用户中断用左手的手指进行的输入，并开始用握住笔200-4的右手的手指进行的输入。应注意，右手的腕部与检测表面接触。
在此状况下，仍设定所估计的手指输入位置f15和f16、所估计的手指输入接触区域fa15和fa16以及有效检测区域da2。除此之外，输入位置估计单元104还确定所估计的手指输入位置f17并设定所估计的手指输入接触区域fa17。此外，触摸输入控制单元140以所估计的手指输入接触区域fa17为基础而设定有效检测区域da3。应注意，笔200-4的姿态相对于检测表面具有预定倾斜度，并且因此用笔200-4进行的输入的所估计的笔输入位置等并未被设定。因此，接触点t33包含在所估计的手指输入接触区域fa17中，并且因此被确定为手指输入接触点。然而，接触点t34和t24到t27并未包含在有效检测区域da2和da3中的任一个中，并且因此并未被检测。
<5-3.第四实施例的总结>
如上所述，根据本公开的第四实施例，信息处理装置100-4设定检测了输入并包含对应于上述所估计的位置处的上述输入的检测表面的位置(所估计的位置的二维位置)的有效检测区域，并且以有效检测区域中所包含的所检测的位置以及所估计的位置的二维位置为基础而控制基于输入的处理的位置。因此，适当地减小了输入检测范围，并且因此，可以提高对输入的响应速度，并且在维持可操作性的同时减少输入确定过程的负载。此外，可以提高处理速度并减少检测装置(即，触摸输入单元106)中的处理负载。
此外，信息处理装置100-4控制用于检测输入的检测装置，以使得仅在上述有效检测区域中检测输入。因此，可以提高检测速度并减少检测装置中的检测的处理负载。因此，减少了输入与响应于输入的处理的执行之间的时间，并因此可以提高对输入操作的响应性。
此外，上述有效检测区域的参数取决于操作主体的类型而不同。因此，根据操作主体的类型而设定适当检测参数，并且因此可以抑制操作主体之间的可操作性的差异的产生。
此外，上述检测区域的参数包含有效检测区域的大小和形状以及有效检测区域中的输入的检测灵敏度中的至少一个。因此，以检测准确度可根据操作主体而改变的参数为基础而设定有效检测区域。因此，可以设定较适用于操作主体的个体性的有效检测区域。这使得可以进一步抑制用户感觉操作主体之间的可操作性的差异。
<5-4.修改实例>
上文中，已描述本公开的第四实施例。应注意，本实施例不限于上述实例。下文中，将描述本实施例的修改实例。
作为本实施例的修改实例，信息处理装置100-4可以除关于操作主体的信息之外的信息为基础而设定有效检测区域。具体来说，触摸输入控制单元140以除操作主体之外的物件的检测结果为基础而设定有效检测区域。此外，将参照图27来描述基于除操作主体之外的物件的检测结果的有效检测区域的设定。图27是图示在根据本修改实例的信息处理装置100-4中设定的有效检测区域的实例的图。
首先，输入位置估计单元104以成像单元102所采集的图像为基础而检测除操作主体之外的物件。例如，输入位置估计单元104检测图27所图示的物件10a和10b。接着，输入位置估计单元104设定由所检测的物件10a和10b占用的区域。
接着，触摸输入控制单元140以所检测的物件的位置为基础而设定有效检测区域。例如，触摸输入控制单元140将不包含由物件10a和10b占用的区域且由输入位置估计单元104设定的区域设定为有效检测区域da4。
此外，触摸输入控制单元140可以以关于执行基于输入的处理的应用程序110的信息为基础而设定有效检测区域。具体来说，关于应用程序110的信息包含指定了关于由应用程序110显示的区域中的输入的属性的信息。此外，将参照图28来详细描述基于关于应用程序110的信息的有效检测区域的设定。图28是图示在根据本修改实例的信息处理装置100-4中设定的有效检测区域的另一实例的图。
首先，触摸输入控制单元140从应用程序110获取显示区域的属性信息。具体来说，触摸输入控制单元140从应用程序110获取指定了显示区域的信息以及指示是否在显示区域中执行输入的信息。例如，这诸段信息是作为关于屏幕布局的信息而获取的。
接着，触摸输入控制单元140以显示区域的所获取的属性信息为基础而设定有效检测区域。例如，在显示图28所图示的屏幕20a到20c(其为经受绘画操作的目标)的状况下，触摸输入控制单元140分别将包含屏幕20a到20c的区域设定为有效检测区域da5到da7。应注意，可以以所采集的图像为基础而检测显示区域。
此外，关于应用程序110的信息可以是指定了应用程序110的类型的信息。具体来说，触摸输入控制单元140从应用程序110获取包含应用程序110的类型的应用程序110的属性信息。接着，触摸输入控制单元140基于由所获取的属性信息指示的类型而设定有效检测区域。例如，在应用程序110的类型是绘画应用程序的状况下，相比针对另一类型而设定的有效检测区域的大小，触摸输入控制单元140设定较大大小的有效检测区域。
应注意，以除关于操作主体的上述信息之外的信息为基础而设定的有效检测区域(下文中，也称为“第二有效检测区域”)可用于基于关于操作主体的信息的有效检测区域(即，所估计的接触区域)的设定处理。例如，输入位置估计单元104可从有效检测区域排除以所估计的接触区域为基础而设定的有效检测区域的部分(即，与第二有效检测区域重叠的部分)。在此状况下，设定了较适用于一种情形的有效检测区域。这使得可以进一步提高响应性，而不降低可操作性。
此外，虽然已在上文描述中仅描述第二有效检测区域的形状，但第二有效检测区域的另一检测参数可以是将设定的目标。此外，当然，本修改实例中的处理可与本实施例中所述的有效检测区域的设定处理一起使用。
如上所述，根据本实施例的修改实例，信息处理装置100-4以除操作主体之外的物件的检测结果为基础而设定有效检测区域。因此，并未检测除操作主体之外的物件的接触点。这使得可以防止在操作主体定位在物件附近的状况下发生错误确定。
此外，信息处理装置100-4可以以关于执行基于输入的处理的应用程序110的信息为基础而设定有效检测区域。因此，在应用程序110可适当地获得输入的范围内设定了有效检测区域。这使得可以提高对输入操作的响应性，而不影响处理。
此外，关于应用程序110的上述信息包含指定了应用程序110的类型的信息。本文中，在许多状况下，对操作的响应性的请求、操作内容和操作速度取决于应用程序的类型而不同。因此，根据本配置，以应用程序110的类型为基础而设定了适当有效检测区域。这使得可以防止应用程序110之间的可操作性和响应性的变化。此外，因为并未执行另一复杂处理，所以可以简化有效处理区域的设定处理。这使得可以减少关于有效检测区域的设定的处理负载，并提高处理速度。
此外，关于应用程序110的上述信息包含指定了关于由应用程序110显示的区域中的输入的属性的信息。本文中，在一些状况下，取决于显示内容，可执行输入的显示区域的面积小于检测表面。因此，根据本配置，仅可执行输入的区域被设定为有效检测区域，并且因此检测范围减小。这使得可以减少输入处理负载并提高检测的处理速度。
<6.根据本公开的实施例的信息处理装置的硬件配置>
已在上文描述根据本公开的每一实施例的信息处理装置100。由上文描述的信息处理装置100进行的处理是通过下文所述的信息处理装置100的软件与硬件的合作来执行。
图29是示出根据本公开的实施例的信息处理装置100的硬件配置的说明图。如图29所示，信息处理装置100包含中央处理单元(cpu)152、只读存储器(rom)154、随机存取存储器(ram)156、桥158、总线160、接口162、相机模块164、输入装置166、输出装置168、存储装置170、驱动器172、连接端口174和通信装置176。
cpu152充当算术处理单元，并与各种程序合作以在信息处理装置100中执行输入位置估计单元104、输入确定单元108、应用程序110和触摸输入控制单元140的操作。此外，cpu152可以是微处理器，或者可以是图形处理单元(gpu)。rom154存储将由cpu152使用的程序、计算参数等。ram156临时存储将用于cpu152的执行中的程序、在所述执行等中适当地改变的参数等。信息处理装置100的存储单元的部分包含rom154和ram156。cpu152、rom154和ram156经由包含cpu总线等的内部总线而相互连接。应注意，输入位置估计单元104和输入确定单元108可由不同集成电路(ic)芯片构成。
相机模块164包含成像光学系统和信号转换元件，并实现成像单元102的功能。例如，相机模块164包含成像光学系统(例如，用于收集光的成像镜头和变焦镜头)和信号转换元件(例如，电荷耦合装置(ccd)或互补金属氧化物半导体(cmos))。
输入装置166包含例如供用户输入信息的构件，例如，鼠标、键盘、触摸板(触摸传感器)、按钮、麦克风、开关和操纵杆、以用户的输入为基础而产生输入信号并将输入信号输出到cpu152的输入控制电路等。通过操作输入装置166，信息处理装置100的用户可将各种数据输入到信息处理装置100，并向信息处理装置100指示处理操作。
输出装置168进行对例如以下各者的装置的输出：投影仪、液晶显示器(lcd)装置、有机发光二极管(oled)装置或作为信息处理装置100中的投影单元112的实例的灯。此外，输出装置168可进行扬声器、头戴式耳机等的声音输出。
存储装置170是用于存储数据的装置。存储装置170可包含存储介质、将数据记录在存储介质中的记录装置、从存储介质读取数据的读出装置、删除存储介质中所记录的数据的删除装置等。存储装置170存储由cpu152执行的程序以及各种数据。
驱动器172是存储介质的读写器，其并入在信息处理装置100中或在外部附接到信息处理装置100。驱动器172读取附接到驱动器172的磁盘、光盘和磁光盘或者例如半导体存储器等可拆卸存储介质中所记录的信息，并将信息输出到ram154。此外，驱动器172可还将信息写入到可拆卸存储介质。
连接端口174是例如用于连接到信息处理装置或设置在信息处理装置100外的外围装置的总线。此外，连接端口174可以是通用串行总线(usb)。
通信装置176是例如包含用于连接到网络的通信装置的通信接口。通信装置176通常是可与bluetooth(注册商标)或无线局域网(lan)兼容的通信装置，然而，通信装置176可以是兼容红外线通信的装置、兼容长期演进(lte)的通信装置或执行有线通信的有线通信装置。
<7.总结>
上文中，根据本公开的第一实施例，不仅以基于操作主体的接近的输入的检测结果为基础，而且以出现操作主体的图像为基础来确定基于输入位置(即，输入)的处理的位置。因此，与仅使用基于操作主体的接近的输入的检测结果的状况相比，可以提高处理的位置的准确度。因此，可以导致符合对将执行的输入进行操作的用户的意图的处理。此外，根据本实施例，估计了当前操作的操作主体的输入位置，并且因此可以选择作为将处理的目标并基于实际执行的操作的输入。因此，即使在用户每次以不同形式执行操作的状况下，也可以使应用程序110等执行基于用户所预期的输入的处理。
此外，根据本公开的第二实施例，并未执行关于用并未用作操作主体的笔200-2进行的输入的所估计的位置的处理，并且因此可以避免输入的错误确定。因此，可按照用户预期而处理用握住笔200-2的手的手指进行的上述输入。
此外，根据本公开的第三实施例，预测在接触之后即刻接触的操作主体被确定为正处于接触中，并且因此输入的检测时序之间的偏移被内插。这使得可以提高多点触摸的可操作性。
此外，根据本公开的第四实施例，适当地减小了输入检测范围，并且因此，可以提高对输入的响应速度，并且在维持可操作性的同时减少输入确定过程的负载。此外，可以提高处理速度并减少检测装置(即，触摸输入单元106)中的处理负载。
上文已参照附图来描述本公开的优选实施例，但本公开不限于上文的实例。本领域的技术人员可在随附权利要求书的范围内发现各种更改和修改，并且应理解，这些更改和修改将自然落入本公开的技术范围内。
例如，在上述实施例中，成像单元102、触摸输入单元106和投影单元112包含在信息处理装置100中。然而，本技术不限于此实例。例如，成像单元102、触摸输入单元106和投影单元112可包含在外部装置中，并且信息可被传输和接收，或者控制可经由信息处理装置100与外部装置之间的通信来执行。
此外，已在上述实施例中描述投影单元112作为输出单元而包含在信息处理装置100中的实例。然而，代替投影单元112或除投影单元112之外，可还设置例如显示器等显示单元。此外，代替使用投影单元112、显示单元等显示输出或除所述显示输出之外，可还执行音频输出。
此外，已在上述实施例中描述操作主体是笔200或手指的实例。然而，操作主体可以是另一物件。例如，存储主体可以是人体除手指之外的另一部分，例如，手或手臂。
此外，已在前述实施例中描述立体相机用于估计操作主体的位置(明确地说，z轴方向上的位置)的实例。然而，代替立体相机或除立体相机之外，还可使用能够测量对象的三维位置的任意传感器。
此外，本说明书所述的效果仅是说明性或示范性的效果，而不是限制性的。也就是说，与上述效果一起或替代上述效果，根据本公开的技术可实现本领域的技术人员从本说明书的描述清楚的其它效果。
此外，不仅包含上述实施例的流程图中所示的步骤根据所描述的顺序以时间序列方式执行的处理，而且包含所述步骤未必以时间序列方式处理而是被并行地或个别地执行的处理。并且，不言自明的是，甚至以时间序列方式处理的步骤可视情形而适当地改变顺序。
此外，也可如下配置本技术。
(1)一种信息处理装置，包含：
控制单元，被配置成控制基于根据操作主体的接近的输入的处理，这是以关于基于所述输入的检测结果的所述输入的所检测的位置的信息以及关于通过使用图像信息而估计的所述操作主体的位置的信息为基础的，所述图像信息是通过采集所述操作主体充当对象的图像而获得的。
(2)根据(1)的信息处理装置，其中
所述操作主体的所述所估计的位置包含不接近所述输入的检测表面的位置。
(3)根据(1)或(2)的信息处理装置，其中
所述控制单元
设定检测所述输入的检测区域，所述检测区域包含对应于所述操作主体的所述所估计的位置处的所述输入的所述检测表面的位置，并且
以所述检测区域中所包含的所述所检测的位置以及对应于所述操作主体的所述所估计的位置处的所述输入的所述检测表面的所述位置为基础而控制所述处理的位置信息。
(4)根据(3)的信息处理装置，其中
所述控制单元控制检测所述输入的检测装置以使得仅在所述检测区域中检测所述输入。
(5)根据(3)或(4)的信息处理装置，其中
所述控制单元以除所述操作主体之外的物件的检测结果以及关于执行根据所述输入的所述处理的应用程序的信息的至少一者为基础而设定所述检测区域。
(6)根据(5)的信息处理装置，其中
关于所述应用程序的所述信息包含指定了所述应用程序的类型的信息。
(7)根据(5)或(6)的信息处理装置，其中
关于所述应用程序的所述信息包含指定了关于由所述应用程序显示的区域中的所述输入的属性的信息。
(8)根据(3)到(7)中任一项的信息处理装置，其中
所述检测区域的参数取决于所述操作主体的类型而变化。
(9)根据(8)的信息处理装置，其中
所述检测区域的所述参数包含所述检测区域的大小、所述检测区域的形状以及对所述检测区域中的所述输入的检测灵敏度中的至少一个。
(10)根据(1)到(9)中任一项的信息处理装置，其中
所述控制单元以除所述第一操作主体之外的第二操作主体与所述输入的检测表面之间的位置关系为基础而控制关于等同于所述所检测的位置的所述操作主体的所述所估计的位置处的所述第二操作主体的所述处理的位置信息。
(11)根据(1)到(10)中任一项的信息处理装置，其中
所述控制单元根据所述操作主体的所述所估计的位置是否等同于所述所检测的位置而控制所述处理。
(12)根据(11)的信息处理装置，其中
所述操作主体的所述所估计的位置是否等同于所述所检测的位置是以所述所检测的位置是否包含在包含对应于所述操作主体的所述所估计的位置处的所述输入的检测表面的位置的所估计的区域中为基础来确定的。
(13)根据(1)到(12)中任一项的信息处理装置，其中
在间歇性地检测所述输入的状况下，所述控制单元以所述所检测的位置之间的间隔处的所述操作主体的所述所估计的位置以及所述所检测的位置为基础来确定所述处理。
(14)根据(1)到(13)中任一项的信息处理装置，其中
所述操作主体包含由用户操作的物件，并且
所述控制单元根据所述操作主体是否是由所述用户操作的所述物件而控制关于由所述用户操作的所述物件的附近检测的所述输入的所述处理。
(15)根据(14)的信息处理装置，其中
在所述操作主体是由所述用户操作的物件的状况下，所述控制单元以由所述用户操作的所述物件的姿态为基础而控制关于使用由所述用户操作的所述物件进行的所述输入的所述处理。
(16)根据(15)的信息处理装置，其中
经由通信而获得指定了由所述用户操作的所述物件的所述姿态的信息。
(17)根据(1)到(16)中任一项的信息处理装置，其中
所述操作主体包含用户的手或手指。
(18)根据(1)到(17)中任一项的信息处理装置，其中
所述控制单元以所述操作主体的所述所估计的位置与所述输入的检测表面之间的位置关系为基础而控制所述处理。
(19)一种信息处理方法，包含：
使处理器控制基于根据操作主体的接近的输入的处理，这是以关于基于所述输入的检测结果的所述输入的所检测的位置的信息以及关于通过使用图像信息而估计的所述操作主体的位置的信息为基础的，所述图像信息是通过采集所述操作主体充当对象的图像而获得的。
(20)一种程序，用于使计算机实现
控制功能，所述控制功能控制基于根据操作主体的接近的输入的处理，这是以关于基于所述输入的检测结果的所述输入的所检测的位置的信息以及关于通过使用图像信息而估计的所述操作主体的位置的信息为基础的，所述图像信息是通过采集所述操作主体充当对象的图像而获得的。
(21)一种信息处理系统，包含：
检测装置，被配置成检测基于操作主体的接近的输入；
成像装置，被配置成采集所述操作主体充当对象的图像；
信息处理装置，包含获取单元，从所述检测装置获得所述输入的检测结果并获得由采集所述图像的所述成像装置获得的图像信息；估计单元，以所述图像信息为基础而估计所述操作主体的位置；以及控制单元，以关于基于所述检测结果的所述输入的所检测的位置的信息以及关于所述操作主体的所述所估计的位置的信息为基础而控制基于所述输入的处理；以及
输出装置，被配置成以所述处理为基础而执行输出。
附图标记列表
100信息处理装置
102成像单元
104输入位置估计单元
106触摸输入单元
108输入确定单元
110应用程序
112投影单元
120通信单元
140触摸输入控制单元。