本发明涉及检测在影像显示面上用户进行的操作的操作检测装置、操作检测方法以及使用其的影像显示系统。
背景技术：
为了检测以影像的显示面作为操作面而用户进行的操作，已知有用户使用电子笔等进行操作并根据电子笔的发光位置检测操作位置的方法。另外，已知有根据用户的手指、手的影子检测它们的位置的方法。在专利文献1中，记载了能够应对用户操作的操作对象物(操作对象)为电子笔的情况和为用户的手指、手的情况这两方的操作检测装置。即，该文献记载的操作检测装置构成为具有：第1检测部，进行用于检测前端发光的第1操作对象与操作面相接的位置的第1检测处理；以及第2检测部，进行用于对操作面照射照明光来检测不发光的第2操作对象与操作面相接的位置的、与上述第1检测处理不同的第2检测处理。
现有技术文献
专利文献
专利文献1：国际公开第2015/052765号
技术实现要素：
在专利文献1的检测装置中，有根据由拍摄部拍摄到的1张图像进行前端发光的第1操作对象和不发光的第2操作对象这两方的检测处理的情况。但是，在同一拍摄条件下，难以以使第1操作对象和第2操作对象这两方的对比度都满足的方式拍摄第1操作对象和第2操作对象的图像。即，在为了检测发光的第1操作对象而将画面整体拍摄为暗的图像时，不发光的第2操作对象的对比度降低，第2检测部中的检测精度恶化。另一方面，在为了检测不发光的第2操作对象而将图像整体拍摄为亮的图像时，发光的第1操作对象的对比度降低，第1检测部中的检测精度恶化。
本发明的目的鉴于上述课题，在同一拍摄条件下拍摄发光的操作对象和不发光的操作对象的情况下，实现适合于各个操作对象的检测的图像的对比度。
本发明是一种操作检测装置，进行基于第1操作对象的发光检测或者反射光检测的第1操作检测处理和基于利用照明光的照射的第2操作对象的影子检测的第2操作检测处理，其特征在于，所述操作检测装置具备：拍摄部，拍摄所述第1操作对象和所述第2操作对象的图像；图像信号处理部，进行由所述拍摄部拍摄到的拍摄图像的对比度调整或者用所述拍摄部拍摄时的对比度调整；以及操作检测部，使用实施所述对比度调整后的拍摄图像，执行所述第1操作检测处理和所述第2操作检测处理，所述图像信号处理部实施的对比度调整状态在用于所述第1操作检测处理的拍摄图像的情况下和在用于所述第2操作检测处理的拍摄图像的情况下不同。
根据本发明，实现适合于第1操作对象和第2操作对象各自的操作检测的图像的对比度，检测精度提高并且操作性提高。
附图说明
图1是实施例1中的使用操作检测装置的影像显示系统的结构图。
图2是示出操作检测装置的外观和用户的操作状态的图。
图3是示出拍摄图像的亮度和操作检测精度的关系的图。
图4是说明基于图像信号处理部1、2的亮度调整和对比度变化的图。
图5是示出电子笔的结构和动作的一个例子的图。
图6是说明电子笔和墙面的接触位置的检测的图。
图7是示出手指未接触墙面的情况下的影子的形状的图。
图8是示出手指接触墙面的情况下的影子的形状的图。
图9是汇总地示出手指的接近度和影子的生成位置的图。
图10是说明手指和墙面的接触位置的检测的图。
图11是示出图1的变形例的结构图。
图12是实施例2中的使用操作检测装置的影像显示系统的结构图。
图13是实施例3中的使用操作检测装置的影像显示系统的结构图。
图14是实施例4中的使用操作检测装置的影像显示系统的结构图。
图15是示出各操作模式中的增益调整状态的一个例子的图。
(符号说明)
100：操作检测装置；101：图像传感器(拍摄部)；102、103：照明；104：开关；105：帧检测部；106：影子区域抽出部；107：轮廓检测部；108：指尖接触点检测部；109：控制部；110：输出部；111：图像信号处理部1；112：图像信号处理部2；113：图像信号处理部3；114：笔尖抽出部；115：笔尖接触点检测部；116：操作模式控制部；120：电子笔(第1操作对象)；121：发光元件；130：模块；140：检测结果数据；150：投影仪；151：影像输入部；152：投射影像处理部；153：影像投射部；200：用户；201：墙面；202：拍摄范围；300：手指(第2操作对象)；301、302：影子；510、610：接触点。
具体实施方式
以下，使用附图，说明实施例。在以下的实施例中，说明在使用电子笔等发光的操作对象(第1操作对象)和用户的手指、手等不发光的操作对象(第2操作对象)这两方的情况下的操作检测。此外，第1操作对象也可以是自身不发光而发出反射光的操作物，以下也包括该情况。
实施例1
在实施例1中，说明使用第1、第2操作对象共同的图像信号处理部1和不发光的第2操作对象用的图像信号处理部2来检测两方的操作对象的接触点(操作位置)的方法。
图1是示出实施例1中的使用操作检测装置的影像显示系统的结构的图。影像显示系统构成为具备操作检测装置100和投影仪150，根据由操作检测装置100检测出的用户的操作来控制由投影仪150投射的影像。
在操作检测装置100中，101是图像传感器(拍摄部)，102以及103是照明，104是开关，105是帧检测部，106是影子区域抽出部，107是轮廓检测部，108是指尖接触点检测部，109是控制部，110是输出部，111是图像信号处理部1，112是图像信号处理部2，114是笔尖抽出部，115是笔尖接触点检测部。
图像传感器(拍摄部)101由传感器电路、透镜等构成，获取第1操作对象(电子笔)和第2操作对象(用户的手指、手)的图像。照明102以及照明103由发光二极管、电路基板、透镜等构成，照射由上述图像传感器101拍摄的区域。由此，针对第2操作对象生成影子。此外，图像传感器101、照明102、103也可以具备红外照相机和红外照明，进行通过拍摄红外图像来检测后述手指、手的状态的处理。另外，照明102、103的光源也可以是激光等发光二极管以外的光源。
开关104由硬件、软件等构成，根据由帧检测部105发送的信号，控制照明102、103的点亮以及熄灭。由此，在后述影子区域抽出部106中，使从拍摄到的图像内抽出的第2操作对象的影子的对比度提高。例如，在从帧检测部105送出信号a的情况下，使照明102点亮、使照明103熄灭，在从帧检测部105送出信号b的情况下，使照明102熄灭、使照明103点亮。
帧检测部105由硬件、软件等构成，检测在图像传感器101中1个帧的拍摄完成，根据预先设定的周期向开关104发送信号。例如，在由图像传感器101拍摄到的图像的张数为2的倍数时，在a和b之间交替地切换送到开关104的信号。此外，在帧检测部105中切换信号的周期也可以设为其他周期。
图像信号处理部1(111)由电路基板、软件等构成，针对由图像传感器101获取到的拍摄图像以使图像整体变暗的方式进行图像处理，从而使第1操作对象(电子笔)的笔尖区域的对比度提高，使笔尖抽出部114中的笔尖的发光区域的抽出容易。在此，例如应用增益调整、伽玛调整等图像处理来使笔尖区域的对比度提高。
笔尖抽出部114由硬件、软件等构成，从由图像信号处理部1(111)处理后的图像中抽出发光的电子笔的发光区域。例如，从增益调整后的图像抽出一定的亮度值以上的区域。此外，笔尖抽出部114的处理也可以使用用于得到同样的结果的其他图像处理的算法。笔尖接触点检测部115由硬件、软件等构成，根据由笔尖抽出部114得到的发光区域的形状、大小等，检测电子笔对操作面的接触点。
另一方面，图像信号处理部2(112)由电路基板、软件等构成，针对从图像信号处理部1(111)输出的图像的各像素以使图像整体变亮的方式进行图像处理，从而使影子区域抽出部106中的第2操作对象(手指、手)的影子区域抽出容易。在此，例如也应用增益调整、伽玛调整等图像处理来提高影子区域的对比度。
影子区域抽出部106由硬件、软件等构成，从由图像信号处理部2(112)处理后的图像检测影子的区域。例如，根据预先拍摄到的背景图像和最新的拍摄图像的差分生成差分图像，利用预定的亮度的阈值对上述差分图像进行二值化，从而得到影子的区域。此外，影子区域抽出部106的处理也可以使用用于得到同样的结果的其他图像处理的算法。
轮廓检测部107由硬件、软件等构成，检测由影子区域抽出部106得到的影子的区域的轮廓。例如，首先求出影子区域的左上端的像素，依次搜索相邻的像素，从而得到影子区域的轮廓。此外，轮廓检测部107的处理也可以使用用于得到同样的结果的其他图像处理的算法。指尖接触点检测部108由电路基板、软件等构成，根据影子的形状、位置，检测手指对操作面的接触点。
控制部109由电路基板、软件等构成，控制图像传感器101、照明102、照明103、开关104、帧检测部105、影子区域抽出部106、轮廓检测部107、接触点检测部108、输出部110、图像信号处理部1(111)、图像信号处理部2(112)、笔尖抽出部114、笔尖接触点检测部115。
输出部110由网络连接、usb连接、超声波装置、红外线通信装置等构成，是能够与显示投射的影像的投影仪150进行通信的接口。此外，作为显示影像的装置，也可以连接其他显示器(包括头戴式显示器、抬头显示器)。
检测结果数据140是操作检测装置100经由上述输出部110向投影仪150发送的数据，包括接触状态信息、接触点坐标等。
投影仪150是将影像投射到屏幕等投射面的装置。影像输入部151输入要投射的影像信号，投射影像处理部152依照投射方式进行影像信号的变换和校正处理，影像投射部153将影像信号变换为投射影像光而投射到投射面。例如，使用基于液晶面板的光调制、激光的扫描方式等。其中，投射影像处理部152根据从操作检测装置100接收到的检测结果数据140进行从影像投射部153投射的影像的切换、显示形式的变更等各种控制。
图2是示出操作检测装置100的外观和用户200的操作状态的前视图和侧视图。(a)是用户200操作电子笔120(第1操作对象)的情况，(b)是用户用手指300(第2操作对象)在墙面201进行操作的情况。投影仪150对墙面201投射影像(此外在侧视图中省略投影仪150)。
操作检测装置100通过图像传感器101拍摄墙面201，在可拍摄的区域202内检测电子笔120或者手指300的接触位置。在(a)中，在用户200将电子笔120接触墙面201时，笔尖发光。即，根据其拍摄图像内的电子笔120的发光位置求出电子笔120的接触位置。在(b)中，使2个照明102、103交替地点亮而生成手指300的2个影子，根据其位置关系求出手指300的接触位置。
图3是示出拍摄图像的亮度和操作检测的精度的关系的图。左侧的(1)是拍摄图像亮的情况，右侧的(2)是拍摄图像暗的情况。另外，上侧(a)是利用电子笔120进行操作时，下侧(b)是利用手指300进行操作时。
在(a)的电子笔120时，在如(2)那样拍摄图像暗的情况下，电子笔120的发光区域明显，在如(1)那样拍摄图像亮的情况下，电子笔120的发光区域难以与周围识别开。另一方面，在(b)的手指300时，在如(1)那样拍摄图像亮的情况下，手指300所生成的影子明显，在如(2)那样拍摄图像暗的情况下，手指300的影子难以与周围识别开。即，在同一拍摄条件下对发光的电子笔120和不发光的手指300进行拍摄的情况下，虽然能够满足一方的对象图像的对比度，但另一方的对象图像的对比度降低，接触位置的检测精度恶化。
在本实施例中，在根据电子笔的发光区域以及手指的影子检测它们的接触位置时，在操作检测装置100内设置图像信号处理部1(111)和图像信号处理部2(112)，针对由图像传感器101获取到的拍摄图像进行图像处理，以使得第1操作对象(电子笔)和第2操作对象(手指、手)的对比度都能够满足。以下，以作为图像处理进行亮度增益调整的情况为例子进行说明。
图4是说明基于图像信号处理部1、2的亮度调整和对比度变化的图。(a)示出基于图像信号处理部1(111)的亮度调整，(b)示出基于图像信号处理部2(112)的亮度调整。附图右侧示出各操作对象(手指300和电子笔120)附近的亮度值的变化，虚线是调整前，实线是调整后。
在图4(a)中，通过图像信号处理部1(111)，针对由图像传感器101获取到的拍摄图像以使图像整体变暗的方式调整亮度增益g1。其结果，能够提高电子笔120的发光部的对比度。即，通过电子笔120的周围的亮度降低，增大发光中心和周围的亮度差(对比度)。
在图4(b)中，通过图像信号处理部2(112)，针对由图像信号处理部1(111)处理后的图像以使图像整体变亮的方式调整亮度增益g2。其结果，通过手指300的周围的亮度上升，手指300的影子和周围的亮度差变大，能够提高对比度。
此外，伴随(a)的亮度调整，在作为另一方的操作对象的手指300的周围亮度也降低，手指300的影子和周围的亮度差缩小。其中，以使其亮度差不消失的方式、换言之以使影子的亮度不与周围的亮度同化的方式，确定调整增益g1。其原因为，如果亮度差消失，则无法在接下来的(b)的亮度调整中使手指300的影子的亮度差(对比度)恢复。
关于图像信号处理部1(111)以及图像信号处理部2(112)中的调整量(增益g1、g2)，可以使用调整前曾拍摄过的图像确定其最佳值。另外，在手指300和电子笔120的操作区域预先在操作面内分离的情况下，关于图像信号处理部1、2中的增益调整，也可以在各个操作区域中设定不同的增益值。
此外，在前级的图像信号处理部1(111)中进行的图像处理功能也可以通过从控制部109向图像传感器101发送控制信号而调整曝光时间等方法来实现。
通过该结构，在使用发光的第1操作对象(电子笔)和不发光的第2操作对象(手指、手)进行操作输入的情况下，能够实现适合于各个检测的图像的对比度而检测操作对象。通过各检测处理中的图像的对比度提高，能够得到接触点的检测精度提高而操作性提高的效果。
以下，说明各个操作对象的操作检测法。首先，说明利用电子笔120(第1操作对象)进行的操作检测法。
图5是示出电子笔的结构和动作的一个例子的图。(a)示出电子笔120的构造，具有发光元件121、前端接触检测部122以及发光控制部123。前端接触检测部122由硬件、感压传感器等构成，判定电子笔120的前端是否接触墙面等。此外，前端接触检测部122也可以使用不同的传感器以得到同样的结果。发光控制部123由硬件、软件等构成，根据前端接触检测部122的判定结果控制发光元件121的发光。
(b)是电子笔120的前端未接触的情况，控制为使发光元件121熄灭。(c)是电子笔120的前端接触的情况，控制为使发光元件121点亮。此外，在(b)的电子笔120的前端未接触的情况下，也可以控制为使发光元件121闪烁。或者，也可以以在接触时和非接触时发光元件121按照不同频率闪烁的方式进行控制。无论如何，只要以在接触时和非接触时发光元件121的发光状态不同的方式进行控制即可。
此外，图像传感器101和发光元件121也可以分别具备红外照相机和红外照明，进行通过拍摄红外图像来检测后述笔的接触位置的处理。另外，在具备红外照相机和红外照明的情况下，也可以对红外照相机的结构追加滤波器，将并非红外区域的光遮蔽一部分或者全部而进行拍摄。
图6是说明电子笔和墙面的接触位置的检测的图。笔尖接触点检测部115进行检测电子笔120和墙面201的接触点的处理。图6(a)是示出处理流程的图，图6(b)和(c)是说明接触点的求出方法的图。
在s501中，笔尖抽出部114对于由图像信号处理部1(111)处理后的图像，判定是否检测到明亮地发光的区域。在检测到的情况下，进入到s502，在未检测到的情况下，结束一连串的流程。
在s502中，笔尖接触点检测部115判定检测到的发光区域511是否满足预定的条件。图6(b)示出电子笔120的笔尖发光的状态(发光区域511)，图6(c)示出发光区域511的判定条件。判定发光区域511的面积s、周围长l、纵向的最大长度h、横向的最大长度w、纵横比r等的值是否处于上限值与下限值之间。该条件被设定为发光区域仅起因于电子笔120的发光。根据判定的结果，在满足条件的情况下进入到s503，在不满足条件的情况下进入到s504。
在s503中，如图6(b)所示，将发光区域511的重心510检测为笔尖的接触点。或者，也可以将发光区域511的周上的点群的重心位置检测为笔尖的接触点。
在s504中，判定为发光区域并非起因于电子笔120。在s503或者s504的处理结束时，结束一连串的流程。
在此，示出将s501～s504的处理分别逐一地执行的一轮流程，但实际上在s503、s504之后返回到s501而反复该流程。
在本实施例中，作为图像信号处理部1(111)的亮度调整的结果，能够充分得到发光区域511与周围的亮度差(对比度)，所以s501、s502中的判定错误变少，在s503中能够高精度地检测接触点的位置。此外，笔尖接触点检测部115中的处理也可以使用用于得到同样的结果的其他图像处理的算法。
接下来，说明利用手指、手(第2操作对象)进行的操作检测法。
图7～图9是示出在使照明102或者照明103点亮时，影子的形状因手指300和墙面201有无接触而不同的一个例子的图。
图7(a)示出手指300未接触墙面201的情况下的影子的形状。在照明103点亮的情况下，通过照明103而被投影的影子301形成，在照明102点亮的情况下，通过照明102而被投影的影子302形成。影子301和影子302处于相互分离的状态。图7(b)说明了形成如图7(a)所示的影子的原理。在从投射面上方观察的情况下，照明103照射的光被手指300遮挡，在墙面201上形成影子301。另外，照明102照射的光被手指300遮挡，在墙面201上形成影子302。因此，在图像传感器101拍摄的图像中，影子301和影子302处于彼此分离的状态。
另一方面，图8(a)示出手指300接触墙面201的情况下的影子的形状。影子301和影子302处于在手指300的指尖的位置接近的状态。图8(b)说明了形成如图8(a)所示的影子的原理。在从投射面上方观察的情况下，照明103照射的光被手指300遮挡，在墙面201上形成影子301。另外，照明102照射的光被手指300遮挡，在墙面201上形成影子302。因此，在图像传感器101拍摄的图像中，影子301和影子302处于在指尖的位置接近的状态。
图9是汇总地示出手指的接近度和影子301、302的生成位置的图。在手指300和墙面201的距离最近的情况下(接触时)，影子301和影子302处于在指尖的位置接近的状态。随着手指300和墙面201分离，影子301和影子302的距离逐渐变大。另外，在手指300和墙面201的距离远的情况下，影子301和影子302处于从手指300分离的状态。这样，影子301和影子302的距离与手指300和墙面201的距离(接近度)对应。
图10是说明手指和墙面的接触位置的检测的图。指尖接触点检测部108进行检测手指300和墙面201的接触点的处理。图10(a)是示出处理流程的图，图10(b)是说明接触点的求出方法的图。
在s601中，轮廓检测部107检测手指300的影子301、302的前端611、612。在s602中，指尖接触点检测部108计算前端611和前端612的距离，判定距离是否为预先确定的值(预定值)以下。在预定值以下的情况下进入到s603，在大于预定值的情况下进入到s604。
在s603中，判定为手指300接触墙面201，如图10(b)所示，将前端611和前端612的中点610检测为手指300和墙面201的接触点。
在s604中，判定为手指300未接触墙面201。在s603或者s604的处理结束时，结束一连串的流程。
在此，示出了将s601～s604的处理分别逐一地执行的一轮流程，但实际上在s603、s604之后返回到s601而反复该流程。
在本实施例中，作为图像信号处理部2(112)的亮度调整的结果，能够充分得到2个影子301、302与周围的亮度差(对比度)，所以s601、s602中的检测和判定错误变少，在s603中能够高精度地检测接触点的位置。
这样，根据实施例1，在使用1台图像传感器对发光的第1操作对象和不发光的第2操作对象进行拍摄而检测的情况下，能够在各检测处理中实现适合于各个操作对象的检测的对比度。通过操作对象的对比度提高，能够得到接触点检测精度提高而操作性提高的效果。另外，通过使用本实施例的操作检测装置，能够得到无论是什么操作对象都能够应用、另外无论操作面是如墙面、桌子等什么样的面都能够应用的效果。
此外，在图1所示的操作检测装置100的结构中，符号101～115所示的各部分是独立的，但也可以根据需要通过1个或者多个构成要件构成。例如，105～115也可以构成为通过1个或者多个中央处理装置(cpu)进行其处理。另外，在图1中将101～115的各部分全部构成于操作检测装置100的内部，但也可以将1个或者多个构成要件构成于操作检测装置100的外部，通过网络连接、通用串行总线(usb)连接、其他有线连接、无线连接与操作检测装置100耦接。
例如，图11是示出图1的变形例的结构图。在图11中，关于图像传感器101、图像信号处理部1(111)、照明102、照明103、开关104，构成为与操作检测装置100独立的照相机/照明模块130。另外，用usb等连接操作检测装置100和模块130。
实施例2
实施例2构成为去掉实施例1中的图像信号处理部2并在笔尖抽出部114的前级配置图像信号处理部3。
图12是示出实施例2中的使用操作检测装置的影像显示系统的结构的图。与实施例1(图1)的不同点在于，去掉处于影子区域抽出部106的前级的图像信号处理部2(112)，代替地在笔尖抽出部114的前级配置有图像信号处理部3(113)。
在该结构中，在前级的图像信号处理部1(111)中，为了使影子区域抽出部106中的影子区域抽出处理容易，以使图像整体变亮的方式进行图像处理。另一方面，在后级的图像信号处理部3(113)中，为了使笔尖抽出部114中的笔尖抽出处理容易，针对由图像信号处理部1(111)处理后的图像以使图像整体变暗的方式进行图像处理。即，在使用实施例1的图4来说明时，在图像信号处理部1(111)中进行与图4(b)的增益调整g2对应的调整，在图像信号处理部3(113)中进行与图4(a)的增益调整g1对应的调整。
此外，伴随图像信号处理部1(111)的亮度调整，电子笔120的发光部和周围的亮度差缩小，但以使该亮度差不消失的方式、换言之以使发光部的亮度不与周围的亮度同化的方式确定调整增益。其原因为，如果亮度差消失，则无法在接下来的图像信号处理部3(113)的亮度调整中使电子笔120的发光部的亮度差(对比度)恢复。
在实施例2的结构中，在根据电子笔的笔尖发光以及手指的影子检测接触时，利用图像信号处理部1和图像信号处理部3进行适当的亮度调整，从而也实现最适合于各个检测的图像的对比度，检测精度都能够提高。即，能够得到与实施例1同样的效果。
此外，可以根据使用环境来选择实施例1和实施例2的结构。上述实施例1的结构适合于外部光线暗而拍摄图像暗时、或者投射面的反射率低时。其原因为，在初段的图像信号处理部1(111)中进行的亮度调整量(增益g1的减少幅度)少而处理后的图像的劣化少。反过来，实施例2的结构适合于外部光线亮而拍摄图像亮时、或者投射面的反射率高时。其原因为，在初段的图像信号处理部1(111)中进行的亮度调整量(增益g2的增加幅度)少而处理后的图像的劣化少。
实施例3
在实施例3中，构成为在实施例1的结构中对笔尖抽出部114的前级还追加图像信号处理部3。即，构成为具备3个图像信号处理部。
图13是示出实施例3中的使用操作检测装置的影像显示系统的结构的图。与实施例1(图1)的不同点在于，在笔尖抽出部114的前级也配置有图像信号处理部3(113)。
在该结构中，在前级的图像信号处理部1(111)中，为了使影子区域抽出处理容易，以使图像整体稍微变亮的方式进行图像处理(前处理)。在后级的图像信号处理部2(112)中，为了使影子区域抽出部106中的影子区域抽出处理容易，针对由图像信号处理部1(111)处理后的图像以使图像整体进一步变亮的方式进行图像处理。另一方面，在后级的图像信号处理部3(113)中，为了使笔尖抽出部114中的笔尖抽出处理容易，针对由图像信号处理部1(111)处理后的图像以使图像整体变暗的方式进行图像处理。
即，在使用实施例1的图4来说明时，后级的图像信号处理部2(112)进行与图4(b)的增益调整g2对应的调整，后级的图像信号处理部3(113)进行与图4(a)的增益调整g1对应的调整。此外，在输入的拍摄图像亮的情况下，前级的图像信号处理部1(111)也可以以稍微变暗的方式进行图像处理(前处理)。
在实施例3的结构中，在根据电子笔的笔尖发光以及手指的影子检测接触时，利用图像信号处理部2和图像信号处理部3进行适当的亮度调整，从而也实现最适合于各个检测的图像的对比度，检测精度都能够提高。
此外，实施例3中的图像信号处理部2和图像信号处理部3都为最终的处理，所以在增益调整中没有制约，与上述实施例1、2相比能够得到更理想的图像的对比度。即原因在于，由于图像信号处理部2能够专用于影子区域抽出处理，所以也可以在另一方的笔尖抽出处理中发光部的亮度与周围同化。另外，由于图像信号处理部3能够专用于笔尖抽出处理，所以也可以另一方的影子区域抽出处理中的影子的亮度与周围同化。
实施例4
实施例4构成为能够在实施例3的操作检测装置中切换操作模式。即，能够切换仅使用电子笔(第1操作对象)来操作的模式、仅使用手指(第2操作对象)来操作的模式、以及使用电子笔和手指这两方的模式。
图14是示出实施例4中的使用操作检测装置的影像显示系统的结构的图。与实施例3(图13)的不同点在于，新追加有操作模式控制部116。操作模式控制部116根据从输出部110输出的检测结果数据140(电子笔以及指尖的接触点信息)或者来自外部的用户输入，确定当前的操作模式。在本例子中，作为操作模式，设置有检测仅利用电子笔的操作的第1操作模式、检测仅利用手指的操作的第2操作模式、检测电子笔和手指这两方的操作的第3操作模式。
操作模式控制部116依照确定的当前的操作模式，将模式切换信号送到控制部109。控制部109依照模式切换信号针对图像信号处理部1(111)、图像信号处理部2(112)以及图像信号处理部3(113)以执行与操作模式对应的图像处理的方式进行控制。即，针对各图像信号处理部1、2、3切换增益调整状态并设定。
图15是示出各操作模式中的增益调整状态的一个例子的图。在检测仅利用电子笔的发光的第1操作模式中，图像信号处理部1以使图像变暗的方式进行调整(增益g1为负(-))，图像信号处理部2、3不进行调整(增益g2、g3＝0)。在检测仅手指的影子的第2操作模式中，图像信号处理部1以使图像变亮的方式进行调整(增益g1为正(+))，图像信号处理部2、3不进行调整(增益g2、g3＝0)。另外，在检测电子笔的发光和手指的影子这两方的第3操作模式中，如在上述实施例3中说明那样，图像信号处理部1、2以使图像变亮的方式进行调整(增益g1、g2为正(+))，图像信号处理部3以使图像变暗的方式进行调整(增益g3为负(-))。这样，各图像信号处理部1、2、3的增益调整状态根据各操作模式而不同。
根据实施例4，在根据电子笔的笔尖发光以及手指的影子检测接触时，能够根据操作模式使各图像信号处理部1、2、3的增益调整状态切换而动作，实现最适合于各个检测的图像的对比度。由此，能够得到各检测处理中的接触点的检测精度提高而操作性提高的效果。
上述各实施例是为了易于理解地说明本发明而详细且具体地说明装置以及系统的结构的实施例，未必限定于具备说明的所有结构。另外，能够将某个实施例的结构的一部分置换为其他实施例的结构，进而还能够对某个实施例的结构添加其他实施例的结构。
关于各实施例中的图像信号处理部，说明了针对图像信号调整亮度增益的情况，但包括其他伽玛调整等在内地只要能够调整对比度，就能够应用。其中，初段的图像信号处理部也可以控制图像传感器101中的曝光时间来调整对比度。