检测装置、显示装置以及物体接近距离测量方法

专利名称：检测装置、显示装置以及物体接近距离测量方法
技术领域：
本发明涉及检测装置和显示装置，该检测装置用于在被检测物体接近时检测从用 于获取被检测物体(诸如手指或记录笔)的图像的光学传感器的光接收表面到被检测物体 的距离(高度)，并且显示装置具有检测高度的功能。本发明还涉及一种使用光学传感器阵 列的光接收各向异性的物体接近距离测量方法。
背景技术：
用于检测被检测物体(诸如人或记录笔)的接触或接近的检测装置是已知的。此 外，其中设置有光学传感器并因此具有用于检测被检测物体与显示表面接触或接近的接触 传感器功能的显示装置也是已知的。接触检测方式包括光学方式、电容方式、电阻膜方式等。在这些方式中，光学方式 和电容方式不仅可以检测接触，还可以检测接近。已经开发了一种新型用户界面(UI)，其通过直接接触显示装置的显示屏来代替用 于操作装置的按钮等。具体地，已经积极开发了利用在诸如移动电话的移动装置中的显示 屏的UI。从可操作性的观点看，如移动装置中的相对小的显示屏在通过手指进行操作时需 要特定大小的图标。然而，当重视可操作性并且放大图标时，则减少了可以一眼看到的信息量。为了处理这种不便，还提出了新的信息显示方法，该方法检测处于非接触状态 (接近状态)的手指等，并且根据手指等的移动，来改变显示在显示面板上的视频等的显示 状态(参见日本专利公开第2008-117371号(下文中，称作专利文献1))。在专利文献1中描述的显示装置的接触和接近检测方式是电容方式，并且其被配 置为能够根据手指等的接近距离来改变显示状态。由于此目的，只可以检测粗略的接近距 离。具体地，在该显示装置的接近检测中，将电容变化转换为频率变化，并且将频率变化转 换为电压。可以确定的是，在电压高时，影响电容变化的手指较近，而在电压低时，则手指较 远。

发明内容
电容方式中的小的电容变化会被淹没在噪声电平(noise level)中。特别是当显 示装置包括接触或接近检测功能时，针对显示而发生电位变化的配线靠近检测电极设置， 并且配线中的电位变化倾向于作为感应噪声而被叠加在检测电极上。此外，即使在检测功 能不是显示装置内置型时，通过利用电容方式检测与被检测物体的距离所获得的检测信号也是基于电容变化的，从而使得通常无法执行准确的检测。为了能够检测甚至很小的电容变化，上述专利文献1需要配备使用振荡器的电容 型检测器。这招致了增加在上述专利文献1中描述的显示装置(或检测装置)的成本的缺
点O本发明提供了在抑制成本增加的同时可以以高精度光学检测(或测量)与被检测 物体的距离的检测装置和显示装置。此外，本发明提供了能够以低成本进行高精度检测的 物体接近距离测量方法。根据本发明实施方式的检测装置包括具有光学各向异性的光学传感器阵列、用于 光学传感器阵列的检测驱动部、以及高度检测部。检测驱动部驱动光学传感器阵列、获取被检测物体的图像，并且基于光接收各向 异性而生成多个不同的检测图像。高度检测部接收输入至该高度检测部的多个检测图像，并且通过使用多个输入检 测图像来检测从光学传感器阵列的传感器光接收表面到被检测物体的距离(高度)。更具 体地，高度检测部基于在与被检测物体的阴影和反射中的一个相对应的图像部分中由于光 接收各向异性的差异所产生的位移(positional displacement)的大小来检测高度，所述 图像部分包括在多个检测图像中。光学传感器阵列本身可以具有光接收各向异性，或例如可以通过光接收各向异性 赋予部而向光学传感器阵列赋予光接收各向异性。在前者情况下，可以通过半导体工艺整 体地形成阻挡从一侧到光学传感器阵列的光接收表面的光的一部分并且不怎么阻挡来自 另一侧的光的物件(诸如檐(eave)等)。另一方面，在后者情况下，检测装置期望具有用于波长选择的波长选择滤光部 (诸如滤色片、遮光滤光片、透镜阵列等)作为光接收各向异性赋予部。尤其地，当检测装置具有波长选择滤光器部等作为光接收各向异性赋予部时，检 测驱动部优选利用不同波长范围中的光通过多次图像获取而生成多个检测图像。在该情况下，光学传感器阵列通过二维配置多个光学传感器而形成，所述多个光 学传感器通过在光的接收量中产生波长依赖性而赋有光接收各向异性。所述接收光是在接 收由光接收各向异性赋予部透过的光时而从不同方向入射的。检测驱动部基于时间分割利 用彼此分别具有不同波长范围的多束光来照射被检测物体。此外，与利用多束光的照射同 步地，检测驱动部基于时间分割来控制当通过被检测物体反射和返回的反射光在透过光接 收各向异性赋予部之后而被多个光学传感器接收的每一光接收时间。通过该时间分割控制 来执行多次图像获取，从而生成多个检测图像，并且基于图像之间的位移来检测高度。如同上述的检测装置，根据本发明实施方式的显示装置包括光学传感器阵列、检 测驱动部以及高度检测部。此外，显示装置包括光调制部和显示表面。光调制部根据输入 视频信号来调制入射光，并且使生成的显示图像从显示表面显示。根据本发明实施方式的物体接近距离测量方法包括下列步骤。(1)驱动具有光接收各向异性的光学传感器阵列、获取被检测物体的图像并且基 于光接收各向异性而生成多个不同的检测图像的步骤。(2)基于在与被检测物体的阴影和反射中的一个相对应的图像部分中由于光接收 各向异性的差异所产生的位移的大小来检测从光学传感器阵列的传感器光接收表面到被
6检测物体的距离(高度)的步骤，并且该图像部分包括在多个检测图像中。根据本发明另一实施方式的物体接近距离测量方法包括下列步骤。(1)通过来自具有光接收各向异性的光学传感器阵列中的多个光学传感器的对应 于不同光接收各向异性的光学传感器的组合而多次获取被检测物体的图像的步骤。(2)基于在与被检测物体的阴影和反射中的一个相对应的图像部分中由于光接收 各向异性的差异所产生的位移的大小来检测从光学传感器阵列的传感器光接收表面到被 检测物体的距离(高度)的步骤，并且该图像部分包括在通过多次图像获取而得到的多个 检测图像中。本发明具有如同普通光学型接触传感器一样的光学传感器阵列。然而，该光学传 感器阵列具有光接收各向异性。因此，高度检测是可行的。从而，与电容型相比较，由于使 用了图像之间的位移而实现了成本降低和高精度。从上文中，根据本发明，能够提供在抑制成本增加的同时以高精度来光学检测 (或测量)与被检测物体的距离的检测装置和显示装置。此外，本发明提供了能够以低成本 进行高精度检测的物体接近距离测量方法。


图IA和图IB是示出了根据第一实施方式的检测装置的主要部分的示图；图2是示出了检测装置的光接收表面内的区域划分(regiondivision)的示图；图3A和图3B是用于说明图2的每个区域中的具有不同各向异性赋予取向的光学 传感器的组合的实例的示图；图4A1、图4A2、图4B 1以及图4B2是表示高度检测的第一方法的示图；图5A和图5B是用于说明高度检测的第一方法的改进的示图；图6A和图6B是用于说明高度检测的第二方法的示图；图7是示出了根据第二实施方式至第五实施方式的显示装置的总体构造的框图；图8是示出了 I/O显示面板的构造的实例的示图；图9是包括在像素单元中的显示像素部和传感器部的等效电路图；图10是示出了用于三原色显示的三个像素与传感器读出H-驱动器之间的连接关 系的示图；图IlA和图IlB是根据第二实施方式的显示装置的像素单元的平面图和截面图；图12是根据第二实施方式的显示装置中的显示区域和传感器区域的配置的平面 图；图13是示出了当使指尖接近图IlA和图IlB中所示的构成的显示表面时光的路 径的透视图；图14是示出了背光的闪烁(blinking)周期的时序图；图15A、图15B 1、图15B2以及图15B3是示出了在第二实施方式中用于发光、图像 获取以及数据写入的各扫描的时序图；图16A1、图16A2、图16B 1以及图16B2是示出了第二实施方式中的图像获取数据 的分析结果的示图；图17是示出了手指高度与检测图像中峰值之间的距离的关系的示图18A、图18B、图18C以及图18D是涉及第二实施方式的修改例的示图；图19是根据第三实施方式的显示装置的像素单元的平面图和截面图；图20是根据第三实施方式的显示装置中的显示区域和传感器区域的配置的平面 图；图21是示出了当使指尖接近图19中所示的构成的显示表面时光的路径的透视 图；图22A和图22B是示出了 RB滤光片和RGB滤光片的透射光谱的曲线图；图23A、图23B和图23C是示出了 RGB光的波长范围的曲线图；图24A1、图24A2、图24B 1以及图24B2是示出了第三实施方式中的图像获取数据 的分析结果的示图；图25A、图25B、图25C以及图25D是涉及第三实施方式的修改例的示图；图26是示出了根据第四实施方式的显示装置中的透镜与传感器配置之间的关系 的示图；图27A和图27B是根据第五实施方式的显示装置的截面图和平面图；图28是根据第六实施方式的电视机的透视图；图29A和图29B是根据第六实施方式的数码相机的透视图；图30是根据第六实施方式的笔记本式个人计算机的透视图；图31是根据第六实施方式的摄像机的透视图；以及图32A、图32B、图32C、图32D、图32E、图32F以及图32G是根据第六实施方式的移 动电话的打开和闭合示图、平面图、侧视图、俯视图以及仰视图。
具体实施例方式以下将通过主要将液晶显示装置作为显示装置，参考附图来描述本发明的优选实 施方式。将以下列顺序进行描述。1.第一实施方式用于实施本发明的方式概要(检测装置的实例)2.第二实施方式本发明对于场序制系统的液晶显示装置的应用，在该场序制系 统中，基于时间分割(time division)施加每种颜色的光，并且基于时间分割来执行图像获 取3.第三实施方式应用本发明的使用遮光滤光片的空间分割方式的液晶显示装
置4.第四实施方式本发明对于有机EL显示装置的应用5.第五实施方式使用透镜阵列而赋予光接收各向异性的显示装置的实例6.第六实施方式本发明对于电子装置的应用的实例<1.第一实施方式>[检测装置的构造]图IA和图IB示出了根据本发明实施方式的检测装置的主要部分。图IA中示出的检测装置1至少具有基板2、光学传感器阵列3、光接收各向异性赋 予部4以及保护层5。保护层5的顶表面是接近被检测物体(手指、记录笔等)的检测表面5A。如图IB所示，在这种情况下，光学传感器阵列3通过以矩阵形式配置光学传感 器PS而形成。光学传感器PS包括通过使用半导体工艺而形成在基板上的光电检测器 (photodetector)和用于控制光电检测器的传感器电路。将在下文所描述的实施方式中描 述光学传感器PS的等效电路的细节。基板2可以为半导体基板。在这种情况下，通过使用半导体工艺，而在基板2上直 接形成构成光学传感器PS的光电检测器和传感器电路。基板2可以是由绝缘体形成的基 板。在该情况下，通过使用TFT(薄膜晶体管)形成工艺而在绝缘基板上形成薄膜半导体 层，并且在该薄膜半导体层中形成光电检测器和传感器电路。此外，可以采用这样的构造， 其中，在半导体基板上形成有绝缘层，并在绝缘层上形成薄膜半导体层。在任何情况下，通过用于光学传感器的阵列的多层配线结构，而在行(水平)方向 和列(垂直)方向上形成光学传感器互连配线。作为互连配线，图中所示的实例中的检测装置具有N条扫描线SCN，用于在水平 方向上将光学传感器PS彼此相连接，并在垂直方向上将光学传感器PS分离；以及M条传 感器线SL，用于在垂直方向上相互连接光学传感器PS，并在水平方向上将光学传感器PS分罔。存在以下两种情况，S卩，这样形成的光学传感器阵列3本身就具有光接收各向异 性的情况；以及如图所示，通过在光学传感器阵列3的光接收表面侧上设置光接收各向异 性赋予部4，而将光接收各向异性赋给光学传感器阵列3的情况。这种情况下的“光接收各向异性”指的是在接收光时光接收敏感度对于在不同方 向上进入光学传感器PS的光(来自被检测物体侧的光)是不同的这样一种特性。即，将对 于以特定角度入射的光产生高传感器输出和对于以另一角度入射的光产生低传感器输出 的特性称作光接收各向异性。在光学传感器阵列3本身具有光接收各向异性的情况下，可以通过光学传感器PS 的光电检测器的半导体特性来赋予光接收各向异性。当这样不可行时，可以通过利用半导 体工艺等而在光学传感器PS的光接收表面侧上形成用于一侧遮光的檐状的部分，而将光 接收各向异性赋予至光学传感器阵列3本身，从而增强了对于特定角度的光的遮光特性， 并且削弱了对于另一角度的光的遮光特性。在这种情况下，不需要图IA中的光接收各向异 性赋予部4。期望将遮光滤光片或滤色片用作光接收各向异性赋予部4，遮光滤光片将与上述 檐状的部分相似的效果赋给光学传感器阵列3，而滤色片将波长选择性赋给不同角度处的 光。在下文描述的显示装置的实施方式中，将描述遮光滤光片和滤色片的形式和效果的细 节。此外，如在本实施方式中以下所描述的，可以将透镜阵列用作光接收各向异性赋 予部4，在该透镜阵列中，以阵列形式配置用于将来自被检测物体的光主要分成两个方向的 透镜。这种透镜包括具有半圆筒形的柱面透镜(cylindrical lens) 0如图IB所示，垂直驱动电路(V. DRV) 6V连接至N条扫描线SCN，并且水平驱动电路 (H. DRV) 6H连接至M条传感器线SL。此外，高度检测部(H. DET) 7连接至传感器读出H-驱 动器6SRH。
9
传感器读出V-驱动器6SRV和传感器读出H-驱动器6SRH形成检测驱动部6。检 测驱动部6是用于驱动光学传感器阵列3、获取被检测物体的图像以及基于光接收各向异 性而生成多个不同检测图像的电路。检测驱动部6可以概念性地包括诸如CPU等的控制电路。多个检测图像均是一组来自光学传感器PS的传感器输出，并且可以为模拟图像 或数字图像。多个检测图像的每一个均是要提供给高度检测部7的图像数据，该图像数据 是通过根据需要将从彼此平行的M条传感器线SL输出的传感器输出转换为数字信号、在传 感器读出H-驱动器6SRH中累积传感器输出而生成的。高度检测部7可以概念性地包括图中未示出的诸如CPU的控制电路。高度检测部 7是这样的一个电路，其用于在内置控制电路或外部控制电路的控制下，根据多个检测图像 来检测从光学传感器阵列3的传感器光接收表面到被检测物体的距离(高度)。高度检测部7本身可以为CPU。在该情况下，将高度检测部7的上述功能实现为由 CPU所执行的程序的步骤。此外，高度检测部7根据需要可以包括用于处理的图像存储器。检测装置1可以是使用外部光作为检测光的阴影检测型(shadow detecting type)检测装置，或者可以是具有通过被检测物体反射由检测装置1本身发射的光的反射 检测型显示装置。在阴影检测型的情况下，从检测表面5A吸收外部光，并且通过光学传感器阵列3 来感测外部光的强度分布。当被检测物体与检测表面5A相接触或接近时，在入射于光学传 感器阵列3上的外部光的强度分布中包括对应于被检测物体的暗图像部分。高度检测部7 由通过不同的光接收各向异性而摄取的多个检测图像来获得对应于物体阴影的暗图像部 分的位移的大小，并根据位移检测高度。在反射检测型的情况下，需要将光照射部添加至图IA的构成。例如，光照射部设置在后表面侧，即基板2的与光学传感器阵列3相反的一侧上。 光照射部具有任意光源。然而，为了更低的能耗以及尺寸减小，例如，光照射部至少包括一 个LED光源和用于将LED光转换为平面状光的导光板。在导光板的后表面上设置有反射片， 以增加用于光学传感器阵列3的照明度。在反射检测中，使这样生成的来自光照射部的平面状光通过由诸如玻璃的透明材 料形成的基板2、进一步通过光学传感器阵列3、光接收各向异性赋予部4以及保护层5，然 后从检测表面5A发至外部。该发射光(检测光)由被检测物体反射，并且反射光从检测表 面5A返回至检测装置1的内部。反射光在通过光接收各向异性赋予部4时具有对于赋予光接收各向异性的光接 收角度依赖性(light reception angle d印endence)，并且反射光接着在光学传感器阵列 3上入射。光学传感器阵列3中的每个光学传感器PS基于光接收各向异性而生成多个或至 少两个不同方向的图像。光学传感器阵列3生成多个不同方向的图像的原理是依赖于光接 收各向异性赋予部4的构成。如下文将描述的，存在这样的情况，即，光接收各向异性赋予部4是将各向异性赋 给在一个方向上从一侧倾斜入射的光和从另一侧倾斜入射的光的遮光滤光片。在这种情况 下，对应于每个光学传感器PS的遮光滤光片的图案被确定为将这两束不同的光选择性地引导至光学传感器阵列3。例如，对于配置在水平方向和垂直方向上的交替(间隔)的第一光学传感器，透过 来自水平方向右方的光，并基本上阻挡来自水平方向左方的光。相反，对于在水平方向和垂 直方向上的剩下的第二光学传感器，透过来自水平方向左方的光，并基本上阻挡来自水平 方向右方的光。在该实例中，从光学传感器阵列3中的一组离散的第一光学传感器获得第一检测 图像，并且从光学传感器阵列3中的一组其他的离散的第二光学传感器获得第二检测图像。反射光的倾斜光成分在被检测物体靠近时具有小入射角(几乎垂直)。该倾斜光 成分的入射角随着被检测物体远离检测表面5A而增大。因此，通过执行作为同一目标的被 检测物体的图像获取而获得的第一检测图像和第二检测图像具有这样的特性，使得第一图 像和第二图像中与目标(被检测物体)相对应的图像部分的位移随着目标变得更远而增 大。通过使用这种特性，高度检测部7可以根据被检测物体的图像部分的位移的大小 而准确地检测高度(从传感器光接收表面到被检测物体的距离)。下文中，以遮光滤光片为代表的空间地赋予各向异性的方式被称作空间分割方 式。高度检测原理本身在光接收各向异性赋予部4为滤色片的情况下与上述情况是 相同的。然而，在滤色片的情况下，赋予各向异性的方法与遮光滤光片的情况是不同的。如下文将详细描述的，作为光接收各向异性赋予部4的滤色片在对应于光学传感 器PS的部分中具有遮光部分和在期望赋予各向异性的方向上的两侧具有不同光透射特性 的滤色部分。在这种情况下，将检测装置1限制为反射检测型，并且检测装置1的光发射部需要 具有独立发射至少两种不同颜色的光的构成。当通过一个光学传感器PS接收多束光(例 如两束光)时，则通过时间分割来执行光发射，并且也通过与光发射同步的时间分割来执 行光学传感器PS的光接收时间的控制。从而执行多次(例如两次)不同颜色的光的图像 获取，并且从每个图像获取中获得不同的检测图像。下文中，将以这种情况下的滤色片为代表的在时间上控制并赋予各向异性的方式 称作时间分割方式。另一方面，可以配置彼此接近的多种光学传感器PS(其中，光学传感器具有不同 光接收敏感度的中心波长，以对应于多种颜色)、将多种光学传感器PS设定为一个组，并且 通过以矩阵形式配置这些组而形成光学传感器阵列3。在这种情况下，即使利用一次图像获 取，通过从每种光学传感器PS(光接收敏感度特性不同)输出检测图像，也可以获得多个图 像，在这多个图像中，对应于被检测物体的图像部分的位置根据高度而彼此发生位移。然而，由于与滤色片的滤光部分的对应关系，因此由接收特定颜色的光成分的光 学传感器所接收的光量随着被检测物体变近而增加。因此，多种光学传感器的配置需要被 确定为使得由接收另一颜色的光成分的光学传感器所接收的光量随着被检测物体变远而 增加。在通过多种光学传感器PS来赋予各向异性的意义上，这种情况是空间分割方式的一种。即，当将滤色片用作光接收各向异性赋予部4时，可以采用空间分割方式以及时间 分割方式。下文中，将这种方式称作使用滤色片和光学传感器特性组合的空间分割方式，以 与使用遮光滤光片的空间分割方式相区别。图2示出了检测装置1的检测表面5A(检测面板)的区域划分，该区域划分是基 于光接收各向异性赋予部4(遮光滤光片或滤色片)中的各向异性取向而进行。图2示出 了检测面板的整个检测表面被分割成的九个面内区域。此外，将远离检测表面5A的方向设 定为ζ方向，图2示出了在被检测物体在3X3矩形区域的上侧和左侧的ζ方向中的可检测 范围(三角形的内部是可检测范围)。图3A和图3B示出了用于3X3矩形区域的每个中的高度检测的传感器组合的具 体实例。在该实例中，如图3B所示，例如，将四个传感器设定为一个单元，这四个传感器根 据遮光滤光片(遮光部)与光学传感器PS之间的相对位置关系而具有四个方向的各向异 性赋予方向。该单元在检测装置的表面(检测面板)中的行方向和列方向上被重复配置。 遮光部与光学传感器PS之间的相对位置关系不相同的传感器由标号“4D、4L、4R以及4U” 来表示。每个传感器的三侧由光学传感器PS的遮光部围绕，并且在没有被遮光部围绕的剩 余一侧的方向上赋有光接收各向异性。下文中，将下各向异性赋予部4D、左各向异性赋予部 4L、右各向异性赋予部4R以及上各向异性赋予部4U用作表示各向异性赋予取向的名称。顺便提及，将在下面示出通过遮光部与光学传感器PS之间的关系而赋予光接收 各向异性的实例。然而，在滤色片的情况下，如在遮光部中一样，可以通过阻挡或削弱三侧 的特定颜色成分而将光接收各向异性赋给剩余一侧。由图3A中的标号“ 1C”所表示的中央方形区域可以从任何方向获得足够的光量， 从而允许以任何方式使用遮光部和光学传感器PS的四个组合中的两个以上任意组合。另一方面，例如，由图3A中的标号“1R”和“1L”所表示的右侧区域和左侧区域优 选地根据两个图像而执行高度的ζ方向上的位置检测，这两个图像分别通过使用由圆圈标 记所包含的下各向异性赋予部4D和上各向异性赋予部4U以及给定的下和上各向异性而获 得。由于在左区域和右区域上来自左方和右方的入射光量彼此不相等，而在左区域和右区 域上来自上方向和下方向的入射光量彼此基本上相等，所以期望使用上各向异性和下各向 异性。例如，由图3A中的标号“1U”和“1D”所表示的上侧区域和下侧区域优选地根据两 个图像而执行高度的ζ方向上的位置检测，这两个图像分别通过使用由圆圈标记所包含的 左各向异性赋予部4L和右各向异性赋予部4R以及给定的右和左各向异性而获得。由于在 顶部区域和底部区域上来自上方向和下方向的入射光量彼此不相等，而在顶部区域和底部 区域上来自左方和右方的入射光量彼此基本上相等，所以期望使用左各向异性和右各向异 性。另一方面，作为图3A中所示的四个拐角部分的区域具有根据区域的各个位置所 期望使用的各向异性赋予部的不同组合。由标号“1CN_1”表示的左上角部分的区域具有有限量的来自顶部和左方的入射 光，并且因此优选地使用下各向异性赋予部4D和右各向异性赋予部4R。由于类似的原因， 由标号“1CN_2”表示的右上角部分的区域使用下各向异性赋予部4D和左各向异性赋予部4L。此外，由标号“1CN_3”表示的左下角部分的区域使用右各向异性赋予部4R和上各向异 性赋予部4U。此外，由标号“1CN_4”表示的右下角部分的区域使用左各向异性赋予部4L和 上各向异性赋予部4U。通过由此根据检测表面5A的位置而选择适当的各向异性赋予部的组合，可以根 据由相应的各向异性赋予部获得的两个图像而执行高度的ζ方向上的位置检测。即，当选 择由图3A中的圆圈标记所包含的各向异性赋予部时，在从各个各向异性赋予部获得的两 个图像之间产生χ方向或y方向上的图像位移。图IB中的高度检测部7执行位置检测，以 基于位移的大小来确定被检测物体的高度(ζ方向)。顺便提及，当通过滤色片阻挡或透过特定颜色来代替图3A和图3B中所示的遮光 部时，结合时间分割和空间分割的图像获得是可行的。在滤色片的情况下，将选择不同波长范围(即，设置有颜色选择性)的两个滤色部 设置为右各向异性赋予部4R、左各向异性赋予部4L、下各向异性赋予部4D以及上各向异性 赋予部4U中的任意两个各向异性赋予部(根据图3A的区域，在圆圈标记中的两个合适的 各向异性赋予部)。[高度检测方法]接下来，将对通过高度检测部7利用两个检测图像所执行的高度检测方法的两个 实例进行描述。顺便提及，如上所述，尽管将右各向异性赋予部4R和左各向异性赋予部4L 的组合用作下列描述的实例，但根据检测位置，也可以使用下各向异性赋予部4D和上各向 异性赋予部4U的组合。此外，根据诸如拐角部分的位置，可以将上和下各向异性赋予部中 的一个与左和右各向异性赋予部中的一个彼此任意组合。第一方法使用从图IB中的检测驱动部6输出的两个检测图像，并且基于对应于被 检测物体的图像部分的传感器输出分布的峰值位置来检测高度，其中，该图像部分包括在 两个检测图像的每一个中。图4A2和图4B2是用于说明第一方法的示图。在图4A2和图4B2中，横坐标轴表示在各向异性赋予方向(例如，χ方向)的位置， 并且产生与被检测物体相对应的图像部分的传感器输出(接收光量)随着从横坐标轴开始 在垂直方向上的距离增大而增加。即，纵坐标轴表示检测图像的谱线轮廓(line profile)。 图4A1和图4B1示意性地示出了当分别获得图4A2和图4B2中的检测图像的谱线轮廓时， 被检测物体SD与基准表面(例如，检测表面5A或光接收表面)的距离的差异。如图4A2和图4B2所示，从接收由右各向异性赋予部4R透过的光的右各向异性传 感器(参见图2)中获得第一检测图像(下文中，为第一检测图像Pl)的谱线轮廓，并且第 一检测图像的谱线轮廓的峰值具有相对较小的χ方向地址。另一方面，从接收由左各向异 性赋予部4L透过的光的左各向异性传感器(参见图2)中获得第二检测图像(下文中，为 第二检测图像P2)的谱线轮廓，并且第二检测图像的谱线轮廓的峰值具有相对较大的χ方 向地址。第一检测图像与第二检测图像的峰值之间的χ坐标差根据被检测物体SD距离基 准表面的位置的大小而变化。当被检测物体SD较小时，每个输出分布的峰值是唯一确定的，从而可以确定第一 检测图像Pl的峰值坐标Xl和第二检测图像P2的峰值坐标X2。高度检测部7计算峰值坐 标之间的差(x2-xl)，并根据该差的大小来确定被检测物体SD的高度。
13
图5A和图5B示出了根据被检测物体SD的大小，检测图像轮廓的差异。图5A表示被检测物体SD较小的情况，而图5B表示被检测物体SD较大的情况。在诸如指尖的小物体的情况下，良好地执行参考图4A1 图4B2所描述的前述第 一方法。然而，在为大物体时，该峰值检测方法不能够准确地确定从传感器光接收表面到物 体的距离(高度)。这是因为在大物体(被检测物体SD)和被检测峰值范围广泛地取决于 该情况下的峰值检测的精度的情况下，第一检测图像Pl和第二检测图像P2的相应谱线轮 廓在其峰值周围是平坦的。因此，位移量还包括取决于将被检测峰值范围中的哪个点设定 为用于差分计算的对象的误差。结果，高度检测会具有非常低的精度。图6A和图6B表示第二方法。第二方法消除了第一方法的缺点。图6A示出了在小的被检测物体的情况下传感 器输出分布的实例。图6B示出了在大的被检测物体的情况下传感器输出分布的实例。第二方法通过使用为第一检测图像Pl和第二检测图像P2所共用的特定阈值TH， 而将每条检测图像数据二进制化，并且基于二进制化信息来执行高度检测。该二进制化信 息由图6A和图6B中的两个圆圈标记来表示。通过转换第一检测图像Pl所获得的第一识 别图像PIl和通过转换第二检测图像P2所获得的第二识别图像PI2分别与对应于被检测 物体的检测图像部分相对应。因此，与图6A相比较，图6B中的识别图像较大。尽管识别图 像的尺寸(直径)取决于确定阈值TH的方法，但是其本身的尺寸不影响高度检测。在高度检测中，确定在通过高度检测部7获得的第一识别图像PIl和第二识别图 像PI2的χ方向上的各重心位置。例如，可以采用在χ方向上将两端的地址平均的方法来 作为确定重心位置的方法。只要被检测物体相对于检测表面5A在同一位置上，则不管被检测物体的尺寸如 何，由此所获得的两个重心位置是不变的。具体地，图6A中所获得的第一识别图像PIl的 重心位置和图6B中所获得的第二识别图像PI2的重心位置在χ轴上彼此相重合。此外，即 使当改变阈值TH时(在对称分布的情况下)，重心位置也不会改变。另一方面，尽管可存在 如手指倾斜接近的情况那样的非对称分布的情况，但通过同一阈值TH，重心位置不会有很 大不同。顺便提及，在第二方法中，在被检测物体处于较远的位置时，分布峰值降低，并且 峰值可能在阈值TH的下方。在上述情况下，第二方法被需要改变阈值TH的不便所困扰。因此，例如，假设第一方法用于低分布峰值和较小被检测物体的检测，而第二方法 用于高分布峰值和较大被检测物体的检测，则可以在第一方法与第二方法之间进行切换， 或可以将第一方法和第二方法彼此组合来使用。能够进行上述高度检测的根据本实施方式的检测装置1基于图像处理计算，来执 行光学检测和高度检测。因此，即使当在传感器输出上叠加有噪声时，也可以在差分计算时 消除噪声。因此，可以以高精度来执行高度检测。此外，当可能需要光接收各向异性赋予部4 时，则不需要通过使用振荡器等来转换传感器输出的大规模电路，这就成本而言是有利的。第二方法还可以通过照原样使用二进制化信息来检测被检测物体的尺寸。顺便提 及，当期望以平面形式检测被检测物体的尺寸时，则需要图2中第一各向异性赋予方向中 的尺寸检测和第二各向异性赋予方向中的尺寸检测。<2.第二实施方式〉
根据第二实施方式的显示装置可以实现为能够与使用者进行交互式信息的输入 和输出的显示面板(I/O显示面板)。可选地，根据本实施方式的显示装置可以实现为通过 I/O显示面板和I/O显示面板外部的IC的模块实施(module implemention)所获得的显示 模块，以及例如还包括应用程序执行部的电视接收机或监视装置。通过以还包括应用程序执行部的显示装置作为实例，将在下面描述第二实施方式 的细节。[显示装置的总体构造]图7是示出了显示装置的总体构造的框图。图7中示出的显示装置10具有I/O显示面板10P、背光20、显示驱动电路1100、光 接收驱动电路1200、图像处理部1300以及应用程序执行部1400。I/O显示面板IOP由在整个表面上以矩阵形式配置多个像素的液晶面板OXD(液 晶显示))形成。I/O显示面板IOP具有以下功能(显示功能)，即，在执行线序操作的同 时，基于显示数据来显示诸如预定图形和字符的图像。此外，如下文将描述的，I/O显示面板 IOP还具有获取与I/O显示面板IOP的显示表面11接触或接近的物体的图像的功能(图像 获取功能)。例如，背光20是I/O显示面板IOP的光源，该光源通过配置发射三原色的多个发 光二极管(LED)而形成。如下文将描述的，背光20在显示驱动电路1100的控制下，以与I/ 0显示面板IOP的操作定时同步的预定定时，而高速地执行每种颜色的LED的接通或断开操作。显示驱动电路1100驱动I/O显示面板IOP (执行线序操作的驱动)，以在I/O显示 面板IOP上显示基于显示数据的图像。光接收驱动电路1200获取诸如指尖的被检测物体的图像，并输出该获取图像作 为多个检测图像，从而在I/O显示面板IOP中获得所接收的光数据。然而，显示驱动电路1100通过执行基于线序的像素驱动来驱动液晶层(光调制 层)，光接收驱动电路1200基于线序而驱动光学传感器阵列。顺便提及，例如，从光学传感 器所接收的光数据以帧为单位在帧存储器(FM)中积累，并且作为获取图像(多个检测图 像)而输出至图像处理部1300。图像处理部1300基于从光接收驱动电路1200输出的获取图像(检测图像)来执 行预定的图像处理(运算处理)。从而，图像处理部1300检测并获得关于与I/O显示面板 IOP接触或接近的物体的信息(位置坐标数据、关于物体的形状和尺寸的数据等)。顺便提 及，具体地，已经在第一实施方式中参考图4A1 图6B描述了在感测处理中检测在ζ方向 上的距离(高度)的处理，因此，在下面省略了其描述。应用程序执行部1400是基于图像处理部1300的感测结果来执行根据预定应用软 件的处理的电路。将根据高度检测的结果使显示按钮更大或更小的处理、改变按钮本身的处理等作 为根据应用软件的处理的例子。此外，可以通过应用本发明的实施方式来执行高精度的高度检测。因此，能够将高 度范围划分为几个等级，并且根据在其中存在诸如指尖的被检测物体的划分(division)， 而将用于简单按钮变化等的具有多于二进制信息的信息量的多级信息输入至应用软件。因此，本发明也适用于应用软件的操作，其中，通过指尖的高度来控制操作程度，例如游戏中 动作程度。顺便提及，还可以使将被检测物体(诸如指尖)的位置坐标(包括高度)包括在显 示数据中以及将该位置坐标显示在I/O显示面板IOP上的处理来作为简单的实例而示出。将通过应用程序执行部1400生成的显示数据提供给显示驱动电路1100，该显示 数据包括按钮显示和位置数据等。[显示面板的总体构造]图8是示出了 I/O显示面板IOP的构造的实例的示图。图8中示出的I/O显示面板IOP具有包括显示区域DR和传感器区域SR的显示部 IOPl、显示H-驱动器(DH. DRV) 2200以及显示V-驱动器(DV. DRV) 2300。I/O显示面板IOP 还具有传感器读出H-驱动器(SRH. DRV) 6SRH和传感器读出V-驱动器(SRV. DRV) 6SRV。显示区域DR和传感器区域SR是用于调制来自背光20的光和发射显示光、并获取 与I/O显示面板IOP的显示表面11接触或接近的物体的图像的区域。为此，分别在显示区 域DR和传感器区域SR中以矩阵形式来配置包括光调制层和光接收元件(光学传感器PS) 的液晶元件。显示H-驱动器2200和显示V-驱动器2300是这样的电路，其用于基于从显示驱 动电路1100(图7)提供的用于显示驱动的显示信号和控制时钟(CLK)，来执行显示部IOPl 内的各个像素的液晶元件的线序驱动。传感器读出V驱动器6SRV和传感器读出H驱动器6SRH是这样的电路，其用于执 行传感器区域2100内的各个像素的光接收元件(光学传感器PS)的线序驱动并获得传感 器输出信号。根据第二实施方式的显示装置10中的检测驱动部不仅包括用于控制图像获取的 传感器读出V-驱动器6SRV和传感器读出H-驱动器6SRH，而且包括图7中的显示驱动电路 1100。从而检测驱动部具有与图像获取同步的控制背光20的功能。[像素单元的电路构造]像素单元是形成用于三种颜色、四种颜色等的颜色配置的基础的一组像素，并且 显示区域DR和传感器区域SR通过规则地配置像素单元而形成。图9是包括在像素单元中的显示像素部和传感器部的等效电路图。传感器部通常 通过使用设置在显示像素部之间的遮光区域而设置在像素单元之间的边界上。因此，下文 中，将其中设置有显示像素部的区域称作“显示区域DR”，并且下文中将传感器部称作“遮 光区域”或“传感器区域”。遮光区域和传感器区域由同一标号“SR”表示。显示区域DR和 传感器区域(遮光区域)SR在图8中的显示部IOPl中有规则地重复配置。显示区域DR在沿水平方向延伸的显示扫描线DSCN和沿垂直方向延伸的显示信号 线DSL的交点附近具有由薄膜晶体管(TFT)等形成的存取晶体管(access transistor) AT0 当存取晶体管AT由FET形成时，存取晶体管AT的栅极连接至显示扫描线DSCN，而存取晶 体管AT的漏极连接至显示信号线DSL。存取晶体管AT的源极连接至每个像素的像素电极 PE。像素电极PE驱动相邻的液晶层(光调制层)37。像素电极PE通常由透明电极材料形 成。将与像素电极PE相对的相对电极FE(在相对电极FE与像素电极PE之间夹置有液晶层)设置至在垂直于显示信号线DSL的方向(水平方向)上延伸的公共电位线。相对 电极FE通常被设置为使得对于各像素共用并由透明电极材料形成。这种构造的显示区域DR中的每个像素基于经由显示扫描线DSCN提供的显示扫描 信号，而导通或截止存取晶体管AT。当存取晶体管AT导通时，将与此时提供给显示信号线 DSL的显示信号相对应的像素电压施加至像素电极PE。从而设定了显示状态。例如，将通过光电二极管形成的光学传感器PS设置在与显示区域DR相邻的传感 器区域(遮光区域)SR中。电源电压VDD由于反向偏压而提供给光学传感器PS的阴极侧。 光学传感器PS的阳极侧与复位开关RSTSW和电容器C相连接。光学传感器PS的阳极具有由电容器C的尺寸所确定的存储容量。由电容器C存 储的电荷通过复位开关RSTSW而向接地电位放电(复位)。从将复位开关RSTSW由接通状 态改变为断开状态到再次接通复位开关RSTSW的时间与电荷累积时间(S卩，图像获取时间) 相对应。此外，缓冲放大器BAMP和读出开关RSW彼此串联连接在光学传感器PS的阳极与 在垂直方向上延伸的传感器线SL之间。累积的电荷在读出开关RSW接通的时刻经由缓冲放大器BAMP而提供给传感器线 SL,然后，被输出至图9所示的像素单元的基本构造3100的外部。复位开关RSTSW的接通 和断开的操作通过由复位线RSTL提供的复位信号来控制，并且读出开关RSW的接通和断开 的操作通过由读出控制线RCL提供的读出控制信号来控制。复位线RSTL和读出控制线RCL 形成传感器扫描信号线SSCN。图10示出了用于三原色显示的三个像素与传感器读出H-驱动器6SRH之间的连 接关系。在图10中，包括红色(R)显示时的像素(R像素)的像素单元的基本构造iora、 包括绿色(G)显示时的像素(G像素)的像素单元的基本构造IOPG以及包括蓝色(B)显示 时的像素(B像素)的像素单元的基本构造IOPB在显示部IOPl内并排配置示出。顺便提 及，尽管在其他实施方式中像素的颜色由滤色片的颜色配置限定，但由于场序制系统，在本 实施方式中，像素的颜色由LED光源的颜色来限定。因此，图10中所示的三个像素单元的 基本构造10PRU0PG以及IOPB表示以时间序列改变显示颜色的同一像素单元。通过缓冲放大器BAMP来放大在连接至每个像素单元的基本构造中的光学传感器 PS的电容器(未示出)中累积的电荷和寄生电容。在读出开关RSW接通的时刻，将放大后 的电荷经由传感器线SL提供给传感器读出H-驱动器6SRH。顺便提及，恒流源IG连接至传感器线SL，从而使传感器读出H-驱动器6SRH以高 灵敏度检测对应于接收光量的信号。[像素单元的平面和截面结构]图IlA示出了像素单元的平面(光接收各向异性赋予部4的区域划分(参见图 1A))。图IlB示出了像素单元的截面以对应于图11A。图IlB示出的(液晶)显示装置10具有背光20，该背光设置在作为显示表面 11 (图中最上层侧的表面)的相反侧的背(图中最下层的表面)侧上。(液晶)显示装置10具有相互层压的两个玻璃基板，在两个玻璃基板之间和在外 部表面侧上具有各种功能层，并且具有布置在背光20与显示表面11之间的显示部10P1。在这种情况下显示部IOPl与图7中的I/O显示面板IOP的有效显示区域相对应。尽管没有详细示出，但背光20是专用于图像显示的照明装置，该照明装置通过整 体地组装导光板、诸如LED的光源、光源驱动部、反射片、棱镜片等而形成。显示部IOPl具有在背光20侧的TFT基板30和在显示表面11侧的相对基板31， 作为如上所述的两个玻璃基板。在TFT基板30的显示表面11侧的主表面上形成由绝缘膜32A、配线层32B以及平 坦化膜32C组成的光接收层32。此外，在TFT基板30的另一主表面(背面)上层压有第一 偏光板40。在光接收层32内的绝缘膜32A中形成光学传感器PS的光电二极管PD。该光电二 极管PD的上表面(显示表面11侧的表面)为传感器光接收表面。在光电二极管PD上方具有开口的配线层32B中形成构成图9中的传感器线SL、复 位线RSTL、读出控制线RCL、电源线等的多条配线。平坦化膜32C通过覆盖配线而形成，以使由于配线而导致的高度差平坦化。在光接收层32(显示表面11侧)上形成包括相对电极FE(也称作公共电极)、绝 缘膜33A以及像素电极PE的显示电极层33。相对电极FE和像素电极PE由透明的电极材料制成。相对电极FE以各像素共用 的尺寸而设置。像素电极PE在各像素中是分离的。具体地，像素电极PE具有在垂直方向 上很长的多个狭缝。第一取向膜34通过覆盖像素电极PE的表面和下面的绝缘膜33A而形成。在相对基板31的一个表面(背表面侧)上形成作为光接收各向异性赋予部的滤 色片35、用于使滤色片35平坦化的平坦化膜35A和第二取向膜36。将TFT基板30向相对基板31层压，以经由隔板(spacer)(未示出)形成内部空 间。此时，两个基板彼此层压，使得在其中形成的光接收层32、显示电极层33以及第一取向 膜34的TFT基板30的表面与在其中形成有滤色片35和第二取向膜36的相对基板31的 表面相对。从未形成隔板的部分向两个基板之间的内部空间中注入液晶。当此后封闭液晶注 入部分时，TFT基板30、相对基板31以及隔板密封液晶。从而形成液晶层37。由于液晶层 37邻接第一取向膜34和第二取向膜36，所以液晶分子的取向方向由取向膜的摩擦方向来确定。每个像素的像素电极PE和为像素共用的相对电极FE被设置为在层厚方向上与由 此形成的液晶层37相邻。这两种电极用于向液晶层37施加电压。存在以下两种情况，即， 两个电极设置为在它们之间夹置有液晶层37 (垂直方向驱动模式)的情况，以及两个电极 设置在TFT基板30侧的两层中(水平方向驱动模式)的情况。图IlB表示后者的水平方 向驱动模式的情况。在该情况下，像素电极PE和相对电极FE是彼此绝缘且分离的，并且在下层侧的相 对电极FE从像素电极PE(其邻接上层侧的液晶层37)的图案的间隔对液晶产生电作用。因 此，水平方向驱动模式中的电场是沿水平方向的。另一方面，当两个电极被配置为使得从液 晶层37的厚度方向而夹置液晶层37时，电场是沿垂直方向(厚度方向)的。与设置电极的驱动模式规格无关，两个电极可以以矩阵形式驱动用于液晶层37的电压。液晶层37因此用作光学调制其透射的功能层(光调制层)。液晶层37根据施加 的电压的大小而进行灰度显示(gradation display)。将与第一偏光板40 (布置在背光20与TFT基板30之间)形成一对的第二偏光板 50作为另一光学功能层而层压至相对基板31的显示表面11侧的表面。第二偏光板50的显示表面11侧覆盖有图中未示出的保护层。保护层的最外表面 形成允许视觉识别来自外部的图像的显示表面11。在第二实施方式中，滤色片35的显示区域DR的部分不具有与采用场序制有关的 颜色选择性。这是因为颜色选择是通过背光20依次闪烁各颜色R、G以及B的LED来进行 的。另一方面，在滤色片35的传感器区域(遮光区域)SR中设置有还用作所谓的黑底 (black matrix)的遮光部60，并且在遮光部60的水平方向中的两侧上设置有两个滤色部 61R和61B。滤色部61R是主要透过红色(R)成分并切断其他颜色的成分的红色透过滤色 器。滤色部61B是主要透过蓝色(B)成分并切断其他颜色的成分的蓝色透过滤色器。通过这种滤色片35的构成，遮光部60用于防止来自光学传感器PS前面的光进入 光电二极管PD。另一方面，在背光20执行R色发光时，作为来自手指等的反射光，仅存在红 色(R)反射光，从而光Lr仅从光电二极管PD的右侧入射。在背光20执行B光发射时，仅 存在蓝色(B)反射光，从而光Lb仅从光电二极管PD的左侧入射。图12是显示部IOPl中的显示区域DR和传感器区域(遮光区域)SR的配置的平面 图。图13是示出了当使指尖接近图12中所示的区域构造的显示表面时的光路的透视图。如图12所示，传感器区域(遮光区域)SR形成为在显示部IOPl的列方向(垂直 方向)上延伸的线，并且显示区域DR设置在各条线之间。由图12中的粗虚线表示的方形 区域为像素单元，并且与预定数量的像素相对应。RGB三色显示情况下的像素单元具有与三 个像素和黑底相对应的区域。然而，在场序制系统中，彩色显示的颜色数量和像素单元的像 素数量并不必须彼此相对应。当使指尖接近显示部IOPl的显示表面时，从右方向倾斜入射的红色成分光Lr通 过滤色部61R并到达PD的光接收表面，而来自相同方向的其他颜色成分被滤色部61R吸 收。相似地，从左方向倾斜入射的蓝色成分光Lb通过滤色部61B并到达PD光接收表面，而 来自相同方向的其他颜色成分被滤色部61B吸收。例如，第一检测图像Pl(参见图4A1 图6B)由在光电二极管PD接收红色成分光 Lr时而从该光电二极管输出的一组传感器输出构成。此外，例如，第二检测图像P2(参见图 4A1 图6B)由在光电二极管PD接收蓝色成分光Lb时而从该光电二极管输出的一组传感 器输出构成。[显示装置的操作(包括物体接近距离测量方法)]接下来，将对显示装置10的操作进行详细描述，该操作包括用于获得第一检测图 像Pl和第二检测图像P2的步骤和用于高度检测的步骤。首先，将对显示装置10的基本操作(即，显示图像的操作和获取物体的图像的操 作)进行描述。由于假定这种情况下的显示装置10为图7的构造，所以将描述甚至包括通 过应用软件来使用检测之后的高度信息的实例。在图7的显示装置10中，显示装置电路1100基于从应用程序执行部1400提供的显示数据来生成用于显示的驱动信号。该驱动信号实现I/O显示面板IOP的线序显示驱动， 从而显示图像。此外，这时，背光20也由显示装置电路1100驱动，从而执行与I/O显示面板IOP 同步的接通和断开背光20的操作。下面将参考图14来描述接通或断开背光20的操作与I/O显示面板IOP的显示状 态之间的关系。首先，例如，当以一秒的1/60帧周期(frame cycle)进行图像显示时，背光20熄 灭(设定为断开状态)，因此在每个1/3帧周期的前半周期(一秒的1/360周期)中不进行 显示。另一方面，在检测装置的每个1/3帧周期的后半个周期，背光20照明(设定为接通 状态)，将显示信号提供给每个像素，并且显示该帧周期的图像。对于各颜色R、G以及B，重复这种1/3帧周期(一秒的1/120)三次，由此进行一 个帧的图像显示。因此，每个1/3帧周期的前半个周期是从I/O显示面板IOP未发射显示光的无光 周期，而每个1/3帧周期的后半个周期是从I/O显示面板IOP发射显示光的有光周期。在这种情况下，当存在与I/O显示面板IOP接触或接近的物体(例如指尖等)时， 光接收驱动电路1200的线序光接收驱动使I/O显示面板IOP中每个像素的光接收元件获 取物体的图像。作为图像获取的结果，将来自每个光接收元件的接收光信号提供给光接收 驱动电路1200。在光接收驱动电路1200中积累用于一个帧的像素的接收光信号，然后将该 接收光信号作为获取图像而输出至图像处理部1300。接下来，图像处理部1300基于该获取图像而执行下面将描述的预定图像处理(运 算处理)，以检测关于与I/O显示面板IOP接触或接近的物体的信息(位置坐标数据、关于 物体的形状和尺寸的数据等)。图15A 图15B3是更详细的时序图。图15A中的纵坐标轴表示扫描线位置，并且 图15B1 图15B3中的纵坐标轴表示脉冲电位。图15A 图15B3中的横坐标轴表示时间。图15A示意性地示出了写入操作周期和扫描操作。图15B 1示出了 R色发光周期。 图15B2示出了 G色发光周期。图15B3示出了 B色发光周期。如同图14，图15B 1 图15B3示出了以短周期(一秒的1/360)重复非发光周期 (背光断开)和发光周期(背光接通)。一个帧周期中的第一背光关闭周期Tl是R写入周期，其中，显示扫描线DSCN(图 9)由显示V-驱动器2300 (图8)控制，从而在像素电极PE中经由存取晶体管AT来设定R 显示信号。在下一个周期T2，背光接通，从而进行R色发光显示。相似地，在周期T3和T4以及周期T5和T6的组合中，重复用于G色发光显示和B 色发光显示的这种操作。在本实施方式中，在对应于背光状态的周期T2、T4以及Τ6之中与R色发光和B色 发光时间相对应的周期Τ2和Τ6中执行光学传感器的图像获取操作。在每个周期Τ2和Τ6 中，执行基于线序而扫描图9中的复位线RSTL的复位扫描，并且通过延迟来执行基于线序 而扫描读控制线RCL的读取扫描(read scan) 0用于每个画面的各个扫描的时间是周期T2 或Τ6的一半时间。当用于一个画面的复位扫描结束时，同时启动读取扫描。复位扫描和读 取扫描之间的延迟时间为电荷累积时间(图像获取时间)。当以特定的延迟时间为一个屏幕执行电荷累积(图像获取)和放电(读取)的操作时，以时间序列将传感器输出从图10 中的多条传感器线SL读出至传感器读出H-驱动器6SRH。在第一实施方式中，已经参考图4A1 图4B2以及图6A和图6B描述了通过传感 器读出H-驱动器6SRH识别第一检测图像Pl和第二检测图像P2以及根据第一检测图像Pl 与第二检测图像P2之间的位移来确定高度的具体方法，因此，在下文将省略对具体方法的 描述。图16A1 图16B2示出了图像获取数据的分析结果。图16A1和图16B 1是示出 了 R色发光时的图像获取数据的立体显示和平面显示的示图。图16A2和图16B2是示出了 B色发光时的图像获取数据的立体显示和平面显示的示图。手指的位置是图像获取数据的中心。所示出的是，各条图像获取数据的峰值位置 从手指的位置移动到左右。假设在R色发光时峰值位置的坐标是(xl，yl)，而在B色发光 时峰值位置的坐标是(x2，yl)。图17是横坐标轴表示手指高度(被检测物体与光接收表面之间的距离)和纵坐 标轴表示X方向中的峰值之间的距离|xl-x2|的图表。峰值之间的距离|xl_x2|相对于手指高度d而单调增加。因此，当在特定高度处 执行感测时，可以通过设定峰值之间的距离的阈值，来判定被检测物体是否已经到达特定尚度。例如，当在手指高度d = 10 [mm]处期望执行感测时，则可以通过以下假设来判定 将被检测的物体是否存在当峰值之间的距离|xl-x2| > 16时，“手指存在”，以及当峰值之间的距离|xl-x2| ( 16时，“手指不存在”。此外，由于可以准确地判定手指高度d本身，所以可以将关于高度的信息应用于 各种应用软件的操作。通过图7中的图像处理部1300来执行如上所述的手指高度d的检测、使用手指高 度d对被检测物体是否存在的判定以及位置判定。通过应用程序执行部1400基于来自图 像处理部1300的感测结果，来执行对应用软件的操作的应用。根据需要将应用结果反馈至 显示数据。本实施方式可以准确地检测从传感器光接收表面到被检测物体的距离(高度)。此外，可以通过与显示装置10的相同处理来制造光学传感器PS(图IlB中的光接 收层32)和光接收各向异性赋予部4(图IlB中的滤色片35)。从而，根据本实施方式的显 示装置10消除了对电容型等所需的外部构件的需求。因此可以降低成本。此外，通过采用时间分割方式，可以获得很高分辨率的图像获取数据，并且可以以 高精度来计算从光接收表面到被检测物体的距离。第二实施方式可以有下面的修改。图11A、图IlB和图12中所示的实例具有在传感器光接收表面的正上方阻挡光的 结构。然而，如图18B和图18C所示，例如，即使当遮光部60小于传感器光接收表面时，也 可以采用图18B和图18C的结构，只要保持了光学传感器PS的光接收各向异性即可。相反， 也可以采用遮光部60大于传感器光接收表面的结构，只要保持了光学传感器PS的光接收 各向异性即可。
此外，并非必须在相对基板31侧设置用于遮挡传感器光接收表面不受光的遮光 部。遮光部也可以在TFT基板30侧设置。然而，在传感器光接收表面与遮光部之间需要用 于接收倾斜光的间隔(s印aration)。检测光可以为可见光或非可见光(紫外线或红外线)。然而，当试图使用不依赖于 显示图像的系统时，期望使用可见光作为检测光。当检测光为非可见光时，需要将至少以图 像获取周期照明并且发射非可见光的LED添加至背光20，或需要设置包括LED的背光。此外，液晶模式可以是TN模式、VA模式、IPS模式、FFS模式、ECB模式等中的任一 种。<3.第三实施方式>在图19 图21中结合使用空间分割方式的(液晶)显示装置示出了本实施方式。图19与涉及第二实施方式的图IlA和图IlB相对应，图20与图12相对应，并且 图21与图13相对应。下面，将对图19 图21与图11 图13的差别进行描述，并且将省 略由相同参考标号所标识的构成的描述。也将参考图7 图10以及在第一实施方式中所 描述的检测方法的要素(basic)应用于本实施方式中。图19是在水平方向上彼此相邻的两个像素单元的截面图和平面图。在第三实施方式中，如第二实施方式，光接收层32和显示电极层33通过相同的处 理而形成在TFT基板30中。并且滤色片15形成在相对基板31中。光电二极管PD在光接 收层32中以矩阵形式配置，从而形成了光学传感器阵列3 (参见图IA和图1B)。空间分割方式具有两种光学传感器PS。光学传感器的种类意味着滤色片15的光透射特性不同。即，通过使滤色片15的 光透射特性不同，而将光接收各向异性赋给光电二极管PD，并且以该意义空间分离光学传 感器阵列。具体地，遮光部60同时阻挡在水平方向上彼此相邻的两个光学传感器的每个光 电二极管PD的光接收表面正上方的光。然而，滤色片15具有这样的结构，使得一个光学传 感器PS的传感器区域在遮光部60的右侧具有用于特定波长成分(诸如红外光成分IR)的 开口，相反，另一光学传感器PS的传感器区域在遮光部60的左侧具有用于特定波长成分的 开口。将具有右侧开口的传感器区域称作右各向异性传感器区域SRR，并且将具有左侧 开口的传感器区域称作左各向异性传感器区域SRL。接着，如图20所示，分别包括右各向异性传感器区域SRR和左各向异性传感器区 域SRL的像素单元(由粗虚线表示的方形区域)被配置成从显示表面观看的方格矩阵配置。配置方法不限于该方格形式，而可以使用条纹配置。第二实施方式具有这样的不便，即，当将可见光用作检测光并且显示图像为黑显 示时，则不存在来自将被检测的物体的反射光，因此不能感测到将被检测的物体。因此，第三实施方式通过使用检测光的红外线(波长λ = 850[nm])的红外光IR 来利用不依赖于显示图像的系统。然而，即使利用可见光也可以构造同样的系统。当检测光为红外光IR时，表示为右各向异性传感器区域SRR和左各向异性传感器 区域SRL的开口的部分需要是设置有IR选择透射特性的IR透射部62。
存在形成IR透射部62的各种方法。然而，在这种情况下，如图19所示，通过两层 叠加结构(其中，红色(R)透射滤光层叠加在红色(R)滤色部上)来实现IR透射部62。图22A示出了具有R和B的两层叠加结构的滤光片(RB滤光片)的透射光谱。对图23A 图23C中的各个颜色的波长范围的参考显示了图22A的RB滤光片阻 挡可见光而透过红外线(波长λ = 850[nm])。从而可以构造不依赖于显示图像的系统。IR透射部62可以为R、G以及B三层叠加结构的滤光片。图22B示出了 RGB滤光片的透射光谱。该光谱示出了 RGB滤光片比RB滤光片具有更好的阻止可见光的效果，并且相应地 可以提高检测精度。图24A1 图24B2示出了右各向异性传感器(接收由右各向异性传感器区域SRR 透过的IR光)的图像获取数据和左各向异性传感器(接收由左各向异性传感器区域SRL 透过的IR光)的图像获取数据。手指的位置是图像获取数据的中心。所示出的是，各条图像获取数据的峰值位置 从手指的位置移动到左右。假设从右各向异性传感器输出的图像获取数据的峰值位置的 坐标是(XI，Y1)，并且从左各向异性传感器输出的图像获取数据的峰值位置的坐标是(X2， Yl)。可以通过计算峰值位置之间的X坐标的差|X1-X2|，来获得类似于图16A1 图 16B2的图表。当在类似于第一实施方式和第二实施方式的手指高度处执行感测时，可以通过作 为基准的峰值之间的距离的阈值，来判定在特定高度处是否存在被检测物体。此外，如第二 实施方式，可以将包括高度信息的位置信息应用于应用软件的操作。顺便提及，第三实施方式优选在一个场中彼此并行地执行显示扫描和图像获取扫 描，而无需执行时间分割LED闪烁或与时间分割LED闪烁同步的扫描操作的控制。因此，背 光20被改变为使得具有作为光源例如白色LED和IR光LED，或者白色光源和IR光源优选 是分离的并用于两个背光中。如图19所示，像素单元在RGB三颜色混合情况下具有三个像素和传感器区域的总 面积，并在四颜色混合情况下具有比上述大一个像素的面积的更大面积。如同第二实施方式，第三实施方式提供了以下优点能够准确地检测被检测物体 的高度，并消除了电容型等所需的外部构件的需求，从而可以降低成本。此外，空间分割方式消除了对特殊的三颜色LED背光的需求，从而可以以低成本 来实现。此外，与时间分割相比较，空间分割方式可以降低一个画面的显示时钟频率。第三实施方式可以有下面的修改。图19 图21中所示的实例具有阻挡在传感器光接收表面的正上方的光的结构。 然而，如图25B 图25D所示，例如，传感器光接收表面可以被覆盖得更完全，或者传感器光 接收表面的部分或全部不需要被覆盖。然而，这些修改例是以保持光学传感器PS的光接收 各向异性为条件的。此外，如第二实施方式，并非必须在相对基板31侧设置用于遮挡传感器光接收表 面不受光的遮光部。此外，液晶模式可以是TN模式、VA模式、IPS模式、FFS模式、ECB模式 等中的任一种。
假设在空间分割型的情况下检测可见光，具体地，本发明可以应用于获取被检测 物体的阴影的图像的反射型液晶显示装置。在这种情况下，不需要提供包括特殊光源(诸 如IR光源)的背光20。<4.第四实施方式〉[透镜阵列的光接收各向异性]接下来，将参考附图描述利用透镜阵列的光接收各向异性的赋予。该第四实施方 式表示一种空间分割方式，并表示适于代替设置在第三实施方式中的滤色片15中的IR透 射部62的构造。在图26的实例中，例如，在第二偏光板50上形成柱面透镜阵列。柱面透镜具有半 圆筒部，因此，能够有效地聚集从配置在左侧的右传感器的右方倾斜入射的光。类似地，柱 面透镜能够有效地聚集从配置在右侧配置的左传感器的左方倾斜入射的光。在第四实施方式中，光电二极管PD被配置为使得成对地彼此相邻，并通过使光电 二极管PD接收左倾斜光和右倾斜光，而被赋予光接收各向异性。因此，在本实施方式中，通 过作为光接收各向异性赋予部4的透镜阵列与作为光学传感器阵列3的具有成对光电二极 管PD的光学传感器阵列之间的协作，实现了光接收各向异性。例如，将通过右传感器(PD)获得的图像设定为第一检测图像P1，将通过左传感器 (PD)获得的图像设定为第二检测图像P2，根据第一检测图像Pl和第二检测图像P2的峰值 或重心之间的差来检测高度。顺便提及，在显示装置10中，从成本观点和从减小显示装置10的厚度的观点看， 期望通过遮光滤光片或滤色片来实现光接收各向异性赋予部4。具体地，还将滤色片设置到 为了像素的颜色配置而未应用本发明的显示装置10，并且当应用本发明时，仅能够修改现 有的滤色片，以赋予光接收各向异性。因此，当将本发明应用于显示装置10时，从成本降低 的观点看，最期望利用滤色片来实现光接收各向异性赋予部4。<5.第五实施方式>应用本发明的显示装置10可以使用除液晶显示之外的任何显示方法，例如，诸如 有机EL、无机EL和电子纸的方式。图27A和图27B是当将本发明应用于作为实例的有机EL时的布局的示图。有机 EL显示装置70具有在基板71的层压结构内由其本身来发射R、G和B光的有机EL膜。在有机EL膜中形成具有发射红外光成分IR的光发射特性或包括高比例的红外光 成分IR的有机层压膜72IR，并且将该有机层压膜72IR设定为IR光源。在本实施方式中，通过与第三实施方式相同的滤色片15而将光接收各向异性赋 予光电二极管PD。顺便提及，已经对使用红外光IR的空间分割方式进行了以上描述。然而，不需要 存在IR光源、或通过时间分割方式也可以实现本发明。<6.第六实施方式>上述根据本实施方式的显示装置适用于所有领域中的电子装置(诸如图28至图 32G中所示的各种电子装置，例如，数码相机、笔记本式个人计算机、诸如移动电话的便携式 终端装置以及摄像机)的显示装置，该显示装置用于将输入到其中的视频信号或在其中生 成的视频信号显示为图像或视频。下面将详细描述应用本实施方式的电子装置的实例。
图28是应用本发明的电视机的透视图。根据本应用实例的电视机包括由前面板120、滤光镜130等组成的视频显示屏幕 部110。可以将根据第二实施方式至第五实施方式的显示装置用作视频显示屏幕部110。图29A和图29B是应用本发明的数码相机的透视图。图29A是从前面观看时的数 码相机的透视图，并且图29B是从后面观看时的数码相机的透视图。根据本应用实例的数码相机包括用于闪光灯的发光部111、显示部112、菜单开关 113、快门按钮114等。可以将根据第二实施方式至第五实施方式的显示装置用作显示部 112。图30是应用本发明的笔记本式个人计算机的透视图。根据本应用实例的笔记本式个人计算机在主单元121中包括用于输入字符等的 键盘122、用于显示图像的显示部123等。可以将根据第二实施方式至第五实施方式的显示 装置用作显示部123。图31是应用本发明的摄像机的透视图。根据本应用实例的摄像机包括主单元131、用于以面向前的侧面拍摄目标的透镜 132、在图片拍摄时的开始/停止开关133、显示部134等。可以将根据第二实施方式至第五 实施方式的显示装置用作显示部134。图32A、图32B、图32C、图32D、图32E、图32F以及图32G是示出了便携式终端装置 (例如，应用本发明的移动电话)的示图。图32A是在打开状态下的移动电话的主视图，图 32B是在打开状态下的移动电话的侧视图，图32C是在闭合状态下的移动电话的主视图，图 32D是左侧视图，图32E是右侧视图，图32F是俯视图，以及图32G是仰视图。根据本应用实例的移动电话包括上侧壳体141、下侧壳体142、接合部(该情况下 为铰链部)143、显示器144、副显示器145、图像灯146、相机147等。可以将根据第二实施 方式至第五实施方式的显示装置用作显示器144和副显示器145。本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、 子组合和变形，只要它们在所附权利要求书或其等同物的范围内。
权利要求
1.一种检测装置，包括光学传感器阵列，具有光接收各向异性；检测驱动部，被构造为驱动所述光学传感器阵列、获取被检测物体的图像，并且基于所述光接收各向异性而生成不同的多个检测图像；以及高度检测部，被构造为接收输入至所述高度检测部的所述多个检测图像，并且基于在 与所述被检测物体的阴影和反射中的一个相对应的图像部分中由于所述光接收各向异性 的差异所产生的位移的大小，来检测从所述光学传感器阵列的传感器光接收表面到所述被 检测物体的距离(高度)，所述图像部分包括在输入的所述多个检测图像中。
2.根据权利要求1所述的检测装置，还包括光接收各向异性赋予部，被构造为在所述光学传感器阵列中的一组彼此相邻的多个光 学传感器中赋予不同的光接收各向异性，所述光接收各向异性赋予部设置在所述光学传感 器阵列的所述被检测物体接近的一侧上。
3.根据权利要求2所述的检测装置，其中，所述光学传感器阵列通过二维配置多个光学传感器而形成，所述多个光学传感器在接 收透过所述光接收各向异性赋予部的光时，通过产生从不同方向入射的光的接收量的波长 依赖性而被赋予所述光接收各向异性，以及所述检测驱动部基于时间分割利用彼此分别具有不同波长范围的多束光来照射所述 被检测物体，与利用所述多束光的照射同步地，基于时间分割来控制由所述被检测物体反 射和返回的反射光在透过所述光接收各向异性赋予部之后而被所述多个光学传感器接收 时的每一光接收时间，从而利用不同波长范围中的光来执行多次图像获取，并且通过所述 多次图像获取生成所述多个检测图像。
4.根据权利要求3所述的检测装置，其中，所述光接收各向异性赋予部中的与一个所述光学传感器的光接收表面相对的部分具 有遮光部和被构造为在所述遮光部的一个方向的两侧透过不同波长范围的一对波长选择 滤光部，并且通过将波长选择性赋给从所述一个方向的一侧倾斜入射的光和从所述一个方 向的另一侧倾斜入射的光，而将光接收各向异性赋给所述光学传感器。
5.根据权利要求2所述的检测装置，其中所述光接收各向异性赋予部是具有用于各个光学传感器的图案的遮光滤光片，所述图 案在所述被检测物体靠近的一侧上为彼此相邻的所述多个光学传感器的每个传感器光接 收表面的部分或全部遮光，所述图案的配置和形状中的至少一个对于所述多个光学传感器 是不相同的，在所述光学传感器阵列中限定所述多个光学传感器配置，其中，所述光接收各向异性 根据所述遮光滤光片的所述图案所施加的遮光程度的差异而不同，以及所述检测驱动部驱动所述光学传感器阵列，并且从所述多个光学传感器配置中生成彼 此不同的所述多个检测图像。
6.根据权利要求2所述的检测装置，还包括光照射部，其中，所述光接收各向异性赋予部是设置在所述光学传感器阵列的光入射侧的透镜阵列，通过对所述透镜阵列中的一个透镜配置所述多个光学传感器使得当所述光照射部施加具有不同方向成分的光时根据入射角而主要接收由所述被检测物体反射的反射光的光 学传感器在所述组中不同，从而在所述光学传感器阵列中限定所述光接收各向异性不同的 多个光学传感器配置，以及所述检测驱动部驱动所述光学传感器阵列，并且从所述多个光学传感器配置中生成彼 此不同的所述多个检测图像。
7.根据权利要求1所述的检测装置，其中所述高度检测部识别所述多个检测图像中的每一个中对应于所述被检测物体的所述 图像部分，确定所述多个检测图像的每个中的被识别的所述图像部分的光接收量的峰值位 置，并且根据所述多个检测图像中的所述光接收量的所述峰值位置之间的差、通过运算来 确定所述高度。
8.根据权利要求1所述的检测装置，其中所述高度检测部根据与阈值的大小关系，将包括在所述多个检测图像的每个中的各 传感器输出二进制化、从得到的二进制化信息中识别对应于所述被检测物体的图像部分， 计算所述图像部分的各个重心位置，并且根据获得的重心位置的差通过运算来确定所述高度。
9.一种显示装置，包括光调制部，被构造为根据输入的视频信号来调制入射光，并且输出所生成的显示图像；显示表面，用于显示来自所述光调制部的所述显示图像； 光学传感器阵列，具有光接收各向异性；检测驱动部，被构造为驱动所述光学传感器阵列，获取与所述显示表面接触或接近的 被检测物体的图像，并且基于所述光接收各向异性而生成不同的多个检测图像；以及高度检测部，被构造为接收输入至所述高度检测部的所述多个检测图像，并且基于在 与所述被检测物体的阴影和反射中的一个相对应的图像部分中由于所述光接收各向异性 的差异所产生的位移的大小，来检测从所述光学传感器阵列的传感器光接收表面到所述被 检测物体的距离(高度)，所述图像部分包括在输入的所述多个检测图像中。
10.根据权利要求9所述的显示装置，其中所述检测驱动部在所述光调制部不输出所述显示图像的周期中，利用对所述被检测物 体的图像获取而生成所述多个检测图像。
11.根据权利要求9所述的显示装置，其中所述检测驱动部通过用由所述光调制部调制的不同于可见光的非可见光来照射所述 被检测物体，而利用对所述被检测物体的图像获取来生成所述多个检测图像。
12.根据权利要求9所述的显示装置，其中所述光调制部设置在所述光学传感器阵列与所述显示表面之间， 在所述光调制部与所述显示表面之间设置有滤色片，所述滤色片用于在所述光调制部 中的与所述光学传感器相对的每个部分中限制所透过的光的波长范围，以及所述滤色片的遮光部被设置为使得与所述光学传感器的光接收表面相对，并且通过使 邻近所述遮光部的滤色部所透过的光的波长范围对于每个光学传感器在传感器配置平面 内至少一个方向上不同，而向所述光学传感器阵列赋予所述光接收各向异性。
13.根据权利要求11所述的显示装置，其中所述检测驱动部基于时间分割利用彼此分别具有不同波长范围的多束光来照射所述 被检测物体，与利用所述多束光的照射同步地，基于时间分割来控制由所述被检测物体反 射和返回的反射光在透过所述滤色片之后被所述多个光学传感器接收的每一光接收时间， 从而利用不同波长范围中的光来执行多次图像获取，并且通过所述多次图像获取生成所述 多个检测图像。
14.一种物体接近距离测量方法，包括以下步骤驱动具有光接收各向异性的光学传感器阵列，获取被检测物体的图像，并且基于所述 光接收各向异性而生成不同的多个检测图像；以及接收输入的所述多个检测图像，并且基于在与所述被检测物体的阴影和反射中的一个 相对应的图像部分中由于所述光接收各向异性的差异所产生的位移的大小，来检测从所述 光学传感器阵列的传感器光接收表面到所述被检测物体的距离(高度)，并且所述图像部 分包括在输入的所述多个检测图像中。
15.一种物体接近距离测量方法，包括以下步骤通过来自具有光接收各向异性的光学传感器阵列中的多个光学传感器的、对应于不同 光接收各向异性的光学传感器的组合多次获取被检测物体的图像；以及接收通过所述多次图像获取所获得的多个输入的检测图像，并且基于在与所述被检测 物体的阴影和反射中的一个相对应的图像部分中由于所述光接收各向异性的差异所产生 的位移的大小，来检测从所述光学传感器阵列的传感器光接收表面到所述被检测物体的距 离(高度)，所述图像部分包括在所述多个输入的检测图像中。
16.根据权利要求15所述的物体接近距离测量方法，其中所述光学传感器阵列中的所述多个光学传感器的每一个均是通过向从不同方向入射 的光的接收量赋予波长依赖性而设置有所述光接收各向异性的光学传感器，以及在获取所述被检测物体的图像的步骤中，基于时间分割利用彼此具有不同的各波长范 围的多束光来照射所述被检测物体，并且与利用所述多束光的照射同步地，基于时间分割 来控制所述多个光学传感器的光接收时间，使得能够通过具有相应光接收敏感度峰值的光 学传感器来接收当用相应波长范围中的光照射所述被检测物体时被反射和返回的反射光。
全文摘要
本发明公开了检测装置、显示装置以及物体接近距离测量方法，该检测装置包括光学传感器阵列，具有光接收各向异性；检测驱动部，被构造为驱动光学传感器阵列，获取被检测物体的图像，并且基于光接收各向异性生成不同的多个检测图像；以及高度检测部，被构造为接收输入至高度检测部的多个检测图像，并且在基于由于在与被检测物体的阴影和反射中的一个相对应的图像部分中光接收各向异性的差异所产生的位移的大小，来检测从光学传感器阵列的传感器光接收表面到被检测物体的距离(高度)，所述图像部分包括在输入的多个检测图像中。
文档编号G06F3/042GK101996004SQ20101024840
公开日2011年3月30日 申请日期2010年8月5日 优先权日2009年8月12日
发明者今井雅人, 关健太, 高间大辅 申请人:索尼公司