图像显示设备和系统、电子装置、获取图像的方法和程序的制作方法

专利名称：图像显示设备和系统、电子装置、获取图像的方法和程序的制作方法
技术领域：
本发明涉及图像显示设备、电子装置、图像显示系统、获取图像的方法和程序。具体地，本发明涉及这样的结构，其中成像器件安排在图像显示部分的后表面上以捕获显示表面侧的被摄体的图像。
背景技术：
试图将图像显示设备和成像器件组合，使得图像显示设备具有除了图像显示以外的功能(例如，JP-A ；2005-176151 和 JP-A-2005-010407)。根据JP-A-2005-176151中描述的技术，在构成图像显示设备的图像显示部分的各像素之间提供每个具有微透镜的多个开口，并且已经通过多个开口的光被多个相机捕获。以多个不同角度捕获观看图像显示设备的用户的脸，并且处理多个获得的图像以生成从前方捕获用户的图像。根据JP-A-2005-010407中描述的技术，例如如图15A到16B所示，成像器件基于已经通过多个像素中提供的单个光透射部分的光捕获图像。

发明内容
根据JP-A-2005-176151中描述的技术，当光透射部分非常小时，在光透射部分中出现衍射效应，使得在成像器件中形成的图像中出现模糊。结果，捕获图像缺少锐度。根据JP-A-2005-176151中描述的技术，必须在开口中提供微透镜，并且应当提供高精度微透镜以便在成像器件中精确地形成图像，导致图像显示设备的制造成本增加。替代捕获用户的正脸，从以不同角度捕获的多个图像创建正面图像，并且所谓的CG(计算机图形)图像而不是捕获图像提供给接触者，导致强烈的不舒服感。根据JP-A-2005-010407中描述的技术，当透射部分非常小时，在光透射部分中出现衍射效应，使得在成像器件中形成的图像中出现模糊。结果，捕获图像缺少锐度。成像器件基于已经通过多个像素中提供的单个光透射部分的光捕获图像，使得难以将足够量的光会聚到成像器件上。因此，期望提供这样的结构，其中当安排在其后表面的成像器件通过显示部分的微小光透射部分捕获显示表面侧的被摄体时，可以抑制因为光透射部分中的衍射效应对图像的影响。还期望提供这样的结构，其中以低成本进行制造，并且可以容易地获取面对图像显示部分的用户的图像。还期望提供这样的结构，其中足够量的光可以会聚到成像器件上。本发明的实施例提供一种图像显示设备。所述图像显示设备包括图像显示部分，其中安排每个具有显示元件的多个像素，捕获图像的成像部分(或成像器件以下在本文中同样适用)可安排在其后表面上，并且在对应于成像部分的区域中提供多个光透射部分；以及衍射校正部分，其对于通过多个光透射部分由成像部分获取的图像信息执行衍射校正处理，所述衍射校正处理用于抑制因为光透射部分中的衍射效应而在图像信息中出现的影响。利用从信号处理的观点的措施，可能抑制因为光透射部分中的衍射效应对图像的影响。衍射校正部分仅对构成图像的一部分信号分量执行衍射校正处理，从而与处理所有信号分量的情况下相比实现高速处理。“一部分信号分量”可以以各种方式确定，并且例如应当满足对表示由成像部分获取的图像信息的多个信号中的至少一个(不是全部)执行衍射校正处理。此时，仅对与亮度信息密切相关的信号分量(典型地为绿色分量)或仅对亮度信息执行衍射校正处理，在避免校正效果的减少的同时实现高速校正处理。图像显示设备还包括波长分布测量部分，其测量外部光的波长分布。可以参考通过波长分布测量部分测量的外部光的波长分布执行衍射校正处理。优选的是从光透射部分的观点抑制衍射效应。例如，优选的是使得对应成像部分的光透射区域中的光透射部分的安排状态(光透射部分的大小、形状、分布(安排间距) 等)不一致。可替代地，每个光透射部分可以由第一光透射部分和第二光透射部分构成，并且可以安排第二光透射部分以便围绕第一光透射部分。可以在图像显示部分和成像部分之间安排会聚部分，其将已经通过光透射部分的光会聚到成像部分上，使得在成像部分中可靠地收集已经通过光透射部分的光。根据本发明实施例，成像部分(或成像器件以下本文中同样适用)安排在图像显示部分的后表面上，以便通过光透射部分捕获显示表面侧的被摄体，从而容易地捕获面对显示器的用户的图像。此时，利用从信号处理的观点的措施，可能抑制因为光透射部分中的衍射效应对图像的影响。如果仅对构成图像的多个信号分量中的一部分执行衍射校正处理，则与处理所有信号分量的情况相比可能减少处理时间。此时，如果仅对亮度信号分量或仅对与亮度密切相关的信号分量(典型地为绿色分量)执行衍射校正处理，则可能减少处理时间，并且以可与处理所有信号分量的情况相比(相等)的精度执行校正处理。如果执行从光透射区域中安排的光透射部分的观点的措施，则可能预先抑制光透射部分中的衍射效应的出现。结果，可能更可靠地抑制因为衍射效应对图像的影响。如果在图像显示部分和成像部分之间安排会聚部分，则已经通过光透射部分的光可靠地会聚在成像部分上，从而将足够量的光会聚到成像部分上。不需要高清晰度微透镜以便精确地在成像部分的成像表面上形成图像，抑制了图像显示设备的制造成本的增加并且实现以低成本制造。


图IA是第一实施例的图像显示设备和图像显示系统的概念图。图IB是构成图像显示部分的多个像素的最典型安排的示意图。图2A是图示成像器件的安排位置和要显示的图像之间的关系的概念图。图2B是示出通过图像显示设备的捕获图像的图。图3是图示图像显示设备的细节的图。图4A是图示因为衍射效应对捕获图像的影响的示意图。图4B是示出当在成像器件的前方安排玻璃板时的捕获图像的示例的图。
图5A是第一实施例的图像显示设备的方块图。图5B是第一实施例的图像显示系统的方块图。图6是图示从光透射部分(开口)获得的衍射光强度和MTF的概念图。图7A是示意性示出光透射部分的形状的示例的图(第一视图)。图7B是示意性示出光透射部分的形状的示例的图(第二视图)。图8A是第二实施例的图像显示设备和图像显示系统的概念图。图8B是第二实施例的图像显示设备的方块图。图8C是第二实施例的图像显示系统的方块图。图9是图示衍射校正处理的第一示例的图。图10是图示衍射校正处理的第二示例的图。图11是图示衍射校正处理的第三示例的图。图12是图示衍射校正处理的第四示例的图。图13A是示出光透射部分的第一修改(第一和第二视图)的图。图1 是示出光透射部分的第一修改(第三视图)和第二修改的图。图13C是示出光透射部分的第三修改(第一和第二视图)的图。图14是示出对其应用该实施例的图像显示设备的电子装置的示例的图。图15A是示出图像显示设备的第一修改的图。图15B是示出图像显示系统的第一修改的图。图16A是示出图像显示设备的第二修改的图。图16B是示出图像显示系统的第二修改的图。图17A是示出图像显示设备和系统的第三修改(第一视图)的图。图17B是示出图像显示设备和系统的第三修改(第二视图)的图。图18A是示出图像显示设备的第四修改的图。图18B是示出图像显示系统的第四修改的图。
具体实施例方式以下，将参照附图详细描述本发明的各实施例。在实施例中，各种数值或材料用于说明而不旨在限制本发明。将按照下面的顺序进行描述。1.基本概念(整体概要、衍射校正处理、波长分布测量、光透射区域、成像器件、图像显示部分)2.第一实施例(整体概要、成像器件的安排位置、图像显示部分的剖面结构、对应于衍射校正的配置、针对衍射效应的措施原理)3.第二实施例(第一实施例和波长分布测量处理)
4.衍射校正处理(第一示例所有信号)
5.衍射校正处理(第二示例所有信号和颜色转换)
6.衍射校正处理(第三示例特定颜色信号一与亮度信息相关的信号)
7.衍射校正处理(第四示例亮度信息、第一示例到第四示例的组合)
8.光透射部分的修改
第一修改(随机安排)第二修改(双环形结构)第三修改(围栏(curb)形、L形等)9.替换电子装置的监视器10.总体回顾(第一修改位置检测，第二修改三维图像显示和位置检测，第三修改τν会议系统，第四修改数字镜)<基本概念>[整体概要]在该实施例的装备成像器件的图像显示设备(以下简称为“图像显示设备”)中， 成像器件(或成像部分下面的描述中同样适用)安排在图像显示部分的后面，并且在对应于成像器件的图像显示部分的光透射区域中提供多个微小光透射部分。通过每个光透射部分捕获显示表面侧的被摄体的图像。已经通过光透射部分的光会聚在成像器件上。因为成像器件安排在图像显示部分的后表面上，所以面对显示器的用户的脸、眼睛、运动等可以被成像器件精确地捕获。光透射部分提供在图像显示部分(显示设备的显示面板)中，使得光到达后表面，并且成像器件提供在相应位置处。因此，通过利用成像器件的捕获可以精确地识别面对显示器的用户的脸、眼睛、运动等，从而容易地和低成本地增加显示设备的附加值。如果需要，在图像显示部分和成像器件之间安排会聚部分，使得已经通过光透射部分的光可靠地会聚在成像器件上。安排会聚部分，使得不需要高精度微透镜以便精确地在成像器件上形成图像。因此，可以抑制图像显示设备的制造成本的增加，并且足够量的光可以会聚在成像器件上。在该实施例的图像显示设备中，当构成光透射区域的每个光透射部分的开口是小尺寸时，如果通过开口捕获图像，则所谓的衍射效应出现，结果，在成像器件上形成的图像中出现模糊或缺少锐度。作为措施，在该实施例中，首先从信号处理的观点校正因为光透射部分中的衍射效应对捕获图像的影响。从光透射部分的观点(例如，形状、大小、分布等)，抑制衍射效应的出现。[衍射校正处理]从信号处理的观点，为了校正光透射部分中的衍射效应的影响，该实施例的图像显示设备和图像显示系统包括衍射校正部分。该配置称为“第一实施例的配置”。衍射校正部分对于通过成像器件获取的捕获图像信息或其它种类的图像数据校正构成光透射区域的光透射部分中的衍射。“其它种类的图像数据”指在成像器件捕获用户的图像时获取的并且应当显示在图像显示部分上的图像数据。以下，捕获图像信息和“其它种类的图像数据”统称和简称为“图像数据”。例如，在图像显示部分的第一方向或第二方向上周期性地提供光透射部分(的开口)的一部分或全部。此时，当第一方向上的每个光透射部分的长度为Ltrt并且第一方向上的像素间距为Ppjri时，线性开口比率LtrtAV1可以设为满足关系"LtrtAV1彡0. 5”，更优选地，关系"LtrtAV1彡0. 8”。线性开口比率LtrtAV1的上限值不具体限制，只要光透射部分可以形成。第一方向上的光透射部分的长度Ltrt意味着对应于当光透射部分在第一方向上凸出时的形状的线段的每周期的长度。第一方向上的像素间距Ppjri意味着第一方向上的每周期的像素的长度。当第二方向上的每个光透射部分的长度为Lte_2并且第二方向上的像素间距
时，线性开口比率Lte_2/Ppx_2可以设为满足关系“Lte_2/Ppx_2彡0. 5”，更优选地，关系“Lte_2/ Ppx_2>0.8”。线性开口比率Lte_2/Ppx_2&上限值不具体限制，只要光透射部分可以形成。第二方向上的光透射部分的长度Lte_2意味着对应于当光透射部分在第二方向上凸出时的形状的线段的每周期的长度。第二方向上的像素间距Ppx_2意味着第二方向上的每周期的像素的长度。第一方向和第二方向可以相互垂直，或者可以根据情况需要以不同于90度的角度相互交叉。在后者情况下，光透射部分的一部分或全部可以周期性地在图像显示部分的
第三方向、第四方向.......以及图像显示设备的第一方向和第二方向上提供。在该情况
下，优选的是来自各方向中的至少两个方向的每个中的光透射部分的长度和至少两个方向的每个中的像素间距满足上述关系(具体地，等于或大于0. 5倍，并且优选地等于或大于 0. 8)。作为衍射校正部分中的衍射校正处理，可以执行这样的处理，其中响应函数(表示空间频率特性)用于估计由成像器件获取的图像的锐度(分辨率)，并且作为响应函数的幅度(绝对值)的MTF (调制传递函数)设为指数值(index value) 0如本领域众所周知的，通过对点图像或线性图像强度分布的傅立叶变换获得响应函数。在通过光透射部分由成像器件捕获时的图像中的分辨率劣化的影响(图像中模糊的程度)对应于光透射部分 (微小开口)的安排图案。例如，可以基于MTF中的频率分量的幅值估计分辨率劣化的影响 (图像中模糊的程度)。因此，如果参考光透射部分的安排图案对捕获图像执行傅立叶逆变换，则可以恢复其中排除了通过光透射部分由成像器件捕获时的图像中的分辨率劣化的影响的图像。 即，可以通过对通过成像器件获取的图像信息执行傅立叶变换，并且通过使用对应于光透射部分的安排状态的响应函数(在该情况下为MTF)对傅立叶变换后的信息执行傅立叶逆变换，执行衍射校正处理。具体地，优选地对图像信息执行基于光透射部分的安排图案(形状、大小、分布等)计算的MTF逆变换处理(图像恢复处理)。通过使用MTF形状数据对捕获图像的信号分量执行MTF逆变换处理。此时，在衍射校正部分中可以提供存储部分，并且表示光透射部分的安排图案(如形状、大小、分布等)的MTF形状数据可以预先存储在存储部分中。在指定响应函数时，可以应用其中傅立叶分析图像(表示图像的信号)的傅立叶变换方法。在此描述的衍射校正处理的方法仅仅是校正在通过光透射部分由成像器件捕获时的图像中的分辨率劣化的影响(图像中模糊的程度)的示例，并且可以应用其它已知的方法。考虑将衍射校正部分提供在例如图像显示设备中作为电路，该电路由具有输入/ 输出部分的CPU和存储器构成，或者提供在其中安装图像显示设备的电子装置中。当图像显示设备和成像器件分开地(可拆卸地)提供时，考虑将衍射校正部分提供在安排在图像显示设备的后表面上的成像器件(电子装置的示例)中。在图像显示系统中，其中如个人计算机(电子计算机)的外围装置连接到图像显示设备，考虑外围装置具有衍射校正部分的功能。在对图像信息执行MTF逆变换时，考虑其中处理构成图像信息的各个信号分量 (例如，R、G和B的图像信息)的方法或其中处理一部分信号分量以减少校正处理时间的方法。在前者情况下，因为对构成图像信息的所有信号分量执行MTF逆变换处理，所以强加了处理负荷，但是与后者情况相比获得了高校正效果。同时，在后者情况下，因为对构成图像信息的一部分信号分量执行MTF逆变换处理，所以与前者情况相比校正效果低，但是减少了处理负荷。在后者情况下，在该实施例中，使用其中处理信号分量的至少一个(不是全部)的方法(“关注特定信号方法”)。即，在执行衍射校正处理时，通过使用对应颜色光、亮度或任意颜色光的点扩展函数，只校正任意信号分量。此后，组合经历衍射校正的信号分量和没有经历衍射校正处理的剩余信号分量，并且完成处理。因为将经历校正处理的信号分量的数目小于表示图像的信号的分量的总数，所以与所有信号分量将经历衍射校正处理的情况相比，减少了计算量，并且减少了校正处理时间，实现了高速处理。在关注特定信号方法的情况下，考虑关注各颜色(例如R、G和B)之一执行处理。 在该情况下，优选具体关注亮度信号分量或与亮度信号分量(相对密切)相关的颜色图像信息执行处理。不需要要处理的图像信息的信号分量和用于逆变换中使用的MTF形状数据的分量是相同类型，并且可以使用密切相关的分量。可能在保持可与处理所有信号的情况相比的实际(明显)校正效果的同时实现高速校正处理。例如，通常已知的是人类具有视觉特性，如对亮度(亮和暗)或与图像的绿色分量密切相关的亮度分量的强烈感觉(灵敏度)，并且考虑使用人类对亮度的感觉执行MTF逆变换处理。即，仅对捕获图像的亮度分量执行MTF逆变换处理。根据关注人类的视觉特性的方法，从模糊的观点，已经确认经历恢复处理的图像可与对构成图像信息的所有信号分量执行恢复处理的图像相比。与对所有信号分量执行恢复处理的情况相比，可以减少处理时间。即，可能实现高速衍射校正处理。在执行关注亮度分量的处理时，可以使用实际对应于亮度分量的MTF形状数据用于逆变换的方法、或者替换对应于与亮度分量密切相关的绿色分量的MTF形状数据的方法。在后者情况下，在执行衍射校正处理时，通过使用绿色光的点扩展函数，仅校正亮度信号分量，实现了校正处理时间的减少。原因如下。根据人类的视觉特性，因为亮度分量中绿色分量的占据比率大，所以在亮度分量的MTF逆变换处理中可以替换绿色分量的MTF形状数据。因为替换通过图像捕获获得的绿色分量的MTF形状数据，所以不必获得亮度分量的 MTF形状数据，从而减少处理负荷。在该实施例中，从处理速度或校正精度的观点，用户可以从各种衍射校正处理方法中选择适当的方法。[波长分布测量]该实施例的图像显示设备和图像显示系统还可以包括波长分布测量部分，其测量外部光的波长分布。该配置称为“第二实施例的配置”。利用第二实施例的配置，在衍射校正处理中，可以考虑外部光的波长分布以及光透射部分的形状、大小和分布，从而改进MTF逆变换处理的精度并获得不依赖于外部光(外部亮度环境)的优化图像。还可能改进通过成像器件获取的图像信息的精度(例如，改进颜色信息的精度)。波长分布测量部分例如可以由光接收设备(如感光器)构成。考虑将波长分布测量部分的控制提供在图像显示设备中作为控制电路，该控制电路由具有输入/输出部分的 CPU和存储器构成，或者提供在其中安装图像显示设备的电子装置中。在其中如个人计算机(电子计算机)的外围装置连接到图像显示设备的图像显示系统中，考虑外围装置具有控制波长分布测量部分的功能。[发光区域]优选该实施例的图像显示设备的图像显示部分中提供的光透射区域形成在对应于提供成像器件的部分的部分中。在光透射区域中，提供每个具有微小开口的多个光透射部分，表示显示表面侧的被摄体图像的光通过该开口。在第一配置示例中，配置光透射区域，使得光透射部分提供在多个像素中。在第二配置示例中，配置光透射区域，使得光透射部分提供在至少一个像素(优选至少两个像素) 中。在该情况下，光透射部分可以提供在像素的整个外围，或者可以提供在像素的外围的一部分中(具体地，来自对应于像素的边界的各侧边的两个或更多连续侧边上)。在后者情况下，优选在等于或大于像素的整个周围的1/4(在两个连续侧边的情况下，等于或大于每个侧边的长度的1/2倍)上提供光透射部分。利用该配置，已经通过在多个像素中提供的光透射部分的光会聚到成像器件上， 或者已经通过在至少一个像素的外围中提供的光透射部分的光会聚到成像器件上。因此， 不必提供高清晰度微透镜以便精确地在成像器件形成图像。因此，可以抑制装配成像器件的图像显示设备的制造成本，并且足够量的光可以会聚到成像器件上。尽管在第一配置示例中例如在多个像素(尽管不限于此)中提供光透射部分，优选的是在三个或更多像素中提供光透射部分。构成光透射区域的光透射部分的外部形状本质上是任意的，并且可以使用如长方形或正方形的矩形。尽管在第二实施例中配置光透射区域使得例如在至少一个像素(尽管不限于此) 的外围中提供光透射部分，优选的是在三个或更多像素的外围中提供光透射区域。光透射部分的外部形状本质上是任意的。例如，可以使用“L”形(在来自对应于像素的边界的各侧边的两个连续侧边中提供光透射部分的形式)、“U”形(在来自对应于像素的边界的各侧边的三个连续侧边中提供光透射部分的形式)、“正方”形(在来自对应于像素的边界的各侧边的所有侧边中提供光透射部分的形式)、围栏形(在来自对应于像素的边界的各侧边的所有侧边中并且在相邻像素之间共同地提供光透射部分的形式)。可替代地，考虑在包括成像器件中提供的透镜的投影图像的像素组的外围中提供光透射部分。在该实施例的图像显示设备中，当光透射区域由多个微小光透射部分构成时，例如优选关于光透射部分的形状、大小、分布(安排间距或安排位置关系)等预先执行颜色效果抑制方法，以便抑制衍射效应的出现。术语“微小”意味着当没有执行该实施例的衍射效应抑制方法时，多个光透射部分的每个的开口的大小设为这样的程度光(电磁波)通过该开口，并且衍射效应出现，导致模糊。配置用于光透射部分的第一衍射效应抑制方法，使得光透射区域中的多个光透射部分的安排状态不一致(随机)。意义在于因为如果使得光透射部分的大小、形状、分布等一致(相同)，则由于衍射效应的模糊强烈出现，所以从该观点，模糊几乎不出现(不一定出现)。优化光透射部分的大小、形状和分布(安排间距)，从而可靠地一致衍射效应的出现。具体地，使用以下三种形式的至少一种，其包括使得多个光透射部分的大小随机 [情况A]的形式；使得多个光透射部分的形状随机的形式[情况B]；以及使得多个光透射部分的分布随机的形式[情况C]。即，可以单独使用[情况A]、[情况B]和[情况C]，并且可以使用其任意组合。在形式[情况A]中，具体地，在水平方向上和/或垂直方向上与一个光透射部分相邻的至少两个光透射部分具有与该一个光透射部分不同的大小。在形式[情况B]中，具体地，在水平方向上和/或垂直方向上与一个光透射部分相邻的至少两个光透射部分具有与该一个光透射部分不同的形状。在形式[情况C]中，根据多个光透射部分的安排间距或安排位置关系使得分布随机。具体地，在与一个光透射部分关于在水平方向和/或垂直方向上与该一个光透射部分相邻的光透射部分的相同的关系上，在水平方向上和/或垂直方向上与该一个光透射部分相邻的至少两个光透射部分的安排位置关系与该安排位置关系不同。换句话说，关于两个光透射部分之间的安排间距，水平方向和/或垂直方向上与要关注的一个安排间距相邻的至少两个相邻间距与该一个安排间距不同。在用于光透射部分的第二衍射效应抑制方法中，可以使用形式[情况D]，其中光透射部分具有双环形结构(双非居间(disintermediation)结构)。具体地，每个光透射部分可以由第一光透射部分和第二光透射部分构成，并且第二光透射部分可以安排以便围绕第一光透射部分。第一光透射部分和第二光透射部分的大小、形状和安排状态以及第一光透射部分和第二光透射部分之间的位置关系被优化，从而可靠地抑制衍射效应的出现。形式[情况D]可以与形式[情况A]、[情况B]或[情况C]结合使用，或者可以与其中形式[情况A]、[情况B]或[情况C]任意地相互组合的形式组合。在光透射区域中应用衍射效应抑制方法，使得可能抑制光透射部分中的衍射效应的出现。从信号处理的观点利用衍射校正处理的组合，可能更可靠地抑制模糊或由于衍射效应的关于分辨率的问题。[成像器件]在该实施例的图像显示设备中，尽管成像器件(成像部分)可以安排在图像显示部分的后表面上，但是优选的是成像器件安排在图像显示部分的中间部分。可以提供单个成像器件或者可以提供多个成像器件。成像器件可以使用具有CCD元件或CMOS元件的已知的和商用的固态成像元件。在该实施例的图像显示设备中，优选的是在图像显示部分和成像器件之间安排会聚部分，其将已经通过光透射区域的光透射部分的光会聚在成像器件上。作为会聚部分， 可以使用已知的透镜。具体地，透镜可以由双凸透镜、平凸透镜或凹凸透镜构成，或者可以由反射镜或菲涅耳(Fresnel)透镜构成。可以组合各种凸透镜或者可以组合凹透镜和各种凸透镜。作为成像器件，可以使用固态成像器件，如已知的和商用的视频相机或网络相机。 在该情况下，会聚部分和成像器件可以组合为单体。
在该实施例的图像显示设备中，优选的是在光的光学路径中安排滤色镜，该光入射到图像显示部分上，通过光透射部分，从图像显示部分发出，并且入射在会聚部分上。同样优选的是在光学路径中不安排聚焦系统，如显微透镜。[图像显示部分]在该实施例的图像显示设备中使用的图像显示部分中，应当满足的是光透射部分可以在各像素(的显示部分)之间的空间中形成，并且电光元件用作像素的显示元件，在该电光元件中，亮度取决于对其施加的电压或其中流过的电流而改变。例如，存在液晶显示元件作为其中亮度取决于对其施加的电压而改变的电光元件的代表性示例，或者存在有机电致发光(有机EL、有机发光二极管、OLED ；以下称为有机EL) 元件作为其中亮度取决于其中流过的电流而改变的电光元件的代表性示例。使用后者有机 EL元件的有机EL显示器是所谓的自发光显示设备，其使用自发光的发光元件(自发光元件)作为像素的显示元件。同时，构成液晶显示器的液晶显示元件控制来自外部的光(来自前表面或后表面的光；在前表面的情况下，可以包括外部光)的通过，并且像素不包括发光元件。例如，近年来，有机EL显示器正吸引注意力作为平板显示器(FP显示器)。尽管液晶显示器(LCD)是FP显示器的主流，但液晶显示器不是自发光设备，因此必须提供如背光和极化板的部件。为此，存在的问题是FD显示器厚度增加，缺少亮度等。同时，原理上有机 EL显示器是自发光设备，并且不需要提供如背光的部件。因此，与LCD相比有机EL显示器具有许多优点，如厚度减少和高亮度。具体地，在其中在每个像素中安排开关元件的有源矩阵有机EL显示器中，优选通过保持和接通各个像素来抑制电流消耗，以及相对容易地实现大屏幕和高清晰度。因此，各公司正在开发有机EL显示器，并且预期有机EL显示器变为下一代FP显示器的主流。作为自发光显示设备，除了有机EL显示器外，还有等离子显示面板(PDP)、场发射显示器(FED)、表面传导电子发射显示器(SED)等。这些可应用于该实施例的图像显示部分。然而，关于实施例的图像显示设备，优选的是图像显示部分的发光元件是自发光的发光元件，并且更优选地，由有机EL元件构成。当发光元件由有机EL元件构成时，构成有机EL元件的有机层(发光部分)包括由有机发光材料制成的发光层。具体地，例如有机层可以由空穴传输层、发光层和电子传输层的层叠结构、空穴传输层和用作电子传输层的发光层的层叠结构、或空穴注入层、空穴传输层、发光层、电子传输层和电子注入层的层叠结构构成。当电子传输层、发光层、空穴传输层和空穴注入层用作“串列单元”时，有机层可以具有其中第一串列单元、连接层和第二串列单元层叠的两级串列结构，或者其中三个或更多串列单元层叠的多级串列结构。在该情况下，要发射的颜色在各个串列单元之间变为红色、绿色和蓝色，使得可以获得整体上发射白色的有机层。优选有机层的厚度，使得从发光层发射的光在第一电极和第二电极之间共振，并且一部分光通过第二电极发射到外部。当该实施例的图像显示设备中的图像显示部分的发光部分是有机EL元件时，图像显示设备包括第一基底、提供在第一基底上的驱动电路、覆盖驱动电路的绝缘中间层、提供在绝缘中间层上的发光部分、提供在发光部分上的保护层、提供在保护层上的隔光层、和覆盖保护层和隔光层的第二基底。每个像素包括驱动电路和发光部分，并且在隔光层中提供开口。该开口以及该开口下面的一部分保护层和一部分绝缘中间层构成光透射部分。成像器件安排在不面对第二基底的第一基底的表面上。作为像素的安排，例如可以使用条形安排、对角线安排、三角形安排或矩形安排。 作为第一基底或第二基底，可以使用高失真点(high-distortion-point)玻璃基底、钠玻璃(Nei2O · CaO · SiO2)基底、硼硅酸盐玻璃(Nei2O · B2O3 · SiO2)基底、镁橄榄石(2Mg0 · SiO2) 基底、铅玻璃(Nii2O · PbO · SiO2)基底、在其表面上形成绝缘膜的各种玻璃基底、石英基底、 在其表面上形成绝缘膜的石英基底、在其表面上形成绝缘膜的硅基底、或有机聚合物(具有聚合物材料的形式，如塑料膜、塑料板、或具有由聚合物材料制成的塑性的塑料基底)，如聚甲基丙烯酸甲酯(PMMA)、聚乙烯醇(PVA)、聚乙烯酚(PVP)、聚醚砜(PES)、聚酰亚胺、聚碳酸酯或聚对苯二甲酸乙二醇酯(PET)。驱动电路例如可以由一个或多个薄膜晶体管(TFT)等构成。用于绝缘中间层的材料的示例包括基于SiR的材料，如Si02、BPSG、PSG、BSG、AsSG, PbSG, SiON, SOG (旋涂玻璃)、低熔点玻璃和玻璃糊；基于SiN的材料；以及绝缘树脂，如聚酰亚胺。这些材料可以单独或组合使用。当每个像素由有机EL元件构成时，发光部分如上所述。作为用于保护模的材料，可以使用对从发光部分发射的光透明并且紧密地隔断水分的材料。用于保护模的材料的特定示例包括无定形硅(α "Si)、无定形碳化硅(α -SiC)、无定形氮化硅(α -Si1^xNx)、 无定形氧化硅(α -SipyOy)、无定形碳(α -C)、无定形氧氮化硅(α -SiON)和Α1203。隔光膜 (黑矩阵)可以由已知的材料制成。如果需要，可以提供滤色镜。图像显示部分通过安排每个具有显示元件(发光元件)的多个像素单元构成。 当像素单元的数量用(Μ，N)表示时，除了 VGA(640，480)、S-VGA(800，600)、XGA(1024， 768)、APRC(1152，900)、S-XGA(1280,1024)、U-XGA(1600,1200)、HD-TV(1920,1080)和 Q-XGA(2048，1536)外，(1920,1035)、(720,480), (854,480), (1280,960)等也可以用作图像显示的分辨率，这些不旨在限制本发明。在执行彩色显示的图像显示部分中，每个像素单元包括显示红色(R)分量的红色像素、显示绿色(G)分量的绿色像素和显示蓝色(B)分量的蓝色像素的三个像素。可替代地，每个像素单元包括所述三个像素、显示白光以便改进亮度的像素、显示互补颜色以便扩展颜色再现范围的像素、显示黄色以便扩展颜色再现范围的像素、显示黄色和青色以便扩展颜色再现范围的像素等的四个或更多像素。该实施例的图像显示设备是电子装置的示例，并且可以配置使得成像器件安排在显示面板的后表面上，并且成像器件可以可拆卸地或固定地安装在其中。图像显示设备可以用作例如对构成个人计算机的监视器的替换或对并入笔记本个人计算机中的监视器的替换。图像显示设备还可以用作对并入移动电话、PDA(个人数字助理)或游戏机或已知的电视接收机中的监视器的替换。〈第一实施例〉[整体概括]图IA和IB是图示第一实施例的图像显示设备和图像显示系统的概念的图。图IA的(1)是图像显示设备的概念图，并且图IA的(2)是图像显示系统的概念图。图IA的 (1-1)是从前方表面观看图像显示设备时的概念图，并且图IA的(1-2)是从横向表面观看图像显示设备时的概念图。图IA的(2-1)是从前方表面观看图像显示系统时的概念图，并且图IA的(2-2)是从横向表面观看图像显示系统时的概念图。图IB是示意性示出构成图像显示部分的多个像素的最典型的安排的图。如图IA的(1)所示，第一实施例的图像显示设备IA具有图像显示部分10、安排在图像显示部分10的后表面上的成像器件20、在图像显示部分10中形成的光透射部分30和将已经通过光透射部分30的光会聚到成像器件20上的会聚部分21。成像器件20可以可拆卸地安排在图像显示设备IA的后表面。对应于成像器件20的图像显示部分10的一部分变为光透射区域12。例如，至少对应于成像器件20的有效成像区域的图像显示部分10 的一部分变为光透射区域12。当光透射区域12窄于成像器件20的有效成像区域时，缩窄了成像器件20的实际成像区域。成像器件20安排在图像显示部分10的后表面上，具体地，在图像显示部分10的后表面的中间部分。提供单个成像器件20。成像器件20和会聚部分21组合为单体，S卩，通过包括CCD元件等的已知的和商用的摄像机构成。可以使用这样的相机，其被优化以便安排在图像显示部分10的后表面上，并且包括会聚部分和成像元件。图像显示设备IA例如用作对构成个人计算机的监视器的替换。S卩，如图IA的(2) 所示，配置第一实施例的图像显示系统2A，使得如个人计算机(电子计算机)的主体的外围装置70A连接到图像显示设备1A_2。外围装置70A(同样对下面描述的其它外围装置70 适用)是电子装置的示例。图像显示设备1A_2用作外围装置70A的监视器。在图像显示设备1A_2中，移除了图像显示设备IA的一些功能部分。移除的功能部分并入外围装置70A 中。外围装置70A、图像显示部分10和成像器件20通过电缆72和73相互连接。对于图像显示部分10中的像素11，可以使用由自发光的发光元件(具体地，有机 EL元件)构成的像素。图像显示部分10由用于彩色显示的XGA型有机EL显示器构成。艮口， 当像素单元的数量用(M，N)表示时，分辨率为(1024，768)。如图IB所示，一个像素单元包括发射红光的红色发光像素11R、发射绿光的绿色发光像素IlG和发射蓝光的蓝色发光像素11B。每个像素的外边缘用虚线指示(同样适用于下面的描述的其它示例)。在图像显示部分10中，安排每个具有显示元件的多个像素11 (11RU1G和11B)，并且在图像显示部分10的光透射区域12的多个像素11中提供光透射部分30。尽管在该示例中光透射部分30提供在每个像素11中，但是如果需要，则可以在多个像素11上提供光透射区域30。尽管在该示例中在每个像素11中(在光透射区域12的所有像素11中)提供光透射区域30，但如果需要，则可以在光透射区域12的至少多个像素11中提供光透射部分30。例如，对于每两个像素等，可以在光透射区域12的一部分像素中不提供光透射区域 30。 尽管不旨在限制本发明，但是例如可以在6 X 3 = 18个像素11中提供光透射区域 30。在一个像素中提供一个光透射部分30。会聚部分21将已经通过6X3= 18个像素11 中的光透射部分30的光会聚在成像器件20上。每个光透射部分30的形状是长方形。
尽管未示出，但是在图像显示部分10中，安排驱动扫描线的扫描信号提供IC和提
15供图像信号的图像信号提供IC。扫描线控制电路连接到扫描线提供IC，并且信号线控制电路连接到图像信号提供IC。在光的光学路径中不安排滤色镜，该光入射在图像显示部分10 上，通过光透射部分30，从图像显示部分10发射，并且入射在会聚部分21上。在光学路径中不然平聚焦系统，如显微透镜。[成像器件的安排位置]图2A和2B是图示成像器件的安排位置和要显示的图像之间的关系的概念图。图 2A的(1)示出第一实施例的图像显示设备1A，并且图2A的( 示出其中成像器件固定在图像显示部分外的比较示例的图像显示设备IX。图2B是示出通过图像显示设备IA的捕获图像的图。如图2A的( 所示，当成像器件20X固定在图像显示部分IOX外时，成像器件20X 倾斜地捕获图像显示设备IX的用户的图像，并且当得到的图像显示在图像显示部分IOX上时，倾斜捕获的用户的图像显示在显示显示部分IOX上。因此，难以准确地显示用户的脸并且精确地确定用户观看哪一个图像显示部分10X。当用户靠近图像显示部分IOX时，用户在成像范围外的可能性高。同时，如图2A的(1)所示，在第一实施例的图像显示设备IA中，成像器件20安排在图像显示部分10的后表面的中间位置。为此，成像器件20可以从前方表面捕获图像显示设备IA的用户的图像，并且当得到的图像显示在图像显示设备10上时，从前方表面捕获的用户的图像显示在图像显示设备10上。因此，可能精确地显示用户的脸，并且容易地和准确地确定用户观看哪一个图像显示部分10。即使在用户靠近图像显示部分10时，也可以捕获用户的图像。在图像显示设备IA中，已经通过光透射区域12的多个像素11的光透射部分 30(多个光透射区域30)的光会聚在成像器件20上。因此，不必提供高清晰度微透镜以便精确地在成像器件20上形成图像。因此，可以抑制图像显示设备IA的制造成本的增加，并且足够量的光可以会聚在成像器件20上。例如，图2B的(1)示出这样的状态，其中观众(通过成像器件20捕获的被摄体) 在观看图像显示部分10上的显示图像的同时利用笔发出指令。成像器件20提供在图像显示设备IA (图像显示部分10)的后表面上，并如图2B的(2)所示，可以捕获面对显示表面或笔的用户的脸、眼睛或手的图像。因此，例如可能从捕获图像检测观众的视线。可能从手或笔的运动指定图像显示部分10的对应指向点，容易地给图像显示设备IA增加所谓的指示器功能。除了指示器功能外，从捕获图像发现用户的脸或眼睛、手的运动、周围亮度等，使得可以从图像显示设备IA获得各种类型的信息并将其发送到各种系统，从而增加图像显示设备IA的附加值。[图像显示部分的截面结构]图3是图示图像显示部分10的细节的图。图3的(1)是图像显示部分10的示意性部分截面图。图3的( 是集中示出图像显示部分10的发光元件的详细配置的图表。图像显示部分10包括第一基底40、提供在第一基底40上并且包括多个TFT的驱动电路、覆盖驱动电路的绝缘中间层41、提供在绝缘中间层41上的有机层63(发光部分)、 提供在有机层63上的保护层64、提供在保护层64上的隔光层65和覆盖保护层64和隔光层65的第二基底67。
每个像素11包括驱动电路和发光部分，并且在隔光层65中提供开口 65A。开口 65A和开口 65A下面的保护层64的一部分、第二电极62的一部分和绝缘中间层41的一部分构成光透射部分30。会聚部分21和成像器件20安排在不面对第二基底67的第一基底 40的表面上。具体地，驱动电路提供在由钠玻璃制成的第一基底40上。构成驱动电路的每个 TFT具有在第一基底40上形成的栅极电极51、在第一基底40和栅极电极51上形成的栅极绝缘膜52、在栅极绝缘膜52上形成的半导体层中提供的源极和漏极区域53、以及源极和漏极区域53之间的对应于栅极电极51上面的半导体层的一部分的沟道形成区域54。尽管在图中示例中TFT为底部栅极型，但是TFT可以是顶部栅极型。TFT的栅极电极51连接到对应的扫描线(未示出)。绝缘中间层41 (41A和41B) 覆盖第一基底40和驱动电路。构成有机EL元件的第一电极61提供在由SiOx、SiNy、聚酰亚胺树脂制成的绝缘中间层41B上。TFT和第一电极61通过在绝缘中间层41A、布线43和接触插头44中提供的接触插头42相互电连接。在附图中，对于一个有机EL元件驱动部分示出一个TFT。具有开口 46的绝缘层45提供在绝缘中间层41上，并且第一电极61暴露在开口 46的底部。绝缘层45在平坦性上优异，并且由具有这样的绝缘材料(如聚酰亚胺树脂) 制成，该绝缘材料具体低吸收以便防止由于水气导致的有机层63的劣化，从而保持发光亮度。具有由有机发光材料制成的发光层的有机层63提供在在开口 46的底部暴露给围绕开口 46的绝缘层45的一部分的第一电极61的一部分上。尽管有机层63具有空穴传输层和用作电子传输层的发光层的层叠结构，但是在图中只示出一层。由无定形氮化硅(a -SihNx)制成的绝缘保护层64通过等离子CVD方法提供在第二电极62上，以便防止水气到达有机层63。由黑色聚酰亚胺树脂制成的隔光层65形成在保护层64上，并且由钠玻璃制成的第二电极67安排在保护层64和隔光层65上。保护层 64、隔光层65和第二基底67通过由丙烯酸粘合剂制成的粘合剂层66相互粘结。第一电极61用作阳极电极，并且第二电极62用作阴极电极。具体地，第一电极61 由光反射材料(如铝(AL)、银(Ag)或这些金属的合金)制成以具有0.2μπι到0.5μπι的厚度，并且第二电极62由透明传导材料(如ITO或ΙΖ0)制成以具有0. 1 μ m的厚度，或者由如银(Ag)或镁(Mg)的透射光到一定程度的金属薄膜(半透明金属薄膜)制成以具有大约5nm的厚度。第二电极62没有确定图案(pattern)，并且以单个板形形成。根据情况需要，可以在有机层63和第二电极62之间提供具有0. 3nm的厚度的由LiF制成的电子注入层(未示出)。结果，该实施例的图像显示设备IA中的图像显示部分10的发光元件的详细配置如下所示
第二基底67 钠玻璃粘胶层66 丙烯酸粘合剂隔光层65 黑色聚酰亚胺树脂保护层64 =SiNxM (厚度5μπι)
第二电极62(阴极电极)ΙΤ0层(厚度0.1 μ m)或半透明金属薄膜电子注入层LiF层(厚度0. 3nm)有机层63 用作空穴传输层和电子传输层的发光层的层叠结构第一电极61 (阳极电极)=AI-Nd层(厚度0.2 μ m) 绝缘层41 =SiO2层 TFT 构成驱动电路第一基底40 钠玻璃。第一基底40、保护层64和隔光层65构成显示元件基底。第二基底67用作密封基底。这里，第二基底67中提供的形成光透射部分30的开口 65A是其中没有像素电极(第一电极61)、TFT(包括栅极电极51)和布线的显示元件基底的一部分。用作密封剂的保护层64、用作EL公共电极的第二电极62、用作像素分离膜的绝缘层45、用作平坦化绝缘膜的绝缘中间层41 (41A和41B)、源极和漏极区域53、和栅极绝缘膜52具有光透射性。因此，从显示表面(第二基底67)侧入射的外部光可以通过开口 65A到达后表面(第一基底40)。提供在面板的后表面上提供的成像器件20，使得成像表面接近具有光透射部分 30(开口 65A)的面板的后表面(在该示例中，插入会聚部分21)。因此，从显示表面侧入射的外部光通过成像器件20的透镜(未示出)会聚，并且进入固态成像元件，如C⑶或CMOS， 使得可能捕获显示表面侧的被摄体的图像。[对应衍射校正的配置]图4A到5B是图示衍射效应和措施的图。图4A是图示因为衍射效应对捕获图像的影响的示意图。图4B是示出当在成像器件20的前方安排玻璃板时的捕获图像的示例。 图5A是第一实施例的图像显示设备IA的方块图，其中从信号处理的观点校正(补偿)衍射效应的影响。图5B是第一实施例的图像显示系统2A的方块图，其中从信号处理的观点校正(补偿)衍射效应的影响。在第一实施例的图像显示设备IA中，有机EL元件用作显示元件，只提供光透射部分30，并且成像器件20提供在后表面(第一基底40)上，使得可能捕获显示表面(第二电极62)侧的被摄体的图像。在所谓的IXD中可能但难以实现该简单配置，并且更难以实现包括可见光波长的光通过其的结构。相反，在第一实施例的图像显示设备IA中，只提供光透射部分30，使得可能利用简单配置从后表面捕获显示表面侧的被摄体的图像。另一方面，通常当通过小的光透射开口捕获图像时，在光透射开口中出现所谓的衍射效应。即，如图4A所示，如果在其中以预定间距提供微小光透射部分30的物体(图像显示部分10)的后表面上提供成像器件20，并且通过光透射部分30捕获图像，则光透射部分30用作光学狭缝。为此，因为衍射效应，与图像“C”相同的图像以规则间距显示为图像 “A”和图像“B”，结果，在图像中出现模糊。图4B的(1)示出当在成像器件20的前方安排没有光透射部分的透明玻璃板时捕获的图像。图4B的( 示出当在成像器件20的前方安排具有光透射部分的透明玻璃板时捕获的图像，该光透射部分具有一定的形状、大小和分布。在图4B的O)中所示的图像中识别模糊。同时，在图4B的(1)中所示的图像中没有识别模糊。衍射光的强度和分布取决于光透射部分的形状、大小和分布以及入射光(外部光)的波长。当几乎没有由于衍射的模糊时，不必对捕获图像执行用于校正(补偿)衍射的处理。当需要高质量捕获图像时，优选校正(补偿)衍射效应的影响。
图5A示出第一实施例的图像显示设备1A，其中从信号处理的观点校正衍射效应的影响。第一实施例的图像显示设备IA具有控制整个设备的操作的控制部分90、控制图像显示部分10的显示操作的显示定时控制器92、以及控制成像器件20 (成像部分20a)的成像操作的成像定制控制器94。控制部分90将显示数据、定时信号等提供到显示定时控制器92。控制部分90将成像定时信号、快门控制信号、增益控制信号等提供到成像定时控制器94。显示定时控制器92包括信号线控制电路(未示出)，并且信号线控制电路通过图像信号提供IC(未示出)将显示数据或水平定时信号提供到图像显示部分10。显示定时控制器92包括扫描线控制电路(未示出)，并且扫描线控制电路通过扫描信号提供IC(未示出)将垂直定时信号提供给图像显示部分10。第一实施例的图像显示设备IA包括衍射校正部分100，其对于由成像器件20获取的图像信息校正(补偿)光透射部分30中的衍射。当成像器件20(电子装置的示例)与图像显示设备IA分开提供时，如图中的单点画线所示，考虑衍射校正部分100 (并且根据情况需要成像定时控制器94)安排在成像器件20中。衍射校正部分100具有MTF形状存储部分102和MTF逆变换部分104。MTF逆变换部分104具有图像存储存储器(未示出)，并且将从成像器件20提供的捕获图像数据存储在图像存储存储器中。通过控制部分90控制衍射校正部分100的处理操作。控制部分90从用户接收各种指令，并且控制衍射校正部分100或其它功能部分的操作。例如，如下面详细描述的，尽管考虑各种过程作为该实施例的衍射校正处理，但是这些过程具有优点和缺点，因此可以根据用户的指令适当地选择方法。MTF形状存储部分102存储关于光透射部分30的大小、形状和分布的MTF形状数据。例如，将通过红色(R)、绿色(G)和蓝色⑶的每个的外部光波长和二维FFT获得的光透射部分30的MTF形状数据存储在MTF形状存储部分102中。通过成像器件20获取的图像信息发送到构成衍射校正部分100的MTF逆变换部分104。MTF逆变换部分104从MTF形状存储部分102读取通过红色(R)、绿色(G)和蓝色 (B)的每个的外部光波长和二维FFT获得的光透射部分30的MTF形状数据，执行MTF逆变换，恢复原始图像，并且将原始图像发送到控制部分90。此时，为了简化计算并减少处理时间，替代所有信号分量，可以关注一部分信号分量执行处理。下面将详细描述这点。控制部分90从通过衍射校正部分100 (MTF逆变换部分104)获得的恢复图像执行各种检测，例如用户视线的检测、用户手的运动等，并且将检测结果反映在图像显示部分10 上的显示中。在控制部分90的控制下执行图像显示部分10中的图像显示。即，显示数据、定时数据等从控制部分90发送到显示定时控制器92，显示数据和水平定时信号从显示定时控制器92发送到信号线控制电路(未示出)，并且垂直定时信号发送到扫描线控制电路(未示出)。在图像显示部分10中，通过已知的方法执行图像显示。同时，成像定时信号、快门控制信号、增益控制信号等从控制部分90发送到成像定时中之前94，并且各信号从成像定时控制器94发送到成像器件20，使得控制成像器件20的操作。图5B示出第一实施例的图像显示系统2A，其中从信号处理的观点校正衍射效应的影响。该图像显示系统2A与图5A所示的图像显示设备IA不同在于从图像显示设备 IA移除了控制部分90和衍射校正部分100以构成图像显示设备1A_2，并且移除的控制部分90和衍射校正部分100并入外围装置70A(电子装置的示例)中。即，控制部分90可以提供在图像显示设备IA中，或者可以提供在连接到图像显示设备1A_2的外围装置70A(如个人计算机)中。衍射校正部分100可以提供在图像显示设备IA中，或者可以提供在连接到图像显示设备1A_2的外围装置70A (如个人计算机)中。在图像显示设备IA或图像显示系统2A中，可以通过软件实现衍射校正部分100 或控制部分90的控制功能(具体地，控制衍射校正部分100的功能)，因此可以提取程序或已经存储程序的记录介质作为发明。同样适用于其中反映外部光的波长分布的测量结果的情况，改进了通过程序设备获取的图像信息的精度(例如，改进了颜色信息的精度)，或者改进了 MTF逆变换处理的精度。S卩，在该实施例中，其中衍射校正处理或波长分布测量处理和关于处理的控制处理的控制配置的机制不限于硬件处理电路，并且可以通过基于实现功能的程序代码，通过使用电子计算机(计算机)的机制的软件实现。在通过软件的机制中，可以容易地改变处理过程等而没有硬件改变。程序可以以存储在计算机可读存储介质中并提供的形式或者通过有线或无线通信部件分布的形式来提供。程序以文件形式提供，在该文件中描述了用于实现关于衍射校正处理或波长分布测量处理以及关于处理的控制处理的程序代码。在该情况下，取决于由计算机构成的系统的硬件配置，程序可以提供作为批处理程序文件，并且可以提供作为单独的程序模块。作为用于实现关于衍射校正处理或波长分布测量处理以及关于处理的控制处理的各部分(包括各功能块)的特定方式，可以使用硬件、软件、通信方式、其组合或其它方式。这对于本领域技术人员是显而易见的。各功能块可以组合并集成到单个功能块中。使得计算机执行程序处理的软件根据组合的形式分发和安装。通过软件的机制可以灵活地处理并行处理或连续处理，但是处理复杂并且处理时间增加，导致处理速度的劣化。相反，如果该机制通过硬件处理电路构造，则即使在处理复杂时，也可以构造加速器系统，其中防止处理速度的劣化，获得高吞吐量，并且实现高速度。[针对衍射效应的措施原理]图6到7B是图示从信号处理的观点针对衍射效应的影响的措施的图。图6是图示从光透射部分30(开口 65A)获得的衍射光强度和MTF的概念图。图7A和7B是示意性示出光透射部分30的形状的示例的图(与图IA不同)。当确定光透射部分30的图案形状、大小和分布和入射光(外观光)的波长时，可以通过下面的表达式(1)计算衍射分布Pdiff。在二重积分时，X和y从-⑴到+⑴积分。
权利要求
1.一种图像显示设备，包括图像显示部分，其中安排每个具有显示元件的多个像素，捕获图像的成像部分可安排在其后表面上，并且在对应于成像部分的区域中提供多个光透射部分；以及衍射校正部分，其对于通过多个光透射部分由成像部分获取的图像信息执行衍射校正处理，所述衍射校正处理用于抑制因为光透射部分中的衍射效应而在图像信息中出现的影响。
2.如权利要求1所述的图像显示设备，其中衍射校正部分对由成像部分获取的图像信息执行傅立叶变换，并且使用对应于光透射部分的安排状态的响应函数对傅立叶变换后的信息执行傅立叶逆变换。
3.如权利要求1或2所述的图像显示设备，其中衍射校正部分对表示由成像部分获取的图像信息的多个信号中的至少一个(不是全部)执行衍射校正处理。
4.如权利要求1或2所述的图像显示设备，其中衍射校正部分对表示由成像部分获取的图像信息的多个信号中的每个执行衍射校正处理。
5.如权利要求3所述的图像显示设备，其中衍射校正部分对来自表示由成像部分获取的图像信息的多个信号中的、与亮度信息相关的信号执行衍射校正处理。
6.如权利要求3所述的图像显示设备，其中衍射校正部分对表示由成像部分获取的图像信息的多个信号执行颜色空间转换， 以便包括至少表示亮度信息的信号分量，并且对来自转换后的多个信号中的表示亮度信息的信号分量执行衍射校正处理。
7.如权利要求3所述的图像显示设备，其中通过对表示由成像部分获取的图像信息的多个信号执行颜色空间转换以便包括至少表示亮度信息的信号分量、对表示亮度信息的信号分量执行傅立叶变换、并且对与亮度信息相关的分量使用对应于光透射部分的安排状态的响应函数对傅立叶变换后的信息执行傅立叶逆变换，衍射校正部分执行衍射校正处理。
8.如权利要求1到7的任一所述的图像显示设备，还包括波长分布测量部分，其测量外部光的波长分布，其中衍射校正部分参考通过波长分布测量部分测量的外部光的波长分布执行衍射校正处理。
9.如权利要求1到8的任一所述的图像显示设备，其中光透射部分的安排状态是不一致的。
10.如权利要求9所述的图像显示设备，其中与一个光透射部分相邻的至少两个光透射部分在大小上与所述一个光透射部分不同。
11.如权利要求9或10所述的图像显示设备，其中与一个光透射部分相邻的至少两个光透射部分在形状上与所述一个光透射部分不同。
12.如权利要求9所述的图像显示设备，其中，对于两个光透射部分之间的安排间距，与一个安排间距相邻的至少两个安排间距与所述一个安排间距不同。
13.如权利要求1到8的任一所述的图像显示设备，其中每个光透射部分由第一光透射部分和第二光透射部分构成，以及安排第二光透射部分以便围绕第一光透射部分。
14.如权利要求1到13的任一所述的图像显示设备，还包括 会聚部分，其将已经通过光透射部分的光会聚到成像部分上。
15.如权利要求1到14的任一所述的图像显示设备， 其中所述显示元件是发光元件。
16.一种电子装置，包括 成像部分，其捕获图像；图像显示部分，其中安排每个具有显示元件的多个像素，成像部分安排在其后表面上， 并且在对应于成像部分的区域中提供多个光透射部分；以及衍射校正部分，其对于通过多个光透射部分由成像部分获取的图像信息执行衍射校正处理，所述衍射校正处理用于抑制因为光透射部分中的衍射效应而在图像信息中出现的影响。
17.一种电子装置，包括衍射校正部分，其对于通过图像显示部分的多个光透射部分由成像部分获取的图像信息执行衍射校正处理，在图像显示部分中安排每个具有显示元件的多个像素，捕获图像的成像部分可安排在其后表面上，并且在对应于成像部分的区域中安排多个光透射部分，所述衍射校正处理用于抑制因为光透射部分中的衍射效应而在图像信息中出现的影响。
18.一种图像显示系统，包括 成像器件，其捕获图像；图像显示设备，其具有图像显示部分，其中安排每个具有显示元件的多个像素，所述成像器件可安排在其后表面上，并且在对应于成像器件的区域中提供多个光透射部分；以及衍射校正部分，其对于通过多个光透射部分由成像部分获取的图像信息执行衍射校正处理，所述衍射校正处理用于抑制因为光透射部分中的衍射效应而在图像信息中出现的影响。
19.一种获取图像的方法，所述方法包括以下步骤在图像显示部分上显示图像，在图像显示部分中安排每个具有显示元件的多个像素， 成像部分可安排在其后表面上，并且在对应于成像部分的区域中提供多个光透射部分； 通过多个光透射部分由成像部分捕获显示表面侧的被摄体的图像以便获取图像信息；以及对于获取的图像信息执行衍射校正处理，所述衍射校正处理用于抑制因为光透射部分中的衍射效应而在图像信息中出现的影响。
20.一种程序，使得计算机执行以下步骤对于经由通过图像显示部分的多个光透射部分、由成像部分捕获显示表面侧的被摄体的图像获取的图像信息执行衍射校正处理，在图像显示部分中安排每个具有显示元件的多个像素，成像部分可安排在其后表面上，并且在对应于成像部分的区域中提供多个光透射部分，所述衍射校正处理用于抑制因为光透射部分中的衍射效应而在图像信息中出现的影响。
全文摘要
一种图像显示设备，包括图像显示部分，其中安排每个具有显示元件的多个像素，捕获图像的成像部分可安排在其后表面上，并且在对应于成像部分的区域中提供多个光透射部分；以及衍射校正部分，其对于通过多个光透射部分由成像部分获取的图像信息执行衍射校正处理，所述衍射校正处理用于抑制因为光透射部分中的衍射效应而在图像信息中出现的影响。
文档编号G03B29/00GK102280074SQ201110130219
公开日2011年12月14日 申请日期2011年5月19日 优先权日2010年5月19日
发明者中村和夫 申请人:索尼公司