专利名称：信息处理设备和方法、记录介质、程序和显示装置的制作方法
技术领域：
本发明涉及一种信息处理设备和方法、记录介质、程序和显示装置，以及更特别地，涉及能使用户以更自然的方式进行通信的信息处理设备和方法、记录介质、程序和显示装置。
背景技术：
作为一个所谓的全视差图像显示系统，在其中可以选择视点，例如，那是一个IP(全影摄影术)立体图像系统。
用于IP立体图像系统中的IP技术的原理已经在二十世纪初提出了。
也就是，IP是一种通过经一个透镜阵列诸如形成在摄影底片上的昆虫类的复合的多层面的眼睛执行摄影而采集的一个主体的多个小图像的技术，摄影底片被穿过摄影底片与主体位置相对的位置照明，并且光线被重现，其沿着在摄影期间从主体传播到摄影底片的光线相同的轨迹在相反方向传播重现，从而在该主体所处的位置重现该主体的三维图像。
IP立体图像系统是一种通过使用数字相机、液晶显示器等用电子学方法实现该IP技术的系统。因此，IP立体图像系统基本是由前部设置有透镜阵列的数字相机以及表面设置有透镜阵列并且执行主体图像重现的液晶显示器组成的。
专利文件1(日本专利申请公开案第2004-54153号)公开了一种使用IP的用于立体图像的图像捕获和显示装置。该图像捕获和显示装置被构造成通过使从主体进入到图像捕获光纤的光从隔着图像捕获和显示装置与主体相对的一侧射出而采集主体的立体图像。显示透镜设置在该装置的光出口侧上。
专利文件2(日本专利申请公开案第2004-23203号)公开了一种借助于一个相机捕获通过一个棱镜组从主体反射的光线、并且采集高空间分辨率的主体图像的技术。专利文件2还公开了通过该技术捕获的图像被用于实时提供高分辨率的立体图像，借此实现了立体显示系统。
发明内容
然而，如果要实现IP立体图像系统，在摄影中从主体进入的光线的轨迹需要与在重现中在相反方向传播的光线的轨迹一致，以至存在透镜阵列与数字相机之间的位置关系需要精确地复制液晶显示器与透镜阵列之间的位置关系的缺点。
因此，被实现用于满足这一需要的系统在技术或费用方面受到相当多的限制。
当然，由数字相机和透镜阵列组成的图像捕获系统的结构以及由液晶显示器和透镜阵列组成的重现系统的结构需要分别准备，因此还存在系统结构变得不仅成本高而且比较大的缺点。
那有可以通过IP立体图像系统的应用实现的可视电话系统，并且被称为通信工具，最近开始被并入移动电话并广泛使用。该可视电话系统被指出具有下列缺陷，例如两个彼此通信的用户其中一人的眼睛不能看到另一个人的眼睛。
也就是，数字相机和显示器设置在用于视频电话的每一装置的不同位置，因此当一个用户A看到在用户A的装置的显示器上显示的另一用户B的脸时，面对着用户A的装置的显示器的用户A的脸(通信方)显示在另一用户B的显示器上。
另外，用户A看着用户A的装置的数字相机，以便用户A的脸可以显示在另一用户B的装置的显示器上，就好像用户A总是看着另一用户B的脸，当然用户A不能注视显示在用户A的装置的显示器上的另一B的脸。
本发明已经考虑到上述的情况，并且打算使通信用户能以更自然的方式执行通信。
根据本发明的第一方面，提供一种用于控制显示装置的信息处理设备，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该信息处理设备包括采集装置，用于根据从组成图像捕获区域的像素的输出、采集在执行图像捕获操作的多个像素组成的图像捕获区域中形成的主体的图像；传送装置，用于将该采集装置采集的主体的图像的数据传送到另一个控制与该显示装置具有相同结构的另一显示装置的信息处理设备；接收装置，用于接收从该另一信息处理设备传送来的另一主体的图像的数据；以及显示控制装置，用于基于接收装置接收的另一主体的图像的数据、在一个显示区域中显示另一主体的图像，该显示区域由多个执行图像显示操作的像素组成并且形成在在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应。
该采集装置基于来自组成多个图像捕获区域的像素的输出、能够采集该主体的多个图像的数据。
基于该接收装置接收的另一主体的多个图像的数据，该显示控制装置能够在多个显示区域中显示另一主体的多个图像。
该图像捕获区域和显示区域可以形成在显示装置的不同位置，以便每个图像捕获区域和显示区域的位置顺序地移动。
根据该第一方面的信息处理设备还包括用于将采集装置采集的主体的图像转换成直立的图像的转换装置。在这种情况下，传送装置将该转换装置转换的主体的直立的图像的数据传送到另一信息处理设备。
根据第一方面的信息处理设备还包括用于放大或缩小转换成直立图像的主体的图像的放大/缩小处理装置。
根据第一方面的信息处理设备还包括用于将其数据是接收装置接收的另一主体的图像转换成直立图像的转换装置。在这种情况下，显示控制装置在显示区域中显示该转换装置转换的另一主体的直立图像。
根据第一方面的信息处理设备还包括用于将由该转换装置转换成直立图像的主体的图像放大或缩小的放大/缩小处理装置。
根据第一方面的信息处理设备还包括通过压缩装置，其通过利用该主体的第一图像与用作参考的该主体的第二图像之间的差异，压缩该采集装置采集的主体的第一图像的数据。在这种情况下，传送装置将压缩装置压缩的主体的第一图像的数据与主体的第二图像的数据一起传送到另一信息处理设备。
根据第一方面的信息处理设备还包括产生装置，如果接收装置接收到用作参考的另一主体的第一图像的数据以及由与另一主体的第一图像的差异表示的另一主体的第二图像的数据，用于基于另一主体的第一图像的数据和另一主体的第一和第二图像之间的差异、产生另一主体的第二图像的数据。
根据本发明的第二方面，提供一种用于控制显示装置的信息处理设备的信息处理方法，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该信息处理方法包括采集步骤，基于组成图像捕获区域的像素的输出，采集在多个执行图像捕获操作的像素组成的图像捕获区域中形成的主体的图像；传送步骤，将采集步骤的处理中采集的主体的图像数据传送到另一个控制与该显示装置具有相同结构的另一显示装置的信息处理设备；接收步骤，接收从另一信息处理设备传送来的另一主体的图像数据；以及显示控制步骤，基于接收步骤的处理接收的另一主体的图像数据，在一个显示区域中显示另一主体的图像，该显示区域由执行图像显示操作的多个像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应。
根据本发明的第三方面，提供一种记录介质，在其上记录着使计算机执行控制显示装置的处理的程序，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该程序包括采集步骤，基于组成图像捕获区域的像素的输出，采集在多个执行图像捕获操作的像素组成的图像捕获区域中形成的主体的图像；传送步骤，将采集步骤的处理中采集的主体的图像数据传送到另一个控制与该显示装置具有相同结构的另一显示装置的信息处理设备；接收步骤，接收从另一信息处理设备传送来的另一主体的图像数据；以及显示控制步骤，基于接收步骤的处理接收的另一主体的图像数据，在一个显示区域中显示另一主体的图像，该显示区域由执行图像显示操作的多个像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应。
根据本发明的第四方面，提供一种使计算机执行控制显示装置的处理的程序，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该程序包括采集步骤，基于组成图像捕获区域的像素的输出，采集在多个执行图像捕获操作的像素组成的图像捕获区域中形成的主体的图像；传送步骤，将采集步骤的处理中采集的主体的图像数据传送到另一个控制与该显示装置具有相同结构的另一显示装置的信息处理设备；接收步骤，接收从另一信息处理设备传送来的另一主体的图像数据；以及显示控制步骤，基于接收步骤的处理接收的另一主体的图像数据，在一个显示区域中显示另一主体的图像，该显示区域由执行图像显示操作的多个像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应。
根据本发明的第五方面，提供一种用于控制显示装置的信息处理设备，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该信息处理设备包括采集装置，用于根据从组成图像捕获区域的像素的输出、采集在执行图像捕获操作的多个像素组成的图像捕获区域中形成的主体的图像；以及传送装置，用于将该采集装置获得的主体的图像的数据传送到另一个控制与该显示装置具有相同结构的另一显示装置的信息处理设备。
根据本发明的第六方面，提供一种用于控制显示装置的信息处理设备的信息处理方法，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该信息处理方法包括采集步骤，基于组成图像捕获区域的像素的输出，采集在多个执行图像捕获操作的像素组成的图像捕获区域中形成的主体的图像；以及传送步骤，将采集步骤的处理中采集的主体的图像数据传送到另一个控制与该显示装置具有相同结构的另一显示装置的信息处理设备。
根据本发明的第七方面，提供一种记录介质，其上记录着使计算机执行控制显示装置的处理的程序，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该程序包括采集步骤，基于组成图像捕获区域的像素的输出，采集在多个执行图像捕获操作的像素组成的图像捕获区域中形成的主体的图像；以及传送步骤，将采集步骤的处理中采集的主体的图像数据传送到另一个控制与该显示装置具有相同结构的另一显示装置的信息处理设备。
根据本发明的第八方面，提供一种使计算机执行控制显示装置的处理的程序，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该程序包括采集步骤，基于组成图像捕获区域的像素的输出，采集在多个执行图像捕获操作的像素组成的图像捕获区域中形成的主体的图像；以及传送步骤，将采集步骤的处理中采集的主体的图像数据传送到另一个控制与该显示装置具有相同结构的另一显示装置的信息处理设备。
根据本发明的第九方面，提供一种用于控制显示装置的信息处理设备，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该信息处理设备包括接收装置，用于接收从该另一信息处理设备传送来的另一主体的图像的数据，该另一信息处理设备控制与该显示装置具有相同结构的另一显示装置；以及显示控制装置，用于基于接收装置接收的另一主体的图像的数据、在一个显示区域中显示另一主体的图像，该显示区域由多个执行图像显示操作的像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应。
根据本发明的第十方面，提供一种用于控制显示装置的信息处理设备的信息处理方法，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该信息处理方法包括接收步骤，接收从另一信息处理设备传送来的另一主体的图像数据，该另一信息处理设备控制与该显示装置具有相同结构的另一显示装置；以及显示控制步骤，基于接收步骤的处理接收的另一主体的图像数据，在一个显示区域中显示另一主体的图像，该显示区域由执行图像显示操作的多个像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应。
根据本发明的第十一方面，提供一种记录介质，其上记录着使计算机执行控制显示装置的处理的程序，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该程序包括接收步骤，接收从另一信息处理设备传送来的另一主体的图像数据，该另一信息处理设备控制与该显示装置具有相同结构的另一显示装置；以及显示控制步骤，基于接收步骤的处理接收的另一主体的图像数据，在一个显示区域中显示另一主体的图像，该显示区域由执行图像显示操作的多个像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应。
根据本发明的第十二方面，提供一种使计算机执行控制显示装置的处理的程序，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该程序包括接收步骤，接收从另一信息处理设备传送来的另一主体的图像数据，该另一信息处理设备控制与该显示装置具有相同结构的另一显示装置；以及显示控制步骤，基于接收步骤的处理接收的另一主体的图像数据，在一个显示区域中显示另一主体的图像，该显示区域由执行图像显示操作的多个像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应。
根据本发明的第十三方面，提供一种显示装置，其由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。根据一个信息处理设备执行的控制，该显示装置将表示形成在图像捕获区域的主体的图像的信号输出到该信息处理设备，该图像捕获区域由执行图像捕获操作的多个像素组成，并且在执行图像显示操作的多个像素组成的显示区域中显示预定的图像。
在根据本发明第一到第四方面的信息处理设备和方法、记录介质和程序中，基于从组成图像捕获区域的像素的输出、采集在由执行图像捕获操作的多个像素组成的图像捕获区域中形成的主体的图像，并且采集的该主体的图像数据传送到控制与该显示装置具有相同结构的另一显示装置的另一信息处理设备。另外，从该另一信息处理设备传送来的另一主体的图像数据被接收，并且基于接收到的另一主体的图像数据，在由执行图像显示操作的多个像素组成的显示区域中显示另一主体的图像，并且该显示区域形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应。
在根据本发明第五至第八方面的信息处理设备和方法、记录介质和程序中，基于从组成图像捕获区域的像素的输出、采集在由执行图像捕获操作的多个像素组成的图像捕获区域中形成的主体的图像，并且采集的该主体的图像数据传送到控制与该显示装置具有相同结构的另一显示装置的另一信息处理设备。
在根据本发明的第九至第十二方面的信息处理设备和方法、记录介质和程序中，接收到从另一信息处理设备发送的另一主体的图像数据，该信息处理设备控制与一个显示装置具有相同结构的另一显示装置，并且基于该接收的另一主体的图像数据，在一个显示区域中显示另一主体的图像，该显示区域由执行图像显示的多个像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应。
在根据本发明的第十三方面的显示装置中，表示形成在图像捕获区域的主体图像的信号输出到一个信息处理设备，该图像捕获区域由多个执行图像捕获操作的像素组成，并且根据该信息处理设备执行的控制，在由执行图像显示操作的多个像素组成的显示区域中显示一个预定的图像。
根据本发明，可以产生立体图像。
另外，根据本发明，通信用户可以更自然的方式彼此通信。
此外，根据本发明，可能实现执行通信的装置的尺寸的减小。
附图简述
图1是应用本发明实施例的IP立体图像系统的结构示例图；图2是图1的I/O显示器的平面图；图3是图1的I/O显示器的横截面图；图4是图3的分离器包围的区域的平面图；图5是一个组成一个I/O显示器的像素的电路结构示例图；图6是一个组成一个I/O显示器的像素的电路结构示例图；图7是一个TFT的漏电流值的测量的示例的曲线图；图8是组成I/O显示器的像素的另一电路结构示例图；图9是组成I/O显示器的像素的另一电路结构示例图；图10是在图8和9中示出的像素中检测的电流的测量值的示例曲线图；图11是图10中接近0V的范围的放大曲线图；图12是立体图像的重现的示意图；图13是单目图像的图像捕获位置和显示位置的视图；图14是使得采集立体图像成为可能的原理图；图15是使得采集立体图像成为可能的另一原理图；图16是图像捕获区域和显示区域的位置的移动示例图；图17是信息处理设备的结构示例框图；图18是信息处理设备的功能结构的示例框图；图19是说明信息处理设备的图像处理的流程图；图20是说明信息处理设备的显示处理的流程图；
图21是应用本发明的通信系统的结构示例图；图22是在显示区域中显示的单目图像的示例图；图23是在显示区域中显示的另一单目图像的示例图；图24是在显示区域中显示的又一个单目图像的示例图；图25是由图22中显示的单目图像重现的立体图像的视图；图26是该立体图像的显示的示例图；图27是由图23中显示的单目图像重现的立体图像的视图；图28是该立体图像的另一显示的示例图；图29是由图24中显示的单目图像重现的立体图像的视图；图30是该立体图像的又一个显示的示例图；图31是在I/O显示器很小的情况下的显示的示例图；图32是在I/O显示器很小的情况下的另一显示的示例图；图33是使得立体图像的重现位置的调整成为可能的原理图；图34是图18的图像处理部分的结构示例框图；图35是说明在图19的步骤S4中执行的图像处理的流程图；图36是信息处理设备的另一功能结构的示例框图；图37是立体图像的重现的示例的原理图；以及图38是立体图像的重现的示例的另一原理图。
具体实施例方式
根据本发明一个实施例的信息处理设备是用于控制一个显示装置(例如图1的I/O显示器1)的信息处理设备(例如图17的信息处理设备31)，该显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作(例如图5的操作)和图像捕获操作(例如图6的操作)之间是可转换的。该信息处理设备包括采集装置(例如图18的单目图像产生部分62)，用于根据从组成图像捕获区域的像素的输出、采集在执行图像捕获操作的多个像素组成的图像捕获区域中形成的主体(例如图1的用户#1)的图像；传送装置(例如执行图19的步骤S6的处理的图18中的传送/接收控制部分66)，用于将该采集装置采集的主体的图像的数据传送到另一个控制与该显示装置具有相同结构的另一显示装置(例如图1的I/O显示器2)的信息处理设备；接收装置(例如执行图20的步骤S11的处理的图18中的传送/接收控制部分66)，用于接收从该另一信息处理设备传送来的另一主体(例如图1的用户#2)的图像的数据；以及显示控制装置(例如图18的显示控制部分68)，用于基于接收装置接收的另一主体的图像的数据、在一个显示区域中显示另一主体的图像，该显示区域由多个执行图像显示操作的像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应(例如，如图13中所示，将由I/O显示器2的区域a51采集的用户#2的图像显示在I/O显示器1的区域A57)。
在根据本发明一个实施例的信息处理设备中，图像捕获区域和显示区域形成在显示装置的不同位置，以便每个图像捕获区域和显示区域的位置顺序移动(例如，如图16中所示的向下移动)。
根据本发明一个实施例的信息处理设备(位置将执行图像处理的传送方的信息处理设备)还包括用于将采集装置采集的主体的图像转换成直立图像的转换装置(例如图34的转换处理部分111)。传送装置将该转换装置转换的主体的直立图像的数据传送到另一信息处理设备。
根据本发明一个实施例的信息处理设备还包括用于将转换成直立图像的主体的图像放大或缩小的放大/缩小处理装置(例如图34的放大/缩小处理部分112)。
根据本发明一个实施例的信息处理设备(位于将执行图像处理的接收方的信息处理设备)还包括用于将另一主体的图像转换成直立图像的转换装置(例如，包含在图36的图像处理部分63中的图34的转换处理部分111)，其中该另一主体的图像的数据是由接收装置接收的。该显示控制装置在显示区域中显示由转换装置转换的另一主体的直立图像。
根据本发明一个实施例的信息处理设备还包括用于放大或缩小由转换装置转换成直立图像的主体图像的放大/缩小处理装置(例如，包含在图36的图像处理部分63中的图34的放大/缩小处理部分112)。
根据本发明一个实施例的信息处理设备还包括通过利用主体的第一图像和用作参考的主体的第二图像之间的差异、压缩采集装置采集的主体的第一图像数据的压缩装置(例如，执行图19的步骤S5的处理的图18中的压缩/扩展处理部分65)。传送装置将压缩装置压缩的主体的第一图像数据与主体的第二图像数据一起传送到另一信息处理设备。
根据本发明一个实施例的信息处理设备还包括用于当接收装置接收到用作参考的另一主体的第一图像数据以及由与另一主体第一图像的差异表示的另一主体的第二图像数据时，基于另一主体的第一图像以及另一主体的第一和第二图像之间的差异产生另一主体的第二图像数据的产生装置(例如，执行图20的步骤S12的处理的图18中的压缩/扩展处理部分65)。
根据本发明一个实施例的用于控制一个显示装置(例如图1中的I/O显示器)的信息处理设备(例如图17的信息处理设备31)的信息处理方法，其中显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的，该方法包括采集步骤(例如图19的步骤S3)，基于组成图像捕获区域的像素的输出，采集在多个执行图像捕获操作的像素组成的图像捕获区域中形成的主体(例如图1的用户#1)的图像；传送步骤(例如图19的步骤S6)，将采集步骤的处理中采集的主体的图像数据传送到另一个控制与该显示装置具有相同结构的另一显示装置(例如图1的I/O显示器2)的信息处理设备；接收步骤(例如图20的步骤S11)，接收从另一信息处理设备传送来的另一主体(例如图1的用户#2)的图像数据；以及显示控制步骤(例如图20的步骤S14)，基于接收步骤的处理接收的另一主体的图像数据，在一个显示区域中显示另一主体的图像，该显示区域由执行图像显示操作的多个像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应(例如，如图13中所示，在I/O显示器1的区域A57中显示在I/O显示器2的区域a51中采集的用户#2的图像)。
根据本发明的实施例的记录在记录介质上的程序，每个处理操作(只是一个例子)相应于它的每个步骤，这些步骤与根据本发明实施例的信息处理方法的步骤相似。
根据本发明的实施例的信息处理设备是用于控制一个显示装置(例如图1的I/O显示器1)的信息处理设备(例如图17的信息处理设备31)，其中显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该信息处理设备包括采集装置(例如图18的单目图像产生部分62)，用于根据从组成图像捕获区域的像素的输出、采集在执行图像捕获操作的多个像素组成的图像捕获区域中形成的主体(例如图1的用户#1)的图像；传送装置(例如执行图19的步骤S6的处理的图18中的传送/接收控制部分66)，用于将该采集装置采集的主体的图像的数据传送到另一个控制与该显示装置具有相同结构的另一显示装置(例如图1的I/O显示器2)的信息处理设备。
根据本发明实施例的信息处理方法是用于控制一个显示装置(例如图1的I/O显示器1)的信息处理设备(例如图17的信息处理设备31)的信息处理方法，其中显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该信息处理方法包括采集步骤(例如图19的步骤S3)，基于组成图像捕获区域的像素的输出，采集在多个执行图像捕获操作的像素组成的图像捕获区域中形成的主体(例如图1的用户#1)的图像；以及传送步骤(例如图19的步骤S6)，将采集步骤的处理中采集的主体的图像数据传送到另一个控制与该显示装置具有相同结构的另一显示装置(例如图1的I/O显示器2)的信息处理设备。
根据本发明实施例的记录在记录介质上的程序，每个处理操作相应于它的每个步骤的(只是一个例子)，这些步骤与根据本发明实施例的信息处理方法的步骤相似。
根据本发明实施例的信息处理设备是用于控制一个显示装置(例如图1的I/O显示器1)的信息处理设备(例如图17的信息处理设备31)，其中显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该信息处理设备包括接收装置(例如执行图20的步骤S11的处理的图18中的传送/接收控制部分66)，用于接收从该另一信息处理设备传送的另一主体(例如图1的用户#2)的图像的数据，该另一信息处理设备用于控制与该显示装置具有相同结构的另一显示装置(例如图1的I/O显示器2)；以及显示控制装置(例如图18的显示控制部分68)，用于基于接收装置接收的另一主体的图像的数据、在一个显示区域中显示另一主体的图像，该显示区域由多个执行图像显示操作的像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应(例如，如图13中所示，将由I/O显示器2的区域a51采集的用户#2的图像显示在I/O显示器1的区域A57)。
根据本发明实施例的信息处理方法是用于控制一个显示装置(例如图1的I/O显示器1)的信息处理设备(例如图17的信息处理设备31)的信息处理方法，其中显示装置由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该信息处理方法包括接收步骤(例如图20的步骤S11)，接收从另一信息处理设备传送的另一主体(例如图1的用户#2)的图像数据，该另一信息处理设备控制与该显示装置具有相同结构的另一显示装置(例如图1的I/O显示器2)；以及显示控制步骤(例如图18的显示控制部分68)，基于接收步骤的处理接收的另一主体的图像数据，在一个显示区域中显示另一主体的图像，该显示区域由执行图像显示操作的多个像素组成并且形成在所述显示设备的一个位置上，该位置与所述另一显示设备的一个形成所述另一主体的所述图像的位置相应(例如，如图13中所示，在I/O显示器1的区域A57中显示在I/O显示器2的区域a51中采集的用户#2的图像)。
根据本发明实施例的记录在记录介质上的程序，每个处理操作相应于它的每个步骤(只是一个例子)，这些步骤与根据本发明实施例的信息处理方法的步骤相似。
根据本发明实施例的显示装置(例如图1的I/O显示器1)由像素构成并且具有提供在显示装置表面的透镜阵列，每个像素根据施加的电压在图像显示操作和图像捕获操作之间是可转换的。该显示装置将一个表示主体图像的信号输出到一个信息处理设备(例如图17的信息处理设备31)，该主体图像形成在由多个执行图像捕获操作的像素组成的图像捕获区域，该显示装置还根据信息处理设备执行的控制、在由多个执行图像显示操作的像素组成的显示区域中显示预定的图像。
将参照附图描述本发明的实施例。
图1示出应用本发明实施例的IP立体图像系统的结构示例。
该IP立体图像系统包括例如I/O(输入/输出)显示器1和2以及连接I/O显示器1和I/O显示器2的通信信道3。
该I/O显示器1例如是如下所述的显示器，其能够捕获使用I/O显示器1的用户#1的图像(输入功能(图像捕获功能))，并且能够基于经过通信信道3从I/O显示器2发送来的信息，以从真实世界的每个视点看得见的立体图像(三维图像)的形式、向观察者用户#1呈现使用I/O显示器2的用户#2。
用户#2的立体图像在用户#1通过I/O显示器1可以观看该立体图像的位置重现。
类似地，I/O显示器2是如下所述的显示器，其能够捕获使用I/O显示器2的用户#2的图像，并且能够基于经过通信信道3从I/O显示器1发送来的信息、向用户#2呈现使用I/O显示器1的用户#1的立体图像。同样，用户#1的立体图像在用户#2通过I/O显示器2可以观看该立体图像的位置重现。
如以下将要描述的，通过利用组成I/O显示器1和2中的相应的一个的显示表面的像素来执行主体(用户#1或#2中的任一个)的图像捕获。同样，通过利用组成I/O显示器1和2中的相应的一个的显示表面的像素来执行每个用户#1和#2的立体图像的显示。
因此，由相互通信的每个I/O显示器1和2捕获的主体的图像数据发送到对方，并且I/O显示器1和2实时重现各自接收的数据，借此I/O显示器1和2可以实现彼此实时通信。
另外，实现主体的图像捕获的结构和实现通信方的图像重现的结构由相同的结构实现，借此，例如用户#1可以在看着I/O显示器1重现的用户#2的眼睛(立体图像)的同时，使I/O显示器1捕获她或他自己的图像重现。
在这种情况下，由于正在看用户#2的眼睛的用户#1的图像重现在I/O显示器2上，用户#2可以看着由I/O显示器2重现的用户#1的眼睛(立体图像)同时实现与用户#1的通信重现。正在看着用户#1的眼睛的用户#2的图像也被I/O显示器2捕获，并且作为用户#2的立体图像由I/O显示器1实时显示。
换句话说，有可能实现遥远位置间的眼对眼(eye-to-eye)交流的通信，如果执行图像捕获的结构与执行显示的结构是分离的硬件部分例如一个数字摄像机和一个显示器，则该通信是难以实现的。
另外，由于每个I/O显示器1和2可以作为集成设备实现，与执行图像捕获的结构和执行显示的结构是分离的硬件部分的情况相比，每个I/O显示器1和2可以实现尺寸和成本的减少。
该通信信道3例如是一个包括因特网等的网络，并且可以是有线或无线的。另外，每个用户#1和#2的声音被未示出的相应的一个麦克风拾取，并发送到对方的I/O显示器1或2。
以下将描述输入功能(图像捕获功能)。下列描述集中在I/O显示器1的功能(结构)，但是I/O显示器2也具有相同的功能(结构)。
与主体(例如用户1)相对的I/O显示器1的表面装备有透镜阵列，该透镜阵列包括如图2的平面图和图3的横截面图示出的以平面形式设置的多重微透镜。
如图3的横截面图所示，一分离器层设置在主体的图像将形成在其上的像素层与微透镜之间，以便防止由每个微透镜聚集的光线和由相邻透镜聚集的光线彼此干扰。
如以下将描述的，在I/O显示器1中，例如一个执行图像捕获操作的像素和一个执行显示操作的像素可以彼此相邻放置。然而，由于设置了分离器层，阻止了从一个执行显示操作的像素发出的光进入另一个执行图像捕获操作的像素中。
由于上述的结构，在I/O显示器1中，分别通过多重微透镜观看的主体的图像被采集，也就是单目图像。
图4是由图3中示出的一个分离器包围的像素组成的一个区域的示例的平面图。
该区域例如是由15×15个像素{每个具有一组三个RGB子像素(总共15×3×15个子像素)}组成。如此，一个微透镜设置在由例如15×15像素组成的区域(在主体侧)的前面，借此如图4中所示，关于光轴旋转180度的主体的图像形成在15×15像素的区域上。
执行图像捕获操作并且由预定数目的像素组成的区域在下文中称为图像捕获区域，主体的一个图像形成在该区域上。执行显示操作并且由预定数目的像素组成的区域在下文中称为显示区域，在该区域上显示主体的一个图像。
虽然图4示出通过15×15像素捕获的一个单目图像的例子，当然像素的数目不是限制性的，也可以用更大数目的像素执行图像捕获。当分配给一个微透镜的像素数目变得更多，就可以采集更高分辨率的主体图像。
如上所述，在I/O显示器1中，不仅显示操作而且图像捕获操作，也就是由每个微透镜聚集的光线的检测被各个像素执行。
图5和6是组成I/O显示器1的一个像素的电路结构的示例框图。
例如，每个像素包括一个TFT(薄膜晶体管)11和一个液晶14。也就是，如图5和6所示结构的像素组成的I/O显示器1是TFT液晶显示器(LCD)。
当一个正向电压(偏置电压)施加到TFT 11的栅线13的栅电极G，根据施加到源电极S的电压，一电流从源线12的源电极S流向由非晶的硅树脂或多晶硅组成的有源半导体层(通道)中的漏电极D，如图5中的实线箭头所示。
液晶14的一个电极连接到TFT 11的漏电极D，并且液晶14的分子的排列根据由在TFT 11的通道中的电流引起的液晶14的电极之间(与漏电极D连接的电极和计数器电极15之间)的电位差而变化，借此使得背光灯发出的光射出到图5的像素的外部。
使得来自背光灯的光经过图3中示出的分离器层和微透镜层射出到I/O显示器1的外部，借此显示一图像。
另一方面，当接近0伏的电压或反向电压施加到TFT 11的栅电极G时，即使施加电压到源电极S上，在通道中也没有电流。
在这种状态下，当由相应的微透镜聚集的外部光照射TFT 11时，如图6中的框箭头所示的，从漏电极D流向源电极S的少量漏泄电流(截止电流)由TFT11的通道的光电导性产生。
从这个事实来看，通过放大由被施加了接近0伏的电压或反向电压的像素(TFT 11)产生的漏泄电流，并且检测该漏泄电流是否存在，有可能确定外部光是否照射到像素上。另外，基于漏泄电流的量也可以确定光量。
由于RGB光被各自的RGB子像素确定，通过合成来自组成图4中示出的图像捕获区域的所有像素的输出，采集该主体(用户#1)的彩色单目图像。
从上述事实来看，可以看出通过控制施加到像素(TFT 11)的电压，可以选择地使像素执行显示操组和图像捕获操作。
为了便于说明，图5示出如框箭头示出的从液晶14射出的光在正确方向上传播的光。实际上，液晶14的电极由透明电极组成，并且来自背光灯的光被设置成经过该透明电极向外部发出。
图7是示出被光照射的TFT 11的漏电流Id的值的测量的例子和没有光照射的TFT 11的漏电流Id的值的测量的例子的曲线图。在图7中，垂直轴表示漏电流Id，水平轴表示栅电压Vg。
如图7中所示，当施加正向栅电压Vg时，不管是否被光照射，检测到漏电流Id值大致相同。
另一方面，如果施加接近0伏的电压或反向电压，被光照射时检测到的漏电流Id与没有被光照射时检测到的漏电流Id相比具有更大的值。
因此，根据以下的事实基于光存在或不存在检测的电流值在施加一个正向电压和施加接近0伏的电压或反向电压之间是不同的，检测外部光是否存在变得可能。
顺便提及，当施加正向电压时、基于光存在或不存在检测的电流值之间没有出现差别的原因在于施加正向电压时的电流远远大于光照射时的电流(产生的)。
图8和9示出组成I/O显示器1的一个像素的电路结构的另一例子。在图8和9中，相同的附图标记表示如图5和6中示出的相同的构成元件。
在图8和9所示的例子中，每个像素包括一个代替图5和6中示出的液晶14的EL(电致发光)装置21。也就是，由具有图8和9中所示结构的像素组成的I/O显示器1是一个自发光型的EL显示器。
当一个正向电压施加到TFT 11的栅线13的栅电极G时，按照施加到源线12的源电极S的电压、在通道中一个电流从源电极S流向漏电极D，如图8中的实线箭头所示。
该EL装置21的阳极连接到TFT 11的漏电极D，并且根据由TFT 11的通道中的电流引起的EL装置21的阳极和阴极之间的电位差、EL装置21发出光如图8中的框箭头所示。
使EL装置21发出的光经过图3中所示的分离器层和微透镜层射出到I/O显示器1的外部，借此显示一图像。
另一方面，当接近0伏的电压或反向电压施加到TFT 11的栅电极G，即使施加电压到源电极S，也在通道中没有电流，因此在EL装置21的阳极和阴极之间没有电位差产生，并且EL装置21也不发出光。
在这种状态中，当微透镜聚集的外部光如图9中所示的框箭头照射图9的像素时，如上所述，由于TFT 11的通道的光电导性、产生从漏电极D流向源电极S的少量漏泄电流(截止电流)。类似地，在EL装置21中也产生漏泄电流。
从这个事实来看，通过放大由施加了接近0伏的电压或反向电压的像素(TFT 11和EL装置21)产生的漏泄电流，并且检测漏泄电流是否存在，有可能确定外部光是否照射到像素上。另外，基于漏泄电流的量也可能确定光量。
由于每个RGB光的光量和是否存在被各自的RGB像素(一个具有发R光的EL装置21的像素，一个具有发G光的EL装置21的像素，以及一个具有发B光的EL装置21的像素)确定，通过合成来自组成图4中示出的图像捕获区域的所有像素的输出，采集该主体的彩色单目图像。
应注意，如果外部光照射到图8和9中所示结构的像素上，当例如接近0伏的电压施加到该像素上，不仅检测TFT 11产生的漏泄电流而且检测EL装置21产生的漏泄电流，因此具有设置了TFT 11的像素的EL显示器对于外部光的敏感度高于具有图5和6中所示结构的像素的TFT液晶显示器。
图10是图8和9中示出的像素中产生的电流的测量值的示例的曲线图。在图10中，垂直轴表示像素中的电流，水平轴表示施加到栅电极G的电压。
在表示测量结果的曲线中，线L1表示当外部光照射该像素并且正向电压施加到栅电极G(在TFT 11的通道中的电流和在EL装置21中的电流)时从该像素检测的电流值，线L2表示当外部光没有照射该像素并且正向电压施加到栅电极G时在该像素中产生的电流值。
这些线L1和L2示出当施加正向电压时，不管是否存在外部光，检测的值都是无差别的。
另一方面，在图10中，线L3表示当外部光照射该像素并且反向电压施加到栅电极G时由该像素产生的电流值，线L4表示当外部光不照射该像素以及反向电压施加到栅电极G时由该像素产生的电流值。
由比较线L3和L4所看出的，如果施加反向电压，照射外部光时该像素产生的电流和不照射外部光时该像素产生的电流是不同的。例如，如果当施加大约-5伏的电压时，照射预定量的外部光，产生大约1E-8(A)的电流(在TFT11的有源半导体中产生的电流和EL装置21产生的电流)。
在图10中，线L4表示即使不照射外部光时，也产生大约1E-10(A)的少量电流，但是该少量电流是由于测量中的噪声产生的。顺便提及，即使EL装置21是发RGB光中任一种光的EL装置，可采集的测量结果与图10中所示出的那些大致相同。
图11是图10中接近0伏的范围的放大的曲线图。
如图11中的线L3和线L4所示出的，即使当施加接近0伏的电压到栅电极G时，检测到照射外部光和不照射外部光时像素的电流值的差异。
因此，即使当施加接近0伏的电压时，可以放大产生的电流以便检测差异，也就是，是否外部光照射到该像素上。
从这个事实来看，通过控制栅电压到接近0伏而不意图施加反向电压到栅电极G，一个特定的像素可以被设置成执行图像捕获操作。
通过控制栅电压到接近0伏的值并且使像素执行图像捕获操作，与施加反向电压到栅电极使像素执行图像捕获操作的情况相比，可以通过反向电压的数量减少像素的功率消耗。
另外，由于被控制的电压数减少，可以采集容易的电压控制和简单的系统结构。也就是，控制栅电压到接近0伏的电压来执行控制以便于防止正向电压施加到栅电极，以便I/O显示器1可以仅用一个电源电路和控制栅电压控制线实现，其中该控制线控制栅电压以便使正向电压施加到栅电极(不需要单独地准备用于控制栅电压以便使反向电压施加到栅电极的控制线)。
因此，有可能简化在I/O显示器1的每个驱动器板和系统板上的电源电路的结构，借此不仅可能实现减少能量消耗，而且有可能实现这些板上的有限空间的有效使用。
此外，由于没有反向电压施加到栅电极，有可能防止当施加反向电压时可能出现的TFT 11或EL装置21的击穿。例如，通过增加通道长度(L长度)可以改进TFT 11的耐电压特性，但是在这种情况下，TFT 11的开启(导电)电流降低，并且需要增加通道宽度(W长度)以便确保一个足够的电流。
结果，如果改进了耐电压特性，而没有改变在TFT 11中流动的电流值，需要增加TFT 11的尺寸，但是将增加了尺寸的TFT 11并入每个由具有小尺寸的像素组成的高分辨率显示像素中是困难的。
因此，如果消除反向电压，TFT 11和EL装置21的耐电压变得容易设计，并且可以减小TFT 11和EL装置21本身的尺寸，借此可以实现一高分辨率显示器。
如上所述，在TFT 11被提供在组成I/O显示器1的每个像素中的情况下，通过施加接近0伏的电压或反向电压到栅电极、I/O显示器1可以利用像素执行图像捕获操作。
例如，如果I/O显示器1的所有像素被设置成执行图像捕获操作，从相应于各个微透镜的位置的视点来看通过若干微透镜(若干图像捕获区域)可以采集主体(用户#1)的图像。
以下将描述输出功能(显示功能)。
图12是示出用户#1的立体图像的重现的示意图。
图12的左边示出用户#1的单目图像P1到P6被I/O显示器1捕获的情况。图12的右边示出用户#1的各个单目图像P1到P6被I/O显示器2显示的情况。
在图12中，为便于说明，单目图像P1到P6作为相同图像示出。实际上，由于各个单目图像P1到P6的捕获位置相对于一个主体是不同的，单目图像P1到P6相应于各个捕获位置是稍有差别的图像。在图12中，为简单起见，省略了图3的分离器层。
由提供在I/O显示器1中的各个微透镜形成的和通过I/O显示器1采集的单目图像P1到P6经过预定的图像处理，诸如通过I/O显示器1以它们的各个光轴为中心的反转处理，并且从I/O显示器1传送到I/O显示器2。
在I/O显示器2中，由I/O显示器1捕获的单目图像P1到P6被分别显示在位于相应位置的区域中(显示区域)。在图12所示的例子中，单目图像P1到P6被分别显示在从顶部到底部增长顺序的显示区域中。
图13是单目图像的图像捕获位置的例子和单目图像的显示位置的例子的视图。
在图13中，图4中所示的5×7区域在每个I/O显示器和I/O显示器2中形成。实际上，通过若干微透镜形成数目多得多的区域。
如果假定I/O显示器1的每个区域由区域Aij表示(该区域在第i行、第j列)，其从左上端区域开始，并且I/O显示器2的每个区域由区域aij表示，其从左上端区域开始，在I/O显示器1的区域A11(图像捕获区域)中捕获的单目图像显示在I/O显示器2的位于相应于区域A11的位置的位置处的区域a17中(显示区域)。
也就是，为了重现用户#1和用户#2通过I/O显示器彼此相对的情况，由捕获用户#1采集的在I/O显示器1的区域A11中的单目图像显示在I/O显示器2的右上方区域a17中，用户#1是面对着I/O显示器1的主体。因此，在图像捕获期间从用户#1传向它的图像捕获位置的光线可以被I/O显示器2重现，就好像光线传向用户#2一样。
也就是，位于使得在图像捕获期间的光线重现成为可能的一个位置的I/O显示器2的区域aij是相应于I/O显示器1的区域Aij的区域。
相似地，在区域A12中捕获的单目图像在区域a16中显示，在区域A13中捕获的单目图像在区域a15中显示，以及在区域A14中捕获的单目图像在区域a14中显示。在I/O显示器1的其它区域Aij中捕获的单目图像分别显示在I/O显示器2的相应区域ak1中。
在I/O显示器2的区域a51(图像捕获区域)中捕获的单目图像显示在位于相应于区域a51位置的位置处的I/O显示器1的区域A57中。
相似地，在区域a52中捕获地单目图像显示在区域A56中，在区域a52中捕获的单目图像显示在区域A55中，以及在区域a54中捕获的单目图像显示在区域A54中。在I/O显示器2的其它区域aij中捕获的单目图像分别显示在I/O显示器1的相应区域Ak1中。
因此，如果假定例如通信图像所花费的时间以及处理诸如图像的重现所花费的时间可以忽略，组成I/O显示器1的各个区域的像素和组成I/O显示器2的相应区域的像素执行相互反转操作。
也就是，图像捕获在I/O显示器1的一个区域执行的同时，图像显示在I/O显示器2的相应于I/O显示器1的该区域的位置处的区域中执行。相反地，图像显示在I/O显示器1的另一区域执行的同时，图像捕获在I/O显示器2的相应于I/O显示器1的该区域的位置处的区域中执行。因此，主体的图像捕获和它们的立体图像的重现是实时执行的。
回到图12，用户#2通过I/O显示器2的透镜阵列看到多个以上述方式显示在I/O显示器2上的单目图像。因此，用户#2从他/她的视点可以看到主体(用户#1)的立体图像。
以下将描述使用户采集类似于用户在真实世界可以看到的立体主体图像的原理。
如上所述，例如，在I/O显示器1中，采集分别从多个视点(在独立的区域)捕获的用户#1的单目图像的数据。这一事实可以看作表示如图14中所示，采集主体的图像数据，通过使用I/O显示器1的表面的平面Ω上的多个点作为视点来捕获主体的图像。
下面将对在从视点P观察主体时所看见的图像进行说明，视点P是被设置在与该主体相对的平面Ω侧上的一个特定位置上，如图15所示。
此外，视点P被设置在一个位置上，使得视点P与主体上任意点的连线为与平面Ω相交的直线。
此外，为了便于说明，假设平面Ω上所有的任意点都是视点，所捕获的主体的图像数据被I/O显示器1获得，并且光线在观察者将要观察主体的空间(介质)中无衰减地直线地传播。
从视点P观察主体时，光线的轨迹(从主体照射到视点P上的光线的轨迹)可分别由经过相应微透镜的光轴、并将视点P和主体上对应点连接起来的直线来表示(如图15中带箭头的虚线所示)。由于这些光线必定与平面Ω相交，那么沿着与那些相应光线(该光线信息与从视点P观察主体时所获得的光线信息相同)一致的轨迹传播的光线所对应的像素值也必定被I/O显示器1获得。
即在此假设Qi表示平面Ω与直线Li的交点，并且直线Li连接着视点P和主体上某一点Ri。在这种情况中，由于平面Ω上任意点都被设为视点，并且所捕获的主体的图像数据由I/O显示器1所获得，那么利用点Qi作为视点来捕获的主体的图像数据也被I/O显示器1获得。
此外，在这种情况中，由于光线直线地传播并且没有衰减，那么从主体的点Ri射向平面Ω上点Qi的光线就是照射在视点P上的光线。
因此，当从视点P观察主体时，从主体的点Ri向视点P传播的光线相应的像素值与从点Ri向点Qi传播的光线相应的像素值一致，并且从点Ri向点Qi传播的光线相应的像素值被I/O显示器1获得。
因此，当从视点P观察主体上的点Ri时，像素值可以从利用点Qi作为视点捕获的图像数据中获得。
当从视点P观察主体上的其他点时，像素值也可以从利用平面Ω上的点作为视点捕获的图像数据中获得，所以如果存在利用平面Ω上任意点作为视点捕获的图像数据时，那么通过从构成所捕获图像数据的像素的像素值中，选出与连接视点P和主体的光线信息相同的光线信息的光线相应的像素值，来获得从视点P观察的主体的图像数据是可能的。
另外，当视点P是用户#2的视点时，通过从构成由I/O显示器1向I/O显示器2传送的图像数据的单独的像素的像素值中，选出光线信息与连接视点P和主体(用户#1位于I/O显示器1的一侧空间的位置)的光线信息相同的光线所对应的像素值，并在I/O显示器2上重现(显示)所获得的图像数据，用户#1的立体图像可以在I/O显示器2的一侧的空间中获得，与从显示器1的一侧的空间中视点P观察用户#1的情况类似。
图16是一个示出了每一个像素的操作的一个示例的视图。
例如，控制每一个像素的操作，以便一个图像捕获的操作由包含在一帧期间一个预定行数中所有像素来执行，并且一个显示操作由包含在同一帧期间一个预定行数中所有像素来执行，执行显示操作的像素与执行图像捕获操作的像素不同。因此，图像捕获和显示操作是在一帧的显示(图像捕获)期间同时执行的。
在图12所示的示例中，显示操作是由包含在第Y1行至第(Y1-y1)行中所有像素来执行的，而图像捕获操作是由包含在第Y2行至第(Y2-y2)行中所有像素来执行。
另外，每一帧周期，使执行显示操作或图像捕获操作中的一个的每一行按照递增的顺序例如第Y行、第(Y+1)行、第(Y+2)行……一行一行地转换，并且当这个转换操作到达I/O显示器1的最底行时，转换操作返回到最顶行，并从最顶行开始重复。因此，在预定数量的帧的一个显示(图像捕获)周期期间，图像捕获和图像显示由构成I/O显示器1的所有像素来执行。
因此，主体(用户#1)的单目图像由多个微透镜从对应于相应微透镜的位置的视点获得。
在捕获用户#1的图像的同时，用户#2的单目图像可以由多个微透镜来显示，藉此执行用户#2的立体图像的重现。
通过以例如30Hz或60Hz的周期将执行图像捕获的像素行和执行图像显示的像素行从I/O显示器1的最顶行转换至最底行，可以在用户#1不确认存在不显示图像但执行图像捕获操作的像素的情况下捕获用户#2的图像。
在上述方法中，I/O显示器1和I/O显示器2中每一个都执行相应主体的图像捕获(输入)以及根据从另一个传送过来的图像来执行立体图像的重现(输出)。
图17是一个方框图，示出了配置在I/O显示器1中的信息处理设备31的结构的示例。I/O显示器2还装备着一个具有类似结构的信息处理设备。
另外，信息处理设备31可以与I/O显示器1集成在一起，也可以形成一个分离的单元。
CPU(中央处理单元)41根据保存在ROM(只读存储器)42中的程序或者从存储部分48下载到RAM(随机存储器)43的程序执行各种处理。如果需要，RAM 43还存储着CPU 41执行各种处理时所需的数据。
CPU 41、ROM 42和RAM 43通过总线44相互连接。并且一个输入/输出接口45也连接到总线44。
输入部分46被连接到输入/输出接口45，该输入部分包括I/O显示器1、一个键盘、一个鼠标或类似设备，一个包括扬声器的输出部分47、一个包括硬盘驱动器的存储部分48以及一个通过通信信道3执行通信的通信部分49也连接到输入/输出接口45。
根据需要，驱动器50还被连接到输入/输出接口45。根据需要，由一个磁盘、一个光盘、一个磁光盘、一个半导体存储器等组成的可移动介质51适于驱动器50，并且根据需要，一个从该可移动介质51读取的计算机程序安装在存储部分48中。
图18是一个方框图，示出了信息处理设备31的功能结构的一个示例。图18所示的结构至少部分是由图17的CPU 41所执行的预定程序来实现。
一个检测部分61在I/O显示器1的像素中检测出执行图像捕获操作的像素的输出，并检测是否每一个被检测的像素都被外部光照射以及光照射的数量。检测部分61的检测的结果(像素值)被输出到一个单目图像产生部分62中。
检测部分61的图像捕获区域设置部分81控制着I/O显示器1的像素驱动器，并设置图像捕获区域。也就是，图像捕获区域设置部分81为将被促使执行图像捕获的像素提供一个接近例如0V的电压，从而促使这些像素形成一个图像捕获区域。
单目图像产生部分62根据检测部分61所提供的检测结果，合成各个像素的像素值，并产生单元图像。单目图像的图像数据由单目图像产生部分62产生，并被输出到图像处理部分63。
根据单目图像产生部分62提供的图像数据，图像处理部分63对每一个单目图像执行图像处理，并促使缓存器64存储从该图像处理获得的图像数据。
例如，如果捕获的单目图像在没有修正的情况下显示的话，重现出来的立体图像是在深度上反转即在凸出和凹陷的关系上反转的图像。因此，图像处理部分63对该反转的图像执行转换处理以便获得直立的图像。重现凸出和凹陷之间的关系反转的图像的原因是所捕获的主体的右侧图像是观察者从左侧观察到的。
当预定数量的单目图像的图像数据被存储在缓存器64中时，一个压缩/扩展处理部分65对单目图像的图像数据进行压缩，并将所得的压缩数据输出到一个传送/接收控制部分66。
由于单目图像相互之间特别相似，因此压缩/扩展处理部分65形成一组预定数量的(例如5×5)单目图像，其包含一个特定位置所获得的、并作为参考的单目图像和多个从围绕着该参考单目图像的位置分别获得的单目图像，并以这样的方式执行图像数据的压缩使得参考单目图像的整个图像作为压缩成JPEG(联合图像专家组)等格式的图像数据被传送，而其他24个单目图像中只有不同于参考单目图像的数据被传送。
另外，当被I/O显示器2捕获的图像数据通过传送/接收控制部分66被提供至压缩/扩展处理部分65时，压缩/扩展处理部分65对图像数据进行扩展，并促使缓存器67存储所得到的扩展后的图像数据。存储在缓存器67中的图像数据例如是用户#2的单目图像的图像数据。
传送/接收控制部分66通过图17所示的通信部分49以及通信信道3控制与I/O显示器2的通信。传送/接收控制部分66将压缩/扩展处理部分65提供的图像数据传送至I/O显示器2(I/O显示器2的信息处理设备31)，并将I/O显示器2传送来的图像数据输出至压缩/扩展处理部分65。
显示控制部分68促使根据I/O显示器2捕获的、并存储在缓存器67中的单目图像的图像数据执行显示操作的像素显示单目图像。由显示控制部分68显示相应单目图像的区域是位于与单目图像被捕获的I/O显示器2的相应区域对应位置的区域。
显示控制部分68的显示区域设置部分91控制I/O显示器1的像素的驱动，并设置显示区域。即，显示区域设置部分91为将被促使执行图像显示的像素提供一个正向电压，并促使像素形成显示区域。
信息处理设备31的操作将在下文中结合流程图19和20进行说明。顺便说明一下，图19的图像捕获处理和图20的显示处理是并行地执行的。
首先，信息处理设备31的图像捕获处理将在下文中结合流程图19进行说明。
在步骤S1中，检测部分61的图像捕获区域设置部分81将一个接近例如0V的电压提供给I/O显示器1的将被促使执行图像捕获的像素，并设置图像捕获区域。
在步骤S2中，检测部分61执行主体的图像捕获，即从I/O显示器1的像素中检测出执行图像捕获操作的像素的输出，并检测是否每一个像素都被外部光照射以及光照射的数量。作为检测部分61的检测结果的像素值被输出到单目图像产生部分62。
在步骤S3中，单目图像产生部分62根据检测部分61提供的检测结果产生单目图像。所产生的单目图像的图像数据被输出到图像处理部分63。
在步骤S4中，图像处理部分63根据单目图像产生部分62提供的图像数据对每一个单目图像执行预定的图像处理，并促使缓存器64存储所得到的处理后的图像数据。图像处理的详细说明将在后面结合图35进行说明。
当预定数量的单目图像的图像数据被存储在缓存器64中时，压缩/扩展处理部分65在步骤S5中对相应的单目图像的图像数据进行压缩，并将所获得的压缩后的数据输出到传送/接收控制部分66。如上所述，步骤S5的压缩将预定数量(例如5×5(25))的、包括一个中心参考单目图像的单目图像形成一组，并以这样的方式执行图像数据的压缩使得参考单目图像的整个图像数据被传送，而其他的24个单目图像只有不同于该参考单目图像的数据被传送。
在步骤S6中，传送/接收控制部分66控制图17的通信部分49，以便通过通信信道3将用户#1的单目图像的压缩图像数据传送到I/O显示器2，并结束处理。
重复上述处理，并顺序地转换构成图像捕获区域的像素，以便I/O显示器1(信息处理设备31)从分别对应于I/O显示器1上多个点的视点获得用户#1的单目图像。
信息处理设备31的重现立体图像的显示处理将在下文中结合流程图20进行说明。
在步骤S11中，传送/接收控制部分66接收由I/O显示器2传送来的图像数据，并将所接收的图像数据输出到压缩/扩展处理部分65。
在步骤S12中，压缩/扩展处理部分65对I/O显示器2传送来的图像数据进行扩展，并促使缓存器67存储所获得的扩展后的图像数据。
在步骤S13中，显示控制部分68的显示区域设置部分91向I/O显示器1的将被促使执行显示操作的像素提供一个正向电压，从而设置显示区域。显示区域被设置在一个不同于图9的步骤S1中设置的图像捕获区域的位置上。
显示控制部分68促使构成显示区域的像素根据存储在缓存器67中的图像数据显示单目图像。显示控制部分68显示单目图像的区域是位于与I/O显示器2的捕获对应单目图像的区域相应的位置上的区域。
重复上述处理，并且顺序地转换构成显示区域的像素，从而I/O显示器1重现用户#2的立体图像。
图19和20的上述处理还在I/O显示器2上执行，从而使用I/O显示器2的用户#2也可以看见用户#1的立体图像，并以此执行实时通信。
另外，由于图像捕获和图像显示是由一个I/O显示器执行的，用户#1和用户#2可以执行眼对眼交流的通信，即当用户#1正在看由I/O显示器1重现的用户#2的眼睛时，用户#2也正在看由I/O显示器2重现的用户#1的眼睛。因此，解决远程地区之间通信视线不一致的缺点是可能的。
另外，从解决视线不一致的缺点的观点来看，由各自I/O显示器重现的通信方的图像不限于立体图像。
图21是一个视图，示出了应用本发明的通信系统结构的一个示例。此结构与图1所示的类似。
即，由I/O显示器2捕获的用户#2的图像(平面图像)被实时地显示在I/O显示器1上，并且用户#1可以在看着显示在I/O显示器1上的用户#2的眼睛时，与I/O显示器2进行通信。
另外，如上所述，正在看所显示的用户#2的眼睛的用户#1的图像被I/O显示器1捕获，并且所捕获的图像被重现在I/O显示器2上。因此，用户#2也可以在看着图像被显示在I/O显示器2上的用户#1的眼睛时，与用户#1进行通信，并且用户#1也正在看用户#2的眼睛。
通过这种方式，不重现立体图像而仅在另一个I/O显示器上显示一个I/O显示器所捕获的主体的图像来解决视线不一致的问题也是可能的。
在这种情况下，不需要微透镜阵列，并且可以将一个透镜安装在I/O显示器上，以便获得一个图像。
在上述结构中，每一像素具有一个TFT，但是可以具有各种晶体管只要晶体管可以根据所接收的外部光产生漏泄电流、并可以接通或断开从而转换像素的操作即可。
在上述结构中，如果单目图像是由I/O显示器1捕获的，将所捕获的单目图像转换成直立图像的处理是由I/O显示器1的信息处理设备31执行的，并且如果单目图像是通过I/O显示器2捕获的，即由I/O显示器2的信息处理设备31执行；也就是说，转换处理是由位于图像捕获侧的信息处理设备31执行的。然而，这个处理也可以由接收单目图像的图像显示侧的信息处理设备31执行。
在这种情况下，I/O显示器1捕获的用户#1的单目图像在反转状态时被传送到I/O显示器2的信息处理设备31，并且被I/O显示器2的信息处理设备31转换成直立的图像，并且直立图像被显示在I/O显示器2上。相反地，I/O显示器2捕获的用户#2的单目图像在反转状态时被传送至I/O显示器1的信息处理设备31，并被I/O显示器1的信息处理设备31转换成直立的图像，并且直立图像被显示在I/O显示器1上。
此外，在这种方法中，在图像捕获侧或图像显示侧执行的图像处理不限于将反转的图像转换成直立图像的处理，并且可以被构造成执行其他处理，例如放大和缩小。
首先，将说明用对所捕获的单目图像放大或缩小而获得的单目图像来重现立体图像的情况。如果通过放大或缩小调整了大小的单目图像被用来重现立体图像时，可以调整立体图像的重现的位置。
图22至24是一个视图，示出了在立体图像的重现期间，一个显示区域中显示的单目图像的大小的不同示例。
由于用户#1的单目图像被显示在图22至24所示的每一个显示区域的中，形成这些显示区域的显示器是I/O显示器2。
图22的单目图像是一个大于图23的单目图像而小于图24的单目图像的图像。被一个微透镜形成于一个图像捕获区域的主体的图像由于条件例如图像捕获区域(I/O显示器接口)与主体之间的距离而改变大小，并且图22的单目图像例如仅是一个捕获的图像，即图像没有经过放大或缩小处理。
图23的单目图像是图22至24所示的单目图像中最小的图像，并且是由对图22所示的单目图像进行缩小而获得的。图24的单目图像是图22至24所示的单目图像中最大的图像，并且是由对图22的单目图像进行放大而获得的。
例如，用户#1的每一个单目图像(一个具有图22所示的尺寸的单目图像)由位于图像捕获侧的I/O显示器1捕获，其被转换成一个直立图像，如果需要的话，并接着执行缩小处理将单目图像调整至图23所示的尺寸，或执行放大处理将单目图像调整至图24所示的尺寸。此后，所获得的图像被显示在位于图像显示侧的I/O显示器2的相应区域中。
图25是一个视图，示出了由图22的单目图像重现的、显示在I/O显示器2上的用户#1的立体图像，其中I/O显示器2是位于图像显示侧的显示器。由I/O显示器1捕获的用户#1的单目图像没经过放大或缩小处理。
如上文中结合图12所述，由I/O显示器1的相应图像捕获区域捕获并反转的单目图像被显示在I/O显示器2的相应显示区域中，从而观察者用户#2可以观察用户#1的立体图像就好像立体图像重现在I/O显示器2之外(在图25中用虚线表示的、从用户#1的立体图像的位置向用户#2传播的光线是由I/O显示器2重现的)。
在此，假设距离L1表示I/O显示器2和用户#1的立体图像之间的距离，如图25所示，其中，用户#1的立体图像是由显示在相应显示区域的图22的单目图像重现的。
图26示出了在立体图像被重现在距离I/O显示器2L1处如图25所示的情况下，I/O显示器2的显示示例(用户#2如何看见用户#1的立体图像)。
如图26所示，用户#2可以观察用户#1的立体图像，其中该立体图像具有与距离L1相应的大小。图26所示的用户#1的图片代表立体图像。图26的图像的垂直长度等于从I/O显示器2与从图25的用户#1的立体图像的顶部延伸至用户#2的眼睛的直线的交点至I/O显示器2与该立体图像的底部延伸至用户#2的眼睛的直线的交点的长度。
图27示出了由图23的显示在I/O显示器2上的单目图像(小的单目图像)重现的用户#1的立体图像。
由I/O显示器1的相应图像捕获区域捕获、并经过反转处理以及缩小处理的单目图像被显示在形成于I/O显示器2中的相应显示区域上，从而观察者用户#2可以观察到用户#1的立体图像好像该立体图像被重现在I/O显示器2的外面、在比由图22所示的单目图像重现的位置更远的位置上(在图27中用虚线表示的从用户#1的立体图像的位置向用户#2传播的光线由I/O显示器2重现)。
即，如图27所示，I/O显示器2和用户#1的立体图像之间的距离变成比图25所示的距离L1更长的距离L2，其中用户#1的立体图像是由图23所示的显示在对应显示区域中的单目图像重现的。在图27中，用户#1的立体图像与I/O显示器2之间的虚线圆圈表示一个原点，如果单目图像没有被缩小，那么立体图像应被重现在该原点，即图25所示的用户#1的立体图像的位置。
图28示出了当用户#1的立体图像被重现在距离I/O显示器2L2的位置处时，I/O显示器2的一个显示示例。
在这种情况下，立体图像被重现在比图26所示的情况更远的位置上，因此，用户#2可以观察到一个比图26所示的立体图像更小的立体图像，如图28所示。图28所示的用户#1的图片也表示立体图像。图28的图像的垂直长度等于从I/O显示器2与从图27的用户#1的立体图像的顶部向用户#2的眼睛延伸的直线的交点至I/O显示器2与从该立体图像底部向用户#2的眼睛延伸的直线的交点的长度。
图29示出了由图24所示的、显示在I/O显示器2上的单目图像(大的单目图像)重现的用户#1的立体图像。
由I/O显示器1的对应图像捕获区域捕获的、并经过反转处理以及放大处理的单目图像被显示在形成于I/O显示器2上相应的显示区域中，因此，观察者用户#2可以观察到用户#1的立体图像好像该立体图像被重现在I/O显示器2的外面、在比由图22的单目图像重现的位置更近的位置上(图29中用虚线表示的、从用户#1的立体图像的位置向用户#2传播的光线由I/O显示器2重现)。
即，I/O显示器2与在图24的单目图像被显示在对应显示区域时重现的用户#1的立体图像之间的距离变成比图25所示的距离L1更短的距离L3。在图29中，位于比用户#1的立体图像距离I/O显示器2更远的位置上的虚线圆圈表示一个原点，如果单目图像没有被放大，那么立体图像应被重现在该原点，即图25所示的用户#1的立体图像的位置。
图30示出了当用户#1的立体图像被重现在距离I/O显示器2L3处时，I/O显示器2的一个显示示例。
在这种情况下，立体图像被重现在比图26所示的情况更近的位置上，因此，观察者用户#2可以观察到一个比图26的立体图像大的立体图像，如图30所示。图30所示的用户#1的图片也表示立体图像。图30的图像的垂直长度等于从I/O显示器2与从图29的用户#1的立体图像的顶部向用户#2的眼睛延伸的直线的交点至I/O显示器2与从该立体图像底部向用户#2的眼睛延伸的直线的交点的长度。
如上所述，单目图像的重现位置可以通过调整每一个单目图像的尺寸来调整，其中每一个单目图像被显示在相应的一个显示区域上。
单目图像重现位置的调整被用于例如重现立体图像的I/O显示器很小的情况中。
如上所述，当I/O显示器2是用于收看整个立体图像时(面部及其附近)，其中该立体图像被重现在例如距离I/O显示器2L1的位置上，如图25所示，如果假设用户#2他/她的位置没有改变，那么I/O显示器2的垂直长度必须至少等于从I/O显示器2与从用户#1的立体图像的顶部向用户#2的眼睛延伸的直线的交点至I/O显示器2与从该立体图像底部向用户#2的眼睛延伸的直线的交点的长度。
另外，I/O显示器2的水平长度必须至少等于从I/O显示器2与从用户#1的立体图像左侧(从用户#2看时用户#1的立体图像的左侧)向用户#2的眼睛延伸的直线的交点至I/O显示器2与从该立体图像的右侧向用户#2的眼睛延伸的直线的交点之间的长度。
因此，当用于重现用户#1的立体图像的I/O显示器是I/O显示器101时，其仅具有一个小于最小所需显示区域的显示区域，如图31所示，如果单目图像没有经过缩小处理，那么用户#2利用这个I/O显示器101就不能看到用户#1的整个重现立体图像。即，存在用户#2发现很难与通信方进行眼对眼交流通信的情况。
在图31中，虚线表示I/O显示器2的尺寸。在用户#1的立体图像中，由实线示出的区域表示用户#1利用I/O显示器101可以看见的区域，而虚线示出的区域表示用户#2看不见的区域。I/O显示器101是一个结构类似于I/O显示器1和2中任一个的显示器，并且可以捕获使用I/O显示器101的用户#2的单目图像，并将该单目图像传送到I/O显示器1，并且还可以根据从I/O显示器1传送来的数据重现用户#1的立体图像。
因此，如果观察者用户#2看不见重现的用户#1的立体图像的面部以及面部的附近，那么立体图像的重现位置被调整到离I/O显示器101更远的位置，如参照图27所描述的，从而用户#2可以看见面部及其附近。
图32是在用户#1的立体图像的重现位置被调整到距离I/O显示器101更远的位置时，I/O显示器101的显示示例。在图32中，省略了图31中用虚线示出的I/O显示器2。
由于在上述方法中，图24所示的单目图像被显示在I/O显示器101相应的显示区域中，因此，可显示的单目图像数下降，因而立体图像的分辨率较低，并且视角范围受限制。然而，在I/O显示器101中最好整个都可以被用户#2看到，该I/O显示器101可能重现一个立体图像，其类似于图28所示的立体图像。因此，用户#2可以在看着用户#1的整个面部时与用户#1进行通信。
另外，甚至小于I/O显示器2的I/O显示器101也可以捕获用户#2的单目图像，并能将该单目图像传送到I/O显示器1的信息处理设备31，因此，用户#1可以看到由I/O显示器1重现的用户#2的立体图像。
此外，向观察者移动立体图像重现位置和放大单目图像的上述处理也可以用于例如在立体图像相对于显示器的尺寸较小时，为使观察者能看见立体图像而对该立体图像的尺寸进行放大的目的。在图像捕获过程中，由于单目图像是从单个微透镜的位置即从多个视点捕获的，因此可以根据单个单目图像来测量从位于图像捕获侧的I/O显示器至主体的距离，从而也可以根据关于距离的信息来调整立体图像的重现位置。
将在下文中结合图33进行说明使调整立体图像的重现位置成为可能的原理。
在图33中，为了便于说明，假设显示区域相对于一个微透镜来说非常宽。单目图像和重现的立体图像分别用三角形来表示。
灰色的三角形#1和#2表示仅经过反转处理的单目图像，而三角形#3表示由三角形#1和#2重现的立体图像(其对观察者来说好像是由三角形#1和#2重现的)。三角形#1和#2具有相同尺寸。
阴影线三角形#11和#12表示不仅经过反转处理还经过缩小处理(缩小50％)的单目图像，而三角形#13表示由三角形#11和#12重现的立体图像。三角形#11和#12具有相同尺寸。
在图33中，符号f表示透镜阵列平面至I/O显示器2的显示器表面(像素表面)的距离，并且下面的说明将集中在经过微透镜#21和#22到达用户#2的眼睛的光线上。
在此，假设三角形#1的底位于三角形#21的光轴上，三角形#2的底位于位于距离微透镜#22的光轴D2的位置上，而每一个三角形#1和#2的高度都是D1。当三角形#1和#2被显示在I/O显示器2上时，经过相应微透镜#21和#22到达用户#2的眼睛的光线实际上与离开位于距离透镜阵列平面L1的位置上的三角形#3的光线是相同的。
因此，用户#2可以实际地看见位于距离透镜阵列平面L1处的三角形#3。三角形#3的高是从微透镜#21的光轴至A。
另外，在此假设三角形#11的底是由缩小位于三角形#21的光轴上的三角形#1获得的，三角形#12的底是由缩小位于距离微透镜#22D2a处的三角形#2获得的，并且三角形#11和#12中每一个的高都是D1a。当三角形#11和#12被显示在I/O显示器2上时，经过相应微透镜#21和#22到达用户#2的眼睛的光线实际上与离开位于距离透镜阵列平面L1a(L1a＞L1)的位置上的三角形#13的光线是相同的。例如，如果三角形#11被显示，那么来自三角形#13的点P¨并到达用户#2的眼睛的光线由来自三角形#11的点P1并到达用户#2的眼睛的光线来重现。距离L1a是当三角形#13的高等于三角形#3的高A的时候确定的距离。
因此，用户#2实际上可以看到位于距离透镜阵列平面L1a处的三角形#13。
由上面的说明，获得下面的公式(1)和(2)fD1＝L1A ……(1)fD1a＝L1aA……(2)由公式(1)和(2)，得到下面的公式(3)D1D1a＝L1aL1 ……(3)此外，还获得下面的公式(4)和(5)fD2＝L1B ……(4)fD2a＝L1aB……(5)由公式(4)和(5)，得到下面的公式(6)D2D2a＝L1aL1 ……(6)由上述的公式，可以看出，如果放大或缩小相应一个微透镜的光轴中心附近的任一个单目图像都可能改变立体图像的重现位置。
另外，好像重现在离I/O显示器2更远的位置的图像给观察者的感觉更深。在图33中，三角形#13的底的长度比三角形#3的底长。
将在下文对执行上述图像处理的图像处理部分63(图18)进行说明。
图34是一个方框图，示出了图像处理部分63的结构的一个示例。
图像处理部分63包括一个反转处理部分111以及一个放大/缩小处理部分112。反转处理部分111对相应的一个单目图像施加以每一个微透镜的光轴为中心的反转处理，然后将获得的单目图像输出到放大/缩小处理部分112，其中上述的单目图像由单目图像产生部分62提供。
放大/缩小处理部分112根据一个外部输入控制信号对反转处理部分111提供的单目图像进行放大或缩小，并促使缓存器64存储所获得的单目图像。输入到放大/缩小处理部分112的控制信号是由一个功能部分(未图示)提供的，该功能部分根据例如主体与放置在图像显示侧的I/O显示器的尺寸之间的距离来确定每一个单目图像的尺寸，其中立体图像将在图像显示侧重现。
存储在缓存器64中的单目图像被图18所示的压缩/扩展处理部分65压缩，并被传送到一个控制着另一个I/O显示器的信息处理设备。即，图34示出了信息处理设备31执行单目图像的反转处理以及放大/缩小处理的一个示例，其中该信息处理设备控制着放置在图像捕获侧的I/O显示器。
在图19所示的步骤S4中执行的图像处理将在下文结合图35所示的流程图进行说明。
在单目图像产生部分62产生单目图像后，图像处理部分63的反转处理部分111对单目图像产生部分62提供的单目图像施加影响，从而以在相应显示区域上形成相应单目图像的对应微透镜的光轴为中心进行反转处理，并将所获得的单目图像输出到放大/缩小处理部分112。
在步骤S22，放大/缩小处理部分112根据外部输入控制信号对反转处理部分111提供的单目图像进行放大或缩小，并促使缓存器64存储所获得的单目图像。此后，处理返回到图19的步骤S4，并执行后面的处理。
在上述流程图中，图34所示的结构是配置在位于图像捕获侧的信息处理设备31中的，并执行图35所示的处理。然而，当图像处理是在图像显示期间执行时，信息处理设备31的结构是图36所示的结构。
在图36中，相同的附图标记用来表示与图18相同的构成元件。如图36所示，在图像处理是在图像显示期间执行时，图18中被配置在单目图像产生部分62和缓冲器64之间的图像处理部分63在此被配置在压缩/扩展处理部分65和缓存器67之间。
图像处理部分63具有类似于图34所示的结构，并且对提供到图像处理部分63的单目图像施加反转处理和放大/缩小处理，并促使缓存器67存储所获得的单目图像。
根据这个结构，可使放置在单目图像接收侧的信息处理设备31在单目图像显示期间执行图像处理。
上述说明是结合了除反转处理外执行的图像处理是放大/缩小处理的情况来说明的，但是如果单目图像的形状变形或者单目图像的显示位置移动，可以为作为观察者的用户提供一个看上去与既不执行变形处理也不执行移动处理的情况不同的立体图像。
图37示出了使移动立体图像的重现位置成为可能的原理。
在图37中，相同的附图标记表示图33所示的那些相应的部分。即，灰色三角形#1表示仅经过反转处理的单目图像，而三角形#2表示不仅经过反转处理还经过变形处理的立体图像。三角形#3表示由三角形#1和#2重现的立体图像(对观察者来说好像是由三角形#1和#2重现的)。
阴影线三角形#11和#12表示不仅经过反转处理还经过变形处理的单目图像，而三角形#13表示由三角形#11和#12重现的立体图像。
在这种情况中，如图37所示，当经过预定变形处理的三角形#11和#12被分别显示在相应三角形#1和#2的位置上面的位置上，经过相应微透镜#21和#22到达用户#2的眼睛的光线实质上与三角形#13所发射的光线是相同的，其中三角形#13位于原始的重现位置上面的位置上，并与原始重现位置隔开距离M。例如，如果三角形#11被显示，那么三角形#13的点P11发射的、并到达用户#2的眼睛的光线是由三角形#11的点P1发射的、并到达用户#2的眼睛的光线重现的。因此，用户#2可以实际地看见重现位置移动的三角形#13。
重现位置还没有移动的三角形#3的高度以及重现位置已经移动的三角形#13的高度均为A。这个立体图像的重现是在假设了将要重现的立体图像的位置、尺寸和形状、并且通过算术运算找出每一个单目图像将怎样变形以及通过那些像素显示相应单目图像的情况下实现的，为了在无变形的单目图像被显示时，与将要被重现的立体图像(原始立体图像)相比，不改变立体图像自身的尺寸和形状的情况下在该位置上重现立体图像。
图38示出了在原始的立体图像的重现位置相同的位置上重现放大了的立体图像的原理。
在图38中，相同的附图标记用来表示图33中相应的部分。即，灰色的三角形#1和#2表示仅经过反转处理的单目图像，而三角形#3表示由三角形#1和#2重现的立体图像(对观察者来说就好像由三角形#1和#2重现的)。三角形#1和#2具有相同的尺寸。
阴影线三角形#11和#12表示不仅经过反转处理还经过变形处理的单目图像，而三角形#13表示由三角形#11和#12重现的立体图像。在这个示例中，三角形#11被变形，使得三角形#1的高和底的长度变长，而三角形#12被变形，使得三角形#2的高变长，而三角形#2的底的长度保持大致相同。
在图38中，符号f表示从透镜阵列平面至I/O显示器2的显示表面的距离，并且下列说明集中在通过微透镜#21和#22到达观察者用户#2的眼睛的光线。
如图38所示，当三角形#11和#12被显示时，通过相应微透镜#21和#22到达用户#2的眼睛的光线实际上与离开三角形#13的光线相同，其中，三角形#13近似地等于由对三角形#3进行放大所得到的三角形，三角形#3是一个将要被重现的原始立体图像。例如，如果三角形#11被显示，那么从三角形#13的点P11射出并到达用户#2的眼睛的光线由三角形#11的点P1射出并到达用户#2的眼睛的光线来重现。因此，用户#2可以实际地看到这个放大后的三角形#13。
类似地，如果通过预定变形处理获得的单目图像被显示，那么由减小三角形#3获得的三角形可以被呈现给用户#2，其中三角形#3是将要被重现的原始立体图像。
因此，通过对单个单目图像进行变形处理等，在与原始重现位置不同的位置上为观察者——用户重现立体图像是可能的(图37)。另外，在与原始重现位置相同的位置上显示放大或重现的立体图像也是可能的(图38)。
这个图像处理还在位于图像捕获侧或图像显示侧的信息处理设备中被执行。自然，可以在图像捕获侧执行上述图像处理的一部分，而其他部分也可以在图像显示侧执行。
上述处理的顺序可以通过硬件来实现，但也可以通过软件来实现。
如果处理的顺序由软件来实现的话，那么构成该软件的程序是通过网络或者记录介质被安装到与专用硬件协作的计算机上，或者安装到例如可以安装各种程序的通用计算机，其中所述的各种程序是用于实现各种功能的。
这个记录介质可以由图17所示的可移动介质51构成，其中可移动介质是一个为了给用户提供程序而与设备分开的、将要被分配给用户的程序记录介质，例如磁盘(包括软磁盘)、光盘(包括CD-ROM(Compact Disk-Read Only Memory，光盘只读存储器)和DVD(Digital Versatile Disk数字化视频光盘))、磁光盘(包括MD(注册商标)(小型磁盘))或者半导体存储器。另外，记录介质可以由预先安装在设备中并将提供给用户的程序记录ROM 42或者包含在存储部分48中的硬盘驱动器构成。
另外，在次描述的步骤不仅包括以时序方式根据所描述的顺序来执行的处理，还包括不必以时序方式来执行但是平行或者单独地执行的处理。
此外，在此使用的术语“系统”表示由多个装置构成的整个设备。
本领域技术人员应理解在附加权利要求书及其等同物的范围之内，可以产生各种修改、组合、次组合和变更。
权利要求
1.一种控制一个显示装置的信息处理设备，该显示装置由像素构成并包括一个形成在该显示装置表面上的透镜阵列，其中，所述像素的每一个都可以根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该信息处理设备包括采集装置，该采集装置用来根据构成所述图像捕获区域的所述像素的输出、采集形成在执行所述图像捕获操作的多个像素组成的图像捕获区域中的主体的图像；传送装置，用于将所述采集装置采集的所述主体的所述图像数据传送至另一个信息处理设备，所述的另一个信息处理设备控制着另一个与所述显示装置结构相同的显示装置；接收装置，用于接收从该另一信息处理设备传送来的另一主体的图像的数据；以及显示控制装置，用于基于所述接收装置接收的所述另一主体的所述图像的所述数据、在一个显示区域中显示所述另一主体的所述图像，该显示区域由多个执行所述图像显示操作的像素组成并且形成在所述显示装置的一个位置上，该位置与所述另一显示装置的一个形成所述另一主体的所述图像的位置相应。
2.如权利要求1所述的信息处理设备，其中，所述采集装置基于组成多个所述图像捕获区域的像素的输出、采集所述主体的多个图像的数据。
3.如权利要求1所述的信息处理设备，其中，基于所述接收装置接收的所述另一主体的多个图像的数据，所述显示控制装置在多个所述显示区域中显示所述另一主体的多个图像。
4.如权利要求1所述的信息处理设备，其中，所述图像捕获区域和显示区域形成在所述显示装置的不同位置上，以便每个所述图像捕获区域和所述显示区域的位置顺序地移动。
5.如权利要求1所述的信息处理设备，其中进一步包括用于将所述采集装置采集的所述主体的所述图像转换成直立的图像的转换装置；其中所述传送装置将所述转换装置转换的所述主体的所述直立的图像的数据传送到所述另一信息处理设备。
6.如权利要求5所述的信息处理设备，进一步包括用于将由所述转换装置转换成所述直立图像的所述主体的所述图像放大或缩小的放大/缩小处理装置。
7.如权利要求1所述的信息处理设备，进一步包括用于将所述另一主体的所述图像转换成一个直立图像的转换装置，其中所述另一主体的图像数据是由所述接收装置接收的；其中所述显示控制装置在所述显示区域中显示由所述转换装置转换的所述另一主体的所述直立图像。
8.如权利要求7所述的信息处理设备，还包括用于将由所述转换装置转换成所述直立图像的所述主体的所述图像放大或缩小的放大/缩小处理装置。
9.如权利要求1所述的信息处理设备，还包括压缩装置，其通过利用所述主体的一个第一图像与用作参考的所述主体的一个第二图像之间的差异，压缩所述采集装置采集的所述主体的所述第一图像的数据；其中所述传送装置将所述压缩装置压缩的所述主体的所述第一图像的所述数据与所述主体的所述第二图像的所述数据一起传送至所述另一信息处理设备。
10.如权利要求1所述的信息处理设备，还包括产生装置，如果所述接收装置接收到用作参考的所述另一主体的一个第一图像的数据，并且所述另一主体的一个第二图像的数据由与所述另一主体的所述第一图像的差异来表示，那么该产生装置基于所述另一主体的所述第一图像的所述数据和所述另一主体的所述第一和第二图像之间的差异、产生所述另一主体的所述第二图像的所述数据。
11.一种信息处理设备的信息处理方法，该信息处理设备用于控制一个显示装置，所述显示装置由像素构成并且该显示装置表面上形成着一个透镜阵列，每个所述像素根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该信息处理方法包括一个采集步骤，用来根据构成一个图像捕获区域的像素的输出、采集形成在执行所述图像捕获操作的多个像素组成的所述图像捕获区域中的主体的图像；一个传送步骤，用于将所述采集步骤的处理所采集的所述主体的所述图像数据传送至另一个信息处理设备，所述的另一个信息处理设备控制着另一个与所述显示装置的结构相同的显示装置；一个接收步骤，用于接收从所述另一信息处理设备传送来的另一主体的图像的数据；以及一个显示控制步骤，用于基于所述接收步骤的处理接收的所述另一主体的所述图像的所述数据、在一个显示区域中显示所述另一主体的所述图像，该显示区域由多个执行所述图像显示操作的像素组成并且形成在所述显示装置的一个位置上，该位置与所述另一显示装置的一个形成所述另一主体的所述图像的位置相应。
12.一种记录介质，其上记录着一个使计算机执行一个处理的程序，用于控制一个显示装置，所述显示装置由像素构成并且该显示装置表面上形成着一个透镜阵列，每个所述像素根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该程序包括一个采集步骤，用来根据构成一个图像捕获区域的像素的输出、采集形成在执行所述图像捕获操作的多个像素组成的所述图像捕获区域中的主体的图像；一个传送步骤，用于将所述采集步骤的处理所采集的所述主体的所述图像数据传送至另一个信息处理设备，所述的另一个信息处理设备控制着另一个与所述显示装置的结构相同的显示装置；一个接收步骤，用于接收从所述另一信息处理设备传送来的另一主体的图像的数据；以及一个显示控制步骤，用于基于所述接收步骤的处理接收的所述另一主体的所述图像的所述数据、在一个显示区域中显示所述另一主体的所述图像，该显示区域由多个执行所述图像显示操作的像素组成并且形成在所述显示装置的一个位置上，该位置与所述另一显示装置的一个形成所述另一主体的所述图像的位置相应。
13.一种使计算机执行一个处理的程序，用于控制一个显示装置，所述显示装置由像素构成并且该显示装置表面上形成着一个透镜阵列，每个所述像素根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该程序包括一个采集步骤，用来根据构成一个图像捕获区域的像素的输出、采集形成在执行所述图像捕获操作的多个像素组成的所述图像捕获区域中的主体的图像；一个传送步骤，用于将所述采集步骤的处理所采集的所述主体的所述图像数据传送至另一个信息处理设备，所述的另一个信息处理设备控制着另一个与所述显示装置的结构相同的显示装置；一个接收步骤，用于接收从所述另一信息处理设备传送来的另一主体的图像的数据；以及一个显示控制步骤，用于基于所述接收步骤的处理接收的所述另一主体的所述图像的所述数据、在一个显示区域中显示所述另一主体的所述图像，该显示区域由多个执行所述图像显示操作的像素组成并且形成在所述显示装置的一个位置上，该位置与所述另一显示装置的一个形成所述另一主体的所述图像的位置相应。
14.一种用于控制一个显示装置的信息处理设备，该显示装置由像素构成并包括一个形成在该显示装置表面上的透镜阵列，其中，所述像素的每一个都可以根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该信息处理设备包括采集装置，该采集装置用来根据构成一个图像捕获区域的像素的输出、采集形成在执行所述图像捕获操作的多个像素组成的所述图像捕获区域中的主体的图像；传送装置，用于将所述采集装置采集的所述主体的所述图像数据传送至另一个信息处理设备，所述的另一个信息处理设备控制着另一个与所述显示装置结构相同的显示装置。
15.一种信息处理设备的信息处理方法，用于控制一个显示装置，所述显示装置由像素构成并且该显示装置表面上形成着一个透镜阵列，每个所述像素根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该信息处理方法包括一个采集步骤，用来根据构成一个图像捕获区域的像素的输出、采集形成在执行所述图像捕获操作的多个像素组成的所述图像捕获区域中的主体的图像；一个传送步骤，用于将所述采集步骤的处理所采集的所述主体的所述图像数据传送至另一个信息处理设备，所述的另一个信息处理设备控制着另一个与所述显示装置的结构相同的显示装置。
16.一种记录介质，其上记录着一个使计算机执行控制一个显示装置的处理的程序，所述显示装置由像素构成并且该显示装置表面上形成着一个透镜阵列，每个所述像素根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该程序包括一个采集步骤，用来根据构成一个图像捕获区域的像素的输出、采集形成在执行所述图像捕获操作的多个像素组成的所述图像捕获区域中的主体的图像；一个传送步骤，用于将所述采集步骤的处理所采集的所述主体的所述图像数据传送至另一个信息处理设备，所述的另一个信息处理设备控制着另一个与所述显示装置的结构相同的显示装置。
17.一种使计算机执行一个处理的程序，用于控制一个显示装置，所述显示装置由像素构成并且该显示装置表面上形成着一个透镜阵列，每个所述像素根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该程序包括一个采集步骤，用来根据构成一个图像捕获区域的像素的输出、采集形成在执行所述图像捕获操作的多个像素组成的所述图像捕获区域中的主体的图像；一个传送步骤，用于将所述采集步骤的处理所采集的所述主体的所述图像数据传送至另一个信息处理设备，所述的另一个信息处理设备控制着另一个与所述显示装置的结构相同的显示装置。
18.一种信息处理设备，用于控制一个显示装置，该显示装置由像素构成并包括一个形成在该显示装置表面上的透镜阵列，其中，所述像素的每一个都可以根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该信息处理设备包括接收装置，用于接收从另一信息处理设备传送来的另一主体的图像的数据，所述另一信息处理设备控制着另一个具有与所述显示装置相同结构的显示装置；以及显示控制装置，用于基于所述接收装置接收的所述另一主体的所述图像的所述数据、在一个显示区域中显示所述另一主体的所述图像，该显示区域由多个执行所述图像显示操作的像素组成并且形成在所述显示装置的一个位置上，该位置与所述另一显示装置的一个形成所述另一主体的所述图像的位置相应。
19.一种信息处理设备的信息处理方法，用于控制一个显示装置，该显示装置由像素构成并包括一个形成在该显示装置表面上的透镜阵列，其中，所述像素的每一个都可以根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该信息处理设备包括一个接收步骤，用于接收从另一信息处理设备传送来的另一主体的图像的数据，所述另一信息处理设备控制着另一个具有与所述显示装置相同结构的显示装置；以及一个显示控制步骤，用于基于所述接收装置接收的所述另一主体的所述图像的所述数据、在一个显示区域中显示所述另一主体的所述图像，该显示区域由多个执行所述图像显示操作的像素组成并且形成在所述显示装置的一个位置上，该位置与所述另一显示装置的一个形成所述另一主体的所述图像的位置相应。
20.一种记录介质，其上记录着一个使计算机执行控制一个显示装置的处理的程序，所述显示装置由像素构成并且该显示装置表面上形成着一个透镜阵列，每个所述像素根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该程序包括一个接收步骤，接收从另一信息处理设备传送的另一主体的图像数据，所述另一信息处理设备控制与所述显示装置具有相同结构的另一显示装置；以及一个显示控制步骤，基于接收步骤的处理接收的另一主体的图像数据，在一个显示区域中显示另一主体的图像，所述显示区域由执行图像显示操作的多个像素组成并且形成在所述显示装置的一个位置上，该位置与所述另一显示装置的一个形成所述另一主体的所述图像的位置相应。
21.一种使计算机执行一个处理的程序，用于控制一个显示装置，所述显示装置由像素构成并且该显示装置表面上形成着一个透镜阵列，每个所述像素根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换，该程序包括一个接收步骤，接收从另一信息处理设备传送的另一主体的图像数据，所述另一信息处理设备控制与所述显示装置具有相同结构的另一显示装置；以及一个显示控制步骤，基于接收步骤的处理接收的另一主体的图像数据，在一个显示区域中显示另一主体的图像，所述显示区域由执行图像显示操作的多个像素组成并且形成在所述显示装置的一个位置上，该位置与所述另一显示装置的一个形成所述另一主体的所述图像的位置相应。
22.一种显示装置，所述显示装置由像素构成并且该显示装置表面上形成着一个透镜阵列，每个所述像素根据一个施加的电压在一个图像显示操作和一个图像捕获操作之间切换；其中根据一个信息处理设备执行的控制，所述显示装置将一个表示形成在图像捕获区域的主体的图像的信号输出到所述信息处理设备，并且在执行图像显示操作的多个像素组成的显示区域中显示预定的图像，其中，所述图像捕获区域由执行图像捕获操作的多个像素组成。
全文摘要
本发明涉及一种控制一个显示装置的信息处理设备，包括一个采集单元，其根据构成图像捕获区域的像素的输出，采集形成在一个图像捕获区域中的主体的图像，其中该图像捕获区域由执行图像捕获操作的多个像素组成；一个传送器，将所采集的图像数据传送到另一个信息处理设备，所述的另一个信息处理设备控制着另一个具有与所述显示装置相同结构的显示装置；一个接收器，接收从所述另一个信息处理设备传送来的另一个主体的图像数据；以及一个显示控制器，根据所接收的图像数据将另一个主体的图像显示在显示区域。
文档编号H04N7/18GK1717065SQ200510083719
公开日2006年1月4日 申请日期2005年3月18日 优先权日2004年3月19日
发明者原田勉, 藤澤裕利, 岩本匡平 申请人:索尼株式会社