专利名称：立体图像处理装置、立体图像处理方法、立体图像处理程序以及在其中记录这种程序的记 ...的制作方法
技术领域：
本发明涉及一种用于处理立体图像的立体图像处理装置及其方法，并且 进一步涉及一种在其上打印立体图像的立体图像纸张、 一种立体图像处理程 序和一种在其中记录这种程序的计算机可读记录介质。本申请要求于2005年6月29日提交的日本专利申请号2005-189450的优先权，其整体被引用并入此处。
背景技术：
迄今，作为允许通过利用两眼之间的视差来识别平面表面图像作为三维 图像的基于肉眼的方法，存在平行方法(平行注视方法)和交叉方法(交叉 注视方法)等。如图1所示，平行方法是在具有适合的视差的左右两幅图像 (以下称为"立体图像，，)100R、 100L之间观察的方法，其中，右侧的图像 100R通过右眼ER观察，左侧的图像100L通过左眼EL观察。此外，如图2 所示，交叉方法是通过左眼EL观察右侧的图像100R、通过右眼ER观察左侧 的图像100L的方法。作为拾取这种立体图像的方法，存在在左右方向上、以与人眼之间的空 间相等的距离、呈直线安置两个透镜和图像拾取器件，通过平行方法或交叉 方法，使用这两个图像拾取系统来同时拾取左右图像的方法等等。在日本专 利申请公开No. H5-30538的公开物(专利文献l)中公开了涉及使用这种机 制的数字静态照相机的技术。此外，即使不使用利用了这种多图像拾取系统的照相机，从曾经执行了 图像拾取操作的位置，在水平方向上将照相机移动与人眼之间的空间相等的 距离，以从该位置第二次拾取同一对象的图像，或者使用两个照相机，等等， 从而使得可能获得用作立体图像的两幅图像。在上述的专利文献1中，描述了指示立体图像的信息和/或左/右区分信息 等被分别记录作为在各个左右图像数据的头信息，以便使得当在记录/再现装 置或传输装置中处理时、左右图像数据被处理为单个图像处理单元，如此防 止左和右图像数据之一被错误地擦除或传输等等不便之处。发明内容本发明所要解决的问题同时，很难从立体图像的外表来判断这种立体图像是通过平行方法还是 交叉方法所拾取的，即适合于通过平行方法还是交叉方法来尝试或执行观察， 因为这个原因，需要观察者基于平行方法和交叉方法来尝试两种观察，以由 本人来区分一种合适的观察方法。此外，在打印如图3所示的立体图像过程中，当在与打印纸张91的尺寸一致的状态下打印立体图像92时，可能存在丢失立体图像92的一部分的情况。本发明被考虑解决上述情况，并且希望提供了一种可生成允许第一眼就 能区分合适的观察方法的立体图像的立体图像处理装置、立体图像处理方法、 立体图像纸张、立体图像处理程序和计算机可读记录介质。本发明被应用的立体图像处理装置的一个实施例包括图像输入单元， 用于输入组成立体图像的多个图像数据；以及图像合成单元，用于由图像输 入装置输入的多个图像数据和指示这些图像数据的立体信息的填充数据在各 个数据的相应区域被分割的状态下加以合成，以输出合成数据。根据该立体图像处理装置，当观察者通过肉眼三维查看立体图像时，可以基于合成图像的填充数据在第一眼就区分出立体图像的合适的观察方法。 从而，优选地使用可由视觉特征区分的图像作为填充数据。此处，立体信息 可以是指示该图像数据是通过平行方法的立体图像还是通过交叉方法的立体 图^象的信息。而且，根据本发明的实施例的立体图像处理装置进一步包括用于输入高 宽调整比的高宽比调整输入单元，其中图像合成单元改变与多个图像数据合 成的填充数据尺寸，以便合成图像的纵向和横向尺寸具有已经由高宽比调整 输入单元输入的高宽调整比。通过使用这样的立体图像处理装置，可以打印合成图像以至于其整体正 好填满打印纸张。此外，根据本发明的实施例的立体图像处理装置可进一步包括编码单 元，用于压缩-编码已经由图像合成单元合成的图像；以及复用单元，用于向已经由编码单元压缩-编码的图像数据添加用于立体显示控制的立体信息作 为头信息，以准备文件。则，可以准备立体图像的文件，当观察者通过肉眼 三维查看立体图像时，该立体图像的文件允许通过合成图像的填充数据的视 觉特征在第一眼就区分出观察方法。因此，可以将这样的文件记录到记录介 质中以将其传输到允许立体显示的外部装备中。多个图像数据可以是对于右眼和左眼的图像数据，或通过多个视点捕获 一个对象而获得的图像数据。如上所述，通过使用本发明的实施例，当观察者通过肉眼三维的查看立 体图像时，可以通过合成图像的填充数据的视觉特征在第一眼就区分立体图 像的合适的观察方法。另外，可以打印合成图像以至于其整体正好填满打印 纸张。通过以下参照附图对实施例的进一步描述，本发明的更多特征和优点以 及本发明所具有的实际价值将更加显而易见。
图1是示出用于允许识别平面表面图像为三维图像的平行方法的视图； 图2是示出用于允许识别平面表面图像为三维图像的交叉方法的视图； 图3是用于说明在立体图像打印时出现的问题的视图； 图4是示出根据本发明的立体图像处理装置的实施例的方框图； 图5是示出被输入到如图4所示的立体图像处理装置中的图像文件的配 置的视图；图6是示出在图像是通过平行方法获得的立体图像的情况下合成图像的 一个例子的视图；图7是示出在图像是通过交叉方法获得的立体图像的情况下合成图像的 一个例子的视图；图8是示出从如图4所示的立体图像处理装置中输出的立体图像的文件 的配置的视图；图9是示出被安放在前方和后方以及左方和右方的多个数字静态照相机 拾取一个对象的图像的实施例的视图；图10是示出根据本发明的立体图像处理装置的另 一个实施例的方框图； 图11是示出在图像是通过平行方法的立体图像的情况下在如图10所示的立体图像处理装置中的合成图像的 一个例子的#见图；图12是示出在图像是通过平行方法的立体图像的情况下在如图10所示 的立体图像处理装置中的合成图像的一个例子的视图。
具体实施方式
实现本发明的最佳模式现将参考附图来说明。应用如图4所示的根据本发明实施例的立体图像处理装置100包括图 像输入单元l、高宽比调整输入单元2、立体(适配器)信息输入单元3、数 据分离输出单元4、立体关联信息生成单元5、填充数据生成单元6、图像合 成单元7、图像编码单元8、数据复用单元9以及记录介质写入单元10。图像输入单元1是用于输入对于右眼和左眼的各个图像文件IIR、 11L 的装置，其中分别向右眼和左眼的图像主体中添加用于立体显示控制的立体 信息、例如指示立体图像的区分信息、左/右区分信息、水平视点数量(图像 数量)和水平偏移量等，作为头信息。数据分离输入单元4是用于从由图像输入单元1输入的、对于右眼和左 眼的各个图像文件11R、11L中分离头信息以将它们输出到立体关联信息生成 单元5的装置。立体(适配器)信息单元3是用于输入如下立体信息的装置该立体信 息是除了已经被输入的对于右眼和左眼的各个图像文件11R、11L中的头信息 中所包括的内容之外的立体信息，例如，至少指示已经被输入的各个图像文 件11R、11L的图像是通过平行方法的立体图像还是通过交叉方法的立体图像立体关联信息生成单元5是用于基于从立体(适配器)信息输入单元3 输入的立体信息和已经从数据分离输出单元4输出的头信息来生成将要被输 出给填充数据生成单元6和数据复用单元9的立体关联信息的装置。在该例 子中，平行方法/交叉方法区分信息的内容被输出到填充数据生成单元6作为 立体关联信息，并且已经从立体(适配器)信息输入单元3输入的立体信息 的所有内容和已经从数据分离输出单元4输出的头信息被输出给数据复用单 元9作为立体关联信息。填充数据生成单元6是基于来自立体关联信息生成单元5的立体关联信
息(平行方法/交叉方法区分信息的内容)来生成要与对于右眼和左眼的各个 图像主体相合成的填充数据，以将如此生成的填充数据输出给图像合成单元 7的装置。填充数据是用于嵌入到空区域的数据，该空区域是在具有预定高 宽调整比的二维空间内在左右方向上呈直线安置具对于右眼和左眼的各个图区分信息，例如，采用人们第一眼就可以区分相应特征、例如颜色或图样等 的柳u觉表示。高宽比调整输入单元2是用于输入被输出的立体图像和填充数据的合成图像的高宽调整比的装置。该高宽调整比与例如所使用的打印纸张的纵向尺 寸与横向尺寸之间的比相 一致。图像合成单元7是用于合成从图像输入单元1输入的对于右眼和左眼的 各个图像数据与由填充数据生成单元6生成的填充数据、以生成具有从高宽 比调整输入单元2输入的高宽调整比的单个图像数据的装置。图像编码单元8是用于根据预定的系统、如JPEG系统等来压缩-编码从 图像合成单元7输出的立体图像.填充数据的合成图像的装置。数据复用单元9是用于复用由图像编码单元8压缩-编码的立体图像.填充 数据的合成图像数据和从立体关联信息生成单元5输出的立体关联信息的装 置。在该例子中，立体关联信息被添加作为图像文件的头信息。记录介质写入单元10是用于将数据复用单元9生成的图像文件写入到可 写或可重写非易失性记录介质(如EEPROM等)中的装置。接着将说明立体图像处理装置100的操作。让我们考虑这种情况，分别输入图像文件IIR、 IIL作为如图5所示的对 于右眼和左眼的图像文件IIR、 11L,在该图像文件IIR、 IIL中，分别向图 像主体13R、 13L添加用于立体显示控制的立体信息，例如指示立体图像的 区分信息，左/右区分信息，水平视点数量(图像数量)和/或水平偏移量等。 在这种情况下，在输入图像文件之前，从立体(适配器)信息输入单元3输 入指示从此输入的图像文件是通过平行方法的立体图像还是通过交叉方法的 立体图像的平行方法/交叉方法区分信息，以在立体关联信息生成单元5处设 置它。另一方面，从高宽比调整输入单元2处输入与所使用的打印纸张的纵 向尺寸与横向尺寸之间的比率相一致的高宽调整比，以在图像合成单元7处 设置其为用于图像合成的高宽调整比。 在立体关联信息生成单元5和图像合成单元7处的设置操作完成之后，在图像输入单元1处输入对于右眼和左眼的各个图像文件11R、 11L,以将在 各个图像文件11R、 IIL处的图像主体13R、 13L传送给图像合成单元7,并 在数据分离输出单元4中分离和提取各个图像文件IIR、 IIL的头信息12R、 12L，以将其输出到立体关联信息生成单元5。当立体关联信息生成单元5从数据分离输出单元4获得各个图像文件 IIR、 11L的头信息12R、 12L时，其从头文件12R、 12L和由来自立体(适 配器)信息输入单元3的输入所设置的立体信息(至少平行方法/交叉方法区 分信息)生成将要输出给填充数据生成单元6和数据复用单元9的立体关联 信息，以将如此获得的立体关联信息输出给各个单元。即，立体关联信息生 成单元5基于平行方法/交叉方法区分信息来生成用于生成填充数据的立体关 联信息，以将它输出给填充数据生成单元6，并且从各个图像文件IIR、 11L 的头信息12R、 12L和由来自立体(适配器)信息输入单元3的输入所设置 的立体信息生成用于数据复用的立体关联信息，以将它输出给数据复用单元 9。填充数据生成单元6基于来自立体关联信息生成单元5的对应于平行方 法/交叉方法区分信息的立体关联信息来生成将要与图像主体13R、 13L合成 的填充数据。该填充数据是通过视觉特征来指示平行方法/交叉方法区分信息 的数据。采用人们第一眼就可以区分相应特征的表示。需要注意的是，填充 数据不包括涉及尺寸的信息。由填充数据生成单元6生成的填充数据被发送到图像合成单元7中。图 像合成单元7合成从图像输入单元1传送来的对于右眼和左眼的各个图像主 体13R、 13L和来自填充数据生成单元6的填充数据以生成具有由来自高宽 比调整输入单元2的输入所设置的高宽调整比的单个图像数据。图6和图7显示了由图像合成单元7生成的合成图像20、 30的示例，其 中图6显示在各个图像主体13R、 13L是通过平行方法的立体图像的情况下 的合成图像20,图7显示在各个图像主体13R、 13L是通过交叉方法的立体 图像的情况下的合成图像30。如上所述，在平行方法和交叉方法中，在各个 图像主体13R、 13L的水平方向上的安置顺序都是彼此相反的。在这个例子中，在左右图像主体13R、 13L的顶部和底部安置作为可视 平行方法/交叉方法区分信息的填充数据14、 15。合成图像20、 30的纵向和9
横向尺寸是由从高宽比调整输入单元2所输入的高宽调整比所确定的。即，在图6中，在左右方向上安置的各个图像主体13R、 13L的长边的长度、例 如在该例子中水平方向上的长度被定为合成图像20的横向长度X，以及从长 边的长度X和高宽调整比确定合成图像20的短边的长度Y、例如垂直方向的 长度。即，图像合成单元7可变地调整填充数据的尺寸，以便合成图像的纵 向和横向尺寸具有被预先指定以合成用左右图像主体13R、 13L的高宽调整 比如此获得的填充数据。使得在合成图像20、 30的各个图像主体13R、 13L的垂直方向上的位置 是该系统特有的。在这个例子中，确定各个图像主体13R、 13L被充分地安 置在垂直方向上的中间位置。从而，在这个例子中，在合成图像20、 30中， 确保了填充数据14、 15的区域位于各个图像主体13R、 13L的顶部和底部。 应该注意的是，确保填充数据14、 15的区域位于各个图像主体13R、 13L的 顶部和底部的这种安排仅是一个例子。可仅确保填充数据的一个区域位于各 个图像主体13R、 13L的顶部和底部之一。根据预定的系统、如JPEG系统等，图像编码单元8压缩-编码如上所述 的由图像合成单元7获得的合成图像数据，并且将其发送到数据复用单元9， 在其中压缩-编码的合成图像数据和包括来自立体关联信息生成单元5的立体 关联信息的内容在内的头信息被复用。则，准备好了立体图像的文件。该立 体图像的文件40的配置如图8所示。如图8所示，立体图像的文件40包括 压缩-编码的合成图像数据16、头信息17、指示文件40的导向部分(leading portion)的SOI18,以及指示文件40的结尾的EOI19等。如此准备的立体图 像的文件40通过记录介质写入单元10被记录到记录介质中。为了执行被存储在立体图像的文件40中的立体图像的立体显示，使得能 够执行压缩-编码的合成图像数据的解码/解压缩且能够执行头信息的解码的 再现装置通过网络或可卸载记录介质等来读取立体图像的文件40。该再现装 置用于从已被读取的立体图像的文件40中分离和提取头信息17以解码如此 获得的头信息17,并且解码和解压缩压缩-编码的合成图像数据16以再存储 原始合成图像。进一步，该再现装置用于从合成图像中分离和提取对于右眼 和左眼的除填充数据之外的图像数据，以基于对于右眼和左眼的图像数据和 头信息17的编码结果来执行立体图像的立体显示。此外，在通过肉眼观察被存储在立体图像的文件40中的立体图像时，使
得能够解码立体图像文件40的压缩-编码合成图像数据的再现装置通过网络或可卸载记录介质等来读取立体图像的文件40。因此，如图6或图7所示， 再现了对于右眼和左眼的各个图像主体13R、 13L和填充数据14、 15的合成 图像20或合成图像30。在这个例子中，观察者可根据被显示的填充数据14、 15的视觉特征，例如颜色和/或模型等，在第一眼就区分出对于右眼和左眼的 各个图像主体13R、 13L是通过平行方法的立体图像或通过交叉方法的立体 图像。从而，可以立即通过合适的观察方法来尝试或执行立体观察，如此排 除观察者的过度负担。此外，因为已经被记录在记录介质中的图像主体和填充数据的合成图像 的高宽比被确定与所使用的打印纸张的纵向和横向尺寸之间的比率相一致， 可以打印合成图像以至于其整体正好充满打印纸张。进一步，根据作为在打 印纸张上打印立体图像整体的结果的填充数据区域的视觉特征，观察者可在 第 一 眼就区分出适合于观察在立体图像纸张上的该立体图像的方法是交叉方 法还是平行方法。需要注意的是，通过平行方法的填充数据和通过交叉方法的填充数据之 间的差异可以到达其可被立体图像处理装置区分但是不能被人类视觉识别 的程度。例如，存在一种可行的方法，其中使得通过平行方法的填充数据和 通过交叉方法的填充数据具有非常小的密度差异，该密度差异到达在立体 图像处理装置中，在视觉上从作为相应的密度信息的像素值不可区分通过平 行方法的填充数据和通过交叉方法的填充数据的程度。在这种情况下，即使 头信息不存在，还可以通过立体图像处理装置来正确地执行再现。另外，还 可以基于区分的结果来准备头信息。接着，将说明本发明的另一个实施例。虽然在上述实施例中合成了用于右眼和左眼的两个图像数据与填充数 据，但也可合成三个视点或更多(多个眼睛)的图像数据和填充数据。这里，例如，如图9所示，向通过使用安置在前方和后方及左方和右方 上的多个数字静态照相机61 (0, 0) ...61 (3, 2)同时拾取一个对象60的 图像而获得的各个图像数据添加用于立体显示控制的立体信息作为头信息， 来获得各个图像文件。图10是显示根据这个实施例的立体图像处理装置200的整体结构的方框图。
如图IO所示，立体图像处理装置200包括图像输入单元71、高宽比 调整输入单元72、立体(适配器)信息输入单元73、数据分离输出单元74、 立体关联信息生成单元75、填充数据生成单元76、图像合成单元77、图像 编码单元78、数据复用单元79以及记录介质写入单元80。图像输入单元71是用于输入多个图像文件62 (0, 0)、 62(0, 1)， ...62 (3, 2)的装置，其中向由多个数字静态照相机61 (0， 0) ...61 (3, 2)同 时执行图像拾取操作而获得的各个图像主体添加用于立体显示控制的立体信 息作为头文件，例如指示立体图像的区分信息、视点(照相机)位置的区分 信息、水平视点数量(图像的数量)和/或水平偏移量等。数据分离输出单元74是用于从在图像输入单元71输入的多个图像文件 62(0， 0)、 62 ( 0, 1 ), ...62 ( 3， 2)中分离头信息以向立体关联信息生成 单元75输出所荻得的头信息的装置。立体(适配器)信息输入单元73是一种装置，用于输入除了被包括在输 入图像文件62(0， 0)、 62(0， 1), ...62(3, 2)中的内容以外的立体信息， 例如至少指示输入的各个图像文件62 (0， 0)， 62 ( 0, 1 ), ...62 (3， 2)的 图像是通过平行方法的立体图像还是通过交叉方法的立体图像的平行方法/ 交叉方法区分信息。立体关联信息生成单元75基于从立体(适配器)信息输入单元73输入 的立体关联信息和从数据分离输出单元74输出的头信息而生成将要输出给 填充数据生成单元76和数据复用单元79的立体关联信息。此处，平行方法/ 交叉方法区分信息的内容被输出给填充数据生成单元76作为立体关联信息， 并且从立体(适配器)信息输入单元73输入的立体信息的所有内容以及从数 据分离输出单元74输出的头信息被输出给数据复用单元79作为立体关联信 息。填充数据生成单元76基于来自立体关联信息生成单元75的立体关联信 息(平行方法/交叉方法区分信息的内容)来生成将与多个图像主体合成的填 充数据，以将其输出给图像合成单元77。高宽比调整输入单元72是用于输入将要被输出的立体图像和填充数据 的合成图像的高宽调整比的装置。与所使用的打印纸张的纵向尺寸和横向尺 寸之间的比率相一致地输入该高宽调整比。图像合成单元77是用于合成从图像输入单元71输入的多个图像数据和 由填充数据生成单元76生成的填充数据、以生成具有已经从高宽比调整输入单元72输入的高宽调整比的单个图像数据的装置。图像编码单元78是用于根据预定系统、如JPEG系统等来压缩-编码已经 在图像合成单元77合成的图像数据的装置。数据复用单元79是用于复用已经由图像编码单元78压缩-编码的图像数 据和已经从立体关联信息生成单元75输出的立体关联信息的装置。此处，立 体关联信息被添加作为图像文件的头信息。记录介质写入单元80是用于将已经由数据复用单元79生成的图像文件 写入到可写或可重写非易失性记录介质(如EEPROM等)中的装置。接着，将说明立体图像处理装置200的操作。让我们考虑这种情况，对于多个眼睛的各个图像文件被分别输入作为多 个图像文件62(0, 0)， 62(0, 1)，…，62(3, 2)，在该对于多个眼睛的 各个图像文件中，用于立体显示控制的立体信息，例如指示立体图像的区分 信息、视点(照相机)位置的区分信息、水平视点数量(图像数量)和/或水 平偏移量等被添加作为头信息。在这种情况下，在输入图像文件之前，从立 体(适配器)信息输入单元73输入指示从此输入的图像文件是通过平行方法 的立体图像还是通过交叉方法的立体图像的平行方法/交叉方法区分信息，以 在立体关联信息生成单元5中设置它。另一方面，从高宽比调整输入单元72高宽调整比，以在图像合成单元77中设置其作为图像合成的高宽调整比。在完成在立体关联信息生成单元75和图像合成单元77中的设置之后， 在图像输入单元71中输入多个图像文件62 (0, 0)， 62(0, 1), ...， 62(3, 2),以将在各个图像文件62 (0, 0), 62 ( 0, 1 ),…，62(3, 2)中的图像 主体传送给图像合成单元77,并在数据分离输出单元74中分离和提取头信 息，以将其输出到立体关联信息生成单元75。当立体 关联信息生成单元75从数据分离单元74处获得各个图像文件62 (0, 0)， 62(0, 1),…，62(3, 2)的头信息时，其从由来自立体(适配 器)信息输入单元73的输入所设置的这些头信息和立体信息(至少平行方法 /交叉方法区分信息)生成将要输出给填充数据生成单元76和数据复用单元 79的立体关联信息，以将其输出给各个单元。即，立体关联信息生成单元75 基于平行方法/交叉方法区分信息生成用于生成填充数据的立体关联信息，并
将其输出给填充数据生成单元76，并且从被各个图像文件的头信息的内容和 立体(适配器)信息输入单元73的输入所设置的立体信息生成用于数据复用 的立体关联信息，并且将其输出给数据复用单元79。填充数据生成单元76基于来自立体关联信息生成单元75的对于于平行 方法/交叉方法区分信息的立体关联信息，生成将与多个图像主体合成的填充采用用户第一眼就可以区分相应特征、例如颜色或模式等的表示。需要注意 的是，填充数据不包括涉及尺寸的信息。由填充数据生成单元76生成的填充数据被发送到图像合成单元77中。 图像合成单元77合成从图像输入单元71传送来的多个图像主体和来自填充 数据生成单元76的填充数据以生成具有通过来自高宽比调整输入单元72的 输入而设置的高宽调整比的单个图像数据。图11和图12示出由图像合成单元77生成的合成图像81、 82的示例， 其中图11示出在各个图像主体63 ( 0, 0), 63 ( 0, 1 ),…，63 (3， 2)是 通过平行方法的立体图像的情况下的合成图像81,图12示出在各个图像主 体63 (0， 0), 63 (0， 1),…，63 (3, 2)是通过交叉方法的立体图像的情 况下的合成图像82。以上述方法，在平行方法和交叉方法中，在各个图像主 体63 (0， 0), 63 (0, 1),…，63 (3， 2)的水平方向上的安置顺序都是彼 此相反的。需要注意的是在顶部和底部方向上的位置关系是相同的。在这个例子中，在各个图像主体63(0， 0)， 63(0, 1)，…，63(3, 2) 的顶部和底部部分安置填充数据64、 65。以整体状态安置各个图像主体63 (0， 0), 63 (0, 1)， ...， 63 (3， 2)以至于在水平方向上的末端和在垂直 方向上的末端互相接触。合成图像81、 82的纵向和横向尺寸是根据从高宽比 调整输入单元72所输入的高宽调整比所确定的。在具体条件下，在图11中， 使得整体图像主体63长边的长度，例如，在这个例子中水平方向上的长度是 合成图像81长边的长度X,以从长边的长度X和高宽调整比进一步确定合成 图像81短边的长度Y，例如，在这个例子中的垂直方向上的长度。即，图像 合成单元77可变地调整填充数据的尺寸，以便合成图像81的纵向和横向尺 寸具有预先指定的高宽调整比以合成所获得的填充数据和完整的图像主体 63。使得在合成图像81或82中的完整图像主体63的垂直方向上的位置对于
系统来说是特殊的。在这个例子中，确定完整图像主体63被充分地安置在垂直方向上的中间位置。从而，在这个例子中，在合成图像81、 82中，确保填 充数据64、 65的区域在完整图像主体63的顶部和底部。需要注意的是确保 填充数据64、 65的区域在完整图像主体63的顶部和底部这种安置仅是一个 例子。可确保填充数据的区域仅在完整图像主体63的顶部和底部之一。根据预定的系统，如JPEG系统等，图像编码单元78压缩-编码由如上所 述的图像合成单元77获得的合成图像数据，并且将其发送到数据复用单元 79，在其中压缩-编码的合成图像数据和包括来自立体关联信息生成单元75 的立体关联信息的内容的头信息被复用。则，准备好立体信息的文件。准备 好的立体图像的文件通过记录介质写入单元80被记录到记录介质中。为了执行被存储在立体图像文件中的立体图像的立体显示，使得能够解 码/解压缩被压缩-编码的合成图像数据和解码头信息的再现装置通过网络或 可卸载记录介质等来读取立体图像的文件。该再现装置用于从已被读取的立 体图像的文件中分离和提取头信息以解码所获得的头信息，并且解码/解压缩 被压缩-编码的合成图像数据以恢复原始合成图像。此外，该再现装置用于从 合成图像中分离和提取除填充数据之外的多个合成图像数据，以基于这些多 个图像数据和头信息的解码结果执行立体图像的立体显示。此外，在通过肉眼观察被存储在立体图像的文件中的立体图像时，使得 能够解码被压缩-编码的立体图像文件的合成图像数据的再现装置通过网络 或可卸载记录介质等来读取立体图像的文件。则如图11或12所示，再现了 多个图像主体63 (0， 0)， 63 (0, 1 )，…，63 (3， 2)的合成图像81或合 成图像82以及填充数据64、 65。在这个例子中，观察者可从显示的填充数 据64、 65的视觉特征、例如颜色和/或模型等在第一眼就区分出各个图像主 体63 (0, 0)， 63 (0, 1),…，63 (3, 2)是通过平行方法的立体图像或通 过交叉方法的立体图像。从而，可以立即使用合适的观察方法尝试或执行立 体观察，以减少观察者的过度负担。此外，因为确定被记录在记录介质中的 图像主体和填充数据的合成图像的高宽比与所使用的打印纸张的纵向尺寸和 横向尺寸之间的比率相一致，例如，整个合成图像的放大/缩小仅仅作为偶然 需要来执行，从而使得可以打印合成图像以至于其整体正好充满打印纸张。 此外，观察者可根据作为在打印纸张上打印的整体合成图像的结果的立体图 像纸张上的填充数据区域的视觉特征，在第 一 眼就区分出适合在立体图像纸
张上观察该立体图像的方法是交叉方法还是平行方法。可以用允许计算机执行的程序方式提供在上述实施例中的立体图像处理 装置100的立体图像处理的功能。需要注意的是虽然本发明是根据在附图中图解说明的特定优选实施例进而多种修改，结构替换或等同变换可不脱离于本发明其后的权利要求的范围 和精髓而做出。
权利要求
1、一种立体图像处理设备，包括图像输入装置，用于输入组成立体图像的多个图像数据；以及图像合成装置，用于将已经由所述图像输入装置输入的多个图像数据和指示这些图像数据的立体信息的填充数据在各个数据的相应区域被分割的状态下加以合成，以输出合成数据。
2、 如权利要求1所述的立体图像处理设备，其中所述立体信息是指示图 像数据是通过平行方法的立体图像还是通过交叉方法的立体图像的信息。
3、 如权利要,^1所述的立体图像处理设备，其中所述填充数据是可通过视觉特征加以区分的图像。
4、 如权利要求1所述的立体图像处理设备，进一步包括 高宽比调整输入装置，用于输入高宽调整比，其中所述图像合成装置改变将与所述多个图像数据合成的所述填充数据 的尺寸，以便合成图像的纵向和4黄向尺寸具有已经由所述高宽比调整输入装 置输入的高宽调整比。
5、 如权利要求1所述的立体图像处理设备，进一步包括 编码装置，用于压缩-编码由所述图像合成装置合成的图像数据；以及 复用装置，用于对已经由所述编码装置压缩-编码的所述图像数据添加用于立体显示控制的立体信息作为头信息，以准备文件。
6、 如权利要求1所述的立体图像处理设备，其中所述多个图像数据是对于右眼和左眼的图像数据。
7、 如权利要求1所述的立体图像处理设备，其中所述多个图像数据是从多个视点捕获一个对象的图像数据。
8、 一种立体图像处理方法，包括输入步骤，通过图像输入装置输入通过平行方法或交叉方法组成立体图 像的多个图像数据；以及合成步骤，通过图像合成装置将所输入的多个图像数据和指示这些图像 数据是通过平行方法的立体图像还是通过交叉方法的立体图像的填充数据在 各个数据的相应区域被分割的状态下加以合成。
9、 如权利要求8所述的立体图像处理方法， 其中在所述合成步骤中，改变将要与所述多个图像数据合成的所述填充 数据的尺寸，以便所述合成图像的纵向和横向尺寸具有预先指定的高宽调整 比。
10、 一种立体图像纸张，在所述立体图像纸张中，将通过平行方法或交 叉方法组成立体图像的多个图像和可视地指示这些图像是通过平行方法的立 体图像还是通过交叉方法的立体图像的填充数据在各个数据的相应区域被分 割的状态下加以安置或分配。
11、 一种立体图像处理程序，用于允许计算机运作为 图像输入装置，用于输入通过平行方法或交叉方法组成立体图像的多个图像；以及图像合成装置，用于将已经由所述图像输入装置输入的多个图像 数据和指示这些图像数据是通过平行方法的立体信息还是通过交叉图像的立 体图像的填充数据在各个数据的相应区域被分割的状态下加以合成，以输出 合成数据。
12、 一种计算机可读记录介质，其中记录了包括合成图像的结构图像信 息，在所述结构图像信息中，将通过平行方法或交叉方法组成立体图像的多 个图像和用于可视地指示这些图像数据是通过平行方法的立体信息还是通过 交叉图像的立体图像的填充数据在各个数据的相应区域被分割的状态下加以 合成，以输出合成数据。
全文摘要
本发明涉及一种适用于生成允许第一眼就区分出合适的观察方法的立体图像的立体图像处理设备。该立体图像处理设备包括图像输入装置(1)，用于输入通过平行方法或交叉方法组成立体图像的多个图像数据；和图像合成装置(7)，用于将输入的多个图像数据和可视地指示这些图像数据是通过平行方法的立体图像还是通过交叉方法的立体图像的填充数据在各个数据的相应区域被分割的状态下加以合成，以输出合成数据。
文档编号H04N13/00GK101213845SQ20068002389
公开日2008年7月2日 申请日期2006年6月29日 优先权日2005年6月29日
发明者关泽英彦, 内海端, 吉田英明, 增谷健 申请人:索尼株式会社;三洋电机株式会社;夏普株式会社;奥林巴斯映像株式会社