专利名称：发送立体图像数据的立体图像数据发送装置和方法
技术领域：
本发明涉及立体图像数据发送设备、立体图像数据发送方法，具体地说，涉及能够便利地进行重叠信息(诸如菜单和节目表)的显示的立体图像数据发送设备等。
背景技术：
例如，在PTL 1中提出了使用电视广播无线电波发送立体图像数据的方法。在这种情况下，发送包括左眼图像数据和右眼图像数据的立体图像数据，并且在电视接收器上执行利用双目视差(binocular disparity)的立体图像显示。图78图示了在使用双目视差的立体图像显示中对象在屏幕上的左和右图像的显示位置与从此形成的立体图像的再现位置之间的关系。例如，关于对象A(如图中图示，在屏幕上，其左图像La被显示为要被移位到右侧，而其右图像Ra被显示为要被移位到左侧)， 左右视线(line of sight)在屏幕表面的前面相交，因此其立体图像的再现位置处于屏幕表面的前面。而且，例如，关于对象B (如图中图示，在屏幕上，其左图像Lb和右图像Rb被显示在屏幕上的相同位置)，左右视线在屏幕表面上相交，因此其立体图像的再现位置处于屏幕表面上。进一步，例如，关于对象C(如图中图示，在屏幕上，其左图像Lc被显示为要被移位到左侧，而其右图像Rc被显示为要被移位到右侧)，左右视线在屏幕表面的后面相交，因此其立体图像的再现位置处于屏幕表面的后面。引用列表专利文献PTLl 日本待审专利申请公开No. 2005-6114
发明内容
技术问题如上所述，在立体图像显示中，观众通常使用双目视差来识别立体图像中的透视 (perspective) 0关于要被重叠在图像上的重叠信息(诸如闭路字幕信息、字幕信息、图形信息和文本信息)，例如，期望不仅以二维空间而且以三维透视方式结合立体图像显示进行 宣染(rendering)。例如，在对图像进行作为闭路字幕信息或字幕信息的字幕的重叠显示(交叠显示)的情况下，除非按照透视字幕被显示在图像中最近对象的前面，否则观众可能感觉到透视不一致性。而且，在对图像进行其他图形信息或文本信息的重叠显示的情况下，期望根据图像中各个对象的透视来进行视差调整，并且保持透视一致性。本发明的目的是在图像显示设备中，在重叠信息(诸如菜单和节目表)显示时保持图像中的各个对象之间的透视一致性。技术方案本发明的构思在于一种立体图像数据发送设备，包括数据发送单元，其经由传输路径发送包括左眼图像数据和右眼图像数据的立体图像数据以及包括左眼图像和右眼图像之一关于另一个的视差信息的视差信息集。在本发明中，通过数据接收单元经由传输路径将立体图像数据和视差信息集发送到外部设备。所述立体图像数据包括左眼图像数据和右眼图像数据。所述视差信息集包括左眼图像和右眼图像之一关于另一个的视差信息。在本发明中，例如，使得数据发送单元使用多个通道并使用差分信号，经由传输路径发送图像数据到外部设备，并且通过在图像数据的消隐时段中插入视差信息集来将视差信息发送到外部设备。此外，在本发明中，例如，使得数据发送单元包括传输数据产生单元，其产生在其中视频场时段用作一个单元的传输数据，所述视频场时段使用垂直同步信号进行划分并包括水平消隐时段、垂直消隐时段和活动视频时段；以及传输数据发送单元，其使用多个通道并使用差分信号，经由传输路径将该传输数据产生单元产生的传输数据发送到外部设备。 使得该活动视频时段包括主要视频区域和辅助视频区域。使得该传输数据产生单元在主要视频区域中安排图像数据并在辅助视频区域中安排与涉及安排在主要视频区域中的图像数据的视差信息集。此外，在本发明中例如，使得该视差信息集包括与图像区域中的特定数量的位置对应的多条视差信息以及指示该图像区域中相应多条视差信息属于的位置的多条位置信肩、ο此外，在本发明中，例如，使得该视差信息集包括图像区域的分割信息以及表示相应分割区域的多条视差信息。此外，在本发明中，例如，使得该视差信息集被添加有指示视差信息集的类型是第一种类型还是第二种类型的标识信息。使得该视差信息集在标识信息指示第一种类型时包括与图像区域中的特定数量的位置对应的多条视差信息以及指示该图像区域中相应多条视差信息属于的位置的多条位置信息，而在标识信息指示第二种类型时包括该图像区域的分割信息以及表示相应分割区域的多条视差信息。以这种方式，在本发明中，将包括左眼图像和右眼图像关于另一个的视差信息的视差信息集与包括左眼图像数据和右眼图像数据的立体图像数据一起，经由传输路径发送到外部设备。因此，在该外部设备中，例如，在图像显示设备(诸如电视接收器)中，可以将已经根据图像中的各个对象的透视进行了视差调整的信息用作要重叠在左眼图像和右眼图像上的同样条重叠信息(诸如菜单和节目表)，并且可以在重叠信息的显示中保持图像中的各个对象之间的透视一致性。发明的有益效果根据本发明，将包括左眼图像和右眼图像关于另一个的视差信息的视差信息集与包括左眼图像数据和右眼图像数据的立体图像数据一起发送到外部设备。可以将已经根据图像中的各个对象的透视进行了视差调整的信息用作重叠信息(诸如菜单和节目表)。可以在重叠信息的显示中保持图像中的各个对象之间的透视一致性。
图1是图示作为本发明的实施例的立体图像显示系统的示例配置的块图。
图2是图示广播站中的传输数据产生单元的示例配置的块图。图3是图示1920X 1080像素的像素格式下的图像数据的示图。图4是用于解释作为发送立体图像数据(3D图像数据)的方法的“上下(Top & Bottom) ”方法、“并排(Side By Side) ”方法和“帧顺序(Frame Sequential) ”方法的示图。图5是用于解释检测右眼图像关于左眼图像的视差矢量的示例的示图。图6是用于解释使用块匹配方法获得视差矢量的示图。图7包括图示视差矢量检测单元检测到的、在图像中的特定数量上的视差矢量VV 的示例的示图。图8是图示视差矢量的传输内容的示图。图9包括图示视差检测块示例以及在那种情况下视差矢量的传输内容的示图。图10包括解释用以检测并发送视差矢量的定时的示例的示图。图11是解释用以检测并发送视差矢量的定时的示例的示图。图12是图示在传输数据产生单元中被多路复用的各个数据流的示例的示图。图13是图示广播站中的传输数据产生单元的另一示例配置的块图。图14图示在广播站中的传输数据产生单元中被多路复用的各个流的示例。图15是图示广播站中的传输数据产生单元的另一示例配置的块图。图16图示在广播站中的传输数据产生单元中被多路复用的各个流的示例。图17包括用于解释在传输方法为第一传输方法(“上下方法”)的情况下左眼图形信息和右眼图形信息的重叠位置等的示图。图18包括用于解释在传输方法为第一传输方法(“上下”方法)的情况下用于产生左眼图形信息和右眼图形信息的方法的示图。图19包括用于解释在传输方法为第二传输方法(“并排”方法)的情况下用于产生左眼图形信息和右眼图形信息的方法的示图。图20是用于解释在传输方法为第二传输方法(“并排”方法)的情况下用于产生左眼图形信息和右眼图形信息的方法的示图。图21是图示广播站中的传输数据产生单元的另一示例配置的块图。图22是图示广播站中的传输数据产生单元的另一示例配置的块图。图23是图示在相应像素的视差矢量的值用作相应像素的亮度值的情况下的示例图像的示图。图M是图示相应块的视差矢量的示例的示图。图25包括图示传输数据产生单元中的视差信息集创建单元中进行的小型化处理的示图。图沈是用于解释由视差信息集创建单元管理的各个层中的相应区域的视差矢量的示图。图27是图示视差信息集的内容的示例的示图。图观包括图示在传输方法是第二传输方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置的示图。图四包括图示将基于从位流数据中提取并使用传统方法发送的图形数据的图形图像照原样重叠在左眼图像和右眼图像上的状态的示图。
图30包括分别图示在时间TO、Tl、T2和T3处在三个对象位置上的视差矢量(观看矢量)的示图。图31包括图示图像上的字幕(图形信息)以及背景、前景对象和字幕的透视 (perspective)的示例显示的示图。图32包括图示图像上的字幕(图形信息)以及用于显示字幕的左眼图形信息LGI 和右眼图形信息RGI的示例显示的示图。图33包括用于使用在图像中的多个位置上检测到的视差矢量之中与重叠位置对应的视差矢量作为视差矢量进行解释的示图。图34包括图示各个对象A、B和C存在于图像中并且指示相应对象的注释的文本信息被重叠在这些相应的对象附近的示图。图35是图示形成立体图像显示系统的机顶盒的示例配置的块图。图36是图示形成机顶盒的位流处理单元的示例配置的块图。图37是图示在视差矢量VVl在电视显示的方向中的左侧上的视频对象上较大的情况下，扬声器输出控制的示例的示图。图38是图示在从广播站发送来的各个数据流与视差矢量之间的对应关系的示图。图39是图示在从广播站发送来的各个数据流与视差矢量之间的对应关系的示图。图40是图示形成机顶盒的位流处理单元的另一示例配置的块图。图41是图示在从广播站发送的各个数据流与视差矢量之间的对应关系的示图。图42是图示在从广播站发送来的各个数据流与视差矢量之间的对应关系的示图。图43是图示在从广播站发送来的各个数据流与视差矢量之间的对应关系的示图。图44是图示形成机顶盒的位流处理单元的另一示例配置的块图。图45是图示形成机顶盒的位流处理单元的另一示例配置的块图。图46是图示形成立体图像显示系统的电视接收器的示例配置的示图。图47是图示HDMI发送单元(HDMI信源)和HDMI接收单元(HDMI信宿)的示例配置的块图。图48是图示形成HDMI发送单元的HDMI发送器以及形成HDMI接收单元的HDMI 接收器的示例配置的块图。图49是图示TMDS传输数据的示例结构(发送水平1920像素X垂直1080行的图像数据的情况)的示图。图50是图示连接到信源设备和信宿设备的HDMI线缆的HDMI端子的引脚分配表 (pin-out)(类型A)的示图。图51是图示E-EDID的示例数据结构的示图。图52是图示厂商专用区域(HDMI厂商专用数据块)的示例数据结构的示图。图53是图示作为立体图像数据的一种TMDS传输数据结构的帧封装方法(frame packing method)的3D视频格式的示图。
图M是图示作为立体图像数据的一种TMDS传输数据结构的行交替方法(line alternative method)的3D视频格式的示图。图55是图示作为立体图像数据的一种TMDS传输数据结构的并排(满) (side-by-side (Full))方法的3D视频格式的示图。图56是图示形成立体图像显示系统的机顶盒的另一个示例配置的块图。图57是图示形成立体图像显示系统的电视接收器的另一个示例配置的示图。图58是图示从机顶盒发送到电视接收器的视差信息集的内容的示例的示图。图59是解释通过将图像(画面)区域划分成九块而获得的各个块BKO BK8以及在那种情况下相应块的视差矢量的安排的示图。图60是图示在使用HDMI厂商专用信息帧来发送视差信息集的情况下HDMI厂商专用信息帧的示例包结构的示图。图61是图示在使用活动间隔区域来发送视差信息集的情况下HDMI厂商专用信息帧的示例包结构的示图。图62是图示安排在活动间隔区域中的视差信息集的配置的示图。图63是图示视差信息集结构的各条信息的内容的示图。图64包括解释每一个视差矢量的信息集根据块大小的安排的示例的图示。图65是图示在使用HDMI厂商专用信息帧来发送视差信息集(第二种类型)的情况下HDMI厂商专用信息帧的示例包结构的示图。图66是图示在使用HDMI厂商专用信息帧来发送视差信息集(第一种类型)的情况下HDMI厂商专用信息帧的示例包结构的示图。图67是图示包括在HDMI厂商专用信息帧包中的主要信息的内容的示图。图68包括解释包括在HDMI厂商专用信息帧包中的“维度”信息的示图。图69包括解释包括在HDMI厂商专用信息帧包中的第一种类型的视差信息集的示图。图70是图示在使用HDMI厂商专用信息帧来发送视差信息集(仅仅第二种类型) 的情况下HDMI厂商专用信息帧的示例包结构的示图。图71是图示在使用活动间隔区域来发送视差信息集(第一种类型和第二种类型) 的情况下HDMI厂商专用信息帧的示例包结构的示图。图72是图示安排在活动间隔区域中的视差信息集(第二种类型)的结构的示图。图73是图示安排在活动间隔区域中的视差信息集(第一种类型)结构的示图。图74是图示安排在活动间隔区域中的视差信息集(第一种类型和第二种类型) 结构的各条信息的内容的示图。图75包括解释每一个视差矢量的信息集根据块大小的安排的示例的图示。图76是图示在使用活动间隔区域来发送视差信息集(仅仅第一种类型或仅仅第二种类型)的情况下HDMI厂商专用信息帧的示例包结构的示图。图77是图示立体图像显示系统的另一个示例配置的示图。图78是图示在使用双目视差的立体图像显示中，在屏幕上对象的左右图像的显示位置与其立体图像的再现位置之间的关系的示图。
具体实施例方式以下将描述实现该发明的实施例(以下称为“实施例”)。注意，该描述将按以下次序给出。1、实施例2、变型<1、实施例〉[立体图像显示系统的示例配置]图1图示作为实施例的立体图像显示系统10的示例配置。该立体图像显示系统 10包括广播站100、机顶盒(STB) 200和电视接收器300。机顶盒200 和电视接收器 300 经由 HDMI (High Definition Multimedia Interface,高清多媒体接口)线缆400相互连接。机顶盒200提供有HDMI端子202。电视接收器300提供有HDMI端子302。HDMI线缆400的一端连接到机顶盒200的HDMI端子 202，而HDMI线缆400的另一端连接到电视接收器300的HDMI端子302。[广播站的描述]广播站100使用无线电波来发送位流数据。该位流数据包含包括左眼图像数据和右眼图像数据的立体图像数据、音频数据、重叠信息数据，并且还包含视差信息(视差矢量)等。这里，重叠信息数据可以是闭路字幕(closed caption)数据、字幕数据、图形数据、 文本数据等。[传输数据产生单元的示例配置]图2图示广播站100中产生上述位流数据的传输数据产生单元110的示例配置。 这个示例配置是发送作为数字信息的视差矢量的示例。该传输数据产生单元110包括相机 IllL和111R、视频成帧单元112、视频编码器113、视差矢量检测单元114和视差矢量编码器 115。此外，该传输数据产生单元110包括麦克风116、音频编码器117、字幕/图形生成单元118、字幕/图形编码器119、文本生成单元120、文本编码器121和多路复用器122。注意，在本实施例中，文本生成单元120还用作生成闭路字幕数据的单元。该闭路字幕数据可以是用于显示闭路字幕的文本数据。相机IllL拍摄左眼图像并获得用于显示立体图像的左眼图像数据。相机IllR拍摄右眼图像并获得用于显示立体图像的右眼图像数据。视频成帧单元112将相机IllL获得的左眼图像数据以及相机IllR获得的右眼图像数据处理成根据传输方法的状态。[发送立体图像数据的方法的示例]这里，将以下第一至第三方法用作发送立体图像数据(3D图像数据)的方法，但可以使用另一传输方法代替。这里，如图3所示，将就这样的情况给出描述左眼(L)的图像数据和右眼(R)的图像数据中的每一个都是例如1920X1080像素的像素格式的确定分辨率的图像数据。第一传输方法是“上下”方法，S卩，如图4(a)所示，其是这样的方法从垂直方向上的上一半发送左眼图像数据的每一行的数据，而从垂直方向上的后一半发送右眼图像数据的每一行的数据。在这种情况下，左眼图像数据和右眼图像数据的行被稀疏到一半，以便垂直分辨率减小到原始信号的分辨率的一半。
第二传输方法是“并排”方法，S卩，如图4(b)所示，其是这样的方法从水平方向上的前一半发送左眼图像数据的每一行的数据，而从水平方向上的后一半发送右眼图像数据的每一行的数据。在这种情况下，在左眼图像数据和右眼图像数据的每一个中，将水平方向上的像素数据稀疏到一半。水平分辨率减小到当前信号的一半。第三传输方法是“帧顺序”方法，即，如图4(c)所示，其是这样的方法通过对于每一场顺序切换左眼图像数据和右眼图像数据，来发送这些左眼图像数据和右眼图像数据。返回参考图2，视频编码器113根据MPEG4-AVC，MPEG2，VC-1等对已经由视频成帧单元112处理后的立体图像数据进行编码，从而获得编码视频数据。此外，视频编码器113 在后级包括流格式器113a。利用该流格式器113a，视频编码器113产生视频基本流，所述视频基本流在有效载荷部分中包括编码视频数据。视差矢量检测单元114基于左眼图像数据和右眼图像数据检测视差矢量，该视差矢量是在图像中的特定数量上的左眼图像和右眼图像之一关于另一个的视差信息。这里， 图像中的特定数量可以是所有像素位置、多个像素构成的相应区域的代表性位置、或者要在其上重叠重叠信息(这里，诸如图形信息或文本信息)的区域的代表性位置。[视差矢量的检测]将描述检测视差矢量的示例。这里，将描述检测右眼图像关于左眼图像的视差矢量的示例。如图5所示，将左眼图像看作检测图像，而将右眼图像看作参考图像。在这个示例中，检测位置(xi, yi)和(xj, yj)处的视差矢量。将作为示例来描述检测位置(xi，yi)处的视差矢量的情况。在这种情况下，在左眼图像中设置例如具有位置(xi，yi)上的像素处在左上的8X8或16X16的像素块(视差检测块)Bi。然后，在右眼图像中搜索匹配像素块Bi的像素块。在这种情况下，在右眼图像中设置具有位置(xi，yi)处于中心的搜索范围，并且通过将搜索范围中的各个像素顺序当作目标像素来顺序地设置与以上像素块Bi类似的例如8X8或16X 16的对照块。在像素块Bi与顺序设置的对照块之间获得在相互对应的像素之间的差的绝对值之和。这里，如图6所图示，当像素块Bi的像素值是L(x，y)而对照块的像素值是R(x，y) 时，像素块Bi与特定对照块之间的差的绝对值之和被表示为Σ L(χ, y)-R(x, y) |。当在右眼图像中设置的搜索范围中包括η个像素时，最终获得η个和Sl至Sn， 并从它们中选择最小和Smin。然后，从从其获得了和Smin的对照块获得左上像素的位置 (xi'，yi')。从而，检测位置(xi，yi)上的视差矢量作为(xi' -xi,yi' -yi)。虽然省略了详细描述，但也用例如8 X 8或16 X 16的像素块Bj，以类似处理过程检测位置(xj，yj) 上的视差矢量，其中该像素块Bj位于左眼图像中的左上，是关于位置(xj，yj)上的像素设置的。图7(a)图示由视差矢量检测单元114检测到的、在图像中的特定数量上的视差矢量VV的示例。在这种情况下，如图7(b)所示，左眼图像(检测图像)被移位该图像中的特定数量上的视差矢量VV时交叠右眼图像(参考图像)。返回参考图2，视差矢量编码器115产生视差矢量(包括由视差矢量检测单元114 检测到的视差矢量)的基本流。这里，视差矢量的基本流包括下列内容。即，ID(ID_Block)、 垂直位置信息(Vertical_Position)、水平位置信息(Horizontal_Position)和视差矢量(View_Vector)形成一个集合。然后，将这个集合重复视差检测块的数量(其为N)。图8图示了视差矢量的传输内容。视差矢量包括垂直方向分量(VieW_VeCtor_ Vertical)和水平方向分量(View_Vector_Horizontal)。注意，视差检测块的垂直和水平位置用作在垂直方向和水平方向上从图像的左上处的原点到该块的左上处的像素的偏移值。当发送每一个视差矢量时附加视差检测块的ID，以便建立到要在图像上重叠的同时显示的重叠信息(诸如闭路字幕信息、字幕信息、图形信息和文本信息)的式样。例如，如图9(a)所示，当存在视差检测块A至F时，如图9(b)所示，传输内容包括视差检测块A至F的ID、垂直和水平位置信息和视差矢量。例如，在图9(b)中，关于视差检测块A，ID2代表视差检测块A的ID，(Ha, Va)代表视差检测块A的垂直和水平位置信息， 而视差矢量a代表视差检测块A的视差矢量。现在，将描述用以检测并发送视差矢量的定时。关于该定时，可以利用下列第一至第四示例。在第一示例中，如图10(a)所示，该定时与画面的编码同步。在这种情况下，以画面为单元发送视差矢量。画面是用于发送视差矢量最小的单元。在第二示例中，如图10(b) 所示，该定时与视频场景同步。在这种情况下，以场景为单元发送视差矢量。在第三示例中，如图10(c)所示，该定时与编码视频的I-画面(内画面)或 GOP(画面组)同步。在第四示例中，如图11所示，该定时与要在图像上重叠的同时显示的字幕信息、图形信息、文本信息等的显示开始定时同步。返回参考图2，麦克风116检测与相机IllL和IllR拍摄的图像对应的音频，从而获得音频数据。音频编码器117根据MPEG-2、音频AAC等对麦克风116获得的音频数据进行编码，从而产生音频基本流。字幕/图形生成单元118生成要重叠在图像上的字幕信息或图形信息的数据(字幕数据或图形数据)。字幕信息可以是例如字幕。此外，图形信息可以例如是徽标(logo)。 字幕数据和图形数据是位图数据。字幕数据和图形数据被添加了在图像上指示重叠位置的空闲(idling)偏移信息。例如，该空闲偏移信息指示在垂直方向和水平方向上从图像的左上处的原点到字幕信息或图形图像的重叠位置上的左上处像素的偏移值。注意，通过DVB(其为欧洲的数字广播标准)将把字幕数据作为位图数据发送的标准标准化为DVB_Subtitling，并且运行所述标准。字幕/图形编码器119输入由字幕/图形生成单元118生成的字幕信息或图形信息的数据(字幕数据或图形数据)。然后，该字幕/图形编码器119产生在有效载荷部分中包括这些条数据的基本流。文本生成单元120生成要重叠在图像上的文本信息的数据(文本数据)。例如， 文本信息是电子节目表或文本广播的内容。与上述图形数据类似，该文本数据被添加了指示在图像上的重叠位置的空闲偏移信息。例如，该空闲偏移信息指示在垂直方向和水平方向上从图像的左上处的原点到文本信息的重叠位置的左上处的像素的偏移值。注意，传输文本数据的示例包括运行来用于预约节目的EPG以及美国数字陆路规范ATSC的CC_数据 (闭路字幕)。文本编码器121输入由文本生成单元120生成的文本数据。然后，文本编码器121产生在有效载荷部分中包括该数据的基本流。多路复用器122多路复用从编码器113、115、117、119和121输出的分包基本流。 然后，多路复用器122输出用作传输数据的位流数据(传送流)BSD。将粗略地描述在图2中图示的传输数据产生单元110的操作。通过相机IllL拍摄左眼图像。将由相机IllL拍摄的、用于显示立体图像的左眼图像数据供应到视频成帧单元112。此外，通过相机IllR拍摄右眼图像。将由相机IllR拍摄的、用于显示立体图像的右眼图像数据供应到视频成帧单元112。在视频成帧单元112中，将左眼图像数据和右眼图像数据处理成为根据传输方法的状态，以便获得立体图像数据(参看图4(a)至(c))。将由视频成帧单元112获得的立体图像数据供应到视频编码器113。在视频编码器113中，根据MPEG4-AVC、MPEG2、VC-1等对立体图像数据进行编码，以便产生包括编码视频数据的视频基本流。将该视频基本流供应到多路复用器122。此外，经由视频成帧单元112将由相机IllL和IllR获得的左眼图像数据和右眼图像数据供应到视差矢量检测单元114。在该视差矢量检测单元114中，基于左眼图像数据和右眼图像数据，在图像中的特定数量上设置视差检测块，并检测用作左眼图像和右眼图像之一关于另一个的视差信息的视差矢量。将由视差矢量检测单元114检测到的、在图像中的特定数量上的视差矢量供应到视差矢量编码器115。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量被作为一个集合来供应。在视差矢量编码器115中，产生包括视差矢量的传输内容的视差矢量基本流(参看图8)。将视差矢量基本流供应到多路复用器122。此外，在麦克风116中，检测与由相机11IL和IllR拍摄的图像对应的音频。将由该麦克风116获得的音频数据供应到音频编码器117。在音频编码器117中，根据MPEG-2 音频AAC等对音频数据进行编码，以便产生包括编码音频数据的音频基本流。将该音频基本流供应到多路复用器122。此外，在字幕/图形生成单元118中，生成要在图像上重叠的字幕信息或图形信息的数据(字幕数据或图形数据)。将该数据(位图数据)供应到字幕/图形编码器119。该字幕/图形数据被添加了指示在图像上的重叠位置的空闲偏移信息。在字幕/图形编码器 119中，对该图形数据进行特定编码，以便产生包括编码数据的基本流。将该基本流供应到多路复用器122。此外，在文本生成单元120中，生成要在图像上重叠的文本信息的数据(文本数据)。将该文本数据供应到文本编码器121。与上述图形数据类似，该文本数据被添加了指示在图像上的重叠位置的空闲偏移信息。在文本编码器121中，对该文本数据进行特定编码，以便产生包括编码数据的基本流。将该基本流供应到多路复用器122。在多路复用器122中，多路复用从相应编码器供应的基本流的包，以便获得作为传输数据的位流数据(传送流)BSD。图12图示了在图2中图示的传输数据产生单元110中被多路复用的各个数据流的示例。注意，这个示例示出了以视频的场景为单元检测并发送视差矢量的情况(参看图 10 (b))。注意，各个流的包被添加了用于同步显示的时间戳，以便可以在接收器侧控制用以在图像上重叠字幕信息、图形信息、文本信息等的定时。
[传输数据产生单元的另一示例配置]注意，图2中图示的上述传输数据产生单元110具有将视差矢量的传输内容(参看图8)作为独立基本流发送到接收器侧的配置。然而，可以在视差矢量的传输内容被嵌入另一流的同时发送该视差矢量的传输内容。例如，可以在视差矢量的传输内容作为用户数据被嵌入视频流的同时发送该视差矢量的传输内容。此外，例如，可以在视差矢量的传输内容被嵌入字幕、图形或文本流的同时来发送视差矢量的传输内容。图13图示传输数据产生单元IlOA的示例配置。这个示例也是发送作为数字信息的视差矢量的示例。该传输数据产生单元IlOA具有通过将视差矢量的传输内容作为用户数据嵌入视频流来发送该视差矢量的传输内容的配置。在图13中，与图2中的那些组件对应的组件以同样的附图标记表示，并且省略其详细描述。在传输数据产生单元IlOA中，将由视差矢量检测单元114检测到的、在图像中的特定数量上的视差矢量供应到视频编码器113中的流格式器113a。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一个集合供应。在流格式器113a中，将视差矢量的传输内容(参看图8)作为用户数据嵌入视频流。除此而外，虽然省略了详细描述，但是与在图2中图示的传输数据产生单元110类似地配置在图13中图示的传输数据产生单元110A。图14图示在图13中图示的传输数据产生单元IlOA中多路复用的图像数据流、字幕或图形数据流和文本数据流的示例。在视差矢量(视差信息)被嵌入图像数据流的同时来发送该视差矢量(视差信息)。[传输数据产生单元的另一示例配置]图15图示了传输数据产生单元IlOB的示例配置。该示例也是发送作为数字信息的视差矢量的示例。该传输数据产生单元IlOB具有通过将视差矢量的传输内容嵌入字幕或图形数据流来发送该视差矢量的传输内容的配置。在该图15中，与图2的那些组件对应的组件以同样的附图标记表示，并且省略其详细描述。在传输数据产生单元IlOB中，将由视差矢量检测单元114检测到的、在图像中的特定数量上的视差矢量供应到字幕/图形编码器119中的流格式器119a。在这种情况下， 视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一个集合供应。在流格式器119a中，将视差矢量的传输内容(参见图8)嵌入字幕或图形数据流。除此而外，虽然省略了详细描述，但是与在图2中图示的传输数据产生单元110类似地配置在图15中图示的传输数据产生单元110B。图16图示了在图15中图示的传输数据产生单元IlOB中多路复用的图像数据流、 字幕或图形数据流和文本数据流的示例。在将视差矢量(视差信息)嵌入字幕或图形数据流的同时来发送该视差矢量(视差信息)。[传输数据产生单元的另一示例配置]此外，图2、图13和图15中图示的上述传输数据产生单元110、IlOA和IlOB发送
作为数字信息的视差矢量(参见图8)。然而，代替发送作为数字信息的视差矢量，也可以在发送视差矢量之前，预先在发送器侧将视差信息反映在要重叠在图像上的重叠信息(诸如字幕信息、图形信息、文本信息等)的数据中。例如，在视差信息反映在图形信息的数据中的情况下，在发送器侧产生与应该被重叠在左眼图像上的左眼图形信息和应该被重叠在右眼图像上的右眼图形信息两者对应的图形数据。在这种情况下，左眼图形信息和右眼图形信息是同样的图形信息。然而，例如，右眼图形信息的图像中的显示位置在水平方向上移位与关于左眼图形信息的显示位置对应的视差矢量的水平方向分量。例如，将在图像中的多个位置上检测到的视差矢量之中、与重叠位置对应的视差矢量用作视差矢量。此外，例如，将在图像中的多个位置上检测到的视差矢量之中、按照透视辨认出的最近位置上的视差矢量用作视差矢量。注意，虽然省略了详细描述，但在将视差信息反映在字幕信息或图形信息的数据中的情况下，同样如此。图17(a)图示在传输方法为上述第一传输方法(“上下”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。该左眼图形信息和右眼图形信息为相同的图形信息。 然而，重叠在右眼图像顶上的右眼图形信息RGI处于在水平方向上移位了关于重叠在左眼图像IL上的左眼图形信息LGI的视差矢量的水平方向分量VVT的位置上。如图17(a)所示，产生图形数据以便将各条图形信息LGI和RGI重叠在相应图像 IL和顶上。从而，如图17(b)所示，观众可以利用视差与相应图像IL和顶一起观看各条图形信息LGI和RGI，并且还可以在图形信息中识别透视。例如，如图18(a)所示，产生各条图形信息LGI和RGI的图形数据作为单一区域的数据。在这种情况下，可以该将各条图形信息LGI和RGI以外的部分的数据产生为透明数据。此外，例如，如图18(b)所示，将各条图形信息LGI和RGI的图形数据产生为分离区域的数据。图19(a)图示在传输方法为上述第二传输方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。这些左眼图形信息和右眼图形信息为相同的图形信息。 然而，重叠在右眼图像顶上的右眼图形信息RGI处于在水平方向上移位了关于重叠在左眼图像IL上的左眼图形信息LGI的视差矢量的水平方向分量VVT的位置上。注意，IT是空闲偏移值。如图19(a)所示，产生图形数据以便将各条图形信息LGI和RGI重叠在相应图像 IL和顶上。从而，如图19(b)所示，观众可以利用视差与相应图像IL和顶一起观看各条图形信息LGI和RGI，并且还可以在图形信息中识别透视。例如，如图20所示，将各条图形信息LGI和RGI的图形数据产生为单一区域的数据。在这种情况下，可以将在各条图形信息LGI和RGI以外的部分的数据产生为透明数据。图21图示传输数据产生单元IlOC的示例配置。该传输数据产生单元IlOC具有将视差信息反映在重叠信息(诸如闭路字幕信息、字幕信息、图形信息、文本信息)的数据中并发送该视差信息的配置。在该图21中，与图2中的那些组件对应的组件以相同的附图标记表示，其详细描述被省略。在传输数据产生单元IlOC中，在字幕/图形生成单元118与字幕/图形编码器 119之间插入字幕/图形处理单元124。此外，在传输数据产生单元IlOC中，在文本生成单元120与文本编码器121之间插入文本处理单元125。此外，将视差矢量检测单元114检测到的、在图像中的特定数量上的视差矢量供应到字幕/图形处理单元124和文本处理单元125。在字幕/图形处理单元124中，产生要重叠在左眼图像IL和右眼图像IR上的、用于左眼和右眼的多条字幕或图形信息LGI和RGI的数据。在这种情况下，基于字幕/图形生成单元118生成的字幕数据或图形数据生成数据。用于左眼和右眼的多条字幕或图形信息是相同的信息。然而，例如，在右眼字幕信息或图形信息的图像中的重叠位置在水平方向上被移位关于左眼字幕信息或图形信息的视差矢量的水平方向分量VVT(参看图17(a)和图 19(a))。将字幕/图形处理单元124以这种方式产生的字幕数据或图形数据供应到字幕/ 图形编码器119。注意，该字幕数据或图形数据添加有指示图像上的重叠位置的空闲偏移信息。在字幕/图形编码器119中，产生由字幕/图形处理单元IM产生的字幕数据或图形数据的基本流。此外，在文本处理单元125中，基于由文本生成单元120生成的文本数据，产生要重叠在左眼图像上的左眼文本信息的数据以及要重叠在右眼图像上的右眼文本信息的数据。在这种情况下，左眼文本信息和右眼文本信息为相同的文本信息，但是，例如，在右眼文本信息的图像中的重叠位置在水平方向上被移位关于左眼文本信息的视差矢量的水平方向分量VVT。将文本处理单元125以这种方式产生的文本数据供应到文本编码器121。注意，该文本数据添加有指示图像上的重叠位置的空闲偏移信息。在文本编码器121中，产生由文本处理单元产生的文本数据的基本流。除此而外，尽管省略了详细描述，但是与图2中图示的传输数据产生单元110类似地配置图21中图示的传输数据产生单元110C。[传输数据产生单元的另一示例配置]在图2、图13和图15中图示的传输数据产生单元110、110A和IlOB中，在视差矢量检测单元114中基于左眼图像数据和右眼图像数据，检测在图像中的特定数量上的视差矢量(视差信息)。传输数据产生单元110U10A和IlOB具有照原样发送由视差矢量检测单元114检测到的、在图像中的特定数量上的视差信息到接收器侧的配置。然而，例如，可以按像素为单元通过视差矢量检测单元114检测视差矢量，可以对其进行小型化处理，并且可以获得各个层(其是通过分层地划分图像区域而获得的)中的相应区域的视差矢量。此外，可以创建视差信息集(在其中以分层次序安排在基于接收器侧请求的视差矢量的间隔密度或传输带选择的层中的相应区域的视差矢量)，并且可以将这种视差信息集发送到接收器侧。此外，相应像素的视差矢量(视差信息)可以与要发送的左眼图像数据和右眼图像数据一起被记录在数据记录介质中。在这种情况下，可以对其进行小型化处理，并且可以获得各个层(其是通过分层地划分图像区域而获得的)中的相应区域的视差矢量。此外， 可以创建视差信息集(在其中在从数据记录介质中读取之后以分层次序安排在基于接收器侧请求的视差矢量的间隔密度或传输带选择的层中的相应区域的视差矢量)，并且可以将这种视差信息集发送到接收器侧。图22图示传输数据产生单元IlOD的示例配置。该传输数据产生单元IlOD具有创建在其中以分层次序安排在所选层中的相应区域的视差矢量的视差信息集并将该视差信息集发送到接收器侧的配置。在该图22中，与图2中的那些组件对应的组件以相同的附图标记表示，并且将适当地省略其详细描述。该传输数据产生单元IlOD包括相机IllL和111R、视频成帧单元112、视频编码器 113、视差矢量检测单元114和视差矢量编码器115。此外，该传输数据产生单元IlOD还包括麦克风116、音频编码器117、字幕/图形生成单元118、字幕/图形编码器119、文本生成单元120、文本编码器121和多路复用器122。此外，该传输数据产生单元IlOD还包括数据检索单元130、开关131 133和视差信息集创建单元134。例如，数据记录介质130a以可拆卸方式装载到数据检索单元130中。音频数据、 重叠信息数据和视差矢量与包括左眼图像数据和右眼图像数据的立体图像数据一起以相关联的方式记录在该数据记录介质130a上。数据检索单元130从数据记录介质130a中检索并输出立体图像数据、音频数据、重叠信息的数据、视差矢量等。这里，数据记录介质130a上记录的立体图像数据对应于由视频成帧单元112获得的立体图像数据。此外，数据记录介质130a上记录的重叠信息数据是字幕数据、图形数据、 文本数据等。此外，数据记录介质130a上记录的视差矢量例如是位于底层的相应像素的视
差矢量。视差矢量检测单元114基于左眼图像数据和右眼图像数据检测例如位于底层的相应像素的视差矢量。开关131检索现场模式(live mode)下视频成帧单元112所获得的立体图像数据并检索在再现模式下从数据检索单元130输出的立体图像数据，并且将其供应到视频编码器113。开关132检索在现场模式下视差矢量检测单元114所获得的视差矢量并检索在再现模式下从数据检索单元130输出的视差矢量，并且将其供应到视差信息集创建单元134。 开关133检索在现场模式下麦克风116所获得的音频数据并检索在再现模式下从数据检索单元130输出的音频数据，并且将其供应到音频编码器117。视差信息集创建单元134对开关132检索到的视差矢量(即，位于底层的相应像素的视差矢量)进行小型化处理，并获得各个层(其是通过分层地划分图像(画面)区域而获得的)中的相应区域的视差矢量。图23图示作为相应像素的亮度值给出的相对深度方向(relative depth direction)上的数据的示例。这里，相对深度方向上的数据可以通过特定转换被处理为相应像素的视差矢量。在这个示例中，人物部分亮度值高。这意味着人物部分视差矢量的值很大，因而意味着在立体图像显示中感觉到该人物部分正在弹出(pop即)。此外，在这个示例中，背景部分亮度值低。这意味着背景部分视差矢量的值小，因而意味着在立体图像显示中感觉到该背景部分正处于背面(back side)。图M图示相应块的视差矢量的示例。这些块处在位于底层的像素的上层。这些块通过在水平方向和垂直方向上将图像(画面)区域划分成特定尺寸的区域来形成。例如，通过从块中存在的所有像素的视差矢量之中选择最大值的视差矢量来获得每一块的视差矢量。在这个示例中，用箭头表示每一块的视差矢量，并且箭头的长度对应于视差矢量的大小。图25图示在视差信息集创建单元134中进行的小型化处理的示例。首先，如25 (a) 所示，视差信息集创建单元134使用相应像素的视差矢量来获得相应块的视差矢量。如上所述，这些块处在位于底层的像素的上层，并且通过在水平方向和垂直方向上将图像(画面)区域划分成特定尺寸的区域来形成。此外，例如，通过从块中存在的所有像素的视差矢量之中选择最大值的视差矢量来获得每一块的视差矢量。接着，如图25(b)所示，视差信息集创建单元134使用相应块的视差矢量来获得相应组(Group OfBlock)的视差矢量。这些组处在块的上层，并且通过将相互接近的多个块分组来获得。在图25(b)中的示例中，每一组由以虚线框限定的四个块组成。此外，例如，通过从组中存在的所有块的视差矢量之中选择最大值的视差矢量来获得每一组的视差矢量。接着，如图25(c)所示，视差信息集创建单元134使用相应组的视差矢量来获得相应分区(region)的视差矢量。这些分区处在多个组的上层，并且通过将相互接近的多个组分组来获得。在图25(c)中的示例中，每一分区由以虚线框限定的两个组形成。此外，例如，通过从分区中的所有组的视差矢量之中选择最大值的视差矢量来获得每一分区的视差矢量。接着，如图25 (d)中图示，视差信息集创建单元134使用相应分区的视差矢量来获得位于顶层的整个画面(整个图像)的视差矢量。在图25(d)中的示例中，在整个画面中包括以虚线框限定的四个分区。此外，例如，通过从整个画面中包括的所有分区的视差矢量之中选择具有最大值的视差矢量来获得整个画面的视差矢量。在这种情况下，除了视差矢量之外还可以获得关于获得整个画面的视差矢量的像素的原始位置(以“ + ”指示)的信息， 并且该信息可以被看作视差矢量的附加信息。在获得以上块、组和分区的视差矢量的情况下同样如此。以这种方式，视差信息集创建单元134对位于底层的相应像素的视差矢量进行小型化处理，从而能够获得各层(即，块、组、分区和整个画面)中相应区域的视差矢量。注意， 在图25中图示的小型化处理的示例中，除了像素层之外，最终获得四个层(S卩，块、组、分区和整个画面)中的视差矢量，但层数、用于在每一个层中划分区域的方法以及区域数不限于该示例。
此外，视差信息集创建单元134创建视差信息集，在该视差信息集中，以分层次序安排在基于接收器侧请求的视差矢量的间隔密度或传输带选择的层中的相应区域的视差矢量。在视差信息集创建单元134中，通过上述小型化处理获得各层(例如整个画面、分区、组、块和像素)中的相应区域的视差矢量。视差信息集创建单元134管理各层中的相应区域的视差矢量。如在图26中所示，将块ID(Bl0Ck ID)添加到各层中的相应区域的视差矢量。这个块ID表示目标视差矢量属于底层的位置信息，并当从上层看允许视差和位置的精确检测。为了简化图示，图26仅仅图示整个画面(DI3aIl)的视差矢量和相应分区(DPO DP3)的一部分。在图沈中，应该理解，整个画面(DI3aIl)的视差矢量(DP_ValueO)是属于由块 ID(IDO)表示的顶层中的位置的视差矢量。此外，在图沈中，应该理解，相应分区(DP0 DP3)的视差矢量(DP_valuel DP_value4)是属于由块ID(ID1 ID4)表示的顶层中的位
置的视差矢量。可以代替块ID或与块ID —起使用指示其位置的信息。该信息例如是从屏幕左上到每个区域的左上的偏移值，并且以像素为单元表示。此外，如果以扫描次序(视频像素次序)安排相应像素的视差矢量，则可以省略位置信息的添加。例如，在仅仅将作为顶层的整个画面的层选择为传输层的情况下，视差信息集创建单元134创建包括视差向量(DP_valUe0)的视差信息集，其范围由图沈中的箭头a指示。此外，例如，在将整个画面和多个分区的层选择为传输层的情况下，视差信息集创建单元134创建包括视差向量(DP_valueO和DP_valuel DP_value4)的视差信息集，其范围由图26中的箭头b指示。在下文中，视差信息集创建单元134创建包括以类似方式选择为传输层的每一个层中的相应区域的视差矢量的视差信息集。注意，不一定包括整个画面层作为传输层，而是可以选择分区层及其更低层或组层及其更低层。此外，毋庸置疑，关于每一个层中每一个区域的自身配置(诸如分区)，可以赋予在每一层中划分整个画面的方法、区域数量等自由度。在视差信息集创建单元134中，在视差信息集以分层次序(例如以从较高层起的次序)安排被选择为传输层的各个层中的相应区域的视差矢量。图27图示了视差信息集的内容的示例。在这个视差信息集中包括N视差矢量的信息集。每一个信息集由十六位的块ID(ID_Block(i))、十六位的垂直位置信息(VerticalPosition)、十六位的水平位置信息(Horizontal_Position)和十六位的水平方向上的视差矢量(Disparity_Vector_ Horizontal)组成。注意，在接收器侧仅仅用块ID(ID_Block(i))辨认视差矢量属于的底层的位置的情况下，可以不需要位置信息(Vertical_Position，Horizontal_Position)。此外，在当发送该视差矢量时以扫描次序(视频像素次序)安排相应像素的视差矢量的情况下，可以不需要块ID和位置信息。视频编码器113根据MPEG4-AVC、MPEG2、VC-I等对从开关131供应的立体图像数据进行编码，从而获得编码视频数据。此外，视频编码器113产生在有效载荷部分中包括编码视频数据的视频基本流。视差矢量编码器115产生包括由视差信息集创建单元134创建的视差信息集的视差矢量的基本流。此外，音频编码器117根据MPEG-2音频AAC等对从开关133供应的音频数据进行编码，从而产生音频基本流。除此而外，虽然省略了详细描述，但类似于图2中所示的传输数据产生单元110地配置图22中所示的传输数据产生单元110D。将简短地描述图22中所示的传输数据产生单元IlOD的操作。首先描述现场模式下的操作。在现场模式下，全部开关131 133连接到a侧。将由视频成帧单元112获得的立体图像数据经由开关131供应到视频编码器113。 在视频编码器113中，根据MPEG4-AVC、MPEG2、VC-1等对立体图像数据进行编码，以便产生包括编码视频数据的视频基本流。将这个视频基本流供应到多路复用器122。将由相机IllL和IllR获得的左眼图像数据和右眼图像数据经由视频成帧单元 112供应到视差矢量检测单元114。在视差矢量检测单元114中，例如，基于左眼图像数据和右眼图像数据检测位于底层的相应像素的视差矢量。将这些视差矢量经由开关132供应到视差信息集创建单元134。在视差信息集创建单元134中，对视差矢量，S卩，位于底层的相应像素的视差矢量，进行小型化处理，并且获得通过分层地划分图像区域获得的各层中相应区域的视差信息。例如，在视差信息集创建单元134中，对位于底层的相应像素的视差矢量进行小型化处理，从而获得各层(即，块、组、分区和整个画面)中相应区域的视差矢量。此外，在视差信息集创建单元134中，创建以分层次序安排在基于接收器侧请求的视差矢量的间隔密度或传输带选择的层中的相应区域的视差矢量的视差信息集(参见图27)。将这个视差信息集供应到视差矢量编码器115。在视差矢量编码器115，产生包括视差信息集的视差矢量基本流。将这个视差矢量基本流供应到多路复用器122。此外，将麦克风116获得的音频数据经由开关133供应到音频编码器117。在音频编码器117中，根据MPEG-2音频AAC等对音频数据进行编码，以便产生包括编码音频数据的音频基本流。将该音频基本流供应到多路复用器122。此外，将包括字幕数据或图像数据的编码数据的基本流从字幕/图形编码器119 供应到多路复用器122。而且，将包括文本数据的编码数据的基本流从文本编码器121供应到多路复用器122。然后，在多路复用器122中，多路复用从相应编码器供应的基本流包，以便获得作为传输数据的位流数据(传送流)BSD。接着，描述再现模式下的操作。在再现模式下，全部开关131 133连接到b侧。 将由数据检索单元130获得的立体图像经由开关131供应到视频编码器113。此外，将由数据检索单元130获得的视差矢量，即，位于底层的相应像素的视差矢量，经由开关132供应到视差信息集创建单元134。此外，将由数据检索单元130获得的音频数据经由开关133 供应到音频编码器117。虽然省略了详细描述，但再现模式下的其他操作类似于上述现场模式下的操作。在图22中所示的传输数据产生单元IlOD中，如上所述，在由视差信息集创建单元 134创建的视差信息集中以分层次序安排在从通过分层地划分图像(画面)获得的各个层之中选择的层中的相应区域的视差矢量(视差信息)。因此，在接收器侧，可以容易地从这个视差信息集中检索并且可以使用与重叠信息的重叠位置对应的视差矢量。也就是说，在接收器侧，不需要用于获得与重叠信息的重叠位置对应的视差矢量的计算等，并且可以实现简单的配置。注意，在图22中所示的传输数据产生单元1IOD的上述给出的描述中，已经给出了视差信息集创建单元134对底层中的相应像素的视差矢量进行小型化处理来获得各层中的相应区域的视差矢量的描述。然而，可以由视差矢量检测单元114检测或获得各层中的相应区域的视差矢量，并且可以由视差信息集创建单元134使用该视差矢量。作为选择，可以将各层中的相应区域的视差矢量记录在数据记录介质130a上，并且可以由视差信息集创建单元134使用该视差矢量。此外，在图22中所示的传输数据产生单元IlOD的上述描述中，已经给出了视差信息集创建单元134对底层中的相应像素的视差矢量进行小型化处理来获得各层中的相应区域的视差矢量的描述。然而，仅仅需要视差信息集创建单元134仅仅获得在选择为传输层的每一层中的相应区域的视差矢量。此外，图22中所示的传输数据产生单元IlOD具有利用多路复用器122将包括视差信息集的视差矢量基本流与其他流多路复用的配置。也就是说，图22中所示的传输数据产生单元IlOD具有与图2中所示的传输数据产生单元110对应的配置。然而，类似于图13和图15中的传输数据产生单元IlOA和110B，传输数据产生单元IlOD可以具有用于将视差信息集插入另一流(诸如图像数据流)并且用于将其发送到接收器侧的配置。[机顶盒的描述]返回参考图1，机顶盒200接收使用广播无线电波从广播站发送的位流数据(传送流)。该位流数据包括包含左眼图像数据和右眼图像数据的立体图像数据、音频数据、重叠信息数据，还包括视差信息(视差矢量)。这里，重叠信息数据例如可以是字幕数据、图形数据、文本数据(包括闭路字幕数据)等。机顶盒200包括位流处理单元201。位流处理单元201从位流数据中提取立体图像数据、音频数据、重叠信息数据、视差矢量等。位流处理单元201使用立体图像数据、重叠信息数据(字幕数据、图形数据或文本数据)等产生在其上重叠重叠信息的左眼图像和右眼图像的数据。这里，在作为数字信息发送视差矢量的情况下，基于视差矢量和重叠信息数据，产生分别要重叠在左眼图像和右眼图像上的左眼重叠信息和右眼重叠信息。在这种情况下， 左眼重叠信息和右眼重叠信息是同样的重叠信息。然而，例如，右眼重叠信息的图像中的重叠位置在水平方向上被移位了关于左眼重叠信息的视差矢量的水平方向分量。图^(a)图示在传输方法为上述第二传输方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。重叠在右眼图像顶上的右眼图形信息RGI处于在水平方向上被移位了关于重叠在左眼图像IL上的左眼图形信息LGI的视差矢量的水平方向分量VVT的位置。注意，IT是空闲偏移值。在位流处理单元201中，产生图形数据以便以如图28(a)所图示的方式在相应图像IL和顶上重叠各条图形信息LGI和RGI。位流处理单元201将所产生的左眼图形数据和右眼图形数据与从位流数据中提取的立体图像数据(左眼图像数据和右眼图像数据)进行组合，从而获得处理后的立体图像数据。根据该立体图像数据，观众利用视差与相应图像 IL和顶一起观看各条图形信息LGI和RGI，并且还可以在图形信息中辨认透视。注意，图四仏)图示了在相应图像IL和顶上照原样重叠了基于从位流数据中提取的图形数据的图形图像的状态。在这种情况下，如图四…)所示，观众观看连同左眼图像 IL的左半图形信息和连同右眼图像顶的右半图形信息。因此，不能正确地辨认图形信息。图观图示了图形信息的情况，这对于其他重叠信息(闭路字幕信息、字幕信息、文本信息等)是相同的。也就是说，在将视差矢量作为数字信息发送的情况下，基于视差矢量和重叠信息数据产生要分别重叠在左眼图像和右眼图像上的左眼重叠信息和右眼重叠信息。在这种情况下，左眼重叠信息和右眼重叠信息为相同的重叠信息。然而，例如，在右眼重叠信息的图像中的重叠位置在水平方向上被移位关于左眼重叠信息的视差矢量的水平方向分量。这里，可以将以下视差矢量用作给出左眼重叠信息与右眼重叠信息之间的视差的视差矢量。例如，可以将在图像中的多个位置处检测到的视差矢量之中按照透视辨认出的最近位置处的视差矢量用作视差矢量。图30(a)、30(b)、30 (c)和30 (d)分别图示了时间 TO、Tl、T2和T3上的三个对象位置处的视差矢量(View Vector)。在时间TO处，在与对象1对应的位置(H0，V0)处的视差矢量VV0-1是最大视差矢量Max VV(TO)。在时间Tl处，在与对象1对应的位置(H1，V1)处的视差矢量VVl-I是最大视差矢量Max VV(Tl)。在时间T2处，在与对象2对应的位置(H2，V2)处的视差矢量VV2-2 是最大视差矢量Max VV (T2)。在时间T3处，在与对象1对应的位置(H3，V3)处的视差矢量VV3-0是最大视差矢量Max VV (T3)。以这种方式，将在图像中的多个位置处检测到的视差矢量之中按照透视辨认出的最近位置处的视差矢量用作视差矢量，由此可以将重叠信息显示在按照透视在图像中的最近对象的前面。图31(a)图示了图像上的字幕(例如闭路字幕信息或字幕信息)的示例显示。在这种示例显示中，字幕被重叠在由背景和前景对象构成的图像上。图31(b)图示了背景、前景对象和字幕的透视，并且图示字幕被辨认为是最近。与图31(a)类似，图32(a)图示了图像上的字幕(例如闭路字幕信息或字幕信息) 的示例显示。图32(b)图示了用于显示字幕的左眼字幕信息LGI和右眼字幕信息RGI。图 32(c)图示了将视差赋予各条字幕信息LGI和RGI以便将字幕辨认为是最近。此外，可以将在图像中的多个位置处检测到的视差矢量(包括在视差信息集中包括的各层中的相应区域的视差矢量)之中与重叠位置对应的视差矢量用作视差矢量。图 33(a)图示了基于从位流数据中提取的图形数据的图形信息以及基于从位流数据中提取的文本数据的文本信息。图33 (b)图示了将左眼图形信息LGI和左眼文本信息LTI重叠在左眼图像上的状态。在这种情况下，在水平方向上以空闲偏移值(IT-O)限制左眼图形信息LGI的重叠位置。 此外，在水平方向上以空闲偏移值(IT-I)限制左眼文本信息LTI的重叠位置。图33 (c)图示了将右眼图形信息RGI和右眼文本信息RTI重叠在右眼图像上的状态。在这种情况下，在水平方向上以空闲偏移值(IT-O)限制右眼图形信息RGI的重叠位置，并且进一步该重叠位置从左眼图形信息LGI的重叠位置移位与这个重叠位置对应的视差矢量的水平方向分量VVT-0。此外，在水平方向上以空闲偏移值(IT-I)限制右眼文本信息RTI的重叠位置，并且进一步从左眼文本信息LTI的重叠位置移位与这个重叠位置对应的视差矢量的水平方向分量WT-I。在以上描述中，已经给出了关于在左眼图像和右眼图像上重叠基于从位流数据中提取的图形数据的图形信息或基于从位流数据中提取的文本数据的文本信息的情况的描述。除此而外，还可用在机顶盒200中生成图形数据或文本数据并在左眼图像和右眼图像上重叠基于其的信息的情况。在那种情况下，也可以使用从位流数据中提取的图像中的特定数量上的视差矢量，给出在左眼图形信息和右眼图形信息之间或左眼文本信息和右眼文本信息之间的视差。因而在显示图形信息和文本信息时，可以给出在图像中的各个对象之间保持透视一致性的适当透视。图34(a)图示了在图像中存在对象A、B和C并且在这些相应对象的附近重叠了示出相应对象的注释的文本信息。图34(b)图示了示出相应对象A、B和C的位置与所述位置上的视差矢量之间的对应关系的视差矢量列表，并且还图示了各个视差矢量被用于将视差赋予示出相应对象A、B和C的注释的文本信息。例如，在对象A的附近重叠文本信息 “Text”，并且在其左眼文本信息与右眼文本信息之间给出与对象A的位置(Ha，Va)处的视差矢量VV-a对应的视差。注意，这对于在对象B和C的附近重叠的文本信息是同样的。
注意，图33图示了重叠信息包括图形信息和文本信息的情况。此外，图34图示了重叠信息包括文本信息的情况。虽然省略了详细描述，但这对于其他重叠信息(诸如闭路字幕信息和字幕信息)的情况是同样的。接着，将给出视差矢量在被事先反映在重叠信息(诸如闭路字幕信息、字幕信息、 图形信息和文本信息)的数据中的同时被发送的情况的描述。在这种情况下，从位流数据中提取的重叠信息数据包括基于视差矢量将视差给予到的左眼重叠信息和右眼重叠信息的数据。因此，位流处理单元201将从位流数据中提取的重叠信息数据与从位流数据中提取的立体图像数据(左眼图像数据和右眼图像数据)简单地组合，从而获取处理后的立体图像数据。注意，关于文本数据(包括闭路字幕数据)，将字符代码转换为位图数据的处理等是必须的。[机顶盒的示例配置]将描述机顶盒200的示例配置。图35图示了机顶盒200的示例配置。该机顶盒 200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI发送单元206和音频信号处理电路207。此外，该机顶盒200还包括CPU 211、 闪速ROM 212、DRAM 213、内部总线214、遥控接收单元215和遥控发送器216。天线端子203是用于输入由接收天线(未图示)接收的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号，并输出与用户选择的频道对应的特定位流数据(传送流)。如上所述，位流处理单元201从位流数据中提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、重叠信息数据、视差信息(视差矢量)等。重叠信息数据可以是字幕数据、图形数据、文本数据(包括闭路字幕数据)等。如上所述，该位流处理单元201 将重叠信息(诸如闭路字幕信息、字幕信息、图形信息和文本信息)的数据与立体图像数据组合，从而获得要显示的立体图像数据。此外，位流处理单元201输出音频数据。下面将描述位流处理单元201的详细配置。视频信号处理电路205按照需要对从位流处理单元201输出的立体图像数据进行图像质量调整处理，并且将处理后的立体图像数据供应到HDMI发送单元206。音频信号处理电路207按照需要对从位流处理单元201输出的音频数据进行音频质量调整处理等，并且将处理后的音频数据供应到HDMI发送单元206。HDMI发送单元206通过与HDMI兼容的通信，从HDMI端子202发送基带图像(视频)和音频的数据。在这种情况下，使用HDMI的TMDS通道来发送数据，因此图像和音频数据被封装，并从HDMI发送单元206输出到HDMI端子202。下面将描述该HDMI发送单元206 的细节。CPU 211控制机顶盒200的各个单元的操作。闪速ROM 212存储控制软件并存储数据。DRAM 213形成CPU 211的工作区。CPU 211将从闪速R0M212读取的软件和数据展开在DRAM 213上并启动软件，并且控制机顶盒200的各个单元。遥控接收单元215接收从遥控发送器216发送的遥控信号(遥控代码)，并将该遥控信号供应到CPU 211。CPU 211基于该遥控代码控制机顶盒200的各个单元。CPU 211、 闪速ROM 212和DRAM 213连接到内部总线214。
将简短地描述机顶盒200的操作。将输入到天线端子203的电视广播信号供应到数字调谐器204。该数字调谐器204处理电视广播信号，并且输出与用户选择的频道对应的特定位流数据(传送流)。将从数字调谐器204输出的位流数据供应到位流处理单元201。在该位流处理单元201中，从位流数据中提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、图形数据、文本数据、视差矢量等。此外，在位流处理单元201中，重叠信息(诸如闭路字幕信息、字幕信息、图形信息和文本信息)的数据与立体图像数据组合，以便产生要显示的立体图像数据。在视频信号处理电路205中，按照需要将位流处理单元201产生的要显示的立体图像数据经历图像质量调整处理等，然后供应到HDMI发送单元206。此外，在音频信号处理电路207中，按照需要将由位流处理单元201获得的音频数据经历音频质量调整处理等，然后将其供应到HDMI发送单元206。使用HDMI的TMDS通道将供应到HDMI发送单元206的立体图像数据和音频数据从HDMI端子202发送到HDMI线缆400。[位流处理单元的示例配置]图36图示位流处理单元201的示例配置。该位流处理单元201具有与在图2和图 22中所示的上述传输数据产生单元110和IlOD对应的配置。该位流处理单元201包括多路分用器220、视频解码器221、字幕/图形解码器222、文本解码器223、音频解码器2M和视差矢量解码器225。此外，该位流处理单元201包括立体图像字幕/图形生成单元226、 立体图像文本生成单元227、视频重叠单元2 和多声道扬声器控制单元229。多路分用器220从位流数据BSD中提取视频、音频、视差矢量、字幕或图形和文本的包，并将它们发送到相应解码器。视频解码器221进行传输数据产生单元110的上述视频编码器113所进行的处理的逆处理。也就是说，该视频解码器221根据多路分用器220所提取的视频包重构视频基本流，进行解码处理，并获得包括左眼图像数据和右眼图像数据的立体图像数据。发送该立体图像数据的方法的示例为上述第一传输方法(“上下”方法)、第二传输方法(“并排”方法)、第三传输方法(“帧顺序”方法)等(参看图4 (a)至(c))。字幕/图形解码器222进行传输数据产生单元110的上述字幕/图形编码器119 所进行的处理的逆处理。也就是说，该字幕/图形解码器222根据多路分用器220所提取的字幕/图形包重构字幕/图形基本流。然后，该字幕/图形解码器222进一步进行解码处理来获得字幕数据或图形数据。文本解码器223进行传输数据产生单元110的上述文本编码器121所进行的处理的逆处理。也就是说，该文本解码器223根据多路分用器220所提取的文本包重构文本基本流，进行解码处理，并获得文本数据(包括闭路字幕数据)。音频解码器2M进行传输数据产生单元110的上述音频编码器117所进行的处理的逆处理。也就是说，该音频解码器2M根据多路分用器220所提取的音频包重构音频基本流，进行解码处理，并获得音频数据。视差矢量解码器225进行传输数据产生单元110的上述视差矢量编码器115所进行的处理的逆处理。也就是说，该视差矢量解码器225根据多路分用器220所提取的视差矢量包重构视差矢量基本流，进行解码过程，并获得在图像中的特定数量上的视差矢量。
立体图像字幕/图形生成单元2 产生要分别重叠在左眼图像和右眼图像上的、 用于左眼和右眼的多条字幕信息或图形信息。基于由解码器222获得的字幕数据或图形数据和由解码器225获得的视差矢量进行该产生处理。在这种情况下，用于左眼和右眼的多条字幕信息或图形信息是相同的信息。然而，例如，在右眼字幕信息或图形信息的图像中的叠加位置在水平方向上被移位关于左眼字幕信息或图形信息的视差矢量的水平方向分量。 然后，立体图像字幕/图形生成单元2 输出用于左眼和右眼的所产生的多条字幕信息或图形信息的数据(位图数据)。立体图像文本生成单元227基于由解码器223获得的文本数据和由解码器225 获得的视差矢量，产生要分别重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在这种情况下，左眼文本信息和右眼文本信息为同样的文本信息，但在右眼文本信息的图像中的重叠位置在水平方向上被移位关于左眼文本信息的视差矢量的水平方向分量。然后，立体图像文本生成单元227输出所产生的左眼文本信息和右眼文本信息的数据(位图数据)。视频重叠单元2 在由视频解码器221获得的立体图像数据(左眼图像数据和右眼图像数据)上重叠生成单元2 和227生成的数据，从而获得要显示的立体图像数据 Vout。注意，根据系统层的时间戳开始重叠信息数据在立体图像数据(左眼图像数据和右眼图像数据)上的重叠。多声道扬声器控制单元2 对由音频解码器2M获得的音频数据进行产生用于实现例如5. 1声道环绕等的多声道扬声器的音频数据的处理以及用于给出特定声场特性的处理。此外，该多声道扬声器控制单元2 基于由解码器225获得的视差矢量控制多声道扬声器的输出。视差矢量越大，立体效果越高。按照立体效果程度控制多声道的扬声器输出，由此可以实现立体体验的进一步提供。图37图示了在电视显示器的方向上看左侧上的视频对象中视差矢量VVl更大的情况下扬声器输出控制的示例。在这个控制示例中，多声道扬声器的左后扬声器的音量高， 左前扬声器的音量处于中间，而且右前和右后扬声器的音量低。以这种方式，将视频内容 (立体图像数据)的视差矢量应用到接收器侧上的其他媒体数据(诸如音频数据)，其使得观众能够全面地体验立体效果。将简短地描述在图36中图示的位流处理单元201的操作。将从数字调谐器 204(参看图3 输出的位流数据BSD供应到多路分用器220。在多路分用器220中，从位流数据BSD中提取视频、音频、视差矢量、字幕或图形和文本的TS包，并供应到相应解码器。在视频解码器221中，根据由多路分用器220提取的视频包重构视频基本流，进一步进行解码处理，并获得包括左眼图像数据和右眼图像数据的立体图像数据。将该立体图像数据供应到视频重叠单元228。此外，在视差矢量解码器225中，根据由多路分用器220 提取的视差矢量包重构视差矢量基本流，进一步进行解码处理，并获得在图像中的特定数量上的视差矢量(参看图8和图27)。在字幕/图形解码器222中，从由多路分用器220所提取的字幕/图形包重构字幕/图形基本流。而且，在字幕/图形解码器222中，对字幕/图形基本流进行解码处理， 从而获得字幕数据或图形数据。将该字幕数据或图形数据供应到立体图像字幕/图形生成单元226。也将由视差矢量解码器225获得的视差矢量供应到立体图像字幕/图形生成单
元 226ο在立体图像字幕/图形生成单元226中，产生要分别重叠在左眼图像和右眼图像上用于左眼和右眼的多条字幕信息或图形信息的数据。基于由解码器222获得的字幕数据或图形数据以及由解码器225获得的视差矢量进行该产生处理。在这种情况下，例如，在右眼字幕信息或图形信息的图像中的重叠位置在水平方向上被移位关于左眼字幕信息或左眼图形信息的视差矢量的水平方向分量。从该立体图像字幕/图形生成单元2 输出用于左眼和右眼的所产生的多条字幕信息或图形信息的数据(位图数据)。此外，在文本解码器223中，根据多路分用器220所提取的文本TS包重构文本基本流，进一步进行解码处理，并获得文本数据。将该文本数据供应到立体图像文本生成单元 227。也将由视差矢量解码器225获得的视差矢量供应到该立体图像文本生成单元227。在该立体图像文本生成单元227中，基于由解码器223获得的文本数据和由解码器225获得的视差矢量，分别产生要重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在这种情况下，例如，左眼文本信息和右眼文本信息为同样的文本信息，但是在右眼文本信息的图像中的重叠位置在水平方向上被移位关于左眼文本信息的视差矢量的水平方向分量。从该立体图像文本生成单元227输出所产生的左眼文本信息和右眼文本信息的数据(位图数据)。除了来自上述视频解码器221的立体图像数据(左眼图像数据和右眼图像数据) 之外，还将从字幕/图形生成单元2 和文本生成单元227输出的数据供应到视频重叠单元228。在视频重叠单元228中，将字幕/图形生成单元2 和文本生成单元227所生成的数据重叠在立体图像数据(左眼图像数据和右眼图像数据)上，以便获得要显示的立体图像数据Vout。将该要显示的立体图像数据Vout作为传输图像数据经由视频信号处理电路 205供应到HDMI发送单元206 (参看图35)。此外，在音频解码器224中，根据由多路分用器220提取的音频TS包重构音频基本流，进一步进行解码处理，并获得音频数据。将该音频数据供应到多声道扬声器控制单元 229。在该多声道扬声器控制单元229中，对该音频数据进行产生用于实现例如5. 1声道环绕等的多声道扬声器的音频数据的处理以及用于给出特定声场特性的处理。也将由视差矢量解码器225获得的视差矢量供应到多声道扬声器控制单元229。 此外，在该多声道扬声器控制单元229中，基于视差矢量控制多声道扬声器的输出。经由音频信号处理电路207将由该多声道扬声器控制单元2 获得的多声道音频数据作为传输音频数据供应到HDMI发送单元206 (参看图35)。[向重叠信息赋予视差]现在，将给出关于在图36中所示的位流处理单元201的立体图像字幕/图形生成单元2 和立体图像文本生成单元227中向重叠信息赋予视差的进一步描述。例如，如图38和图39所示，与图像数据流、字幕或图形数据流和文本数据流一起， 从广播站100(参见图1)发送包括视差矢量的视差矢量流(参见图8、图27)。在这种情况下，与相应特定时段(诸如编码视频的GOP (Group Of画面s)、或I (内画面)画面、或场景) 的开始定时同步地共同发送与相应特定时段对应的相应特定单元的视差矢量。作为特定单元，例如，可以用画面(帧)为单元或整数个画面为单元。
例如，在立体图像字幕/图形生成单元226以及立体图像文本生成单元227，在重叠信息的重叠时段期间，向每一个特定单元的重叠信息赋予基于对应的视差矢量(视差信息)的视差。在图38中向字幕(图形)数据流和文本数据流的各部分赋予的箭头表示向每一个特定单元的重叠信息赋予视差的定时。在向重叠信息赋予视差的这种配置中，被赋予重叠信息的视差可以与图像内容的改变相结合地动态改变。此外，例如，在立体图像字幕/图形生成单元226以及立体图像文本生成单元227 中，在重叠信息的重叠时段期间，向每一个特定单元的重叠信息赋予基于在重叠时段中从视差矢量之中选择的特定视差矢量(视差信息)的视差。例如，将特定视差矢量看作在重叠时段中在视差信息中指示最大视差的视差信息。在图39中向字幕(图形)数据流和文本数据流的各部分赋予的箭头表示向重叠信息赋予视差的定时。在这种情况下，在重叠时段的开始处向重叠信息赋予视差，之后赋予了视差的重叠信息用作应该重叠在左眼图像和右眼图像上的重叠信息。在向重叠信息赋予视差的这种配置中，可以将在重叠信息的重叠时段中的最大视差赋予重叠信息，而不管图像内容变化。[位流处理单元的另一示例配置]图40中图示的位流处理单元201A具有与图13中图示的上述传输数据产生单元 IlOA对应的配置。在该图40中，与图36中的那些部件对应的部件以同样的附图标记表示， 并且省略其详细描述。在该位流处理单元201A中，代替图36中图示的位流处理单元201的视差矢量解码器255，提供有视差矢量检索单元231。该视差矢量检索单元231从通过视频解码器221 获得的视频流中检索嵌入用户数据区域的视差矢量。然后，该视差矢量检索单元231将所检索到的视差矢量供应到立体图像字幕/图形生成单元226、立体图像文本生成单元227和多声道扬声器控制单元229。除此而外，尽管省略了详细描述，但与图36中图示的位流处理单元201类似地配置图40中图示的位流处理单元201A，并且与其类似地操作。[向重叠信息赋予视差]现在，将给出关于在图40中图示的位流处理单元201A的立体图像字幕/图形生成单元226以及立体图像文本生成单元227中向重叠信息赋予视差的进一步描述。例如，如图41所示，从广播站100(参见图1)发送图像数据流、字幕或图形数据流以及文本数据流。此外，在将视差矢量(参见图8和图27)嵌入图像数据流中的同时发送该视差矢量。在这种情况下，对图像数据的每一个特定单元(如以编码视频的画面为单元)， 在与特定单元对应的视差矢量嵌入图像数据流中的同时发送该视差矢量。在立体图像字幕/图形生成单元226以及立体图像文本生成单元227中，在重叠信息的重叠时段期间，向每一个特定单元的重叠信息赋予基于对应的视差矢量(视差信息)的视差。在图41中被赋予字幕(图形)数据流和文本数据流的各部分的箭头表示向每一个特定单元的重叠信息赋予视差的定时。在向重叠信息赋予视差的这种配置中，被赋予重叠信息的视差可以与图像内容的改变相结合地动态改变。此外，例如，如图42和图43所示，从广播站100(参见图1)发送图像数据流、字幕或图形数据流以及文本数据流。此外，在将视差矢量(参见图8和图27)嵌入图像数据流的同时发送该视差矢量。在这种情况下，与相应特定时段(诸如编码视频的G0P、或I画面、 或场景等)的开始定时同步地共同发送与相应特定时段对应的相应特定单元的视差矢量。 作为特定单元，例如，可以用画面(帧)为单元或整数个画面为单元。
例如，在立体图像字幕/图形生成单元226以及立体图像文本生成单元227中，在重叠信息的重叠时段期间，向每一个特定单元的重叠信息赋予基于对应的视差矢量(视差信息)的视差。在图42中被赋予字幕(图形)数据流和文本数据流的各部分的箭头表示向每一个特定单元的重叠信息赋予视差的定时。在向重叠信息赋予视差的这种配置中，被赋予重叠信息的视差可以与图像内容的改变相结合地动态改变。此外，例如，在立体图像字幕/图形生成单元226以及立体图像文本生成单元227 中，在重叠信息的重叠时段期间，向每一个特定单元的重叠信息赋予基于从重叠时段中的视差矢量之中的选择的特定视差矢量(视差信息)的视差。特定视差矢量(例如特定视差信息)被看作在重叠时段中在视差信息中指示最大视差的视差信息。在图43中被赋予字幕(图形)数据流和文本数据流的各部分的箭头表示向重叠信息赋予视差的定时。以这种方式，在重叠时段的开始处，将视差赋予重叠信息，之后赋予了视差的重叠信息用作应该重叠在左眼图像和右眼图像上的重叠信息。在向重叠信息赋予视差的这种配置中，可以将在重叠信息的重叠时段中的最大视差赋予重叠信息，而不管图像内容变化。[位流处理单元的另一示例配置]图44中图示的位流处理单元201B具有与图15中图示的上述传输数据产生单元 IlOB对应的配置。在该图44中，与图36的那些部件对应的部件以同样的附图标记表示，并且省略其详细描述。代替图36中图示的位流处理单元201的视差矢量解码器255，该位流处理单元 201B提供有视差矢量检索单元232。该视差矢量检索单元232检索嵌入通过字幕/图形解码器222获得的字幕或图形流的视差矢量。然后，该视差矢量检索单元232将检索出的视差矢量供应到立体图像字幕/图形生成单元226、立体图像文本生成单元227和多声道扬声器控制单元229。除此而外，尽管省略了详细描述，但与图36中图示的位流处理单元201类似地配置图44中图示的位流处理单元201B，并且与其类似地操作。注意，在图44中的位流处理单元20IB中向重叠信息赋予视差类似于在图40中的以上位流处理单元20IA中向重叠信息赋予视差(参见图41到图43)。[位流处理单元的另一示例配置]图45中所图示的位流处理单元201C具有与图21中所示的上述传输数据产生单元IlOC对应的配置。在该图45中，与图36中的那些部件对应的部件以同样的附图标记表示，并且省略其详细描述。通过从图36中图示的位流处理单元201中去除视差矢量解码器255、立体图像字幕/图形生成单元226以及立体图像文本生成单元227获得该位流处理单元201C。在这种情况下，视差矢量被预先反映在字幕信息、图形信息和文本信息的数据中。如上所述，发送的字幕数据或图形数据包括要重叠在左眼图像上的左眼字幕信息或图形信息的数据以及要重叠在右眼图像上的右眼字幕信息或图形信息的数据。类似地，如上所述，发送的文本数据包括要重叠在左眼图像上的左眼文本信息的数据以及要重叠在右眼图像上的右眼文本信息的数据。因此，视差矢量解码器255、立体图像字幕/图形生成单元226以及立体图像文本生成单元227不是必须的。注意，由于文本解码器223获得的文本数据是代码数据(字符代码)，因此将其转换为位图数据的处理是必须的。例如，在文本解码器223的最后级或者在视频重叠单元228 的输入级进行该处理。[电视接收器的描述]返回到图1，电视接收器300经由HDMI线缆400接收从机顶盒200发送的立体图像数据。该电视接收器300包括3D信号处理单元301。该3D信号处理单元301对立体图像数据进行与传输方法对应的处理(解码处理)，从而产生左眼图像数据和右眼图像数据。 也就是说，该3D信号处理单元301进行与图2、图13、图15、图21和图22中图示的传输数据产生单元110、110A、110B、110C和IlOD中的视频成帧单元112所进行的处理的逆处理。 然后，该3D信号处理单元301获得形成立体图像数据的左眼图像数据和右眼图像数据。[电视接收器的示例配置]将描述电视接收器300的示例配置。图46图示了电视接收器300的示例配置。 该电视接收器300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子 304、数字调谐器305和位流处理单元306。此外，该电视接收器300包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311和扬声器312。此外，该电视接收器300包括CPU 321、闪速ROM 322、DRAM 323、内部总线324、遥控接收单元325和遥控发送器326。天线端子304是用于输入由接收天线(未示出)接收到的电视广播信号的端子。 数字调谐器305处理输入到天线端子304的电视广播信号，并输出与用户选择的频道对应的特定位流数据(传送流)。与图35中图示的机顶盒200的位流处理单元201类似地配置位流处理单元306。 该位流处理单元306从位流数据中提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、重叠信息数据、视差矢量(视差信息)等。重叠信息数据可以是字幕数据、图形数据、文本数据(包括闭路字幕数据)等。该位流处理单元306组合重叠信息与立体图像数据，从而获得要显示的立体图像数据。此外，位流处理单元306输出音频数据。HDMI接收单元303接收通过与HDMI兼容的通信经由HDMI线缆400供应到HDMI 端子302的未压缩图像数据和音频数据。该HDMI接收单元303的版本例如是HDMI 1.4，并且处于可以处理立体图像数据的状态。下面将描述该HDMI接收单元303的细节。3D信号处理单元301对由HDMI接收单元303接收到的或者由位流处理单元306 获得的立体图像数据进行解码处理，从而产生左眼图像数据和右眼图像数据。在这种情况下，3D信号处理单元301对由位流处理单元306获得的立体图像数据进行与传输方法(参见图4)对应的解码处理。此外，3D信号处理单元301对由HDMI接收单元303接收到的立体图像数据进行与下面描述的TMDS传输数据结构对应的解码处理。视频/图形处理电路307基于3D信号处理单元301产生的左眼图像数据和右眼图像数据，产生用于显示立体图像的图像数据。此外，视频/图形处理电路307根据需要， 对图像数据进行图像质量调整处理。此外，视频/图形处理电路307根据需要，组合重叠信息(诸如菜单、节目表)的数据与图像数据。面板驱动电路308基于从视频/图形处理电路307输出的图像数据来驱动显示面板309。显示面板309例如由IXD (液晶显示器)、 PDP (等离子显示面板)等组成。音频信号处理电路310对由HDMI接收单元303接收到的或者由位流处理单元306 获得的音频数据进行必要的处理(诸如D/A转换)。音频放大器电路311放大从音频信号处理电路310输出的音频信号，并将其供应到扬声器312。CPU 321控制电视接收器300的各个单元的操作。闪速ROM 322存储控制软件并存储数据。DRAM 323形成CPU 321的工作区域。CPU 321将从闪速RAM 322读取的软件和数据展开在DRAM 323上并启动软件，并且控制电视接收器300的各个单元。遥控接收单元325接收从遥控发送器3 发送的遥控信号(遥控代码)，并将其供应到CPU 321。CPU 321基于该遥控代码控制电视接收器300的各个单元。CPU 321、闪速 ROM 322和DRAM 323连接到内部总线324。将简要描述图46中图示的电视接收器300的操作。HDMI接收单元303接收经由 HDMI线缆400而从连接到HDMI端子302的机顶盒200发送的立体图像数据和音频数据。 由该HDMI接收单元303接收到的该立体图像数据被供应到3D信号处理单元301。此外，由该HDMI接收单元303接收到的音频数据被供应到音频信号处理电路310。将输入到天线端子304的电视广播信号供应到数字调谐器305。该数字调谐器305 处理电视广播信号，并输出与用户选择的频道对应的特定位流数据(传送流)。将从数字调谐器305输出的位流数据供应到位流处理单元306。在该位流处理单元306中，从位流数据中提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、 重叠信息数据、视差矢量(视差信息)等。此外，在该位流处理单元306中，组合重叠信息 (闭路字幕信息、字幕信息、图形信息和文本信息)的数据与立体图像数据，以便产生要显示的立体图像数据。由位流处理单元306产生的要显示的立体图像数据被供应到3D信号处理单元 301。此外，将由位流处理单元306获得的音频数据供应到音频信号处理电路310。在3D信号处理单元301中，对由HDMI接收单元303接收到的或者由位流处理单元306获得的立体图像数据进行解码处理，以便产生左眼图像数据和右眼图像数据。将左眼图像数据和右眼图像数据供应到视频/图形处理电路307。在该视频/图形处理电路307 中，基于左眼图像数据和右眼图像数据，产生用于显示立体图像的图像数据，并且还根据需要进行图像质量调整处理和组合重叠信息数据的处理。将由该视频/图形处理电路307获得的图像数据供应到面板驱动电路308。因此， 在显示面板309上显示立体图像。例如，以时分方式交替地显示基于左眼图像数据的左眼图像和基于右眼图像数据的右眼图像。观众可以通过佩戴快门眼镜(在其中与显示面板 309上的显示同步地交替地打开左眼快门和右眼快门)，仅仅用左眼观看左眼图像并且仅仅用右眼观看右眼图像，从而能够感觉到立体图像。此外，在音频信号处理电路310中，对由HDMI接收单元303接收到的或者由位流处理单元306获得的音频数据进行必要的处理，如D/A转换。音频放大电路311放大该音频数据，然后将其供应到扬声器312。因此，从扬声器312输出与在显示面板309上显示的图像对应的音频。
[HDMI发送单元和HDMI接收单元的示例配置]图47图示了图1中的立体图像显示系统10中的机顶盒200的HDMI发送单元 (HDMI信源)206和电视接收器300的HDMI接收单元(HDMI信宿)303的示例配置。在有效图像时段(在下文中，必要时也称为活动视频时段)中，HDMI发送单元206 使用多个通道单向地将与一屏幕的未压缩图像的像素数据对应的差分信号发送到HDMI接收单元303。这里，通过从自一个垂直同步信号至下一个垂直同步信号的时段中去除水平消隐时段和垂直消隐时段而获得有效图像时段。此外，在水平消隐时段或垂直消隐时段中， HDMI发送单元206使用多通道单向地向HDMI接收单元303发送与伴随图像的至少音频数据和控制数据、其他辅助数据等对应的差分信号。由HDMI发送单元206和HDMI接收单元303构成的HDMI系统的传输通道包括下列传输通道。也就是说，存在用作用于与像素时钟同步地、单向串行地将像素数据和音频数据从HDMI发送单元206发送到HDMI接收单元303的传输通道的三个TMDS通道#0至#2。 此外，存在用作发送像素时钟的传输通道的TMDS时钟通道。HDMI发送单元206包括HDMI发送器81。发送器81例如将未压缩图像的像素数据转换为对应的差分信号并使用多个通道三个TMDS通道#0、#1和#2，单向串行地将它们发送到经由HDMI线缆400连接的HDMI接收单元303。此外，发送器81将伴随未压缩图像的音频数据、必要的控制数据、其他辅助数据等转换为对应的差分信号，并且使用三个TMDS通道#0、#1和#2单向串行地将它们发送到 HDMI接收单元303。进一步，发送器81使用TMDS时钟通道，将与使用三个TMDS通道#0、#1和#2发送的像素数据同步的像素时钟发送到经由HDMI线缆400连接的HDMI接收单元303。这里，在一个TMDS通道#i(i = 0、1或2)中，在像素时钟的一个时钟中发送10-位像素数据。HDMI接收单元303在活动视频时段中，接收使用多个通道单向地从HDMI发送单元206发送的、与像素数据对应的差分信号。此外，在水平消隐时段或垂直消隐时段中，该 HDMI接收单元303接收使用多通道单向地从HDMI发送单元206发送的、与音频数据或控制数据对应的差分信号。也就是说，HDMI接收单元303包括HDMI接收器82。该HDMI接收器82接收与像素数据对应的差分信号以及与使用TMDS通道#0、#1和#2单向地从HDMI发送单元206发送的音频数据和控制数据对应的差分信号。在这种情况下，HDMI接收器82与使用TMDS时钟通道从HDMI发送单元206发送的像素时钟同步地接收差分信号。除了上述TMDS通道#0至#2以及TMDS时钟通道之外，在HDMI系统中的传输通道还包括被称为DDC(显示数据通道)83和CEC线84的传输通道。DDC 83由未示出的、包括在HDMI线缆400中的两条信号线构成。HDMI发送单元206使用DDC 83从HDMI接收单元 303读取E-EDID (增强扩展显示标识数据)。也就是说，除了 HDMI接收器81之外，HDMI接收单元303还包括存储了作为关于其性能(配置/容量)的性能信息的E-EDID的EDID ROM(只读存储器)85。HDMI发送单元206例如响应于从CPU 211 (参看图35)供应的请求，使用DDC 83从经由HDMI线缆400 连接的HDMI接收单元303中读取E-EDID。HDMI发送单元206将所读取的E-EDID发送到CPU 211。CPU 211在闪速ROM 212或DRAM 213中存储该E-EDID。CPU 211可以基于E-EDID辨认HDMI接收单元303的性能设置。例如，CPU 211辨认包括HDMI接收单元303的电视接收器300是否能够处理立体图像数据，如果能够处理立体图像数据，则进一步辨认电视接收器300是否与那种TMDS传输
数据结构兼容。CEC线84由包括在HDMI线缆400中的单一信号线(未示出)构成，并且用于在 HDMI发送单元206与HDMI接收单元303之间进行控制数据的双向通信。该CEC线84组成控制数据线。此外，HDMI线缆400包含连接到被称为HPD (Hot Plug Detect，热插拔检测)的引脚的线(HPD线)86。信源设备可以使用该线86检测信宿设备的连接。注意，该HPD线86 也用作形成双向通信路径的HEAC-线。此外，HDMI线缆400包含用于从信源设备向信宿设备供电的线(电源线)87。进一步，HDMI线缆400包含公用设施线88。该公用设施线88也用作形成双向通信路径的HEAC+线。图48图示了在图47中的HDMI发送器81和HDMI接收器82的示例配置。HDMI 发送器81包括分别与三个TMDS通道#0、#1和#2对应的三个编码器/串行化器81A、81B 和81C。此外，编码器/串行化器81A、81B和81C中的每一个编码供应到其的图像数据、辅助数据和控制数据，将该数据从并行数据转换成串行数据，并发送作为差分信号的数据。这里，在图像数据具有R、G和B分量的三个分量的情况下，将B分量供应到编码器/串行化器 81A，将G分量供应到编码器/串行化器81B，而将R分量供应到编码器/串行化器81C。此外，例如，辅助数据包括音频数据和控制包。例如，将该控制包供应到编码器/ 串行化器81A，而将该音频数据供应到编码器/串行化器81B和81C。进一步，控制数据包括
1-位垂直同步信号(VSYNC)、1-位水平同步信号(HSYNC)和1-位控制位CTLO、CTL1、CTL2 和CTL3。将垂直同步信号和水平同步信号供应到编码器/串行化器81A。将控制位CTLO 和CTLl供应到编码器/串行化器81B，而将控制位CTL2和CTL3供应到编码器/串行化器 81C。编码器/串行化器81A以时分方式发送供应到其的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。也就是说，编码器/串行化器81A将供应到其的图像数据的B分量看作8位单元(其是固定位数)的并行数据。进一步，编码器/串行化器81A编码该并行数据，将其转换为串行数据，并使用TMDS通道#0发送它。此外，编码器/串行化器81A编码供应到其的垂直同步信号和水平同步信号的
2-位并行数据，将其转换为串行数据，并使用TMDS通道#0发送它。进一步，编码器/串行化器81A将供应到其的辅助数据看作4位单元的并行数据。然后，编码器/串行化器81A 编码该并行数据，将其转换为串行数据，并使用TMDS通道#0发送它。编码器/串行化器81B以时分方式发送供应到其的图像数据的G分量、控制位 CTLO和CTLl以及辅助数据。也就是说，编码器/串行化器81B将供应到其的图像数据的G 分量看作8位单元(其是固定位数)的并行数据。进一步，编码器/串行化器81B编码该并行数据，将其转换为串行数据，并使用TMDS通道#1发送它。此外，编码器/串行化器81B编码供应到其的控制位CTLO和CTLl的2_位并行数据，将其转换为串行数据，并使用TMDS通道#1发送它。进一步，编码器/串行化器81B将供应到其的辅助数据看作4位单元的并行数据。然后，编码器/串行化器81B编码该并行数据，将其转换为串行数据，并使用TMDS通道#1发送它。编码器/串行化器81C以时分方式发送供应到其的图像数据的R分量、控制位 CTL2和CTL3以及辅助数据。也就是说，编码器/串行化器81C将供应到其的图像数据的R 分量看作8位单元(其是固定位数)的并行数据。进一步，编码器/串行化器81C编码该并行数据，将其转换为串行数据，并使用TMDS通道#2发送它。此外，编码器/串行化器81C还编码供应到其的控制位CTL2和CTL3的2_位并行数据，将其转换为串行数据，并使用TMDS通道#2发送它。进一步，编码器/串行化器8IC 将供应到其的辅助数据看作4位单元的并行数据。然后，编码器/串行化器81C编码该并行数据，将其转换为串行数据，并使用TMDS通道#2发送它。HDMI接收器82包括分别与三个TMDS通道#0、#1和#2对应的三个恢复器/解码器82A、82B和82C。恢复器/解码器82A、82B和82C分别接收使用TMDS通道#0、#1和#2 作为差分信号发送的图像数据、辅助数据和控制数据。进一步，恢复器/解码器82A、82B和 82C中的每一个将图像数据、辅助数据和控制数据从串行数据转换成并行数据，将其解码并输出它。也就是说，恢复器/解码器82A接收使用TMDS通道#0作为差分信号发送到其的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。然后，恢复器/解码器82A 将该图像数据的B分量、垂直同步信号、水平同步信号和辅助数据从串行数据转换成并行数据，并解码和输出它。恢复器/解码器82B接收使用TMDS通道#1作为差分信号发送到其的图像数据的 G分量、控制位CTLO和CTLl以及辅助数据。然后，恢复器/解码器82B将该图像数据的G 分量、控制位CTLO和CTLl以及辅助数据从串行数据转换成并行数据，并解码和输出它。恢复器/解码器82C接收使用TMDS通道#2作为差分信号发送到其的图像数据的 R分量、控制位CTL2和CTL3以及辅助数据。然后，恢复器/解码器82C将该图像数据的R 分量、控制位CTL2和CTL3以及辅助数据从串行数据转换成并行数据，并解码和输出它。图49图示了 TMDS传输数据的示例结构。图49图示了在使用TMDS通道#0、#1和 #2发送水平1920像素X垂直1080像素的图像数据的情况下相应多条传输数据的时段。在使用HDMI的三个TMDS通道#0、#1和#2发送传输数据的视频场中，按照传输数据的类型，存在三种类型的时段。这三种类型的时段包括视频数据时段、数据岛时段和控制时段。这里，视频场时段是从垂直同步信号的活动沿到下一个垂直同步信号的活动沿的时段。这种视频场时段包括水平消隐时段、垂直消隐时段和活动视频时段。通过从视频场时段中去除水平消隐时段和垂直消隐时段获得该活动视频时段。将视频数据时段分配给活动视频时段。在该视频数据时段中，发送与1920像素X 1080行对应的活动像素(Active Pixel)的数据(其形成一屏幕的未压缩图像数据)。将数据岛时段和控制时段分配给水平消隐时段和垂直消隐时段。在数据岛时段和控制时段中，发送辅助数据。也就是说，将数据岛时段分配给水平消隐时段和垂直消隐时段的一部分。在该数据岛时段中，发送辅助数据中与控制无关的数据(例如音频数据的包
寸J ο将控制时段分配给水平消隐时段和垂直消隐时段的其他部分。在该控制时段中，发送辅助数据中与控制有关的数据(例如垂直同步信号和水平同步信号、控制包等)。图50图示了 HDMI端子的引脚分配表的示例。图50中所图示的引脚分配表被称为A型(type-A)。使用用作差分线的两条线发送作为TMDS通道#i的差分信号的TMDS数据#1+和TMDS数据#i-。该两条线连接到TMDS数据#i+分配到的引脚(具有引脚号1、4 和7的引脚)以及TMDS数据#i-分配到的引脚(具有引脚号3、6和9的引脚)。此外，通过其发送用作控制数据的CEC信号的CEC线84连接到具有引脚号13的引脚。此外，通过其发送诸如E-EDID之类的SDA (Serial数据)信号的线连接到具有引脚号16 的引脚。通过其发送作为用于在SDA信号的发送和接收时的同步的时钟信号的SCLGerial Clock)信号的线连接到具有引脚号15的引脚。上述DDC 83由通过其发送SDA信号的线和通过其发送SCL信号的线组成。此外，如上所述，由信源设备用来检测信宿设备的连接的HPD线(HEAC-线)86被连接到具有引脚号19的引脚。此外，公用设施线(HEAC+线)88连接到具有引脚号14的引脚。此外，如上所述，用于供电的线87连接到具有引脚号18的引脚。[E-EDID 结构]如上所述，HDMI发送单元206例如响应于来自CPU 211 (参看图35)的请求，使用 DDC 83从经由HDMI线缆400连接的HDMI接收单元303中读取E-EDID。然后，CPU 211基于该E-EDID辨认HDMI接收单元303的性能设置(例如，是否可以处理立体图像数据)。图51图示了 E-EDID的数据结构的示例。E-EDID由基本块和扩展块构成。在基本块中，在开头处安排通过以“E-EDID 1. 3基本结构”表示的E-EDID1. 3标准定义的数据。 在该基本块中，用“优选定时”表示的、用于保持与传统EDID的兼容性的定时信息跟着。此外，在该基本块中，用“第二定时”表示的、用于保持与传统EDID的兼容性的、不同于“优选定时”的定时信息跟着。此外，在基本块中，用“监视器名称”表示的、指示显示设备的名称的信息跟着“第二定时”。在基本块中，用“监视器范围限制”表示的、指示宽高比为4:3和16:9时可显示的像素数的信息跟着。在扩展块的开头安排“简短视频描述符”。这是指示可显示图像大小(分辨率)、 帧速和隔行还是逐行的信息。接下来安排“简短音频描述符”。这是指示可以用于再现的音频编码解码方法、采样频率、截止带、编码解码位数等的信息。接下来，安排用“扬声器分配” 表示的、关于左和右扬声器的信息。此外，在扩展块中，用“厂商专用”表示的、对于每一个厂商唯一定义的数据跟着 “扬声器分配”。在扩展块中，用“第三定时”表示的、用于保持与传统EDID的兼容性的定时信息跟着。在扩展块中，用“第四定时”表示的、用于保持与传统EDID的兼容性的定时信息
进一步跟着。图52图示了厂商专用区域(HDMI厂商专用数据块)的数据结构的示例。在该厂商专用区域中，提供了 1-字节的第零块至第N块。在第零块中，安排用“厂商专用标签代码(=3) ”表示的、指示数据“厂商专用”的数据区域的头部。此外，在该第零块中，还安排用“长度(=N) ”表示的、指示数据“厂商专用”的长度的信息。此外，在第一块至第三块中，安排用“ 24-位IEEE注册标识符(0x000C03) LSB在前”表示的、指示对于HDMI (R)注册的号码“0X000C03”的信息。此外，在第四块和第五块中，安排分别用“A”、“B”、“C”和“D”表示的、指示24-位信宿设备的物理地址的信息。在第六块中，安排用“Supports-AI”表示的、示出信宿设备与其兼容的功能的标志。此外，在该第六块中，还安排分别用“DC-48位”，“DC-36位”和“DC-30位”表示的、指定每个像素的位数的多条信息。此外，在该第六块中，还安排用“DC-Y444”表示的、指示信宿设备是否与YCbCr 4:4:4的图像的传输兼容的标志。进一步，在该第六块中，安排用“DVI-Dual” 表示的、示出信宿设备是否与双重DVI (数字视频接口)兼容的标志。此外，在第七块中，安排用“Max-TMDS-Clock”表示的、指示TMDS的像素时钟的最大频率的信息。此外，在第八块的第六位和第七位中，安排用“等待时间”表示的、示出视频和音频的延迟信息的存在/不存在的标志。此外，在该第八块的第五位中，安排用“HDMI_ Video_present”表示的、示出附加HDMI视频格式(3D，4kX2k)是否可以处理的标志。此外，在第九块中，安排用“视频等待时间”表示的、逐行视频的延迟时间数据。在第十块中，安排用“音频等待时间”表示的、伴随该逐行视频的音频的延迟时间数据。此外， 在第十一块中，安排用“隔行视频等待时间”表示的、隔行视频的延迟时间数据。进一步，在第十二块中，安排用“隔行音频等待时间”表示的、伴随该隔行视频的音频的延迟时间数据。此外，在第十三块的第七位中，安排用“3D_present”表示的、示出3D图像数据是否可以处理的标志。此外，在第十四块的第七至第五位中，安排用“HDMI_VIC_LEN”表示的、 指示安排在未示出的第十五块或其后的块中可以处理的数据结构以及强制3D数据结构的块的大小信息。此外，在第十四块的第四至第零位中，安排用“HDMI_3D_LEN”表示的、安排在未示出的第十五块及其后的块中并且指示可以处理的的视频格式的块的大小信肩、ο[立体图像数据的TMDS传输数据结构]图53图示了作为立体图像数据的TMDS传输数据结构之一的帧封装(Frame Packing)方法的3D视频格式。该3D视频格式是用于在逐行(progressive)方法中将左眼 (L)和右眼(R)图像数据作为立体图像数据发送的格式。在该3D视频格式中，将1920X1080像素和1080X720的像素格式的图像数据作为左眼(L)和右眼(R)图像数据发送。注意，图53图示了左眼(L)图像数据和右眼(R)图像数据中的每一个都由1920行X 1080像素构成的示例。利用该3D视频格式，产生在其中视频场时段用作一个单元的传输数据，该视频场时段使用垂直同步信号进行划分，并包括水平消隐时段(Hblank)、垂直消隐时段(Vblank) 和活动视频时段(Hactive X Vactive)。在该3D视频格式中，活动视频时段具有两个活动视频区域(Active Video)和在其间的一个活动间隔区域(Active space) 0左眼(L)图像数据安排在第一活动视频区域中，而右眼(R)图像数据安排在第二活动视频区域中。图M图示了作为立体图像数据的TMDS传输数据结构之一的行交替(Line alternative)方法的3D视频格式。该3D视频格式是用于以逐行方法将左眼(L)和右眼 (R)图像数据作为立体图像数据发送的格式。在该3D视频格式中，作为左眼(L)和右眼(R) 图像数据发送1920X1080像素的像素格式的图像数据。利用该3D视频格式，产生在其中视频场时段用作一个单元的传输数据，该视频场时段使用垂直同步信号进行划分，并包括水平消隐时段(Hblank)、垂直消隐时段 (2 X Vblank)和活动视频时段(Hactive X 2Vactive)。在该3D视频格式中，在活动视频时段中交替地安排左眼图像数据的一行和右眼图像数据的一行。图55图示了作为立体图像数据的TMDS传输数据结构之一的并排(满)方法的3D 视频格式。该3D视频格式是用于以逐行方法将左眼(L)和右眼(R)图像数据作为立体图像数据发送的格式。在该3D视频格式中，作为左眼(L)和右眼(R)图像数据发送1920 X 1080 像素的像素格式的图像数据。利用该3D视频格式，产生在其中视频场时段用作一个单元的传输数据，该视频场时段使用垂直同步信号进行划分，并包括水平消隐时段OXHblank)、垂直消隐时段 (Vblank)和活动视频时段OHactiveXVactive)。在该3D视频格式中，在活动视频时段中， 在水平方向的前一半中安排左眼(L)图像数据，而在水平方向的后一半中安排右眼(R)图像数据。注意，虽然省略了详细描述，但除了在上述图53至55中所示的3D视频格式之外的3D视频格式被定义为HDMI 1.4中的立体图像数据的TMDS传输数据结构。例如， 存在帧封装(用于隔行格式的帧封装)方法、场交替(field alternative)方法、并排 (side-by-side)(半)方法等。[机顶盒和电视接收器的另一示例配置]图35所示的机顶盒200被配置成使用HDMI接口将基带立体图像数据和音频数据发送到电视接收器300。然而，可以使用HDMI接口将用在位流处理单元201中的全部或某些视差矢量(参见图8和图27)用作视差信息集从机顶盒发送到电视接收器，并且可以使用它们。图56图示发送视差信息集的机顶盒200A的示例配置。在图56中，以同样的附图标记表示与图35中的那些部件对应的部件，并且省略其详细描述。在机顶盒200A中，将视差信息集从位流处理单元201供应到HDMI发送单元206。然后，用HDMI发送单元206将这种视差信息集与立体图像数据和音频数据一起，从HDMI端子202发送到HDMI线缆400。 除此而外，类似于图35中所示的机顶盒200地配置机顶盒200A，并类似地操作该机顶盒 200A。此外，图57图示接收和使用视差信息集的电视接收器300A的示例配置。在图57 中，以同样的附图标记表示与图46中的那些部件对应的部件，并且恰当地省略其详细描述。在电视接收器300A中，将HDMI接收单元303接收到的视差信息集供应到视频/图形处理电路307。在视频/图形处理电路307中，基于包括在视差信息集中的视差矢量，向要粘贴在左眼图像和右眼图像上的同样条重叠信息(诸如菜单和节目表)赋予视差。也就是说，在电视接收器300A中，可以将已经根据图像中的各个对象的透视进行了视差调整的信息用作要重叠在左眼图像和右眼图像上的同样条重叠信息(诸如菜单和节目表)，并且可以在显示重叠信息时保持图像中的各个对象之间的透视一致性。除此而外，类似于图35中所示的电视接收器300地配置电视接收器300A，并类似地操作该电视接收器300A。图58图示从机顶盒200A发送到电视接收器300A的视差信息集的内容的示例。这种视差信息集包括N视差矢量的信息集。每一个信息集由十六位的块ID(ID_Block(i))和十六位的水平方向上的视差矢量(Disparity_Vector_Horizontal)组成。这里，例如，如在图59中所示，在包括通过将图像(画面)区域划分成九块获得的各个块BKO BK8的视差矢量的视差信息集的情况下，具有最大值的视差矢量(即，这个示例中的块BK4的视差矢量)安排在第一，然后顺序安排剩余块的视差矢量。[以HDMI发送视差信息集的方法]例如，可以使用下列方法(1)和(2)作为使用HDMI接口发送视差信息集的方法。(1)使用HDMI厂商专用信息帧的方法(2)使用3D视频格式的活动间隔的方法，诸如帧封装方法首先，描述(1)中的使用HDMI厂商专用信息帧的方法。在这种方法中，在HDMI厂商专用信息帧包中假定HDMI_Video_Format =“010”而3D_Meta_present = 1，并且指定厂商专用信息帧扩展。在那种情况下，3D_MetaData_type被定义为未使用的“010”，例如，并且指定视差信息集(Disparrity Set)的信息。图60图示了 HDMI厂商专用信息帧的包结构。这种HDMI厂商专用信息帧定义在 CEA-861-D中，因此省略其详细描述。在第四字节(PB4)的第七位至第五位中，安排指示图像数据的类型的3-位信息 “HDMI_Vide0_F0rmat”。在图像数据为3D图像数据的情况下，该3-位信息为“010”。此外，在图像数据为3D图像数据的情况下，在第五字节(PBO的第七位至第四位中，安排指示 TMDS传输数据结构的4-位信息“3DJ5trUCtUre”。例如，在帧封装方法的情况下(参见图 53)，该4-位信息为“0000”。此外，例如，在行交替方法的情况下(参见图M)，该4-位信息为“0010”。此外，例如，在并排(满(Full))方法的情况下(参见图55)，该4-位信息为 “0011”。此外，在第五字节(PB5)的第三位中安排“3D_Meta_present”，并且在指定了厂商专用信息帧扩展的情况下，该一位为“1”。此外，在第七字节(PB7)的第七位至第五位中安排“3D_Metadata_type”。在指定了视差信息集(Disparrity Set)的信息的情况下，该 3-位信息为未使用的“010”，例如。此外，在第七字节(PB7)的第四位至第零位中安排“3D_ Metadata_length”。该5_位信息指示安排在其后的3D_Metadata区域的长度。如以上所述的图58中所示，组成视差信息集的视差矢量的每一个信息集由十六位的块ID(ID_Block(i))和十六位的水平方向上的视差矢量(Disparity_Vector_ Horizontal)组成。例如，当1920X 1080的图像(画面)区域被划分成16X 16像素的块时，块数是8100，并且可以用十三位的ID表示各个块。此外，应该理解，在使用1920X1080 的图像大小中的像素数量表示水平方向上的视差的情况下，一般可以使用带代码的十一位而不会有问题。因此，使用第一至第三字节这样三个字节来安排相应视差矢量的信息集。将“ ID_ Block(i) ”的高八位安排在第一字节中，而将“ID_Block(i) ”的低五位安排在第二字节的第七位至第三位中。此外，将“Disparity_Vector_Horizontal”的高三位安排在第二字节的第二位至第零位，而将“DisparityJ^ectorJtorizontal”的低八位安排在第三字节中。为了发送九个块的视差矢量，如上述图59中所示，使用3个字节X9 = 27个字节的区域。可以用3D_Metadata_length指定包括在视差信息集中的从顶层起的层。作为选择，可以向3D_Metadata_type的空闲位添加定义，并且可以被指定成当3D_Metadata_type =“010”时插入第一层(整个屏幕中的最大视差)，而当3D_Metadata_type = “110”时插入第二层(多个分区的每一个中的分区内最大视差)。
接着，描述(2)中使用活动间隔的方法。在这种方法中，如图示HDMI厂商专用信息帧的包结构的图61中所示，在第五字节(PB5)的第二位中定义“ActiveSpace Enable", 其现在是Reserved (保留)位，而且该1-位信息为“1”。在这种状态下，使用现在被保留的活动间隔区域重新定义信息区域，并在那里安排视差信息集。活动间隔区域与在其中安排左眼图像数据和右眼图像数据的活动视频区域一起形成活动视频时段。这里，活动视频区域形成主要视频区域，而活动间隔区域形成辅助视频区域。活动间隔区域依赖于视频的图像大小而变化，并且当图像大小为1920X1080具有每帧45行(86400个字节)的容量。当将1920X1080的图像(画面)区域划分成16 X 16像素的块时，块数为8100。 在这种情况下，如上所述，使用三个字节来安排相应视差矢量的信息集。也就是说，将十三位用于 “ID_Block(i) ”，而将i^一位用于 “Disparity_Vector_Horizontal”。因此，安排包括所有块的视差矢量的视差信息集需要3个字节X8100 = 24300个字节的容量。如上所述，活动间隔区域具有86400个字节的容量。因此，可以通过使用这种活动间隔区域，以视频的帧为单元发送包括所有块的视差矢量的视差信息集。此外，可以缩小块的大小，并且增大视差矢量(视差信息)的间隔密度。在那种情况下，所述容量可能超过可以在一帧的活动间隔区域中发送的容量。在那种情况下，使用联接(coupling)信息清楚地指定下一帧的活动间隔的联接。图62图示安排在活动间隔区域中的视差信息集的结构。在第零字节中安排三位的信息“Active_space_info_Type，，、三位的“Block_Size，，禾卩两位的“Connect_Info，，。在第一字节和第二字节中安排指示安排后续视差信息集的区域的长度的十六的“Data_Length” 的高八位和低八位。使用三个字节的区域安排每一个视差矢量的信息集。在第一字节中安排“ID_ Block(i) ”的高八位，而在第二字节的第七位至第三位中安排“ID_Block(i) ”的低五位。此外，在第二字节的第二位至第零位中安排“Disparity_Vector_Horizontal”的高三位，而在第三字节中安排“Disparity_Vector_Horizontal”的低八位。图63图示图62中所示的视差信息集结构的每条信息的内容。信息“ActiVe_ space_info_Type"为表示视差信息集的标识信息。信息“Block_SiZe”指示表示视差矢量 (视差信息)的间隔密度的块大小。“00”表示块大小为1X1像素，S卩，一个像素。“01”表示块大小为16X16像素。“10”表示块大小为32X32像素。信息“Cormectjnfo”指示活动间隔区域的连接信息。“00”表示安排在该活动间隔区域中的视差信息集处于末端。“01”表示安排在该活动间隔区域中的视差信息集被连接到安排在后续活动间隔区域中的视差信息集。“10”表示安排在该活动间隔区域中的视差信息集被连接到安排在在前活动间隔区域中的视差信息集。“ 11 ”表示安排在该活动间隔区域中的视差信息集被连接到安排在在前和后续活动间隔区域中的视差信息集。注意，就在信宿侧上的处理而言，将视频帧在最后连接的活动间隔结束时的定时安排成与用于发送目标图像数据的帧至少相同的时间或更早来结束传输很重要。图64(a)图示了在“Bl0Ck_SiZe”为“01 ”或“ 10”的情况下相应视差矢量的信息集的示例安排。在这种情况下，如上所述，使用三个字节的区域来安排每一个视差矢量的信息集。图64(b)图示在“Block_Size”为“00”的情况下相应视差矢量的信息集的示例安排。在这种情况下，可以通过以扫描次序(视频像素次序)安排画面的所有像素来省略 "ID_Block(i) ”。也就是说，在这种情况下，使用两个字节的区域来安排每一个视差矢量的
fn息集。注意，在这种情况下，如图64(c)中所示，将带代码的i^一位的信息‘‘DiSparity_ Vectorjtorizontal”标准化为带代码的八位，从而可以使用一个字节的区域来安排每一个视差矢量的信息集，并且可以将传输带减少到一半。注意，以上已经给出了关于包括特定数量的视差矢量(视差信息)和指示相应视差矢量属于的图像区域中的位置的位置信息(块ID)作为从机顶盒200A发送到电视接收器300A的视差信息集的第一种类型的描述。然而，作为这种视差信息集，也可用包括图像区域的分割信息和表示相应分割区域的视差信息的第二种类型。首先，给出关于用于使用HDMI厂商专用信息帧选择性地发送第一种类型和第二种类型的视差信息集的方法的描述。在这种方法中，在HDMI厂商专用信息帧包中假定HDMI_Video_Format = “010”和3D_Meta_present = 1，并指定厂商专用信息帧扩展。 在那种情况下，例如，将3D_Metadata_type定义为未使用的“010”，并且指定视差信息集 (Disparrity Set)的信息。图65和图66图示了 HDMI厂商专用信息帧的包结构。这种HDMI厂商专用信息帧定义在CEA-861-D中，因此省略详细描述。在第四字节(PB4)的第七位至第五位中，安排指示图像数据的类型的3-位信息 "HDMI_Video_Format"0在图像数据为3D图像数据的情况下，该3-位信息为“010”。此夕卜， 在图像数据为3D图像数据的这种情况下，在第五字节(PB5)的第七位至第四位中，安排指示TMDS传输数据结构的4-位信息“3DJ5trUCtUre”。例如，在帧封装方法的情况下(参见图 53)，该4-位信息为“0000”。此外，例如，在行交替方法的情况下(参见图，该4-位信息为“0010”。此外，例如，在并排(满)方法的情况下(参见图55)，该4-位信息为“0011”。此外，在第五字节(PB5)的第三位中安排“3D_Meta_present”，并且在指定了厂商专用信息帧扩展的情况下，该一位为“1”。此外，在第七字节(PB7)的第七位至第五位中安排“3D_Metadata_type”。在指定了视差信息集(Disparrity Set)的信息的情况下，该 3-位信息为未使用的“010”，例如。此外，在第七字节(PB7)的第四位至第零位中安排“3D_ Metadata_length”。该5_位信息指示安排在其后的3D_Metadata区域的长度。此外，在第七+1(PB7+1)字节的第七位中安排“DisparityJnfo_type(l位)”。 该信息指示视差信息集的类型为第一种类型还是第二种类型。如图67中所示，当 “Disparityjnfojype”为“1”时，该信息指示视差信息集的类型为第一种类型。在这种情况下，该视差信息集包括特定数量的视差矢量(视差信息)和指示相应视差矢量属于的图像区域中的位置的位置信息(块ID)。此外，当"Disparity_Info_type"为“0”时，该信息指示视差信息集的类型为第二种类型。在这种情况下，该视差信息集包括图像区域的分割信息和表示相应分割区域的视差信息。此外，在第七+1字节的第六至第四位中安排“维度(3位)”。该信息为图像(画面)区域的分割信息。如图67和图68(a)中所示，当“维度”为“00”时，不划分图像(画面)区域，其表示发送表示这个图像(画面)区域的一个视差矢量(视差信息)。此外，如图67和图68(b)中所示，当“维度”为“001”时，将图像(画面)区域划分成四个块，其表示发送表示相应分割区域的四个视差矢量(视差信息)。在这种情况下， 进行安排以便左上区域中的视差矢量是第一个，而右下区域中的视差矢量是最后一个(以图68(b)中从0到3的次序)。此外，如图67和图68(c)中所示，当“维度”为“010”时，将图像(画面)划分成九个块，其表示发送表示相应分割区域的九个视差矢量(视差信息)。在这种情况下，进行安排以便左上区域中的视差矢量是第一个，而右下区域中的视差矢量是最后一个(以图 68(c)中从0到8的次序)。此外，如图67和图68(d)中所示，当“维度”为“011”时，将图像(画面)划分成十六个块，其表示发送表示相应分割区域的十六个视差矢量(视差信息)。在这种情况下， 进行安排以便左上区域中的视差矢量是第一个，而右下区域中的视差矢量是最后一个(以图68(d)中从0到15的次序)。此外，在第七+1(PB7+1)字节的第三位中安排“Dl^strta位)”。该信息指示当前帧的视差信息集的连续性信息。如图67中所示，当“Dl^strt”为“0”时，该连贯性信息表示当前帧的视差信息集与在前帧的视差信息集连续。此外，如图67中所示，当“Dl^strt”为 “ 1”时，该连贯性信息表示当前帧的视差信息集开始于当前帧。此外，在第七+1(PB7+1)字节的第二位中安排“ASP(1位)”。该信息指示是否使用活动间隔区域发送视差信息集。当“ASP”为“1”时，其表示使用活动间隔区域发送视差信息集。注意，使用HDMI厂商专用信息帧发送视差信息集，并且“ASP”为“0”。此外，在第七+1 (PB7+1)字节的第一位中安排“VB(1位)”。该信息指示是否使用除HDMI厂商专用信息帧包之外的包、在图像数据的消隐时段中发送视差信息集。当“VB” 为“1”时，其指示使用除HDMI厂商专用信息帧包之外的包、在图像数据的消隐时段中发送视差信息集。注意，使用HDMI厂商专用信息帧发送视差信息集，并且“VB”为“0”。在第七+2字节及其以后字节中安排实际视差信息集。图65图示了 “Disparity, hfo_type”为“0”的情况。将第二种类型的视差信息集安排为视差信息集。顺序安排表示分割区域的水平方向上的视差矢量(视差信息)。在这种情况下，每一个视差矢量为8-位信息。这里，当“维度”为“000”、“001”、“010”和“011”时，分别安排一个视差矢量、四个视差矢量、九个视差矢量和十六个视差矢量(视差信息)。图66图示了“Disparityjnfojype”为“1”的情况。将第一种类型的视差信息集安排为视差信息集。顺序安排位置信息(块ID)和视差矢量的集合。例如，当将1920X1080 的图像(画面)区域划分成16X 16像素的块时，块数为8100，并且可以用十三位的ID来表示各个块。这里，如图69(d)中所示，每一个视差矢量集由十三位的块ID(ID_Block(i))和八位的水平方向上的视差矢量(Disparity_Vector_Horizontal)组成。因此，使用第一到第三字节的三个字节来安排每一个视差矢量集。将“ID_Block(i) ”的高八位安排在第一字节中，而将“ID_Block(i)”的低五位安排在第二字节的第七位至第三位中。将“Disparity, Vector_Horizontal ”安排在第三字节中。视差矢量集的数量依赖于包括在视差信息集的层。例如，当仅仅包括在图69(a) 中所示的层时，集合的数量为一，并且例如，该集合的视差矢量指示在图69(d)中所示的底层中的相应区域(块)中检测到的视差矢量之中的最大视差。此外，该集合的块ID表示指示最大视差的视差矢量属于的底层的区域位置。类似地，例如，在仅仅包括图69(b)中所示的层的情况下，集合的数量为四，其对应于相应的区域。在仅仅包括图69(c)中所示的层的情况下，集合的数量为二十四，其对应于相应的区域。在这种情况下，相应集合的视差矢量指示包括在相应区域的底层中的相应区域(块)中检测到的视差矢量之中的最大视差。此外，每一个集合的块ID表示指示最大视差的视差矢量属于的底层的区域位置。注意，图65和图66中所示的HDMI厂商专用信息帧的包结构以信息“DiSparity_ hfo_type”示出使用这种包发送的视差信息集的类型为第一种类型还是第二种类型。然而，在使用这种包发送的视差信息集的类型一开始就被限制为仅仅第一种类型或者第二种类型的情况下，不需要信息“Disparityjnfojype”。图70图示在要发送的视差信息集的类型被限制为仅仅第二种类型的情况下的HDMI厂商专用信息帧的包结构。在这种情况下，保留第七+1字节(PB7+1)的第七位 (Reserved(O))。接着，将给出关于使用活动间隔选择性地发送第一种类型或第二种类型的视差信息集的方法的描述。在这种方法中，如图示HDMI厂商专用信息帧的包结构的图71中所示， 在现在是保留位的第七+1字节(PB7+1)的第二位中定义“ASP(1位)”，并且该1-位信息为 “1”。在这种状态下，使用现在被保留的活动间隔区域重新定义信息区域，并且在那里安排视差信息集。注意，在图71中的HDMI厂商专用信息帧的包结构中，在第七字节中安排类似于上述图65和图66中所示的HDMI厂商专用信息帧的包结构的信息的信息。图72图示在“Disparityjnfojype”为“0”的情况下，即，在将第二种类型的视差信息集作为视差信息集发送的情况下，安排在活动间隔区域中的视差信息集的结构。在这种情况下，将水平方向上表示相应分割区域的视差矢量(视差信息)顺序安排为视差信息集。在第零字节中安排三位的信息“Active_space_info_Type ”和两位的“ ConnectJnfo ”。 此外，第一字节和第二字节中，安排指示在其中安排后续视差信息集的区域的长度的十六位的“Data_Length”高八位和低八位。图73图示在“Disparityjnfojype”为“1”的情况下，即，在将第一种类型的视差信息集作为视差信息集发送的情况下，安排在活动间隔区域中的视差信息集的结构。在这种情况下，顺序地将位置信息(块ID)和视差矢量集安排为视差信息集。在第零字节中，安排三位的信息“Active_space_info_Type”、三位的“Block_ Size”和两位的“Connect Jnfo”。在第一字节和第二字节中，安排指示在其中安排后续视差信息集的区域的长度的十六位的“Data_Length”高八位和低八位。使用三个字节的区域来安排每一个视差矢量的信息集。在第一字节中安排“ID_ Block(i) ”的高八位，而在第二字节的第七位至第三位中安排“ID_Block(i) ”的低五位。在第三字节中安排 “Disparity_Vector_Horizontal”。图74图示在图72和图73中所示的视差信息集结构的每一条信息的内容。信息 "Active.space.info.Type"为表示视差信息集的标识信息。信息“Block_SiZe”指示表示视差矢量(视差信息)的间隔密度的块大小。“00”表示该块大小为1X1像素，即，一个像素。“01”表示块大小为16X16像素。“10”表示块大小为32X32像素。
信息“Cormectjnfo”示出活动间隔区域的连接信息。“00”表示安排在当前活动间隔区域中的视差信息集开始于当前活动间隔区域。“01”表示安排在该活动间隔区域中的视差信息集被连接到安排在后续活动间隔区域中的视差信息集。“10”表示安排在该活动间隔区域中的视差信息集被连接到安排在在前活动间隔区域中的视差信息集。“11”表示安排在该活动间隔区域中的视差信息集被连接到安排在在前和后续活动间隔区域中的视差信息集O注意，就在信宿侧上的处理而言，将视频帧在最后连接的活动间隔结束时的定时安排成与用于发送目标图像数据的帧至少相同的时间或更早来结束传输很重要。图75(a)图示了在视差信息集的类型为第一种类型并且“Bl0Ck_SiZe”为“01 ”或 “10”的情况下，相应视差矢量的信息集的示例安排。在这种情况下，如上所述，使用三个字节的区域来安排每一个视差矢量的信息集。图75(b)图示在视差信息集的类型为第一种类型并且“Block_Size”为“00”的情况下，相应视差矢量的信息集的示例安排。在这种情况下，可以通过以扫描次序(视频像素次序)安排画面的所有像素来省略“ID_Block(i)”。也就是说，在这种情况下，使用两个字节的区域来安排每一个视差矢量的信息集。注意，图71中所示的HDMI厂商专用信息帧的包结构以信息“DisparityJnfo_ type”示出在活动间隔区域中发送的视差信息集的类型为第一种类型还是第二种类型。然而，在活动间隔区域中发送的视差信息集的类型一开始就被限制为仅仅第一种类型或者第二种类型的情况下，不需要信息“Disparityjnfojype”。在这种情况下，如图76中所示， 保留第七+1字节(PB7+1)的第七位(Reserved(O))0如上所述，在图1中所示的立体图像显示系统10中，基于左眼图像和右眼图像之一关于另一个的视差信息，将视差赋予要重叠在左眼图像和右眼图像上的同样条重叠信息 (诸如闭路字幕信息、字幕信息、图形信息和文本信息)。因此，可以将已经根据图像中的各个对象的视差进行了视差调整的信息用作要重叠在左眼图像和右眼图像上的同样条重叠信息，并且可以在显示重叠信息时保持图像中的各个对象之中的透视一致性。<2.变型 >注意，在上述实施例中，立体图像显示系统10由广播站100、机顶盒200和电视接收器300组成。然而，如图46中所示，电视接收器300提供有位流处理单元306，其作用等效于机顶盒200中的位流处理单元201。因此，如图77中所示，由广播站100和电视接收器 300组成的立体图像显示系统IOA可用。此外，在上述实施例中，已经描述了由广播站100广播包括立体图像数据的数据流(位流数据)的示例。然而，本发明当然可以应用到具有使用网络(诸如因特网)将这种数据流分布到接收终端的配置的系统。此外，在上述实施例中，已经将使用HDMI厂商专用信息帧的方法和使用活动间隔的方法描述成了从机顶盒200A向电视接收器300A发送视差信息集的方法。作为替代，可以通过由HPD线86 (HEAC-Iine)和公用设施线88 (HEAC+line)组成的双向通信路径发送该
视差信息集。此外，在上述实施例中，经由HDMI的数字接口将机顶盒200和200A连接到电视接收器300和300A。然而，本发明当然可以应用到它们经由类似于HDMI的数字接口的数字接口(包括无线以及有线)连接的情况。
此外，在上述实施例中，已经给出了关于使用HDMI接口将使用在位流处理单元 201中的所有或某些视差矢量(参见图8和图27)作为视差信息集，从机顶盒200A发送到电视接收器300A的示例的描述。然而，经由HDMI接口发送视差信息集的这种技术当然可以应用到其他信源设备和信宿设备的组合。例如，诸如BD和DVD之类的盘播放器，特别是游戏机，可以被用作信源设备，而监视设备和投影设备可以被用作信宿设备。注意，本申请参考日本专利申请No. 2009-153686。工业实用性本发明可以应用于在图像上重叠重叠信息(诸如闭路字幕信息、字幕信息、图形信息、文本信息)并显示图像的立体图像显示系统等。附图标记列表10，IOA立体图像显示系统；100广播站；110，IlOA至100D传输数据产生单元； 111L，111R相机；112视频成帧单元；113视频编码器；113a流格式器；114视差矢量检测单元；115视差矢量编码器；116麦克风；117音频编码器；118字幕/图形生成单元；119字幕 /图形编码器；119a流格式器；120文本生成单元；121文本编码器；122多路复用器；IM 字幕/图形处理单元；125文本处理单元；130数据检索单元；130a数据记录介质；131至 133开关；134视差信息集创建单元；200，200A机顶盒；201，201A、201B、201C位流处理单元；202HDMI端子；203天线端子；204数字调谐器；205视频信号处理电路；206HDMI发送单元；207音频信号处理电路；21ICPU ；212闪速ROM ；213DRAM ；214内部总线；215遥控接收单元；216遥控发送器；220多路分用器；221视频解码器；222字幕/图形解码器；223文本解码器；2M音频解码器；225视差矢量解码器；2 立体图像字幕/图形生成单元；227立体图像文本生成单元；2 视频重叠单元；2 多声道扬声器控制单元；231视差矢量检索单元；232视差矢量检索单元；300，300A电视接收器；3013D信号处理单元；302HDMI端子； 303HDMI接收单元；304天线端子；305数字调谐器；306位流处理单元；307视频/图形处理电路；308面板驱动电路；309显示面板；310音频信号处理电路；311音频放大电路；312扬声器；321CPU ；322闪速ROM ；323DRAM ；324内部总线；325遥控接收单元；3 遥控发送器； 400HDMI 线缆。
权利要求
1.一种立体图像数据发送设备，包括数据发送单元，其经由传输路径发送包括左眼图像数据和右眼图像数据的立体图像数据以及包括左眼图像和右眼图像之一关于另一个的视差信息的视差信息集到外部设备。
2.根据权利要求1的立体图像数据发送设备， 其中该数据发送单元使用多个通道并使用差分信号，经由传输路径发送图像数据到外部设备，并且通过在图像数据的消隐时段中插入视差信息集来将视差信息发送到外部设备。
3.根据权利要求2的立体图像数据发送设备，其中该视差信息集包括与图像区域中的特定数量的位置对应的多条视差信息以及指示该图像区域中相应多条视差信息属于的位置的多条位置信息。
4.根据权利要求2的立体图像数据发送设备，其中该视差信息集包括图像区域的分割信息以及表示相应分割区域的多条视差信息。
5.根据权利要求2的立体图像数据发送设备，其中该视差信息集被添加有指示视差信息集的类型是第一种类型还是第二种类型的标识信息，并且其中该视差信息集在标识信息指示第一种类型时包括与图像区域中的特定数量的位置对应的多条视差信息以及指示该图像区域中相应多条视差信息属于的位置的多条位置信息，而在标识信息指示第二种类型时包括该图像区域的分割信息以及表示相应分割区域的多条视差信息。
6.根据权利要求1的立体图像数据发送设备， 其中该数据发送单元包括传输数据产生单元，其产生在其中视频场时段用作一个单元的传输数据，所述视频场时段使用垂直同步信号进行划分并包括水平消隐时段、垂直消隐时段和活动视频时段；以及传输数据发送单元，其使用多个通道并使用差分信号，经由传输路径将该传输数据产生单元产生的传输数据发送到外部设备，其中该活动视频时段包括主要视频区域和辅助视频区域，并且其中该传输数据产生单元在主要视频区域中安排图像数据并在辅助视频区域中安排与涉及安排在主要视频区域中的图像数据的视差信息集。
7.根据权利要求6的立体图像数据发送设备，其中该视差信息集包括与图像区域中的特定数量的位置对应的多条视差信息以及指示该图像区域中相应多条视差信息属于的位置的多条位置信息。
8.根据权利要求6的立体图像数据发送设备，其中该视差信息集包括图像区域的分割信息以及表示相应分割区域的多条视差信息。
9.根据权利要求6的立体图像数据发送设备，其中该视差信息集被添加有指示视差信息集的类型是第一种类型还是第二种类型的标识信息，并且其中该视差信息集在标识信息指示第一种类型时包括与图像区域中的特定数量的位置对应的多条视差信息以及指示该图像区域中相应多条视差信息属于的位置的多条位置信息，而在标识信息指示第二种类型时包括该图像区域的分割信息以及表示相应分割区域的多条视差信息。
10. 一种立体图像数据发送方法，包括数据发送步骤，其经由传输路径发送包括左眼图像数据和右眼图像数据的立体图像数据以及包括左眼图像和右眼图像之一关于另一个的视差信息的视差信息集到外部设备。
全文摘要
为了在重叠信息在图像显示装置上的显示中，保持图像中每一个对象之间的透视感的一致性，机顶盒(200)借助于HDMI向外部设备(电视接收器等)发送包括左眼图像和右眼图像的立体图像数据以及包括作为左眼图像与右眼图像的关系的视差信息的视差信息集。当借助于HDMI发送视差信息集时，(1)使用HDMI厂商专用信息帧，或者(2)使用帧封装方法中的3D视频格式的活动间隔等。第一种类型的视差信息集包括预定数量的视差矢量(视差信息)和指示每一个视差矢量属于的图像区域中的位置的位置信息(块ID)。第二种类型的视差信息集包括图像区域的分割信息和表示每一个分割区域的视差信息。
文档编号H04N13/00GK102210155SQ201080003175
公开日2011年10月5日 申请日期2010年6月22日 优先权日2009年6月29日
发明者塚越郁夫 申请人:索尼公司