发送装置、发送方法以及接收装置制造方法

发送装置、发送方法以及接收装置制造方法
【专利摘要】本发明被配置成使得能够良好地执行图像数据的相关信息比如视差信息的传输。生成包括报头部分和内容部分的数据包。图像数据的相关信息比如视差信息被插入数据包的内容部分中。用于标识相关信息的类型的标识信息插入数据包的报头部分中。数据包与图像数据相关联并发送至外部设备。因此，图像数据的相关信息比如视差信息能够高效地发送至外部设备。
【专利说明】发送装置、发送方法以及接收装置
【技术领域】
[0001]本发明涉及一种发送装置、发送方法以及接收装置，具体地涉及一种能够有利地执行与图像数据相关的相关信息比如视差信息等的发送的发送装置等。
【背景技术】
[0002]例如，在PTLl中提出了一种使用立体图像数据的电视广播波的发送方法。在该情况下，发送构成立体图像的左眼图像数据和右眼图像数据，并且在电视接收设备处执行使用双目视差的立体图像显示。
[0003]图64示出了在使用双目视差的立体图像显示中，对象(物体)的左图像和右图像在屏幕上的显示位置与立体图像的播放位置之间的关系。例如，关于对象A，其被显示成使得如图所示在屏幕上左图像La移位至右侧而右图像Ra移位至左侧，左视线与右视线相交于比屏面近，因此立体图像的播放位置比屏面近。
[0004]此外，例如，关于对象B，其被显示成使得如图所示左图像Lb和右图像Rb被显示在屏上的相同位置处，左视线与右视线相交于屏面上，因此，立体图像的播放位置在屏面上。另外，例如，关于对象C，其被显示成使得如图所示在屏幕上左图像Lc移位至左侧而右图像Re移位至右侧，左视线与右视线相交于屏面的远侧，从而立体图像的播放位置位于屏面的远侧。
[0005]引用列表
[0006]专利文献
[0007]PTLl:日本未审查专利申请公布第2005-6114号
【发明内容】

[0008]技术问题
[0009]如上所述，采用立体图像显示，观看者使用双目视差识别立体图像的立体感(perspective)。现在,与最近的对象播放位置对应的视差角(沿交叉方向的视差角)和与最远的对象播放位置对应的视差角(沿同侧方向的视差角)需要在预定范围内以不伤害观看者的健康。也就是说，在接收设备处检查视差角，并且在所述视差角不包含在预定范围内的情况下，期望重新配置左眼图像和右眼图像以适配在预定范围内。
[0010]此外，关于在接收设备(机顶盒、电视接收设备等)上被重叠到图像上显示的OSD(在屏显示)的图形或应用等的图形，期望不仅在二维空间中，而且作为三维立体感，与立体图像显示一起执行渲染。在图形被重叠到图像上以在接收设备上进行显示的情况下，期望根据每个对象在图像内的立体感来执行视差调整，并且保持立体感的一致性。
[0011]本技术的目的是使得能够有利地执行图像数据的相关信息比如视差信息等的传输。
[0012]问题的解决方案
[0013]本技术的构思在于一种发送装置，包括:[0014]数据包生成单元，生成由报头部分和内容部分组成的数据包；以及
[0015]发送单元，将数据包与图像数据相关联并发送至外部设备，
[0016]其中，数据包生成单元将图像数据的相关信息插入内容部分中，以及将标识相关信息的类型的标识信息插入报头部分中。
[0017]根据本技术，数据包生成单元生成由报头部分和内容部分组成的数据包。此外，这里的数据包与图像数据相关联并且由发送单元发送至外部设备。采用数据包生成单元，将图像数据的相关信息插入内容部分中，并且将标识相关信息的类型的标识信息插入报头部分中。
[0018]例如，采用数据包生成单元，根据插入内容部分中的相关信息的数据量来确定内容部分的尺寸，并且这里可以将表示所确定的尺寸的尺寸信息插入报头部分中。例如，采用包生成单元，可以针对图像数据的预定数目的图片中的每个图片来生成数据包。现在，在预定数目为I的情况下，生成对应于所有图片的数据包。
[0019]例如，图像数据是构成立体图像的左眼图像数据和右眼图像数据，相关信息是左眼图像和右眼图像中的一个相对于另一个的视差信息，并且被设置为图片显示画面的每个预定区域的代表性视差信息。例如，在这种情况下，每个预定区域的代表性视差信息中包括与预定区域的最近对象播放位置对应的第一视差信息。此外，例如，每个预定区域的代表性视差信息中包括与预定区域的最近对象播放位置对应的第一视差信息和与预定区域的最远对象播放位置对应的第二视差信息。
[0020]因此，根据本技术，图像数据的相关信息例如视差信息等被插入数据包的内容部分中，而标识相关信息的类型的标识信息被插入这里的数据包的报头部分中，并且发送至外部设备。因此，图像数据的相关信息比如视差信息等能够被高效地发送至外部设备。
[0021]注意，根据本技术，例如，在数据包生成单元中，代表性视差信息可以被插入内容部分中作为绝对值数据。在这种情况下，正编码位和负编码位是不必要的，能够相应地扩展视差息的动态范围。
[0022]例如，可以设置发送单元以使得数据包插入图像数据的消隐时间段中并发送至外部设备。此外，例如，可以设置发送单元以使得:以视频场段(video field segment)为单位来生成传输数据并且将传输数据发送至外部设备，该视频场段包括通过垂直同步信号分割的水平消隐时间段和垂直消隐时间段以及具有主要图片区域和辅助图片区域的有效视频空间，其中，图像数据被分配给主要图片区域且数据包被分配给辅助图片区域。
[0023]此外，本技术的构思在于一种发送装置，包括:
[0024]图像数据获取单元，获取构成立体图像的左眼图像数据和右眼图像数据；
[0025]视差信息获取单元，针对图像数据的每个预定图片获取代表性视差信息，该代表性视差信息是左眼图像和右眼图像中的一个相对于另一个的视差信息，并且该代表性视差信息是与图片显示画面的分割模式对应的每个分割区域中的；
[0026]视差信息插入单元，将每个分割区域的代表性视差信息插入通过编码过的图像数据而获得的视频流中；以及
[0027]图像数据发送单元，发送包括插入了视差信息的视频流的预定格式的容器。
[0028]根据本技术，由图像数据获取单元获得构成立体图像的左眼图像数据和右眼图像数据。由视差信息获取单元针对图像数据的每个预定图片获得代表性视差信息，该代表性视差信息是左眼图像和右眼图像中的一个相对于另一个的视差信息，并且该代表性视差信息是与图片显示画面的分割模式对应的每个分割区域中的。此外，由视差信息插入单元将每个分割区域中的代表性视差信息插入视频流中，在所述视频流中编码并获得图像数据。
[0029]例如，还可以提供从多个分割模式中选择预定分割模式的模式选择单元，其中，视差信息获取单元可以获得与所选择的图片显示画面的预定分割模式对应的每个分割区域中的代表性视差信息。在这种情况下，用户可以具有如下情况:通过选择分割模式来获得根据所期望的分割模式的每个分割区域的代表性视差信息。
[0030]此外，例如，在每个分割区域的代表性视差信息中可以包括与分割区域中的最近对象播放位置对应的第一视差信息。此外，例如，在每个分割区域的代表性视差信息中可以包括与分割区域中的最近对象播放位置对应的第一视差信息和与分割区域中的最远对象播放位置对应的第二视差信息。
[0031]此外，例如，可以设置视差信息插入单元以使得代表性视差信息被插入视频流中作为绝对值数据。在这种情况下，正编码位和负编码位是不必要的，视差信息的动态范围能够被扩展与其等同的量。
[0032]此外，本技术的另一个构思在于接收装置，包括:
[0033]图像数据接收单元，接收包括视频流的预定格式的容器，
[0034]其中，视频流是通过构成编码过的立体图像的左眼图像数据和右眼图像数据获得的；以及
[0035]其中，针对图像数据的每个图片，在与图片显示画面的分割模式对应的每个分割区域处的、左眼图像和右眼图像中的一个相对于另一个的视差信息的代表性视差信息插入视频流中；
[0036]该接收装置还包括:
[0037]信息获取单元，从包括在容器中的视频流获得左眼图像数据和右眼图像数据，同时获得图像数据的每个图片的每个分割区域的代表性视差信息；
[0038]信息平滑单元，对每个图片的每个分割区域的代表性视差信息沿时间轴方向执行平滑处理；
[0039]图形数据生成单元，生成图形数据以将图形显示在图像上；以及
[0040]图像数据处理单元，使用所获得的图像数据、经平滑的视差信息和所生成的图形数据，将与每个图片的图形的显示位置对应的视差添加至与左眼图像和右眼图像重叠的图形，并且获得重叠了图形的左眼图像数据和重叠了图形的右眼图像数据。
[0041]根据本技术，由图像数据接收单元接收包括视频流的预定格式的容器。这里的视频流是根据构成已编码的立体图像的左眼图像数据和右眼图像数据获得的。此外，针对图像数据的每个图片，如下代表性视差信息被插入所述视频流中:该代表性视差信息是与图片显示画面的预定数目的分割区域中的每个分割区域对应获得的、左眼图像和右眼图像中的一个相对于另一个的视差信息，并且该代表性视差信息是与图片显示画面的分割模式对应的每个分割区域中的。
[0042]左眼图像数据和右眼图像数据是从包括在容器中的视频流获得的，而这里的图像数据的每个图片的每个分割区域的代表性视差信息是由信息获取单元获得的。此外，由信息平滑单元沿时间轴方向执行用于平滑每个图片的每个分割区域的代表性视差信息的处理。此外，由图形数据生成单元生成将图形显示在图像上的图形数据。这里的图形为诸如OSD或应用、或表示服务内容的EPG信息之类的图形。
[0043]使用所获得的图像数据、经平滑的视差信息和所生成的图形，由图像数据处理单元获得重叠有图形的左眼图像数据和右眼图像数据。在这种情况下，与这里的图形的显示位置对应的视差添加至被重叠在左眼图像和右眼图像上的图形的每个图片，从而获得重叠有图形的左眼图像数据和重叠有图形的右眼图像数据。例如，在图像数据处理单元中，使用从与图形的显示位置对应的预定数目的视差区域的视差信息中选择的视差信息，例如最佳视差信息(例如最小值)，并且执行将视差添加至所述图形。
[0044]因此，根据本技术，基于插入到从发送侧发送的视频流中的视差信息，执行被重叠至立体图像上并进行显示的图形的深度控制。在这种情况下，针对图像数据的每个图片获得的每个分割区域的代表性视差信息被插入视频流中，并且能够有利地以图片(帧)精度执行图形的深度控制。此外，在这种情况下，对每个图片的每个分割区域的代表性视差信息执行并使用沿时间轴方向的平滑处理，由此即使对于视差信息的突然变化，也能够降低观看者不适的发生。
[0045]发明的有益效果
[0046]根据本技术，能够有利地执行图像数据的相关信息比如视差信息等的传输。
【专利附图】

【附图说明】
[0047][图1]图1是示出了根据一个实施方式的图像发送/接收系统的配置示例的框图。
[0048][图2]图2是示出了每个块的视差信息(视差向量)的示例的图。
[0049][图3]图3是描述以块为单位的视差信息的生成方法的示例的图。
[0050][图4]图4是描述为了根据每个块的视差信息获得预定划分区域的视差信息而进行的缩减处理的示例的图。
[0051][图5]图5是描述图片显示画面被划分以使得不横跨编码块边界的图。
[0052][图6]图6是示意性地示出了每个图片的每个分割区域的视差信息的转变的示例的图。
[0053][图7]图7是描述用于将针对图像数据的每个图片获得的视差信息插入视频流中的时序的图。
[0054][图8]图8是示出了在广播站处生成传输流的发送数据生成单元的配置示例的框图。
[0055][图9]图9是示出了传输流的配置示例的图。
[0056][图10]图10是示出了AVC视频描述符的配置示例(语法)和主要规定内容(语义)的图。
[0057][图11]图11是示出了MVC扩展描述符的配置示例(语法)和主要规定内容(语义)的图。
[0058][图12]图12是示出了图形深度信息描述符(graphics_depth_info_descriptor)的配置示例(语法)和主要规定内容(语义)的图。
[0059][图13]图13示出了在编码格式为AVC的情况下，GOP(图片组)的报头存取单元和除了 GOP的报头存取单元之外的存取单元的示例。
[0060][图14]图14是示出T“depth_information SEI消息”的配置示例(语法)和“depth_information_data O” 的配置示例(语法)的图。
[0061][图15]图15是示出了在以图片为单位插入每个图片的视差信息的情况下，“depth_information O”的配置示例(语法)的图。
[0062][图16]图16是示出了在以图片为单位插入每个图片的视差信息的情况下，“depth_information O”的配置示例(语法)的图。
[0063][图17]图17是示出了在以图片为单位插入每个图片的视差信息的情况下，“depth_information O”的配置示例(语法)的图。
[0064][图18]图18是示出了在“cbpth_informationO”的配置示例(语法)中的主要信息的内容(语义)的图。
[0065][图19]图19是示出了图片显示画面的分割示例的图。
[0066][图20]图20是示出了在针对多个图片一起对每个图片的视差信息进行编码的情况下，“depth_information O”的配置示例(语法)的图。
[0067][图21]图21是示出了在针对多个图片一起对每个图片的视差信息进行编码的情况下，“depth_information O”的配置示例(语法)的图。
[0068][图22]图22是示出了在针对多个图片一起对每个图片的视差信息进行编码的情况下，“depth_information O”的配置示例(语法)的图。
[0069][图23]图 23 是不出 了“user_data()“的配置不例(语法)和“depth_information_data O”的配置示例(语法)的图。
[0070][图24]图24是示出了根据视差信息进行图形的深度控制的构思的图。
[0071][图25]图25是示出了在以图片为单位将视差信息插入视频流中的情况下，按照图像数据的图片时序顺序地获得视差信息的图。
[0072][图26]图26是示出了在以GOP为单位将视差信息插入视频流中的情况下，按照图像数据的GOP的报头时序一起获得在GOP内的每个图片的视差信息的图。
[0073][图27]图27是示出了图像上的子标题和OSD图形的显示示例的图。
[0074][图28]图28是示出了机顶盒的配置示例的框图。
[0075][图29]图29是描述视差角的检查和图像数据的重新配置的图。
[0076][图30]图30是示出了视差信息控制单元的配置示例的框图。
[0077][图31]图31是描述深度控制单元的控制的框图。
[0078][图32]图32是描述沿时间方向进行平滑的滤波处理的示例的图。
[0079][图33]图33是描述沿时间方向进行平滑的滤波处理的另一个示例的图。
[0080][图34]图34是示出了深度控制单元的控制处理序列的示例的流程图(1/2)。
[0081][图35]图35是示出了深度控制单元的控制处理序列的示例的流程图(2/2)。
[0082][图36]图36是示出了在机顶盒中图形的深度控制示例的图。
[0083][图37]图37是示出了在机顶盒中图形的另一个深度控制示例的图。
[0084][图38]图38是示出了电视接收设备(HDMI输入系统)的配置示例的框图。
[0085][图39]图39是描述深度控制单元的控制的框图。
[0086][图40]图40是示出了深度控制单元的控制处理的序列的示例的流程图。[0087][图41]图41是示出了电视接收设备上的图形的深度控制示例的图。
[0088][图42]图42是示出了源设备的HDMI发送单元和接收端的HDMI接收单元的配置示例的框图。
[0089][图43]图43是示出了TMDS发送数据(在发送具有1920水平像素X 1080垂直行的图像数据的情况下)的配置示例的图。
[0090][图44]图44是示出了在视差信息传输中使用HDMI供应商专用信息帧的情况下，HDMI供应商专用信息巾贞的包配置示例的图。
[0091][图45]图45是示出了在HDMI供应商专用信息帧的包配置示例中的主要信息的内容的图。
[0092][图46]图46是示出了在模式针对单图片并且分割区域为“16”的情况下，VS_Info的配置示例的图。
[0093][图47]图47是示意性地示出了执行图片单位接收和单图片模式发送的情况的图。
[0094][图48]图48是示意性地示出了执行图片单位接收和双图片模式发送的情况的图。
[0095][图49]图49是示意性地示出了执行GOP单位(多图片为单位)接收和单图片模式发送的情况的图。
[0096][图50]图50是示意性地示出了执行GOP单位(多图片为单位)接收和双图片模式发送的情况的图。
[0097][图51]图51是示出了VS_Info (HDMI供应商专用信息帧)的另一个包配置示例的图。
[0098][图52]图52是示出了VS_Info (HDMI供应商专用信息帧)的另一个包配置示例的图。
[0099][图53]图53是示出了执行图片N与图片N+1的顺序确定的配置示例的框图。
[0100][图54]图54是示出了在|D(N+1)_D(N)| ( Th的情况下，视差信息(视差值)的时移不例的图。
[0101][图55]图55是示出了在D(N+1)-D(N) >Th的情况下，视差信息(视差值)的时移不例的图。
[0102][图56]图56是示出了新定义的作为数据包的3D显示支持包的包报头的配置示例的图。
[0103][图57]图57是示出了包内容的配置示例的图。
[0104][图58]图58是示出了包内容的另一个配置示例的图。
[0105][图59]图59是示出了包内容的另一个配置示例的图。
[0106][图60]图60是示出了为立体图像数据的一种TMDS发送数据配置的帧封装方法的3D视频格式的图。
[0107][图61]图61是示出了在使用有效空间区域的情况下，HDMI供应商专用信息帧的包配置的示例的图。
[0108][图62]图62是示出了图像发送/接收系统的另一个配置示例的框图。
[0109][图63]图63是示出了电视接收设备的配置示例的框图。[0110][图64]图64是示出了在使用双目视差的立体图像显示中，对象的左图像和右图像在屏幕上的显示位置与其立体图像的播放位置之间的关系的图。
【具体实施方式】
[0111]以下将描述实现本发明的实施方式(以下称为“实施方式”)。注意，将按照以下顺序进行描述。
[0112]1.实施方式
[0113]2.变型
[0114]〈1.实施方式〉
[0115][图像发送/接收系统]
[0116]图1示出了根据一个实施方式的图像发送/接收系统10的配置示例。图像发送/接收系统10具有广播站100、机顶盒(STB)200以及用作监视器的电视接收设备300。机顶盒200与电视接收设备(TV) 300通过HDMI (高清晰多媒体接口)电缆400进行连接。
[0117]“广播站的描述”
[0118]广播站100在广播波上发送传输流TS作为容器。通过构成经编码的立体图像的左眼图像数据和右眼图像数据获得的视频流包括在该传输流TS中。例如，在一个视频流中发送左眼图像数据和右眼图像数据。在这种情况下，左眼图像数据和右眼图像数据例如进行隔行处理，被配置成并排格式或上下格式的图像数据，并且包括在一个视频流中。
[0119]可替选地，例如，左眼图像数据与右眼图像数据分别在单独的视频流中发送。在这种情况下，例如，左眼图像数据包括在MVC基本视图流中，而右眼图像数据包括在MVC非基本视图流中。
[0120]针对图像数据的每个预定图片获得的左眼图像和右眼图像中的一个相对于另一个的视差信息(视差数据)被插入视频流中。在这种情况下，获得视差信息假设至少针对应当被发送的图片执行所述视差信息。
[0121]现在，每个图片的视差信息由在图片显示画面的预定区域中的代表性视差信息构成。根据该实施方式，第一视差信息和第二视差信息被包括作为该代表性视差信息，但是也可以想到仅包括第一视差信息。第一视差信息是与在图片显示画面的预定区域中的最近对象播放位置对应的视差信息。此外，第二视差信息是与在图片显示画面的预定区域的最远对象播放位置对应的视差信息。
[0122]如果屏幕位置为视差零，则在对象播放位置位于屏幕的近侧的情况下，这里的视差信息可以被获得为具有负值(参见图64中的DPa)。另一方面，在对象播放位置位于屏幕的远侧的情况下，这里的视差信息(参见图64中的DPc)可以被获得为具有正值。因此，作为第一视差信息，例如可以使用预定区域的视差信息中的最小值视差信息。此外，作为第二视差信息，例如可以使用在预定区域的视差信息中的最大值视差信息。
[0123]在这种情况下，对于第一视差信息和第二视差信息，例如可以想到以下获得方法。
[0124](I)基于分割模式信息，获得通过将图片显示画面分割成多个而获得的每个分割区域的第一视差信息，以及获得整个图片显示画面的第二视差信息。
[0125](2)基于分割模式信息，获得通过将图片显示画面分割成多个而获得的每个分割区域的第一视差息和第二视差息。[0126](3)基于分割模式信息，获得通过使用第一分割信息来分割图片显示画面获得的每个分割区域的第一视差信息，以及获得通过使用第二分割信息来分割图片显示画面获得的每个分割区域的第二视差信息。
[0127](4)基于分割模式信息，获得整个图片显示画面的第一视差信息以及整个图片显示画面的第二视差信息。
[0128]通过经过缩减处理的每个块的视差信息，获得整个图片显示画面或每个分割区域的视差信息。图2示出了每个块的视差信息(视差向量)的示例。
[0129]图3示出了以块为单位的视差信息的生成方法的示例。该示例是得到表示右眼视图(右视图)与左眼视图(左视图)的视差信息的示例。在这种情况下，向左眼视图的图片提供例如4*4、8*8、或16*16的像素块(视差检测块)。
[0130]如图所示，左眼视图的图片被设置为检测图像，右眼视图的图片被设置为参考图像，对右眼视图的图片执行块搜索以使得针对左眼视图的图片的每个块，像素之间的绝对差之和最小，从而得到视差数据。
[0131]也就是说，通过块搜索得到第N块的视差信息DPn，以使得例如如以下式(I)所示，在第N块中差的绝对值之和最小。注意，在这里的式(I)中，Dj表示右眼视图的图片中的像素值，Di表示左眼视图的图片中的像素值。
[0132]DPn=min(Σabs(differ (Dj-Di)))…(I)
[0133]图4示出了缩减处理的示例。图4(a)示出了如上所述获得的每个块的视差信息。如图4 (b)所示，基于每个块的视差信息，得到每个组(块组)的第一视差信息和第二视差信息。组是块之上的层级，是通过对多个相邻块进行成组获得的。在图4 (b)的示例中，每个组由使用虚线框包在一起的四个块组成。此外，例如，通过从在其组内的所有块的视差信息中选择最小值的视差信息获得每个组的第一视差信息。此外，例如，通过从在其组内的所有块的视差信息中选择最大值的视差信息获得每个组的第二视差信息。
[0134]接下来，如图4(c)所示，基于每个组的视差向量，得到每个分区的第一视差信息和第二视差信息。分区是组之上的层级，是通过将多个相邻组分组在一起获得的。在图4(c)的示例中，每个分区由使用虚线框包在一起的两个组组成。此外，例如，通过从其分区内的全体组的第一视差信息中选择最小值第一视差信息获得每个分区的第一视差信息。此外，例如，通过从其分区内的全体组的第二视差信息中选择最大值第二视差信息获得每个分区的第二视差息。
[0135]接下来，如图4 (d)所示，基于每个分区的该视差信息，得到为最高层级的整个图片(整个图片显示画面)的第一视差信息和第二视差信息。在图4 (d)的示例中，使用虚线框包在一起的四个分区包括在整个图片中。此外，例如，通过从包括在整个图片中的所有分区的第一视差信息中选择最小值第一视差信息获得整个图片的第一视差信息。此外，例如，通过从包括在整个图片中的所有分区的第二视差信息中选择最大值第二视差信息获得整个图片的第二视差信息。
[0136]基于分区信息分割图片显示画面，并且如上所述获得每个分割区域的视差信息。在这种情况下，分割图片显示画面以使得不横跨编码块的边界。图5示出了图片显示画面的分割详细示例。该示例为1920*1080像素格式的示例，是分区沿水平和垂直两个方向的示例，从而获得四个分割区域:分区A、分区B、分区C以及分区D。在发送侧，对16X 16的每个块执行编码，从而添加由消隐数据构成的八行，对1920像素*1088行的图像数据执行编码。现在，沿垂直方向，基于1088行执行分割成两个分区。
[0137]如上所述，针对图像数据的每个预定图片(帧)获得的分割区域的整个图片显示画面的视差信息(第一视差信息、第二视差信息)被插入视频流中。图6示意性地示出了每个分割区域的视差信息的移位示例。该示例为分区水平和垂直地分别为四个的示例，从而存在分区O至分区15的16个分区。在该示例中，为了简化图，仅示出了分区O、分区3、分区9以及分区15的视差信息D0、D3、D9以及D15的移位。存在视差信息的每个值可以随时间改变的情况(DO、D3、D9 )，以及值固定的情况(D15 )。
[0138]针对图像数据的每个预定图片获得的视差信息被以图片为单位或GOP为单位等插入到视频流中。图7 (a)示出了与图片编码同步的示例，即以图片为单位将视差信息插入到视频流中的示例。在该示例中，在发送图像数据时的延迟可以更小，所以适于发送由摄像机拍摄的图像数据的现场直播。
[0139]图7 (b)示出了与编码视频的I图片(帧内图片)或与GOP (图片组)同步的示例，即以GOP为单位将视差信息插入到视频流中的示例。在该示例中，与图7 Ca)中的示例相t匕，发送图像数据时的延迟可能增加，但是多图片(帧)的视差信息可以一起发送，从而能够减少在接收侧获得视差信息的处理次数。图7 (c)示出了与视频场景同步的示例，即以场景为单位将视差信息插入到视频流中的示例。注意，图7 (a)至图7 (C)仅仅是示例，还可以想到以其他单位进行插入。
[0140]此外，标识视差信息(第一视差信息、第二视差信息)是否插入到视频流中的标识信息可以被插入传输流TS的层中。该标识信息例如被插入包括在传输流TS中的节目映射表(PMT)之下或事件信息表(EIT)之下。采用该标识信息，在接收侧能够容易地确定视差信息是否被插入到了视频流中。随后将描述该标识信息的细节。
[0141]“发送数据生成单元的配置示例”
[0142]图8示出了在广播站100处生成上述传输流TS的发送数据生成单元110的配置示例。该发送数据生成单元Iio具有图像数据输出单元IllL和111R、缩放器112L和112R、视频编码器113、复用器114以及视差数据生成单元115。此外，该发送数据生成单元110具有子标题数据输出单元116、子标题编码器117、音频数据输出单元118、音频编码器119以及分割模式选择单元120。
[0143]图像数据输出单元IllL和IllR分别输出构成立体图像的左眼图像数据VL和右眼图像数据VR。图像数据输出单元IllL和IllR例如由对对象成像并输出图像数据的摄像机或从存储介质读出图像数据的图像数据读出单元等构成。图像数据VL和VR是其尺寸例如为1920*1080的全高清图像数据。
[0144]如果需要，缩放器112L和112R分别对图像数据VL和VR沿水平方向和垂直方向执行缩放处理。例如，为了在一个视频流中发送图像数据VL和VR，在采用并排格式或上下格式配置图像数据的情况下，图像数据沿水平方向或垂直方向缩减至1/2并且输出。此外，例如，在以单独的视频流比如MVC基本视图流和MVC非基本视图流分别发送图像数据VL和VR的情况下，不执行缩放处理，输出未作改变的图像数据VL和VR。
[0145]视频编码器113对从缩放器112L和112R输出的左眼图像数据和右眼图像数据执行编码比如MPEG4-AVC (MVC)、MPEG2视频或HEVC (高效率视频编码)等，从而获得编码的视频数据。此外，该视频编码器113使用在随后阶段提供的流格式器(未示出)生成包括这里的编码数据的视频流。在这种情况下，视频编码器113生成包括左眼图像数据和右眼图像数据的编码视频流的一个或两个视频流(视频基本流)。
[0146]视差数据生成单元115基于从图像数据输出单元IllL和IllR输出的左眼图像数据VL和右眼图像数据VR生成每个图片(帧)的视差信息。在这种情况下，视差数据生成单元115基于使用分割模式选择单元120根据例如用户的操作而选择的分割模式的信息，来执行处理以获得第一视差信息和第二视差信息。
[0147]首先，视差数据生成单元115针对每个图片获得如上所述每个块的视差信息。注意，在图像数据输出单元IllL和IllR是具有存储介质的图像数据读出单元的情况下，可以想到如下配置:其中，视差数据生成单元115从存储介质读出并获得每个块的视差信息和图像数据。此外，可以想到如下方法:使用来自在视频编码器113中在右眼图像数据与左眼图像数据之间执行的块匹配的结果，并且检测视差信息。
[0148]然后，视差信息生成单元115对每个块的视差信息执行缩减处理，并且生成整个图片显示画面或通过分割图片显示画面而获得的每个分割区域的第一视差信息和第二视差信息。在这种情况下，使用如上所述分割模式信息。使用该分割模式信息，向视差数据生成单元115提供信息，比如生成整个图片显示画面上的视差信息、或者生成通过按照预定数目分割图片显示画面而获得的每个分割区域的视差信息等。
[0149]视频编码器113将由视差数据生成单元115生成的每个图片的第一视差信息和第二视差信息插入到视频流中。在这种情况下，例如，每个图片的视差信息以图片为单位或以GOP为单位(参见图7)插入视频流中。注意，在左眼图像数据和右眼图像数据分别使用单独的视频数据进行发送的情况下，视差信息可以仅插入视频流之一中。
[0150]子标题数据输出单元116输出与图像重叠的子标题的数据。子标题数据输出单元116例如由个人计算机等构成。子标题编码器117生成包括从子标题数据输出单元116输出的子标题数据的子标题流(子标题基本流)。注意，子标题编码器117参考由视差数据生成单元115生成的每个块的视差信息，将与子标题的显示位置对应的视差信息添加至子标题数据。也就是说，包括在子标题流中的子标题数据具有与子标题的显示位置对应的视差信息。
[0151]音频数据输出单元118输出对应于图像数据的音频数据。该音频数据输出单元118例如由从存储介质读取并输出音频数据的麦克风或音频数据读出单元等构成。音频编码器119对从音频数据输出单元118输出的音频数据执行编码比如MPEG-2音频、AAC等，并且生成音频流(音频基本流)。
[0152]复用器114对由视频编码器113、子标题编码器117以及音频编码器119生成的每个基本流进行PES封包，生成传输流TS。在这种情况下，PTS (显示时间戳)被插入每个PES(封包基本流)包的报头中用于在接收侧进行同步播放。
[0153]复用器114将上述标识信息插入传输流TS的层中。该标识信息是标识视差信息(第一视差信息、第二视差信息)是否被插入到了视频流中的信息。该标识信息例如被插入包括在传输流TS中的节目映射表(PMT)之下或事件信息表(EIT)之下等。
[0154]将简要描述图8所示的发送数据生成单元110的操作。从图像数据输出单元IllL和IllR输出的构成立体图像的左眼图像数据VL和右眼图像数据VR分别提供给缩放器112L和112R。如果需要，用缩放器112L和112R对图像数据VL和VR分别执行沿水平方向和垂直方向的缩放处理。从缩放器112L和112R输出的左眼图像数据和右眼图像数据提供给视频编码器113。
[0155]采用视频编码器113，执行对左眼图像数据和右眼图像数据的编码比如MPEG4-AVC (MVC)、MPEG2视频以及HEVC等，从而获得编码视频数据。此外，使用该视频编码器113，由将在随后阶段提供的流格式器生成包括所述该编码数据的视频流。在这种情况下，生成包括左眼图像数据和右眼图像数据的编码视频数据的一个或两个视频流。
[0156]此外，从图像数据输出单元IllL和IllR输出的构成立体图像的左眼图像数据VL和右眼图像数据VR提供给视差数据生成单元115。采用该视差数据生成单元115，针对每个图片获得每个块的视差信息。此外，使用该视差数据生成单元115，对每个块的视差信息进一步执行缩减处理，在通过基于分割模式信息对整个图片显示画面进行分区而获得的每个分割区域中或该图片显示画面中，生成第一视差信息和第二视差信息。
[0157]由视差数据生成单元115生成的每个图片的第一视差信息和第二视差信息提供给视频编码器113。使用视频编码器113，每个图片的第一视差信息和第二视差信息以图片为单位或以GOP为单位插入到视频流中。
[0158]此外，由子标题数据输出单元116输出重叠在图像上的子标题的数据。该子标题数据提供给子标题编码器117。由子标题编码器117生成包括子标题数据的子标题流。在这种情况下，在子标题编码器117处参考使用视差数据生成单元115生成的每个块的视差信息，与显示位置对应的视差信息被添加至子标题数据。
[0159]此外，由音频数据输出单元118输出对应于图像数据的音频数据。该音频数据提供给音频编码器119。使用该音频编码器119对音频数据执行编码比如MPEG-2音频、AAC等,并且生成音频流。
[0160]采用视频编码器113获得的视频流、采用子标题编码器117获得的子标题流以及采用音频编码器119获得的音频流分别提供给复用器114。从每个编码器提供的基本流进行PES封包并且由复用器114复用，生成传输流TS。在这种情况下，PTS被插入每个PES报头中用于在接收侧进行同步播放。此外，在复用器114中，标识视差信息是否被插入到视频流中的标识信息被插入PMT之下或EIT之下等。
[0161][标识信息、视差信息的配置、TS配置]
[0162]图9示出了传输流TS的配置示例。在该配置示例中，示出了左眼图像数据和右眼图像数据分别在单独的视频流中发送的示例。也就是说，包括其中对左眼图像数据进行编码的视频流的PES包“视频PES1”和其中对右眼图像数据进行编码的视频流的PES包“视频PES2”。此外，在该配置示例中还包括其中对子标题数据(包括视差信息)进行编码的子标题的PES包“子标题PES3”和其中对音频数据进行编码的音频流的PES包“音频PES4”。
[0163]包括每个图片的第一视差信息和第二视差信息的深度信息/SEI (depth,information ())被插入视频流的用户数据区域中。例如，在以图片为单位插入每个图片的视差信息的情况下，该深度信息/SEI被插入视频流中的每个图片的用户数据区域中。此夕卜，例如，在以GOP为单位插入每个图片的视差信息的情况下，该深度信息/SEI被插入与视频流的GOP的报头对应的图片的用户数据区域或者插入序列参数信息的位置中。注意，在该配置示例的说明中，深度信息/SEI被插入两个视频流中，但是该深度信息/SEI也可以仅插入视频流之一中。
[0164]PMT (节目映射表)包括在传输流TS中作为PSI (节目专用信息)中。该PSI是表示包括在传输流TS中的每个基本流所属于的节目的信息。此外，用作以事件为单位执行管理的SI (服务信息)的EIT (事件信息表)包括在传输流TS中。
[0165]在PMT之下,存在具有与每个基本流相关的信息的基本环路(elementary loop)。在该基本环路上设置有信息比如每个流的包标识符(PID)，同时还设置有描述与基本流相关的信息的描述符。
[0166]在插入示出视差信息(第一视差信息、第二视差信息)是否被插入上述视频流中的标识信息的情况下，这例如在被插入节目映射表的视频基本环路之下的描述符中描述。该描述符例如是现有的AVC视频描述符或MVC扩展描述符(MVC_extention_descriptor)或新定义的深度信息描述符(Depth_info_descriptor)。注意,关于深度信息描述符,还可以想到插入图中用虚线描述的EIT之下。
[0167]图10 Ca)示出了其中描述标识信息的AVC视频描述符的配置示例(语法)。该描述符可以应用于视频是MPEG4-AVC帧兼容格式的情况。该描述符本身已符合H.264/AVC的规范。现在，在该描述符中新定义了 I位标志信息“depth_info_not_existed_flag[0] ”。
[0168]如图10 (b)中的规范内容(语义)所示，该标志信息表示包括每个图片的视差信息的深度信息/SEI (depth_information_sei ())是否被插入相应的视频流中。当该标志信息为“O”时,表不插入。另一方面，当gai标志信息为“I”时,表不未插入。
[0169]图11 (a)示出了其中描述标识信息的MVC扩展描述符的配置示例(语法)。该描述符可以应用于视频是MPEG4-AVC Annex HMVC格式的情况。该描述符本身已符合H.264/AVC的规范。现在，在该描述符中新定义了 I位标志信息“depth_info_not_existed_flag”。
[0170]如图11 (b)的规范内容(语义)所示，该标志信息表示包括每个图片的视差信息的深度信息/SEI (depth_information ())是否被插入相应的视频流中。当该标志信息为“O”时,表不插入。另一方面，当该标志信息为“ I”时,表不未插入。
[0171]图12 (a)示出了深度信息描述符(depth_info_descriptor)的配置示例(语法)。8位字段“descriptor_tag”表示该描述符是“depth_info_descriptor”。其后，在8位字段“descriptor_length”中，表示了数据字节的数目。此外,在该描述符中描述了 I位标志信息 “depth_info_not-existed_flag，，。
[0172]如图12 (b)的规范内容(语义)所示，该标志信息表示包括每个图片的视差信息的深度信息/SEI (depth_information ())是否被插入相应的视频流中。当该标志信息为“O”时,表不插入。另一方面，当该标志信息为“ I”时,表不未插入。
[0173]接下来，将描述包括每个图片的视差信息的深度信息/SEI (depth-1nformationO)被插入视频流的用户数据区域中的情况。
[0174]例如，在编码格式为AVC的情况下，“depth_information O”作为“depth_information SEI消息”插入存取单元的“SEI”部分中。图13 (a)表示GOP (图片组)的头部的存取单元，图13 (b)表示除了位于GOP头部处的存取单元之外的存取单元。在以GOP为单位插入每个图片的视差信息的情况下，“depth_information SEI消息”仅被插入GOP的头部处的存取单元中。
[0175]图14 (a)示出了“depth_information SEI 消息”的配置示例(语法)。“uuid_iso_iec_11578”具有被表达为“IS0/IEC11578:1996AnnexA”的 UUID 值。“cbpth_information_data()，，被插入“user_data_payload_byte，，字段中。图 14(b)不出 了“depth_information_data()”的配置示例(语法)。深度信息 /SEI“depth_information_data()”被插入“depth_information_data()”中。“userdata_id”是以无符号的 16 位表达的“depth_informationO”的标识符。
[0176]图15 (a)、图16和图17分别示出了在以图片为单位插入每个图片的视差信息的情况下的“d印th_information O”的配置示例(语法)。图18示出了这些配置示例的主要信息的内容(语义)。
[0177]图15 (a)示出了与在上述(I)中的“基于分割模式信息获得通过将图片显示画面分割成多个而获得的每个分割区域的第一视差信息，并且获得整个图片显示画面的第二视差信息”的获得方法对应的配置示例(语法)。
[0178]3位字段“partition_type”表示图片显示画面的分区类型。如图19 (a)所示，“000”表示分区类型“类型000”。如图19 (b)所示，“001”表示分区类型“类型001”。如图19 (C)所示，“010”表示分区类型“类型010”。如图19 (d)所示，“011”表示分区类型“类型011”。如图19 (e)所示，“100”表示分区类型“类型100”。如图19 (f)所示，“101”表示分区类型“类型101”。
[0179]4位字段“partiti0n_C0Unt”表示分割区域的总数目，其为取决于上述“分区类型”的值。例如，如图19 (a)所示，当“partitiOn_type=000”时，分割区域的总数目为“I”。此外，例如，如图19 (b)所示，当“partition_type=001”时,分割区域的总数目为“4”。此夕卜,如图19 (c)所示，当“partition_type=010”时,分割区域的总数目为“8”。
[0180]8位字段“max_disparity_in_picture”表示整体图片显示画面的第二视差信息，即整个图片的最大视差信息(视差值)。8位字段“min_disparity_in_partition”表示每个分割区域的第一视差信息，即每个分割区域中的最小视差信息(视差值)。
[0181]现在，将作为第一视差信息的“min_disparity_in_partition”和作为第二视差信息的“max_disparity_in_picture”设置为绝对值数据。如图 15(b)K*,“min_disparity_in_partition”可以被限制为距监视器位置的前侧，从而甚至不需要表示符号位，在接收侦牝也可以将待发送的视差信息值(绝对值)转换为负值并使用。相似地，如图15 (b)所示，“maX_diSparity_in_piCtUre”可以被限制为距监视器位置的远侧，从而甚至不需要表示符号位，在接收侧，也可以将待发送的视差信息值(绝对值)转换为正值并使用。
[0182]因此，使用8位表达的视差信息的值的范围为(-255，+255)，例如，即使对于具有4，000水平像素的级别的分辨率的超高品质图像，也可以使用8位来进行必要的视差表达。此外，对于2，000水平像素的级别的传统分辨率，8位可被划分成“7位”加“I位”，其中可以使用视差表达(-127.5，+127.5)。在这种情况下，小数部分表达半像素，并且通过适当内插待重叠的图形对象，可以实现沿深度方向的平滑器自动更新。
[0183]图16示出了与上述(2)中的“基于分割模式信息获得通过将图片显示画面分割成多个而获得的每个分割区域的第一视差信息和第二视差信息”的获得方法对应的配置示例(语法)。这里，适当地省略图16的与图15对应的部分的描述。
[0184]3位字段“partition_type”表示图片显示画面的分区类型。4位字段“partition_count”表示分割区域的总数目，其为取决于上述“分区类型”的值。8位字段“max_disparity_in_partition”表示每个分割区域的第二视差信息，即每个分割区域的最大视差信息(视差值)。8位字段“min_disparity_in_partition”表示每个分割区域的第一视差信息，即每个分割区域的最小视差信息(视差值)。现在，作为第一视差信息的“min- disparity_in_partition”和作为第二视差信息的“min-disparity_in_partition”被设置为绝对值数据。
[0185]图17示出了与上述(3)中的“基于分割模式信息，获得通过使用第一分割信息对图片显示画面进行分割而获得的每个分割区域中的第一视差信息以及获得通过使用第二分割信息对图片显示画面进行分割而获得的每个分割区域中的第二视差信息”的获得方法对应的配置示例(语法)。这里，适当地省略了图17的与图15和图16对应的部分的描述。
[0186]3位字段“min_partition_type”表示与获得第一视差信息相关的图片显示画面的分区类型。4位字段“min_partition_count”表示其中获得第一视差信息的分割区域的总数目，其为取决于上述“min_partition_type”的值。3位字段“max_partition_type”表示与获得第二视差信息相关的图片显示画面的分区类型。4位字段“maX_partiti0n_count”表示其中获得第二视差信息的分割区域的总数目，其为取决于上述“max_partition_type，，的值。
[0187]8位字段“min_disparity_in_partition”表示每个分割区域的第一视差信息，即每个分割区域的最小视差信息(视差值)。8位字段“max_disparity_in_partition”表示每个分割区域的第二视差信息，即每个分割区域的最大视差信息(视差值)。现在，将作为第一视差信息的 “min_disparity_in_partition” 和作为第二视差信息的 “max_disparity_in_partition”设置为绝对值数据。
[0188]图20、图21以及图22分别示出了在当以GOP为单位插入每个图片的视差信息时对多个图片进行编码的情况下，“depth_information O”的配置示例(语法)。在图18中示出了这些配置示例中的主要信息的内容(语义)。
[0189]图20示出了与上述(I)中的“基于分割模式信息获得通过将图片显示画面分割成多个而获得的每个分割区域的第一视差信息，以及获得整个图片显示画面的第二视差信息”的获得方法对应的配置示例(语法)。这里，适当地省略了图20的与上述图15对应的部分的描述。
[0190]6位字段“pictuncount”表示图片的数目。所述数目的图片的第一视差信息和第二视差信息包括在该“depth_information O”中。4位字段“partition_count”表示分割区域的总数目。8位字段“max_disparity_in_picture”表示整个图片显示画面的第二视差信息，即整个图片的最大视差信息(视差值)。8位字段“min_disparity_in_partition”表示每个分割区域的第一视差信息，即每个分割区域中的最小视差信息(视差值)。将省略详细描述，但是图20中的配置示例中的其他部分与图15所示的配置示例相似。
[0191]图21示出了与上述(2)中的“基于分割模式信息，获得通过将图片显示画面分割成多个而获得的每个分割区域中的第一视差信息和第二视差信息”的获得方法对应的配置示例(语法)。这里，将适当地省略图21的与图16和图20对应的部分的描述。
[0192]6位字段“pictuncount”表示图片的数目。所述数目的图片的第一视差信息和第二视差信息包括在该“depth_information O”中。4位字段“partition_count”表示分割区域的总数目。8位字段“max_disparity_in_partition”表示每个分割区域的第二视差信息，即每个分割区域中的最大视差信息(视差值)。8位字段“min_diSparity_in_partition”表示每个分割区域的第一视差信息，即每个分割区域中的最小视差信息(视差值)。将省略详细描述，但是图21中的配置示例中的其他部分与图16中所示的配置示例相似。
[0193]图22示出了与上述(3)的“基于分割模式信息，获得通过使用第一分割信息分割图片显示画面获得的每个分割区域的第一视差信息，以及获得通过使用第二分割信息分割图片显示画面获得的每个分割区域的第二视差信息”的获得方法对应的配置示例(语法)。这里，将适当地省略图22的与图17、图20和图21对应的部分的描述。
[0194]6位字段“pictuncount”表示图片的数目。所述数目的图片的第一视差信息和第二视差信息包括在该“depth_information O” 中。3 位字段“min_partition_type”表示与获得第一视差信息相关的图片显示画面的分区类型。3位字段“maX_partiti0n_type”表示与获得第二视差信息相关的图片显示画面的分区类型。4位字段“min_partiti0n_count”表示其中获得第一视差信息的分割区域的总数目，4位字段“max_partition_count”表示其中获得第二视差信息的分割区域的总数目。
[0195]8位字段“min_disparity_in_partition”表示每个分割区域的第一视差信息，即每个分割区域的最小视差信息(视差值)。8位字段“max_disparity_in_partition”表示每个分割区域的第二视差信息，即每个分割区域的最大视差信息(视差值)。将省略详细描述，但是图22的配置示例中的其他部分与图17所示的配置示例相似。
[0196]注意，以上描述的是编码格式为AVC的情况。例如，在编码格式为MPEG2视频的情况下,“depth_information O”被作为用户数据“user_data O”插入图片报头部分的用户数据区域中。图23 (a)示出了 “USer_data O”的配置示例(语法)。32位字段“user_data_start_code”是用户数据(user_data)的开始代码，并且是固定值“0x000001B2”。
[0197]紧接该开始代码的32位字段是标识用户数据的内容的标识符。在此，该标识符是“depth_information_data_identif ier”，能够标识出用户数据为 “depth_information_data”。“depth_information_data ()”被插入在该标识符之后作为主要数据。图23 (b)示出 了 “depth_information_data()”的配置不例(语法)。在此处插入了 “depth_informationO”(参见图15至图17以及图20至图22)。
[0198]注意，将描述在编码格式为AVC或MPEG2视频的情况下将视差信息插入视频流中的示例。将省略详细描述，但是即使对于其他编码格式例如HEVC的相似配置，也可以使用其类似配置来执行将视差信息插入视频流中。
[0199]“机顶盒的描述”
[0200]机顶盒200接收从广播站100通过广播波发送的传输流TS。此外，机顶盒200对包括在该传输流TS中的视频流进行解码，并生成构成立体图像的左眼图像数据和右眼图像数据。此外，机顶盒200提取插入在视频流中的图像数据的每个图片的视差信息(第一视
差息、第二视差息)。
[0201]基于第一视差信息和第二视差信息，机顶盒200检查与最近对象播放位置对应的视差角(沿交叉方向的视差角)以及与最远对象播放位置对应的视差角(沿同侧方向的视差角)是否在预定范围内以不伤害观看者的健康。此外，在该视差角不包括在预定范围内的情况下，机顶盒200重新配置左眼图像数据和右眼图像数据以便该视差角被包括在预定范围内，并校正第一视差息和第二视差息。
[0202]此外，在将图形(STB图形)重叠并显示在图像上的情况下，机顶盒200使用图像数据、视差信息(第一视差信息)和图形数据，并且获得重叠有图形的左眼图像数据和右眼图像数据的数据。在这种情况下，机顶盒200将与每个图片的这些图形的显示位置对应的视差添加至被重叠在左眼图像和右眼图像上的图形，并且获得重叠有图形的左眼图像数据和重叠有图形的右眼图像数据。
[0203]如上所述通过将视差添加至图形，重叠并显示在立体图像上的图形(STB图形)能够被显示地比显示位置处的立体图像的对象近。因此，在将图形比如OSD或应用或者图形比如节目信息的EPG重叠并显示在图像上时，可以保持图像内的每个对象在立体感上的一致性。
[0204]图24示出了根据视差信息的图形深度控制的概念。在视差信息为负值的情况下，添加视差以使得用于左眼显示的图形移位至屏幕的右侧而用于右眼显示的图形移位至左侦U。在这种情况下，图形的显示位置在屏幕的近侧。此外，在视差信息为正值的情况下，添加视差以使得用于左眼显示的图形移位至屏幕的左侧而用于右眼显示的图形移位至右侧。在这种情况下，图形的显示位置在屏幕的远侧。
[0205]如上所述，针对图像数据的每个图片获得的视差信息被插入视频流中。因此，机顶盒200能够使用与图形的显示时序匹配的视差信息，精确地执行使用视差信息的图形深度控制。
[0206]此外，图24示出了沿同侧方向的视差角(Θ0-Θ2)和沿交叉方向的视差角(Θ0-Θ I)。基于插入在视频流中的每个图片的第一视差信息和第二视差信息，在机顶盒200处执行这些视差角是否在预定范围内以不伤害观看者的健康的检查。
[0207]图25是如下情况的示例:以图片为单位将视差信息插入视频流中，并且在机顶盒200处按照图像数据的图片时序顺序地获得视差信息。与图形显示时序匹配的视差信息(第一视差信息)用于图形的显示，并且适当的视差被添加至图形。此外，图26是如下情况的示例:以GOP为单位将视差信息插入视频流中，并且在机顶盒200处以图像数据的GOP的报头时序一起获得GOP内的每个图片的视差信息(视差信息组)。与图形显示时序匹配的视差信息(第一视差信息)用于显示图形(STB图形)，并且适当的视差被添加至图形。
[0208]图27 (a)中的“侧视图”示出了图像上的子标题和OSD图形的显示示例。该显示示例是子标题和图形重叠到由背景、中视场对象和近视场对象组成的图像上的示例。图27(b)中的“俯视图”示出了背景、中视场对象、近视场对象、子标题以及图形的立体感。该图示示出:子标题和图形被识别为比对应于显示位置的对象近。注意，尽管在图中未示出，但是在子标题和图形的显示位置重叠的情况下，例如添加适当的视差至图形以使得所述图形被识别成比子标题近。
[0209]“机顶盒的配置示例”
[0210]图28示出了机顶盒200的配置示例。机顶盒200具有容器缓冲器211、解复用器212、编码缓冲器213、视频解码器214、解码缓冲器215、缩放器216、L/R重构单元263以及重叠单元217。此外，机顶盒200具有视差信息缓冲器218、视差信息控制单元262、机顶盒(STB)图形生成单元219、深度控制单元220以及图形缓冲器221。
[0211]此外，机顶盒200具有编码缓冲器231、子标题解码器232、像素缓冲器233、子标题视差信息缓冲器234以及子标题显示控制单元235。另外，机顶盒200具有编码缓冲器241、音频解码器242、音频缓冲器243、通道混合单元244以及HDMI发送单元251。
[0212]容器缓冲器211暂时存储由未示出的数字调谐器等接收的传输流TS。视频流、子标题流和音频流包括在该传输流TS中。通过已编码的左眼图像数据和右眼图像数据获得的一个或两个视频流包括在视频流中。
[0213]例如，并排格式或上下格式的图像数据可以通过左眼图像数据和右眼图像数据进行配置并在一个视频流中进行发送。此外，例如，左眼图像数据和右眼图像数据可以分别在单独的视频流中比如在MVC基本视图流和MVC非基本视图流中发送。
[0214]解复用器212从临时存储在了容器缓冲器211中的传输流TS中提取视频、子标题以及音频中的每一个的流。此外，解复用器212提取表示视差信息是否被插入视频流中的标识信息(标志信息“graphics_depth_info_not_existed_flag[0] ”)，并将该信息发送至未示出的控制单元(CPU)。当标识信息表示插入了视差信息时，视频解码器214如随后所述在控制单元(CPU)的控制下从视频流获得视差信息(第一视差信息、第二视差信息)。
[0215]编码缓冲器213临时存储由解复用器212提取的视频流。视频解码器214对存储在编码缓冲器213中的视频流执行解码处理，获得左眼图像数据和右眼图像数据。此外，视频解码器214获得被插入视频流中的图像数据的每个图片的视差信息(第一视差信息、第二视差信息)。解码缓冲器215临时存储使用视频解码器214获得的左眼图像数据和右眼图像数据。
[0216]视差信息缓冲 器218临时存储使用视频解码器214获得的图像数据的每个图片的视差?目息(第一视差?目息、第二视差?目息)。视差?目息控制单兀262基于存储在视差彳目息缓冲器218中的每个图片的第一视差信息和第二视差信息，来检查与最近对象播放位置对应的视差角(沿交叉方向的视差角)以及与最远对象播放位置对应的视差角(沿同侧方向的视差角)是否在预定范围内以不伤害观看者的健康。
[0217]此外，在视差角不包括在预定范围内的情况下，视差信息控制单元262指示L/R重构单元263重新配置左眼图像数据和右眼图像数据以使得视差角被包括在预定范围内，并且校正第一视差信息和第二视差信息。此外，视差信息控制单元262校正并输出第一视差信息和/或第二视差信息以与重新配置的左眼图像数据和右眼图像数据相匹配。注意，在视差角包括在预定范围内的情况下，视差信息控制单元262输出未作改变的左眼图像数据和右眼图像数据，而不指示L/R重构单元263重新配置左眼图像数据和右眼图像数据，并且不校正第一视差/[目息和第二视差/[目息。
[0218]图29的上部示出了在接收的数据(左眼图像数据和右眼图像数据)中近侧的视差角和远侧的视差角的时移的示例。范围d表示不伤害观看者的健康的视差角的范围。在该示例中，存在远侧的视差角不包括在范围d中的段。
[0219]图29的下部示出了在重新配置的数据(左眼图像数据和右眼图像数据)中近侧的视差角和远侧的视差角的时移的示例。(a)是在超出范围d时进行限制控制的情况下的示例。(b)是在减少整体深度量以使得不超出范围d的情况下的示例。
[0220]图30示出了视差信息控制单元262的配置示例。视差信息控制单元262具有最大值获取单元271、最小值获取单元272、视差角检查单元272以及视差信息校正单元274。最大值获取单元271从所接收的第二视差信息(最大视差)中选择最大值，并且将该最大值提供给视差角检查单元273。所接收的第二视差信息在针对整个图片画面的情况下由一条信息构成，而在针对多个分割区域的情况下为多条信息。最小值获取单元272从所接收的第一视差信息(最小视差)中选择最小值，并且将该最小值提供给视差角检查单元273。所接收的第一视差信息在针对整个图片画面的情况下由一条信息构成，而在针对多个分割区域的情况下为多条信息。
[0221]视差角检查单元273基于第一视差信息和第二视差信息，来检查近侧的视差角和远侧的视差角是否包括在预定范围内的范围d (参见图29)内以不伤害观看者的健康，并且将检查结果提供给视差信息校正单元274。当视差角不包括在范围d内时，视差信息校正单元274指示L/R重构单元263重新配置所接收的左眼图像数据和右眼图像数据以使得视差角包括在范围d内。
[0222]此外，将所接收的第一视差信息(最小视差)和第二视差信息(最大视差)提供给视差?目息校正单兀274。视差彳目息校正单兀274对第一视差/[目息和第二视差/[目息执行校正处理以与上述左眼图像数据和右眼图像数据的重构指令相匹配，并且输出校正后的第一视差/[目息(校正后的最小视差)和第二视差?目息(校正后的最大视差)。注意，当视差角包括在范围d内时，视差信息校正单元274不指示L/R重构单元263重新配置左眼图像数据和右眼图像数据，并且输出未校正的第一视差信息和第二视差信息。
[0223]返回图28，如果需要，则缩放器216对从解码缓冲器215输出的左眼图像数据和右眼图像数据沿水平方向和垂直方向执行缩放处理。例如，在左眼图像数据和右眼图像数据被作为并排格式或上下格式的图像数据在一个视频流中进行发送的情况下，数据被沿水平方向或垂直方向放大两倍并输出。此外，例如，在左眼图像数据和右眼图像数据分别在单独的视频流比如MVC基本视图流和MVC非基本视图流中发送的情况下，不执行缩放处理，输出未作改变的左眼图像数据和右眼图像数据。
[0224]L/R重构单元263重新配置左眼图像数据和右眼图像数据。也就是说，当沿同侧方向或交叉方向的至少一个视差角超过`不伤害观看者的健康的预定范围时，L/R重构单元263基于来自视差信息控制单元262的上述重构指令来重新配置左眼图像数据和右眼图像数据以使得视差角包括在预定范围内。
[0225]编码缓冲器231临时存储用解复用器214提取的子标题流。子标题解码器232执行与上述发送数据生成单元110的子标题编码器117 (参见图8)相反的处理。也就是说，子标题解码器232对存储在编码缓冲器231中的子标题流执行解码处理，并且获得子标题数据。
[0226]该子标题数据中包括子标题的位图数据、显示位置信息“子标题渲染位置(x2, y2)”以及子标题的视差信息“子标题视差”。像素缓冲器233临时存储由子标题解码器232获得的子标题位图数据和子标题显示位置信息“子标题渲染位置(x2，y2)”。子标题视差信息缓冲器234临时存储由子标题解码器232获得的子标题的视差信息“子标题视差”。
[0227]子标题显示控制单元235基于子标题的视差信息和显示位置信息，来生成子标题的位图数据以及添加有视差的用于左眼显示和右眼显示的子标题的位图数据“子标题数据”。机顶盒(STB)图形生成单元219生成图形比如OSD或应用，或者图形数据比如EPG。该图形数据中包括图形位图数据“图形数据”和图形显示位置信息“图形渲染位置(xl，yl)”。
[0228]图形缓冲器221临时存储由机顶盒图形生成单元219生成的图形位图数据“图形数据”。重叠单元217将由子标题显示控制单元235生成的用于左眼显示和用于右眼显示的子标题的位图数据“子标题数据”分别重叠在左眼图像数据与右眼图像数据上。
[0229]此外，重叠单元217将存储在图形缓冲器221中的图形位图数据“图形数据”重叠在左眼图像数据和右眼图像数据中的每一个上。在这种情况下，由随后描述的深度控制单元220将视差添加至被重叠在左眼图像数据和右眼图像数据中的每一个上的图形位图数据“图形数据”。现在，在图形位图数据“图形数据”与子标题的位图数据“子标题数据”共享相同像素的情况下，重叠单元217将图形数据覆盖在子标题数据上。
[0230]深度控制单元220将视差添加至被重叠至左眼图像数据和右眼图像数据中的每一个上的图形位图数据“图形数据”。因此，深度控制单元220针对图像数据的每个图片生成用于左眼显示和用于右眼显示的图形的显示位置信息“渲染位置”，并且对存储在图形缓冲器221中的图形位图数据“图形数据”的左眼图像数据和右眼图像数据执行重叠位置的移位控制。
[0231]如图31所示，深度控制单元220使用以下信息来生成显示位置信息“渲染位置”。也就是说，深度控制单元220使用从视差信息控制单元262输出的每个图片的第一视差信息(最小视差)。此外，深度控制单元220使用存储在像素缓冲器233中的子标题的显示位置信息“子标题渲染位置(χ2，nr。
[0232]注意，如果关注于有效深度更新中的每个分割区域的深度变化，则在背景立体图像中的对象改变空间位置的情况下，深度的改变量立即变得显著，而且如果不进行修改而使用该改变量用于图形的重叠，则不用说观看者将经历关于深度的不适。因此，为了抑制这样的不适，深度控制单元220对每个图片的每个分割区域的第一视差信息(最小视差)执行下面所描述的沿例如时间方向进行平滑并将这样的突然变化抑制成平滑变化的处理(滤波处理)。现在，第一视差信息是接收到的已被转换为负值的绝对值。
[0233]图32示出了滤波处理的示例。该示例是在时刻TO处的视差信息值为A、在时刻Tl处的视差信息值为B以及变化是突然的情况下的示例。在这种情况下，在时刻Tl处的视差息值不是B本身，而是(A- α 1)ο类似地，在时刻Τ2处的视差彳目息值为(A- α 1*2),在时刻Τ3处的视差信息值为(Α-α 1*3)。在此，Ctl=(A-B)/N。因此,执行滤波处理以使得视差信息差(A-B)随着N个视频帧的时间逐渐变化，最终视差信息值稳定到B。
[0234]现在，在视差信息差(A-B)为例如N个像素时，以每帧一个像素的变化速率在N个视频帧的时间段上进行变化。此外，在视差信息差(A-B)不是N个像素的整数倍时，每帧的变化量出现小数值，但是还可以执行所谓的子像素控制，其中待重叠至图像上的图形经历插值、扩大/缩小等。
[0235]图33示出了滤波处理的另一个示例。该示例是在时刻TO处的视差信息值为Α，在时刻Τ1、Τ2和Τ3处的视差信息值分别为B、C、D，以及变化是突然的情况下的示例。在这种情况下，在时刻Tl处的视差信息值不是B本身，而是(Α-α I)。在此，a I=(A-B)/N。在这种情况下，执行滤波处理以使得视差信息差(A-B)在N个视频帧的时间上逐渐变化。
[0236]此外，在时刻Τ2处的视差彳目息值不是C本身，而是(Α-α I)-α 2。在此，α 2=((Α-α I) -C)/P。在这种情况下，执行滤波处理以使得视差信息差((Α-α I) - C)在P个视频帧的时间上逐渐变化。
[0237]另外，在时刻Τ2处的视差信息值不是D本身，而是((Α-α I)-α 2)-α 3)。在此，ct 3= (((A- α I) - α 2 ) _D ) /Q。在这种情况下，执行滤波处理以使得视差彳目息差((Α-α I) - a 2) -D)在Q个视频帧的时间上逐渐变化，最终视差信息值稳定到D。
[0238]注意，沿时间方向进行平滑的处理(滤波处理)并不限制于上述示例，可以使用其他方法。重点在于能够通过该滤波处理抑制视差信息的突然变化。
[0239]返回图31，此外，深度控制单元220使用存储在子标题视差信息缓冲器234中的子标题的视差信息“子标题视差”。此外，深度控制单元220使用由机顶盒图形生成单元219生成的图形显示位置信息“图形渲染位置(xl，yl)”。此外，深度控制单元220使用表示视差息是否被插入视频流中的标识息。
[0240]此外，深度控制单元220根据将子标题或图形重叠到图像上来更新从视差信息控制单元262输出的每个图片的第一视差信息(最小视差)。在这种情况下，深度控制单元220将与子标题显示位置和图形显示位置对应的分割区域的视差信息值更新成用于将视差添加至子标题或图形的视差信息值。
[0241]图34和图35中的流程图示出了深度控制单元220的控制处理的过程的示例。深度控制单元220执行其中执行图形显示的每个图片(帧)的该控制处理。深度控制单元220在步骤STl中开始控制处理。随后，在步骤ST2中，基于标识信息确定图形的视差信息是否已插入视频流中。
[0242]当图形的视差信息已经插入视频流中时，深度控制单元220进行至步骤ST3中的处理。在该步骤ST3中，检查包括图形重叠显示的坐标的全部分割区域。此外，在步骤ST4中，深度控制单元220比较待使用的分割区域的视差信息，针对图形视差信息的值(graphics_disparity)选择最佳值，例如最小值。
[0243]接下来，深度控制单元220进行至步骤ST5中的处理。当在上述步骤ST2中视差信息未被插入视频流中时，深度控制单元220进行至步骤ST5中的处理。在该步骤ST5中，深度控制单元220确定是否存在具有视差信息的子标题流。
[0244]当存在具有视差信息的子标题流时，在步骤ST6中深度控制单元220比较子标题的视差信息的值(subtitle_disparity)与图形的视差信息值(graphics_disparity)。注意，当图形的视差信息(视差)未插入视频流中时，图形的视差信息值(graphics_disparity)将例如为 “O”。
[0245]接下来,深度控制单元220在步骤ST7中确定是否满足“subtitle_disparity >(graphics_disparity)”的条件。当满足该条件时,在步骤ST8中，深度控制单元220对于存储在图形缓冲器221中的图形位图数据“图形数据”使用与图形的视差信息值(graphics_disparity)相同的值，获得显示位置已经移位的用于左眼显示和用于右眼显示的图形位图数据，并且将其分别重叠至左眼图像数据与右眼图像数据。
[0246]接下来，在步骤ST9中，深度控制单元220对与重叠子标题或图形的画面位置对应的分割区域的视差信息值进行更新。在步骤ST9中的处理后，在步骤STlO中，深度控制单元220结束控制处理。
[0247]另一方面，当在步骤ST7中不满足条件时，在步骤STlO中，深度控制单元220对于存储在图形缓冲器221中的图形位图数据“图形数据”使用比子标题视差信息小的值，获得显示位置已经移位的用于左眼显示和用于右眼显示的图形位图数据，并且将其分别重叠至左眼图像数据与右眼图像数据。在步骤STll的处理之后，深度控制单元220进行步骤ST9中的处理并在步骤STlO中结束控制处理。
[0248]此外，当在步骤ST5中不存在具有视差信息的子标题流时，深度控制单元220进行至步骤ST12中的处理。在该步骤ST12中，深度控制单元220通过使用在步骤ST4中获得的图形视差信息的值(graphics_disparity)或由机顶盒200计算出的视差信息的值来执行图形深度控制。
[0249]也就是说，深度控制单元220对于存储在图形缓冲器221中的图形位图数据“图形数据”使用图形视差信息的值(graphiCS_diSparity)或计算出的视差信息的值，获得显示位置已经移位的用于左眼显示和用于右眼显示的图形位图数据，并且将其分别重叠至左眼图像数据与右眼图像数据。在步骤ST12中的处理之后，在步骤STlO中深度控制单元220经由步骤ST9中的处理来结束控制处理。
[0250]图36示出了采用机顶盒200的图形深度控制示例。在该示例中，基于来自右侧的8个分割区域(分区2、3、6、7、10、11、14、15 )的视差信息的最小值视差信息，图形(STB图形)具有被添加至用于左眼显示的图形和用于右眼显示的图形的视差。因此，图形被显示地比这8个分割区域的图像(视频)对象近。
[0251]图37也示出了采用机顶盒200的图形深度控制示例。在该示例中，基于来自右侧的8个分割区域(分区2、3、6、7、10、11、14、15)的视差信息的最小值视差信息以及进一步基于子标题的视差信息，图形(STB图形)具有被添加至用于左眼显示的图形和用于右眼显示的图形的视差。
[0252]因此，图形被显示地比这8个分割区域的图像(视频)对象近，并且进一步地，显示地比子标题近。注意，在这种情况下，子标题也显示地比与子标题显示位置对应的4个分割区域(分区8、9、10、11)的图像(视频)对象近。
[0253]注意，在图37中的深度控制示例的情况下的视差信息的更新处理如下执行。也就是说，首先，使用用于将视差添加至子标题的视差信息值(subtitle_diSparity)来更新与子标题显示位置对应的4个分割区域(分区8、9、10、11)的视差信息值。随后，使用用于将视差添加至图形的视差信息值(graphics_disparity)来更新8个分割区域(分区2、3、6、7、10、11、14、15)的视差信息值。
[0254]返回图28，编码缓冲器241临时存储由解复用器212提取的音频流。音频解码器242执行与上述发送数据生成单元110的音频编码器119 (参见图8)相反的处理。也就是说，音频解码器242对存储在编码缓冲器241中的音频流执行解码处理，并且获得解码后的音频数据。音频缓冲器243临时存储由音频解码器242获得的音频数据。对于存储在音频缓冲器243中的音频数据，通道混合单元244生成并输出每个通道的音频数据以实现例如
5.1ch环回立体声等。
[0255]注意，基于PTS执行从解码缓冲器215、视差信息缓冲器218、像素缓冲器233、子标题视差信息缓冲器234以及音频缓冲器243的信息(数据)的读出，并且执行传输同步。
[0256]HDMI发送单元251将在重叠单元217处执行了子标题和图形重叠处理获得的左眼图像数据和右眼图像数据、在通道混合单元244处获得的每个通道的音频数据，通过符合HDMI的通信发送至HDMI接收端设备，根据本实施方式为电视接收设备300。现在，采用重叠单元217获得的左眼图像数据是重叠有用于左眼显示的子标题和STB图形的左眼图像数据。此外，采用重叠单元217获得的右眼图像数据是重叠有用于右眼显示的子标题和STB图形的右眼图像数据。
[0257]此外，该HDMI发送单元251通过HDMI接口将由深度控制单元220更新的每个图片的第一视差信息(最小视差)和从视差信息控制单元262输出的每个图片的第二视差信息(最大视差)发送至电视接收设备300。根据本实施方式，该第一视差信息和第二视差信息被插入图像数据消隐时间段或有效空间区域并发送。随后将描述HDMI发送单元251的细节。
[0258]将简要描述图28中所示的机顶盒200的操作。由数字调谐器等接收的传输流TS被临时存储在容器缓冲器211中。视频流、子标题流以及音频流包括在该传输流TS中。对于视频流，包括对左眼图像数据和右眼图像数据编码获得的一个或两个视频流。
[0259]采用解复用器212，从临时存储在容器缓存器211中的传输流TS中提取视频、子标题和音频中的每一个的流。此外，采用解复用器212，表示视差信息是否插入视频流中的标识信息(标志信息“graphics_depth_info_exsited_flag[0] ”)从该传输流TS中提取，并发送至未示出的控制单元(CPU)。
[0260]由解复用器212提取的音频流提供给编码缓冲器213并被临时存储。此外，在视频解码器214中对存储在编码缓冲器213中的视频流执行解码处理，获得左眼图像数据和右眼图像数据。左眼图像数据和右眼图像数据临时存储在解码缓冲器215中。
[0261]此外，插入视频流中的图像数据的每个图片的视差信息(第一视差信息、第二视差?目息)是由视频解码器214获得的。该视差彳目息被临时存储在视差彳目息缓冲器218中。在视差信息控制单元262中，基于存储在视差信息缓冲器218中的每个图片的第一视差信息和第二视差信息，执行如下检查:检查与最近对象播放位置对应的视差角(沿交叉方向的视差角)和与最远对象播放位置对应的视差角(沿同侧方向的视差角)是否包括在不伤害观看者健康的范围d (参见图29)内。
[0262]现在，采用该视差信息控制单元262，在视差角不包括在预定范围内的情况下，向L/R重构单元263给出重新配置左眼图像数据和右眼图像数据的指令以使得视差角包括在预定范围内。此外，在这种情况下，采用视差信息控制单元262，第一视差信息和/或第二视差信息被校正并输出以与重新配置后的左眼图像数据和右眼图像数据相匹配。注意，采用视差信息控制单元262，在视差角包括在预定范围d内的情况下，L/R重构单元263不被指示来重新配置左眼图像数据和右眼图像数据，而且，第一视差信息和第二视差信息输出而不校正。
[0263]采用缩放器216，如果必要，对从解码缓冲器215输出的左眼图像数据和右眼图像数据沿水平方向和垂直方向执行缩放处理。从该缩放器216获得例如1920*1080的全高清左眼图像数据和右眼图像数据。该左眼图像数据和右眼图像数据经由L/R重构单元263提供给重叠单元217。
[0264]如果需要，采用L/R重构单元263进行左眼图像数据和右眼图像数据的重新配置。也就是说，采用L/R重构单元263，当沿同侧方向或交叉方向的视差角之一不包括在不伤害观看者的健康的范围d (参见图29)内时，基于来自视差信息控制单元262的重构指令对左眼图像数据和右眼图像数据进行重新配置，以使得其视差角包括在预定范围内。
[0265]此外，由解复用器212提取的子标题流被提供给编码缓冲器231并临时存储。采用子标题解码器232，对存储在编码缓冲器231中的子标题流执行解码处理，获得子标题数据。该子标题数据中包括子标题的位图数据、该子标题的显示位置信息“子标题渲染位置(x2, y2)”以及子标题的视差信息“子标题视差”。
[0266]由子标题解码器232获得的子标题的位图数据和该子标题的显示位置信息“子标题渲染位置(x2，y2)”临时存储在像素缓冲器233中。此外，在子标题解码器232处获得的子标题视差信息“子标题视差”临时存储在子标题视差信息缓冲器234中。
[0267]基于子标题位图数据以及该子标题的显示位置信息和视差信息，子标题显示控制单元235生成添加了视差的用于左眼显示和用于右眼显示的子标题位图数据“子标题数据”。这样生成的用于左眼显示和用于右眼显示的子标题位图数据“子标题数据”提供给重叠单元217，并分别重叠左眼图像数据与右眼图像数据上。
[0268]在机顶盒(STB)图形生成单元219中生成OSD或应用、或图形数据比如EPG。该图形数据中包括图形位图数据“图形数据”和这些图形的显示位置信息“图形渲染位置(xl，yl)”。由机顶盒(STB)图形生成单元219生成的图形数据临时存储在图形缓冲器221中。
[0269]存储在图形缓冲器221中的图形位图数据“图形数据”在重叠单元217处重叠在左眼图像数据和右眼图像数据上。在这种情况下，基于对应于图形显示位置的视差信息，深度控制单元220将从视差信息控制单元262输出的图像数据的每个图片的每个分割区域的第一视差信息、视差添加至被重叠在左眼图像数据和右眼图像数据中的每一个上的图形位图数据“图形数据”。
[0270]在这种情况下，在图形位图数据“图形数据”与子标题位图数据“子标题数据”共享相同像素的情况下，重叠单元217将图形数据覆盖在子标题数据上。另外，在这种情况下，如上所述，并非没有变化地使用第一视差信息，而是第一视差信息被沿时间方向进行平滑并被深度控制单元220使用以防止图形重叠的深度感觉的不适。
[0271]从重叠单元217获得重叠有用于左眼显示的子标题和图形的左眼图像数据和重叠有用于右眼显示的子标题和图形的右眼图像数据。该左眼图像数据和右眼图像数据被提供给HDMI发送单元251。
[0272]此外，由解复用器212提取的音频流提供给编码缓冲器241并临时存储。采用音频解码器242，对存储在编码缓冲器241中的音频流执行解码处理，获得解码后的音频数据。该音频数据经由音频缓冲器243提供给通道混合单元244。通道混合单元244生成每个通道的音频数据以实现例如对于音频数据的5.1ch (通道)声音等。该音频数据提供给HDMI发送单元251。
[0273]此外，采用深度控制单元220，根据将子标题或图形重叠到图像上来更新从视差信息控制单元262输出的图像数据的每个图片的每个分割区域的第一视差信息。在这种情况下，与子标题显示位置和图形显示位置对应的分割区域的视差信息的值被更新成例如用于将视差添加至子标题或图形的视差信息的值。该更新后的视差信息提供给HDMI发送单元251。此外，从视差信息控制单元262输出的图像数据的每个图片的第二视差信息也提供给HDMI发送单元251。
[0274]HDMI发送单元251采用HDMI兼容的通信将左眼图像数据、右眼图像数据、音频数据以及图像数据的每个图片的视差信息(第一视差信息、第二视差信息)发送至电视接收设备300。随后将描述HDMI发送单元251的细节。
[0275]视差信息被插入图像数据的消隐时间段或有效视频空间并发送。具体地，例如可以使用用作设置在图像数据的消隐时间段中的信息包的HDMI供应商专用信息帧。此外，例如可以使用设置在新定义的数据隔离时间段中的数据包。此外，例如可以使用在有效视频空间中存在的有效空间区域。
[0276][电视接收设备的描述]
[0277]返回图1，电视接收设备300接收左眼图像数据、右眼图像数据、音频数据以及经由HDMI电缆400从机顶盒200发送的图像数据的每个图片的视差信息(第一视差信息、第
二视差彳目息)。
[0278]例如，在执行将图形(TV图形)重叠显示至图像上时，电视接收设备300使用图像数据、第一视差信息和图形数据数据以获得重叠有图形的左眼图像数据和右眼图像数据。在这种情况下，电视接收设备300针对每个图片将与图形的显示位置对应的视差添加至被重叠在左眼图像和右眼图像上的图形，并且获得重叠有图形的左眼图像数据以及重叠有图形的右眼图像数据。
[0279]如上所述，通过将视差添加至图形，重叠并显示在立体图像上的图形(TV图形)能够比在显示位置处的立体图像中的对象显示地更近。因此，在重叠并显示OSD或应用或节目信息的EPT等的图形的情况下，可以保持图像内的每个对象的立体感的一致性。
[0280]此外，电视接收设备300可以基于第一视差信息和第二视差信息，来检查与最近对象播放位置对应的视差角(沿交叉方向的视差角)以及与最远对象播放位置对应的视差角(沿同侧方向的视差角)是否包括在不伤害观看者的健康的范围d (参见图47)内，如果未包括在d内，则可以重新配置左眼图像数据和右眼图像数据。
[0281][电视接收设备的配置示例]
[0282]图38示出了电视接收设备300的HDMI输入系统的配置示例。注意，省略了视差角的检查系统。电视接收设备300具有HDMI接收单元311、缩放器312、重叠单元313、深度控制单元314、图形缓冲器315、电视(TV)图形生成单元316以及音频处理单元317。
[0283]HDMI接收单元311通过HDMI兼容的通信从根据本实施方式为机顶盒200的HDMI源设备接收音频数据以及构成立体图像的左眼图像数据和右眼图像数据。此外，该HDMI接收单元311采用HDMI接口从机顶盒200接收图像数据的每个图片的视差信息(第一视差信息、第二视差信息)。随后将描述该HDMI接收单元311的细节。
[0284]如果需要，缩放器312对由HDMI接收单元311接收到的左眼图像数据和右眼图像数据执行缩放处理。例如，缩放器312将左眼图像数据和右眼图像数据的尺寸匹配到显示尺寸。电视(TV)图形生成单元316生成OSD或应用或图形数据比如EPG。该图形数据包括图形位图数据“图形数据”以及图形的显示位置信息“图形渲染位置(xl，yl)”。
[0285]图形缓冲器315临时存储由电视图形生成单元316生成的图形位图数据“图形数据”。重叠单元313将存储在图形缓冲器315中的图形位图数据“图形数据”重叠至左眼图像数据和右眼图像数据中的每一个上。在这种情况下，由随后描述的深度控制单元314将视差添加至被重叠至左眼图像数据和右眼图像数据中的每一个上的图形位图数据“图形数据”。
[0286]深度控制单元314将视差添加至被重叠至左眼图像数据和右眼图像数据中的每一个上的图形位图数据“图形数据”。因此，深度控制单元314针对图像数据的每个图片生成用于左眼显示和用于右眼显示的图形的显示位置信息“渲染位置”，并且对存储在图形缓冲器315中的图形位图数据“图形数据”的左眼图像数据和右眼图像数据执行重叠位置的移位控制。
[0287]如图39所示，深度控制单元314使用以下信息生成显示位置信息“渲染位置”。也就是说，深度控制单元314使用由HDMI接收单元311接收到的图像数据的每个图片的每个分割区域的第一视差信息(最小视差)。此外，深度控制单元314使用由电视图形生成单元316生成的图形显示位置信息“图形渲染位置(xl，yl)”。此外，深度控制单元314使用表示视差息是否由HDMI接收单兀311接收的接收信息。
[0288]图40中的流程图示出了深度控制单元314的控制处理的过程的示例。深度控制单元314对执行图形显示的每个图片(帧)执行该控制处理。在步骤ST21中深度控制单元314开始控制处理。随后，在步骤ST22中，确定HDMI接收单元311是否已接收到图形的视差信息。注意，当随后要描述的HDMI供应商专用信息帧的包的标识信息“PRTY”表示存在用作待参考的信息的视差信息时，HDMI接收单元311从所述包提取视差信息并提供以被使用。在这种情况下，接收信息为“存在接收”。
[0289]当存在视差信息的接收时，深度控制单元314进行至步骤ST23中的处理。在步骤ST23中，重叠和显示图形的坐标的所有分割区域被包括并被检查。此外，在步骤ST24中，深度控制单元314比较待使用的分割区域的第一视差信息(最小视差)，选择最佳值例如最小值，并且将该最佳值设置为图形视差信息的值(graphics_disparity)。
[0290]接下来，在步骤ST25中，深度控制单元314使用针对存储在图形缓冲器315中的图形位图数据“图形数据”的图形的视差信息值(graphics_disparity)的等价值,获得显示位置发生移位的用于左眼显示和用于右眼显示的图形位图数据，并且将其分别重叠至左眼图像数据与右眼图像数据。在步骤ST25中的处理之后，在步骤ST26中深度控制单元314结束控制处理。
[0291]此外，当在步骤ST22中不存在视差信息的接收时，在步骤ST27中，深度控制单元314使用针对存储在图形缓冲器315中的图形位图数据“图形数据”的由电视接收设备300计算出的视差信息的值，获得显示位置已经移位的用于左眼显示和用于右眼显示的图形位图数据，并且将其分别重叠至左眼图像数据与右眼图像数据。在步骤ST27中的处理之后，在步骤ST26中深度控制单元314结束控制处理。
[0292]图41示出了电视接收设备300中图形的深度控制示例。在该示例中，基于在右侧的4个分割区域(分区10、11、14、15)的第一视差信息的最小值视差信息，将视差添加至用于左眼显示的图形和用于右眼显示的图形。结果，TV图形被显示地比这4个分割区域中的图像(视频)对象更近。注意，在这种情况下，机顶盒200已经将子标题以及STB图形重叠至图像(视频)上。
[0293]将简要描述图38所示的电视接收设备300的操作。采用HDMI接收单元311，通过HDMI兼容的通信从机顶盒200接收左眼图像数据、右眼图像数据、音频数据以及图像数据的每个图片的视差信息(第一视差信息、第二视差信息)。
[0294]一旦缩放器312根据需要执行了缩放处理，由HDMI接收单元311接收到的左眼图像数据和右眼图像数据提供给重叠单元313。采用电视(TV)图形生成单元316，生成OSD或应用或图形数据比如EPG。该图形数据包括图形位图数据“图形数据”和这些图形的显示位置信息“图形渲染位置(xl，yl)”。由电视图形生成单元315生成的图形数据临时存储在图形缓冲器315中。
[0295]重叠单元313将存储在图形缓冲器315中的图形位图数据“图形数据”重叠至左眼图像数据和右眼图像数据。在这种情况下，基于对应于图形显示位置的第一视差信息(最小视差)，深度控制单元314将视差添加至被重叠至左眼图像数据和右眼图像数据中的每一个上的图形位图数据“图形数据”。
[0296]深度控制单元314使用由HDMI接收单元311接收到的图像数据的每个图片的每个分割区域的第一视差信息以及电视图形生成单元316所生成的图形显示位置信息“图形渲染位置(xl，yl)”用于控制。
[0297]从重叠单元313获得重叠有用于左眼显示的TV图形的左眼图像数据，获得重叠有用于右眼显示的TV图形的右眼图像数据。该图像数据被发送至用于立体图像显示的处理单元，并且进行立体图像显示。
[0298]此外，由HDMI接收单元311接收到的来自每个通道的音频数据经由对音质和音量执行调节的音频处理单元317提供给扬声器，并且执行与立体图像显示相匹配的音频输出。
[0299][HDMI发送单元和HDMI接收单元的配置示例]
[0300]图42示出了在图1中的图像发送/接收系统10中的机顶盒200的HDMI发送单元251和电视接收设备300的HDMI接收单元311的配置示例。
[0301]HDMI发送单元251使用多个通道在有效图像段(以下还被称为有效视频空间)中将与针对一个屏幕的非压缩图像的图像数据对应的差分信号沿一个方向发送至HDMI接收单元311。现在，有效图像段是从一个垂直同步信号至下一个垂直同步信号的段中去除了水平消隐间隔和垂直消隐间隔的段。此外，HDMI发送单元251使用多个通道在水平消隐间隔或垂直消隐间隔中将与至少音频数据和控制数据以及与图像相关联的其他辅助数据等对应的差分信号沿一个方向发送至HDMI接收单元311。
[0302]由HDMI发送单元251和HDMI接收单元311构成的HDMI系统的发送通道可以为以下发送通道。也就是说，存在3种TMDS通道#0至#2，其是使图像数据和音频数据与像素时钟同步，并且沿一个方向从HDMI发送单元251顺序发送至HDMI接收单元311的发送通道。此外，存在TMDS时钟通道，其为发送像素时钟的发送通道。
[0303]HDMI发送单元251具有HDMI发送器81。发送器81将非压缩图像的图像数据转换为相应的差分信号，并且通过为多个通道的3种TMDS通道#0、#1和#2’沿一个方向顺序发送至经由HDMI电缆400连接的HDMI接收单元311。
[0304]此外，发送器81将与非压缩图像相关联的音频数据、以及其他辅助数据比如必要的控制数据等转换为相应的差分信号，并且通过3种TMDS通道#0、#1和#2沿一个方向顺序发送至HDMI接收单元311。
[0305]另外，发送器81通过TMDS时钟通道将与通过3种TMDS通道#0、#1和#2发送的图像数据同步的像素时钟发送至经由HDMI电缆400连接的HDMI接收单元311。现在，通过一种TMDS通道#i (i=0,1,2)按照像素时钟的一个时钟的时间来发送10位图像数据。
[0306]HDMI接收单元311接收在有效视频空间中的对应于像素数据的差分信号，该差分信号从HDMI发送单元251沿一个方向通过多个通道进行发送。此外，该HDMI接收单元311在水平消隐间隔或垂直消隐间隔中接收与从HDMI发送单元251沿一个方向通过多个通道发送的音频数据和控制数据对应的差分信号。
[0307]也就是说，HDMI接收单元311具有HDMI接收机82。该HDMI接收机82接收从HDMI发送单元251沿一个方向通过TMDS通道#0、#1和#2发送的对应于像素数据的差分信号以及对应于音频数据和控制数据的差分信号。在这种情况下，从HDMI发送单元251通过TMDS时钟通道发送的信号被同步到像素时钟并接收。
[0308]除了上述TMDS通道#0至#2以及TMDS时钟通道之外，HDMI系统的发送通道可以是被称为DDC (显示数据通道)83或CEC线路84的发送通道。DDC83由包括在HDMI电缆400中的两条未示出的信号线组成。DDC83用于HDMI发送单元251从HDMI接收单元311读出E-EDID (增强扩展显示标识数据)。
[0309]也就是说，除了 HDMI接收机81之外，HDMI接收单元311具有EDID ROM (只读存储器)85，其存储作为与其自身的性能(配置/性能)相关的性能信息的E-EDID。HDMI发送单元251例如根据来自未示出的控制单元(CPU)的请求，经由DDC83从经由HDMI电缆400连接的HDMI接收单元311读出E-EDID。
[0310]HDMI发送单元251将读出的E-EDID发送至控制单元(CPU)。基于该E-EDID，控制单元(CPU)可以识别HDMI接收单元311的性能的设置。例如，控制单元(CPU)识别具有HDMI接收单元311的电视接收设备300是否能够处理立体图像数据，如果能够处理，是否能够处理任意TMDS发送数据配置。
[0311]CEC线路84由包括在HDMI电缆400中的一根未示出的信号线组成，并用于执行在HDMI发送单元251与HDMI接收单元311之间的控制数据的双向通信。该CEC线路84构成控制数据线路。
[0312]此外，HDMI电缆400中包括连接至被称为HPD (热插拔检测)的引脚的线路(HPD线路)86。源设备可以使用该线路86并检测接收端设备的连接。注意，该HH)线路86还被用作构成双向通信路径的HEAC线路。此外，用于从源设备向接收端设备供电的线路(输电线)87包括在HDMI电缆400中。另外，公共事业管线88包括在HDMI电缆400中。该公共事业管线88还用作构成双向通信路径的HEAC+线路。
[0313]图43示出了 TMDS传输数据的配置示例。该图43示出了在通过TMDS通道#0、#1和#2发送具有1920像素X 1080行的水平X垂直尺寸的图像数据的情况下各种类型的发送数据的段。
[0314]三类段存在于视频场中，其中根据发送数据的类型通过HDMI的三种TMDS通道#0、#1和#2传输发送数据。三类段为视频数据时间段、数据隔离时间段以及控制时间段。
[0315]现在，视频场段是从某个垂直同步信号的有效边界到下一个垂直同步信号的有效边界的段。该视频场段可以以水平消隐时间段、垂直消隐时间段以及有效视频空间(有效视频)进行划分。该有效视频空间是从视频场段中去除了水平消隐时间段和垂直消隐时间段的段。
[0316]视频数据时间段被分配给有效视频空间。在该视频数据时间段中，发送构成一屏幕非压缩图像数据的1920像素*1080行的有效像素的数据。
[0317]数据隔离时间段和控制时间段被分配给水平消隐时间段和垂直消隐时间段。在数据隔离时间段和控制时间段中，发送辅助数据。也就是说，数据隔离时间段被分配给水平消隐时间段和垂直消隐时间段的部分。在该数据隔离时间段内，在辅助数据中的与控制不相关的数据例如音频数据包等被发送。
[0318]控制时间段被分配给除了水平消隐时间段和垂直消隐时间段之外的其他部分。在该控制时间段内，在辅助数据中的与控制相关的数据例如垂直同步信号和水平同步信号、控制包等被发送。
[0319][使用HDMI的视差信息发送/接收方法]
[0320]将描述使用HDMI接口的对图像数据的每个图片的每个分割区域的视差信息进行发送/接收的方法。
[0321 ] “( I)使用HDMI供应商专用信息帧的示例”
[0322]将描述使用HDMI供应商专用信息帧(VS_InfO)传输图像数据的每个图片的每个分割区域的视差信息。
[0323]根据该方法，在VS_Info 中，“HDMI_Video_Format= “010，，，，以及 “3D_Meta_present=l”，从而指定“供应商专用信息巾贞扩展”。在这种情况下,“3D_Metadata_type”例如被定义为未使用的“001”，并且指定每个分割区域的视差信息。
[0324]图44示出了 VS_Info包配置示例。该VS_Info在CEA-861-D中进行了定义，因此将省略详细信息。图45示出了图44所示的包配置示例中的主要信息的内容。
[0325]表示图像数据的类型的3位信息“HDMI_Vide0_F0rmat ”被设置成从第4字节(PB4)的第7位到第5位。在这种情况下，图像数据是3D图像数据，该3位信息为“010”。此外，在图像数据为3D图像数据的情况下，表示TMDS发送数据配置的4位信息“3D_Structure”被设置成从第5字节(PB5)的第7位到第4位。例如,在巾贞封装方法的情况下，该4位信息为“0000”。
[0326]此外，在“3D_Meta_present”被设置成第5字节(PB5)的第3位并且指定供应商专用信息帧扩展的情况下，该I位为“I”。此外，“3D_Metadata_type”被设置成从第7字节(PB7)的第7位到第5位。在指定每个分割区域的视差信息的情况下，该3位信息例如为未使用的“001”。
[0327]此外，“3D_Metadata_length”被设置成从第7字节(PB7)的第4位到第O位。该5位信息表示每个分割区域的视差信息的尺寸。
[0328]此外，I位标识信息“PRTY”被设置成第6字节(PB6)的第O位。该标识信息为HDMI接收端侧应当参考的信息，在此表示视差信息是否包括在该VS_Info中。“ I ”表示总是包括HDMI接收端应当参考的信息。“O”表示不一定包括HDMI接收端应当参考的信息。
[0329]该I位标识信息“PRTY”被设置，从而根据本实施方式为电视接收设备300的HDMI接收端甚至不需要检查“3D_Metadata_type”和以下就能够确定应当参考的信息是否包括在VS_Info中。因此，在HDMI接收端，由于该标识信息能够没有浪费地执行从VS_Info中提取待参考的信息的处理，从而能够降低处理载荷。
[0330]此外，“partition_type”被设置成从第8字节(PB8)的第7位到第5位。该3位信息表示对象图片的显示屏的分区类型。“000”表示如图19 (a)所示的分区类型“类型001”。“001”表示如图19 (b)所示的分区类型“类型001”。“010”表示如图19 (c)所示的分区类型“类型010”。“011”表示如图19 (d)所示的分区类型“类型011”。“100”表示如图19 (e)所示的分区类型“类型100”。“101”表示如图19 (f)所示的分区类型“类型101”。[0331]此外，I位标识信息“cLpicture”被设置成第8字节(PB8)的第4位。该标识信息表示单图片或双图片。“O”表示单图片，即模式为发送一个图片的量作为每个分割区域的视差信息。“I”表示双图片，即模式为发送两个图片的量作为每个分割区域的视差信息。
[0332]此外，“partition_count”被设置成从第8字节(PB8)的第3位到第O位。该4位信息表示分割区域的总数目，其为取决于上述“partitionjype”的值。例如，“0000”表示1，“0011” 表示 4，“0111” 表示 8，“1000” 表示 9，“1100” 表示 13，“1111” 表示 16。
[0333]此外，在第8+1字节(PB8+1)及其后，用于一个图片或两个图片的视差信息(第一视差信息、第二视差信息)被顺序设置。8位信息“Max_disparity_in_picture”表示整个图片显示画面(整个图片)的第二视差信息，即整个图片的最大视差信息(视差值)。8位信息“1；[11_(118口31'；^7_；[11_口；[01:11代”表示每个分割区域的第一视差信息，即每个分割区域的最小视差息(视差值)。
[0334]图46示出了在“d_piCture=0”的情况下的VS_Info配置示例，模式为单图片，“partition_type=010”,分割区域为“16”。在这种情况下,在第8+1字节(PB8+1)及其后设置一个图片的每个分割区域的视差信息。
[0335]如上所述，在以图片为单位将视差信息插入视频流中的情况下，机顶盒200按照图像数据的每个图片的时序获得一个图片的视差信息(参见图25)。此外，如上所述，在以GOP为单位将视差信息插入视频流中的情况下，机顶盒200 —起获得GOP内的每个图片的视差信息(视差信息组)，以及图像数据的GOP的报头时序(参见图26)。
[0336]在上述两种情况中的任一种情况下，基于例如使用电视接收设备300中的CEC线路84的协商或者来自EDID R0M85的设置，机顶盒200可以任意选择单图片或双图片中的任一种模式。在这种情况下，机顶盒200可以根据用于发送每个图片的视差信息的传输频带或机顶盒200和电视接收设备300的处理能力来选择模式，从而能够有利地执行将视差信息发送至电视接收设备300。
[0337]采用电视接收设备300，基于设置在VS_Info中的“d_picture”的模式标识信息和是否存在上述“PRTY”参考信息的标识信息，可以精确接收所有图片的视差信息，而不管使用哪个发送模式。
[0338]图47示意性地示出了如下情况:其中，机顶盒200按照图像数据的每个图片的时序获得一个图片的视差信息，并且根据单图片模式将每个图片的视差信息顺序地发送至电视接收设备300。此外，图48示意性地示出了如下情况:其中，机顶盒200按照图像数据的每个图片的时序获得一个图片的视差信息，并且根据双图片模式将每个图片的视差信息顺序发送至电视接收设备300。
[0339]此外，图49示意性地示出了如下情况:其中，机顶盒200按照图像数据的GOP的报头时序一起获得GOP内的每个图片的视差信息，并且根据单图片模式将每个图片的视差信息顺序地发送至电视接收设备300。另外，图50示意性地示出了如下情况:其中，机顶盒200按照图像数据的GOP的报头时序一起获得GOP内的每个图片的视差信息，并且根据双图片模式将每个图片的视差信息顺序发送至电视接收设备300。
[0340]注意，在以上描述中，机顶盒200被描述成能够任意选择单图片模式或双图片模式。然而，例如，当按照图像数据的GOP的报头时序获得GOP内的每个图片的视差信息时，可以以单图片模式进行发送。在这种情况下，GOP内的每个图片的视差信息被分配给单独的图片，并且每个单独图片的视差信息被以图片为单位顺序地发送(参见图49)。在这种情况下，即使在用于发送每个图片的视差信息的传输频带较小的情况下，也可以将每个图片的视差信息有利地发送至电视接收设备300。
[0341]另一方面，如图48所示，在机顶盒200仅可以以每两个视频帧一次的速率发送VS_Info，或电视接收设备300仅可以以每两个视频帧一次的速率接收VS_Info的情况下，可以想到使用一个VS_Info连续发送两个视频帧的视差信息。
[0342]注意，在双图片模式中，可以通过设置第一图片或第二图片的视差信息为前一图片的视差信息的差数据来减少传输数据量。
[0343]图51和图52示出了 VS_Info (HDMI供应商专用信息帧)的另一个包配置示例。尽管将省略详细描述，第O字节(PBO)至第6字节(PB6)与在上述图44中所示的包配置示例相似。图45示出了图51和图52中所示的包配置示例的主要信息的内容。
[0344]“ 3D_Metadata_type ”被设置成从第7字节(PB7 )的第7位至第5位。在指定每个分割区域的视差信息的情况下，该3位信息可以例如为未使用的“001”。
[0345]此外，“3D_Metadata_length”被设置成从第7字节(PB7)的第4字节到第O字节。该5位信息表示每个分割区域的视差信息的尺寸。该“3D_Metadata_length”的值具有值0x00至0x16。例如，“00011”被表达为3 (按照十进制数)，“ 11010”被表达为26 (按照十进制数)。
[0346]I位标识信息“cLpicture”被设置成第8字节(PB8)的第7位。该标识信息表示单图片或双图片。“O”表示单图片，即发送具有每个分割区域的视差信息的一个图片的模式。“I”表示双图片，即发送具有每个分割区域的视差信息的两个图片的模式。
[0347]I位标识信息“partition_enable”被设置成第8字节(PB8)的第5位。该标识信息表示所讨论的图片是否具有每个分割区域的视差信息。“I”表示沿水平方向和垂直方向指定分割区域，并且每个分割区域具有视差信息。“O”表示整个画面具有一组视差信息。
[0348]I位标识信息“Picture_reoder”被设置成第8字节(PB8)的第6位。在发送双图片的情况下，表示发送两个图片(N，N+1)时，在时间上是N在前N+1在后，还是N+1在前N在后。“ I”表不图片(N+1)在如，其视差/[目息的值被表达为8位，图片N在后,与图片(N-1)的视差信息的差值被表达为4位。“O”表示图片N在前，其视差信息的值被表达为8位，图片(N+1)在后，与图片N的视差信息的差值被表达为4位。
[0349]此外，“partition_count”被设置成从第8字节(PB8)的第3位到第O位。该4位信息表示分割区域的总数目。例如，“0000”表示1，“0011”表示4，“0111”表示8，“1000”表示 9，“1100” 表示 13，“1111” 表示 16。
[0350]此外，在第8+1字节(PB8+1)及其后，顺序地设置一个图片或两个图片的视差信息(第一视差信息、第二视差信息)。8位信息“max_disparity_in_picture”表示整个图片显示画面(整个图片)的第二视差信息，即整个图片的最大视差信息(视差值)。8位信息“Min_disparity_in_partition”表示每个分割区域的第一视差信息，即每个分割区域的最小视差息(视差值)。
[0351]图51示出了在“d_piCture=l”的情况下的VS_Info配置示例，模式为双图片，“picture_reoder=0”,在时间上图片N在前图片N+1在后。注意,该示例表示“partition_Count=Illl"以及分割区域为“16”的情况。[0352]在这种情况下，图片N的整个图片显示画面的第二视差信息，即为整个图片的最大视差信息(视差值)的“Max_disparity_in_picture”被布置在第8+1字节(PB8+1)及其后。此外，图片N的每个分割区域的第一视差信息，即为每个分割区域的最小视差信息(视差值)的“Min_disparity_in_partition”被布置为从第8+2字节(PB8+2)到第8+16字节(PB8+16)。
[0353]此外，在这种情况下，图片N+1的整个图片显示画面的第二视差信息，即为整个图片的最大视差信息(视差值)的差数据的“Differential_max_disparity_in_picture”被布置为从第8+17字节(PB8+17)的第3位到第O位。图片N+1中的每个分割区域的第一视差信息，即为每个分割区域的最小视差信息(视差值)的差数据的“DifTerential_min_disparity_in_partition” 被布置为从第 8+18 字节(PB8+18)到第 8+25 字节(PB8+25)。
[0354]在图52中的VS_Info的配置示例示出了在“d_picture=l”的情况下的VS_Info配置示例，模式为双图片，“picture_reorder=l”，在时间上图片N+1在前图片N在后。注意，该示例示出了 “partiti0n_C0Unt=llll”以及分割区域为“16”的情况。
[0355]在这种情况下，图片N+1的整个图片显示画面的第二视差信息，即为整个图片的最大视差信息(视差值)的“Max_disparity_in_picture”被布置在第8+1字节(PB8+1)处。此外，图片N+1的每个分割区域的第一视差信息，即为每个分割区域的最小视差信息(视差值)的 “Min_disparity_in_partition” 被布置为从第 8+2 字节(PB8+2)到第 8+16 字节(PB8+16)。
[0356]此外，在这种情况下，图片N的整个图片显示画面的第二视差信息，即为整个图片的最大视差信息(视差值)的差数据的“Differential_max_disparity_in_picture”被布置为从第8+17字节(PB8+17)的第3位到第O位。图片N的每个分割区域的第一视差信息，即为图片N的每个分割区域的最小视差信息(视差值)的差数据的“Differential_min_disparity_in_partition” 被布置为从第 8+18 字节(PB8+18)到第 8+25 字节(PB8+25)。
[0357][图片N和图片N+1的顺序确定]
[0358]现在，例如如下执行图片N和图片N+1的顺序确定，即“picture_reorder”为“O”还是为“I”的确定。例如，按照图53所示的配置执行图片N和图片N+1的顺序确定。视差信息提供给帧存储器281，仅延迟一帧。采用减法器282，计算出图片N+1的视差信息D(N+1)与图片N的视差信息D (N)之间的差数据“D (N)-D (N+1 )”，并且将这里的差数据发送至顺序确定单元283。
[0359]采用顺序确定单元283，比较差数据的绝对值ID (N) -D (N+1) |与阈值Th，从而执行图片N与图片N+1的顺序确定。当|D(N)-D(N+1) I≤Th成立时，顺序确定单元283确定“图片N在前，图片N+1在后”，VS_Info的“picture_reorder”被设置为“0”，并且如上述图51所示设置图片N和图片N+1的视差信息。在这种情况下，图片N+1的视差信息是与图片N的视差信息的差数据。
[0360]图54示出了在ID (N) -D (N+1) | ( Th成立的情况下的视差信息(视差值)的时移示例。在该示例中，视差信息在图片N-1与图片N之间变化很大。然而，图片N的视差信息与图片N+1的视差信息之间的变化较小。因此，满足|D(N)-D(N+1) I≤Th。在这种情况下，图片N+1的视差信息是与图片N的视差信息的差数据，因此其值相对较小。
[0361]另一方面，当|D(N)_D(N+1) |>Th成立时，顺序确定单元283确定“图片N+1在前，图片N在后”，将VS_Info的“picture_reorder”设置为“1”，并且如上述图52所示设置图片N+1的视差信息和图片N的视差信息。在这种情况下，图片N的视差信息是与图片N-1的视差信息的差数据。
[0362]图55示出了在|D(N)_D(N+1) I >Th成立的情况下的视差信息(视差值)的时移示例。在该示例中，图片N-1的视差信息与图片N的视差信息之间的变化较小，但是图片N的视差信息与图片N+1的视差信息之间的变化较大。因此，满足|D(N)-D(N+1) |>Th。在这种情况下，图片N的视差信息是与图片N-1的视差信息的差数据，因此其值相对较小。
[0363]现在，关于“Min_disparity_in_partition”，如下式(2)、(3)中所示，分别使用每个分割区域的 “Min_disparity_in_partition” 的最小值 Min_disparity (N+1)、Min_disparity (N)作为 D (N+1)、D (N)0
[0364]D(N+1)=Min_disparity(N+1)
[0365]=Minimum(Min_disparity_partition(N+1_0, N+l_l, —, N+l_15))…(2)
[0366]D(N) =Min_disparity(N)
[0367]=Minimum(Min_disparity_partition(N_0, N_l, —, N_15))…(3)
[0368]注意，代替采用上式(3)求得D (N)，可以使用相同分割区域的图片N的“Min_disparity_partition” 作为被用作在上式(2)中的 D (N+1)的 Min_disparity (N+1)的“Min_disparity_partition，，。
[0369]另一方面，关于“Max_disparity_in_picture”，图片N+1 的“Max_disparity_in_picture” 用作 D (N+1), 图片 N 的 “Max_disparity_in_picture” 用作 D (N)。注意，
D(N) -D (N+1) I与Th之间的比较确定结果，在与“Min_disparity_in_partition”相关的结果和与“Max_disparity_in_picture”相关的结果不匹配的情况下，可以优先考虑与“Min_disparity_in_partition，，相关的结果,等等。
[0370]注意，在上述图52中的VS_Info的配置示例中，在时间上图片N+1被设置得在前图片N被设置得在后。因此，从第8+1字节(PB8+1)到第8+25字节(PB+25)的配置具有与图69中的VS_Info相同的配置示例，在图69中在时间上图片N被设置得在前图片N+1被设置得在后，从而可以稳定在接收侧的读取。然而，在图52所示的VS_Info的配置示例中，可以保留图片N+1的视差信息和图片N的视差信息的设置位置。
[0371]“(2)定义和使用新数据包的示例”
[0372]将描述使用在数据隔离时间段中新定义的数据包对图像数据的每个图片的每个分割区域的视差信息进行传输的方法。
[0373]图56示出了用作新定义的数据包的3D显示支持包的包报头的配置示例。以下，该包被称为“3DDS包”。在图45中示出了图56所示的配置示例中的主要信息的内容。
[0374]该3DDS包的包报头是3字节配置。包类型信息被布置为从第O字节(HBO)的第7位到第O位。在此，这为表示3DDS包的“ΟχΟΒ”。
[0375]“3D_support_ID”被设置为从第I字节(HBl)的第7位到第5位的3位字段。该3位信息是标识通过3DDS包发送的数据类型(包内容)的标识信息。“001”表示图片显示画面的每个分割区域的视差信息。
[0376]“有效载荷长度”被布置为从第2字节(HB2)的第4位到第O位。该5位信息表示紧跟在该包报头之后为有效载荷的包内容的按照字节长度的尺寸。[0377]图57示出了包内容的配置示例。该配置示例是单图片模式的示例。在图45中示出了图57所示的配置示例的主要信息的内容。
[0378]“3D_Metdata_type”被布置为从第O字节(PBO)的第7位到第5位。“001”表示视差信息是图片显示画面的每个分割区域的。“3D_Metadata_length”被布置为从第O字节(PBO)的第4位到第O位。该5位信息表示每个分割区域的视差信息的尺寸。
[0379]“partition_type”被布置为从第I字节(PBl)的第6位到第4位。该3位信息表示对象图片的显示画面的分区类型。“000”表示图19 (a)所示的分区类型“类型000”。“001”表示图19 (b)所示的分区类型“类型001”。“010”表示图19 (c)所示的分区类型“类型010”。“011”表示图19 (d)所示的分区类型“类型011”。“100”表示图19 (e)所示的分区类型“类型100”。“101”表示图19 (f)所示的分区类型“类型101”。
[0380]“partition_count”被布置为从第I字节(PBl)的第3位到第O位。该4位信息表示分割区域(分区)的总数目，并变成取决于上述“partiti0n_type”的值。例如，“0000”表示 1，“0011”表示 4，“0111”表示 8，“1000”表示 9，“1100”表示 13，以及“1111”表示 16。
[0381]一个图片的视差信息(第一视差信息、第二视差信息)被布置在第3字节(PB3)及其后。8位信息“Max_disparity_in_picture”表示整个图片显示画面(整个图片)的第二视差信息，即整个图片的最大视差信息(视差值)。8位信息“Min_disparity_in_partition”表示每个分割区域的第一视差信息，即每个分割区域的最小视差信息(视差值)。
[0382]现在，作为第一视差信息的“Min_disparity_in_partition”和作为第二视差信息的 “Max_disparity_in_picture” 是绝对值数据。“Min_disparity_in_partition” 被限制成比监视器位置近，从而在接收侧，即使没有表示符号位，发送的视差信息的值(绝对值)也可以被转换为负值并使用。相似地，“Max_disparity_in_picture”被限制成在监视器位置的远侧，从而在接收侧，即使没有表示符号位，发送的视差信息的值(绝对值)也可以被转换为正值并使用。
[0383]由于视差信息(第一视差信息、第二视差信息)因而变成绝对值数据，被表达为8位的视差信息的动态范围可以被扩展成O至255像素的范围。此外，通过添加上述限制，深度可以被表达为-255至+255。因此，即使使用被认为具有超高图像品质分辨率的4K*2K监视器，也可以使用现有传输频带执行深度控制。
[0384]注意，图57 不出的配置不例是在 “3D_Metadata_length=11010”、“partition_type=101”、“partition_count=llll” 的情况下的示例(参见图 19 Cf ))?
[0385]图58示出了包内容的另一个配置示例。该配置示例是双图片模式的示例。图45示出了在图58中所示的该配置示例的主要信息的内容。
[0386]“3D_Metadta_type”被布置为从第O字节(PBO)的第7位到第5位。“001”表示图片显示画面的每个分割区域的视差信息。“3D_Metadata_length”被布置为从第O字节(PBO)的第4位到第O位。该5位信息表示每个分割区域的视差信息的尺寸。
[0387]I位标识信息“cLpicture”被布置在第I字节(PBl)的第7位处。该标识信息表示单图片或双图片。“O”表示单图片，即发送一个图片作为每个分割区域的视差信息的模式。“I”表示双图片，即发送两个图片作为每个分割区域的视差信息的模式。
[0388]I位标识信息“partition_enable”被布置在第I字节(PBl)的第5位处。该标识信息表示对象图片是否具有每个分割区域的视差信息。“I”表示分割区域沿水平方向和垂直方向进行指定，每个分割区域具有视差信息。“O”表示整个画面具有一组视差信息。
[0389]I位标识信息“Picture_reorder”被布置在第I字节(PBl)的第6位处。在发送双图片的情况下，表示发送的两个图片(N，N+1)中，在时间上是N在前N+1在后，或者N+1在前N在后。“I”表示图片(N+1)在前，其视差信息的值被表达为8位，图片N在后，其与图片(N-1)的视差信息的差值被表达为4位。“O”表示图片N在前，其视差信息的值被表达为8位，图片(N+1)在后，其与图片N的视差信息的差值被表达为4位。
[0390]此外，“partition_count”被布置为从第I字节(PBl)的第3位到第O位。该4位信息表示分割区域的总数目。例如，“0000”表示1，“0011”表示4，“0111”表示8，“1000”表示 9，“1100” 表示 13，“1111” 表示 16。
[0391]此外，在第2字节(PB2)及其后，一个图片或两个图片的视差信息(第一视差信息、第二视差信息)顺序地设置。8位信息“Max_disparity_in_picture”表示整个图片显示画面(整个图片)的第二视差信息，即整个图片的最大视差信息(视差值)。8位信息“Min_disparity_in_partition”表示每个分割区域的第一视差信息，即每个分割区域的最小视差息(视差值)。
[0392]现在，与上述图57中的配置示例相似，作为第一视差信息的“Min_disparity_in_partition”和作为第二视差信息的“Max_disparity_in_picture”被设置成绝对值数据。
[0393]图58中的包内容的配置示例示出了在“d_piCtUre=l”的情况下的包内容的配置示例，模式为双图片，“picture_reorder=0”,在时间上图片N在前图片N+1在后。注意,该示例表示“partition_count=llll”以及分割区域为“16”的情况。
[0394]在这种情况下，图片N的整个图片显示画面的第二视差信息，即为整个图片的最大视差信息(视差值)的“Max_disparity_in_picture”被布置在第2字节(PB2)处。此外，图片N的每个分割区域的第一视差信息，即为每个分割区域的最小视差信息(视差值)的“Min_disparity_in_partition” 被布置为从第 3 字节(PB3)到第 18 字节(PB18)。
[0395]此外，在这种情况下，图片N+1的整个图片显示画面的第二视差信息，即为整个图片的最大视差信息(视差值)的差数据的“Differential_max_disparity_in_picture”被布置为从第19字节(PB19)的第3位到第O位。图片N+1的每个分割区域的第一视差信息，即为每个分割区域的最小视差信息(视差值)的差值的“Differential_min_disparity_in_partition”被布置为从第20字节(PB20)到第27字节(PB27)。
[0396]注意，尽管将省略图及详细描述，但是包内容的“d_piCtUre=l”、双图片模式、“picture_reorder=l”以及在时间上图片N+1在前图片N在后的情况的配置示例，与上述图52中的配置示例相对应。
[0397]注意，使用该新定义的3DDS包，在包报头中的“有效载荷长度”的位宽度可以具有多于5位的宽度，并且可以增加紧跟在该包报头之后的包内容的尺寸。
[0398]图59示出了在该情况下包内容的配置示例。“3D_Metadata_length”的前5位被布置为从第O字节(PBO)的第4位到第O位。此外，“3D_Metadata_length”的低8位被布置为从第I字节(PBO)的第7位到第O位。
[0399]此外，“partition_type”被布置为从第2字节(PB2)的第7位到第O位。此外，“partition_count”被布置为从第3字节的第7位到第O位。此外,视差信息(第一视差信息、第二视差信息)被布置在第4字节(PB4)及其后。[0400]“(3)使用有效空间区域的示例”
[0401]将描述使用有效空间区域对图像数据的每个图片的每个分割区域的视差信息进行发送的方法。
[0402]图60示出了帧封装方法的3D视频格式，其为用于立体图像数据的一种TMDS发送数据配置。该3D视频格式是使用逐行扫描(progressive)格式发送左眼(L)的图像数据和右眼(R)的图像数据作为立体图像数据的格式。
[0403]使用该3D视频格式，执行1920X 1080p和1080X720p像素格式的图像数据的传输，作为左眼(L)图像数据和右眼(R)图像数据。注意，图60示出了左眼(L)图像数据和右眼(R)图像数据分别为1920行*1080像素的示例。
[0404]使用该3D视频格式，生成如下发送数据:其具有通过垂直同步信号分段的视频场段单位，包括水平消隐时间段(Hblank)、垂直消隐时间段(Vblank)以及有效视频空间(HactiveXVactive)。在该3D视频格式中，有效视频空间具有两个有效视频区域(有效视频)，在这两个有效视频区域之间具有一个有效空间区域。左眼(L)图像数据布置在第一有效视频区域中，右眼(R)图像数据布置在第二有效视频区域中。有效视频空间具有两个有效视频区域(有效视频)作为主要图片区域，在这两个有效视频区域之间具有一个有效空间区域作为辅助图片区域。
[0405]图61示出了在使用有效空间区域的情况下的HDMI供应商专用信息帧的包配置的示例。“有效空间使能”在当前状态下在为保留(保留位)的第5字节(PB5)的第2位中进行定义，并且该I位信息设置为“I”。此外，图像数据的每个图片的每个分割区域的视差信息被插入在当前状态下被设置为保留(保留)的有效空间区域中。
[0406]在这种情况下，例如，可以想到不需要改变上述新定义的3DDS包将包内容的一部分插入有效空间区域中(参见图57、图58)。然而，还可以以其他形式执行插入。
[0407]有效空间区域构成有效视频空间以及在其中设置左眼图像数据和右眼图像数据的有效视频区域(参见图60)。现在，有效视频区域构成主要图片区域，有效空间区域构成辅助图片区域。有效空间区域根据视频的图像尺寸变化，但是在1920*1080的图像尺寸的情况下，具有每帧45行(86400字节)的容量。
[0408]注意，在以上描述中，示出了机顶盒200可以选择单图片模式或双图片模式的示例。然而，代替双图片模式，可以想到多图片模式，在多图片模式中图片的数目可以任意选择。此外，可以想到可以选择的模式的数目为3个或更多个的情况。在这种情况下，分割区域的数目可以被修改为根据HDMI源的适当数目，以使得可以在提供的频带内进行传输。
[0409]如上所述，采用图1所示的图像发送/接收系统10，广播站100将针对图像数据的每个预定图片获得的第一视差信息和第二视差信息插入视频流中并发送。现在，第一视差信息是与在图片显示画面的预定区域中的最近对象播放位置对应的视差信息，而第二视差信息是与在图片显示画面中的预定区域的最远对象播放位置对应的视差信息。因此，采用在接收侧的机顶盒200，基于第一视差信息和第二视差信息，例如执行视差角是否在不伤害观看者的健康的预定范围内的检查，如果需要可以重新配置左眼图像数据和右眼图像数据。
[0410]此外，采用图1所示的图像发送/接收系统10，在从机顶盒200向电视接收设备300发送每个分割区域的视差信息的情况下，使用例如新定义的3DDS包。在这种情况下，视差信息被插入3DDS包的内容部分中，而标识视差信息的标识信息被插入该3DDS包的报头部分中，该3DDS包被发送至电视接收设备300。因此，可以将视差信息高效地发送至电视接收设备300。
[0411]〈2.变型〉
[0412]注意，根据上述实施方式，已经示出了由广播站100、机顶盒200以及电视接收设备300构成的图像发送/接收系统10。然而，如图62所示，还可以想到由广播站100和电视接收设备300A构成的图像发送/接收系统10A。
[0413]图63示出了电视接收设备300A的配置示例。在图63中，对应于图28的部分具有附加其上的相同参考标号，将省略其详细描述。电视(TV)图形生成单元219A与图28中的机顶盒200的机顶盒(STB)图形生成单元219相似，并且生成OSD或应用或图形数据比如 EPG。
[0414]从重叠单元217获得重叠有用于左眼显示的子标题和图形的左眼图像数据，获得重叠有用于右眼显示的子标题和图形的右眼图像数据。该图像数据被发送至用于立体图像显示的处理单元，并执行立体图像显示。此外，采用通道混合单元244，对于音频数据生成每个通道的音频数据以实现例如5.1ch声音等。该音频数据被提供给例如扬声器，进行与立体图像显示匹配的音频输出。
[0415]除了图63中所示的电视接收设备300A与图28中的机顶盒200进行相似配置并且相似操作之外，将省略详细描述。
[0416]此外，根据上述实施方式，示出了如下示例:使用新定义的3DDS包发送图片显示画面的每个分割区域沿水平方向的视差信息作为图像数据相关信息(参见图56至图58)。然而，通过使用3DDS包，还可以发送其他图像数据相关信息。
[0417]例如，除了传统的沿水平方向的minimum_disparity值,通过发送沿垂直方向的minimum_disparity值,可以在电视接收设备侧执行3D视差的校正控制。该功能可以通过使用单独的3DDS包发送以图片为单位的horizontal_minimum_disparity和以图片为单位的 vertical_minimum_di sparity 来执行。
[0418]此外，例如，在自动更新视差信息的值的情况下，当某个尺寸的图形被沿深度方向显示地近时，其尺寸较近但感觉较小。另一方面，如果相同尺寸的图形沿深度方向显示较远，则其尺寸较远但感觉较大。
[0419]为了防止这样的深度矛盾，缩放深度动态范围，图形被缩放然后重叠至在电视接收设备侧的图像上，该电视接收设备侧相应地重叠图形。该功能可以通过如下方式执行:使用单独的3DDS包发送在被线性或非线性缩放的图片内定位的每个部分处的disparity与maximum_dispasrity之间的深度动态范围的值。
[0420]此外，根据上述实施方式，机顶盒200与电视接收设备300被示出为通过HDMI数字接口进行连接。然而，不用说即使在通过与HDMI数字接口相似的数字接口(包括无线以及有线数字接口)进行连接的情况下，本技术可以相似地应用。
[0421]此外，根据上述实施方式，描述了一种使用HDMI供应商专用信息帧的方法，作为从机顶盒200向电视接收设备300发送视差信息的方法。除此之外，可以想到使用有效空间并且通过由HPD线路86 (HEAC线路)和公共事业管线88 (HEAC+线路)构成的双向通信路径进行发送的方法。[0422]此外，根据上述实施方式，示出了使用HDMI接口从机顶盒200向电视接收设备300发送视差信息的示例。然而，不用说以这种方式通过HDMI接口发送视差信息的技术还可以应用于其他源设备和接收端设备的组合。例如，作为源设备还可以想到碟播放器比如BD或DVD以及游戏设备等，作为接收端设备还可以想到监视器设备、放映机设备等。
[0423]此外，根据上述实施方式，示出了容器是传输流(MPEG-2TS)的示例。然而，本技术可以相似地应用于具有使用网络比如因特网等并被分发给接收终端的配置的系统。在因特网分发中，MP4和其他格式的容器经常被用于分发。
[0424]也就是说，作为容器，可以使用各种格式的容器，比如在数字广播标准中使用的传输流(MPEG-2TS)，在因特网分发中使用的MP4等。此外，一种将提供服务内容划分成多个并且每个提供服务内容使用单独的发送格式执行的方法的应用，也就是说，一部分视图通过电子波传输而其他视图通过因特网传输的情况也是能够适用的。
[0425]此外，本技术可以采用如下所述的配置。
[0426](I) 一种发送装置，包括:
[0427]数据包生成单元，生成由报头部分和内容部分组成的数据包；以及
[0428]发送单元，将所述数据包与图像数据相关联并发送至外部设备，
[0429]其中，所述数据包生成单元将所述图像数据的相关信息插入所述内容部分中，以及将标识所述相关信息的类型的标识信息插入所述报头部分中。
[0430]( 2 )根据以上(I)所述的发送装置，其中，所述数据包生成单元根据被插入所述内容部分中的所述相关信息的数据量确定所述内容部分的尺寸，并且将表示所确定的尺寸的尺寸信息插入所述报头部分中。
[0431](3)根据以上(I)或(2)所述的发送装置，其中，所述数据包生成单元针对所述图像数据的预定数目的图片中的每个图片生成所述数据包。
[0432]( 4 )根据以上(3 )所述的发送装置，
[0433]其中，所述图像数据是构成立体图像的左眼图像数据和右眼图像数据；以及
[0434]其中，所述相关信息是左眼图像和右眼图像中的一个相对于另一个的视差信息，并且是图片显示画面的每个预定区域的代表性视差信息。
[0435](5)根据以上(4)所述的发送装置，其中，所述每个预定区域的代表性视差信息中包括与预定区域中的最近对象播放位置对应的第一视差信息。
[0436](6)根据以上(4)所述的发送装置，其中，所述每个预定区域的代表性视差信息中包括与预定区域中的最近对象播放位置对应的第一视差信息和与预定区域中的最远对象播放位置对应的第二视差信息。
[0437](7)根据以上(4)至(6)中的一项所述的发送装置，其中，所述数据包生成单元将所述代表性视差信息插入所述内容部分中作为绝对值数据。
[0438](8)根据以上(I)至(7)中的一项所述的发送装置，其中，所述发送单元将所述数据包插入所述图像数据的消隐时间段中并发送至所述外部设备。
[0439]( 9 )根据以上(I)至(7 )中的一项所述的发送装置，
[0440]其中，所述发送单元生成以视频场段为单位的传输数据并且将所述传输数据发送至外部设备，所述视频场段包括通过垂直同步信号分割的水平消隐时间段和垂直消隐时间段以及具有主要图片区域和辅助图片区域的有效视频空间，[0441]并且其中，图像数据被分配给所述主要图片区域，所述数据包被分配给所述辅助图片区域。
[0442](10) 一种发送方法,包括:
[0443]数据包生成步骤，生成由报头部分和内容部分组成的数据包；以及
[0444]发送步骤，将所述数据包与图像数据相关联并发送至外部设备，
[0445]其中，在所述数据包生成步骤中，将所述图像数据的相关信息插入所述内容部分中，以及将标识所述相关信息的类型的标识信息插入所述报头部分中。
[0446](11) 一种发送装置，包括:
[0447]图像数据获取单元，获取构成立体图像的左眼图像数据和右眼图像数据；
[0448]视差信息获取单元，针对所述图像数据的每个预定图片获取代表性视差信息，所述代表性视差信息是左眼图像和右眼图像中的一个相对于另一个的视差信息，并且所述代表性视差信息是关于与图片显示画面的分割模式对应的每个分割区域的；
[0449]视差信息插入单元，将每个分割区域的所述代表性视差信息插入通过编码过的所述图像数据而获得的视频流中；以及
[0450]图像数据发送单元，发送包括插入了所述视差信息的视频流的预定格式的容器。
[0451](12)根据以上(11)所述的发送装置，还包括:
[0452]模式选择单元，从多个分割模式中选择预定分割模式，
[0453]其中，所述视差信息获取单元获得与所选择的所述图片显示画面的预定分割模式对应的每个分割区域中的代表性视差信息。
[0454](13)根据以上(11)所述的发送装置，其中，每个所述分割区域的代表性视差信息中包括与分割区域中的最近对象播放位置对应的第一视差信息。
[0455](14)根据以上(11)所述的发送装置，其中，每个所述分割区域的代表性视差信息中包括与分割区域中的最近对象播放位置对应的第一视差信息和与分割区域中的最远对象播放位置对应的第二视差信息。
[0456](15)根据以上(11)至(14)中的一项所述的发送装置，其中，所述视差信息插入单元将所述代表性视差信息插入所述视频流中作为绝对值数据。
[0457](16) 一种发送方法,包括:
[0458]图像数据获取步骤，获取构成立体图像的左眼图像数据和右眼图像数据；
[0459]视差信息获取步骤，针对所述图像数据的每个预定图片获取代表性视差信息，所述代表性视差信息是左眼图像和右眼图像中的一个相对于另一个的视差信息，并且所述代表性视差信息是关于与图片显示画面的分割模式对应的每个分割区域的；
[0460]视差信息插入步骤，将每个分割区域的所述代表性视差信息插入根据编码过的所述图像数据而获得的视频流中；以及
[0461]图像数据发送步骤，发送包括插入了所述视差信息的视频流的预定格式的容器。
[0462](17) 一种接收装置，包括:
[0463]图像数据接收单元，接收包括视频流的预定格式的容器，
[0464]其中，所述视频流是通过构成编码过的立体图像的左眼图像数据和右眼图像数据获得的；以及
[0465]其中，针对所述图像数据的每个图片，在与图片显示画面的分割模式对应的每个分割区域处的、左眼图像和右眼图像中的一个相对于另一个的视差信息的代表性视差信息插入所述视频流中；
[0466]所述接收装置还包括:
[0467]信息获取单元，从包括在所述容器中的视频流获得所述左眼图像数据和所述右眼图像数据，同时获得所述图像数据的每个图片的每个分割区域的代表性视差信息；
[0468]信息平滑单元，对每个图片的每个分割区域的代表性视差信息沿时间轴方向执行平滑处理；
[0469]图形数据生成单元，生成图形数据以将图形显示在图像上；以及
[0470]图像数据处理单元，使用所获得的所述图像数据、经平滑的视差信息和所生成的图形数据，将与每个图片的图形的显示位置对应的视差添加至与左眼图像和右眼图像重叠的所述图形，并且获得重叠了所述图形的左眼图像数据和重叠了所述图形的右眼图像数据。
[0471]本技术的主要特征为:图像数据的相关信息例如视差信息等被插入数据包的内容部分中，而标识相关信息的类型的标识信息被插入该数据包的报头部分中，该数据包被发送至外部设备，从而可以高效地发送图像数据的相关信息比如视差信息等(参见图56至图57)。此外，通过发送作为绝对值数据的视差信息，不需要正负符号位，能够扩展视差信息的动态范围(参见图15至图17)。
[0472]参考标号列表
[0473]10U0A图像发送/接收系统
[0474]100广播站
[0475]110、IlOA发送数据生成单元
[0476]111LU11R图像数据输出单元
[0477]112LU12 缩放器
[0478]113视频编码器
[0479]114复用器
[0480]115视差数据生成单元
[0481]116子标题数据输出单元
[0482]117子标题编码器
[0483]118音频数据输出单元
[0484]119音频编码器
[0485]120分割模式选择单元
[0486]200机顶盒
[0487]211容器缓冲器
[0488]212解复用器
[0489]213编码缓冲器
[0490]214视频解码器
[0491]215解码缓冲器
[0492]216缩放器
[0493]217重叠单元[0494]218视差信息缓冲器
[0495]219机顶盒(STB)图形缓冲器
[0496]219A电视(TV)图形缓冲器
[0497]220深度控制单元
[0498]221图形缓冲器
[0499]231编码缓冲器
[0500]232子标题解码器
[0501]233像素缓冲器
[0502]234子标题视差信息缓冲器
[0503]235子标题显示控制单元
[0504]241编码缓冲器
[0505]242音频解码器
[0506]243音频缓冲器
[0507]244通道混合单元
[0508]251HDMI 发送单元
[0509]262视差信息控制单元
[0510]263L/R重构单元
[0511]271最大值获取单元
[0512]272最小值获取单元
[0513]273视差角检查单元
[0514]274视差信息校正单元
[0515]281帧存储器
[0516]282减法器
[0517]283顺序确定单元
[0518]300.300A电视接收设备
[0519]311HDMI 接收单元
[0520]312缩放器
[0521]313重叠单元
[0522]314深度控制单元
[0523]315图形缓冲器
[0524]316电视(TV)图形生成单元
[0525]317音频处理单元
[0526]400HDMI 电缆
【权利要求】
1.一种发送装置，包括: 数据包生成单元，生成由报头部分和内容部分组成的数据包；以及 发送单元，将所述数据包与图像数据相关联并发送至外部设备， 其中，所述数据包生成单元将所述图像数据的相关信息插入所述内容部分中，以及将标识所述相关信息的类型的标识信息插入所述报头部分中。
2.根据权利要求1所述的发送装置，其中，所述数据包生成单元根据被插入所述内容部分中的所述相关信息的数据量确定所述内容部分的尺寸，并且将表示所确定的尺寸的尺寸信息插入所述报头部分中。
3.根据权利要求1所述的发送装置，其中，所述数据包生成单元针对所述图像数据的预定数目的图片中的每个图片生成所述数据包。
4.根据权利要求3所述的发送装置， 其中，所述图像数据是构成立体图像的左眼图像数据和右眼图像数据；以及其中，所述相关信息是左眼图像和右眼图像中的一个相对于另一个的视差信息，并且是图片显示画面的每个预定区域的代表性视差信息。
5.根据权利要求4所述的发送装置，其中，所述每个预定区域的代表性视差信息中包括与预定区域中的最近对象播放位置对应的第一视差信息。
6.根据权利要求4所述的发送装置，其中，所述每个预定区域的代表性视差信息中包括与预定区域中的最近对象播放位置对应的第一视差信息和与预定区域中的最远对象播放位置对应的第二视差信息。
7.根据权利要求4所述的发送装置，其中，所述数据包生成单元将所述代表性视差信息插入所述内容部分中作为绝对值数据。
8.根据权利要求1所述的发送装置，其中，所述发送单元将所述数据包插入所述图像数据的消隐时间段中并发送至所述外部设备。
9.根据权利要求1所述的发送装置， 其中，所述发送单元生成以视频场段为单位的传输数据并且将所述传输数据发送至外部设备，所述视频场段包括通过垂直同步信号分割的水平消隐时间段和垂直消隐时间段以及具有主要图片区域和辅助图片区域的有效视频空间， 并且其中，图像数据被分配给所述主要图片区域，所述数据包被分配给所述辅助图片区域。
10.一种发送方法,包括: 数据包生成步骤，生成由报头部分和内容部分组成的数据包；以及 发送步骤，将所述数据包与图像数据相关联并发送至外部设备， 其中，在所述数据包生成步骤中，将所述图像数据的相关信息插入所述内容部分中，以及将标识所述相关信息的类型的标识信息插入所述报头部分中。
11.一种发送装置，包括: 图像数据获取单元，获取构成立体图像的左眼图像数据和右眼图像数据； 视差信息获取单元，针对所述图像数据的每个预定图片获取代表性视差信息，所述代表性视差信息是左眼图像和右眼图像中的一个相对于另一个的视差信息，并且所述代表性视差信息是与图片显示画面的分割模式对应的每个分割区域中的；视差信息插入单元，将每个分割区域的所述代表性视差信息插入通过编码过的所述图像数据而获得的视频流中；以及 图像数据发送单元，发送包括插入了所述视差信息的视频流的预定格式的容器。
12.根据权利要求11所述的发送装置，还包括: 模式选择单元，从多个分割模式中选择预定分割模式， 其中，所述视差信息获取单元获得与所选择的所述图片显示画面的预定分割模式对应的每个分割区域中的代表性视差信息。
13.根据权利要求11所述的发送装置，其中，每个所述分割区域的代表性视差信息中包括与分割区域中的最近对象播放位置对应的第一视差信息。
14.根据权利要求11所述的发送装置，其中，每个所述分割区域的代表性视差信息中包括与分割区域中的最近对象播放位置对应的第一视差信息和与分割区域中的最远对象播放位置对应的第二视差信息。
15.根据权利要求11所述的发送装置，其中，所述视差信息插入单元将所述代表性视差信息插入所述视频流中作为绝对值数据。
16.—种发送方法,包括: 图像数据获取步骤，获取构成立体图像的左眼图像数据和右眼图像数据； 视差信息获取步骤，针对所述图像数据的每个预定图片获取代表性视差信息，所述代表性视差信息是左眼图像和右眼图像中的一个相对于另一个的视差信息，并且所述代表性视差信息是与图片显示画面的分`割模式对应的每个分割区域中的； 视差信息插入步骤，将每个分割区域的所述代表性视差信息插入根据编码过的所述图像数据而获得的视频流中；以及 图像数据发送步骤，发送包括插入了所述视差信息的视频流的预定格式的容器。
17.一种接收装置，包括: 图像数据接收单元，接收包括视频流的预定格式的容器， 其中，所述视频流是通过构成编码过的立体图像的左眼图像数据和右眼图像数据获得的；以及 其中，针对所述图像数据的每个图片，在与图片显示画面的分割模式对应的每个分割区域处的、左眼图像和右眼图像中的一个相对于另一个的视差信息的代表性视差信息插入所述视频流中； 所述接收装置还包括: 信息获取单元，从包括在所述容器中的视频流获得所述左眼图像数据和所述右眼图像数据，同时获得所述图像数据的每个图片的每个分割区域的代表性视差信息； 信息平滑单元，对每个图片的每个分割区域的代表性视差信息沿时间轴方向执行平滑处理； 图形数据生成单元，生成图形数据以将图形显示在图像上；以及图像数据处理单元，使用所获得的所述图像数据、经平滑的视差信息和所生成的图形数据，将与每个图片的图形的显示位置对应的视差添加至与左眼图像和右眼图像重叠的所述图形，并且获得重叠了所述图形的左眼图像数据和重叠了所述图形的右眼图像数据。
【文档编号】H04N19/597GK103503446SQ201380001143
【公开日】2014年1月8日 申请日期:2013年2月18日 优先权日:2012年3月1日
【发明者】塚越郁夫 申请人:索尼公司