信息处理装置和方法与流程

本技术涉及信息处理装置和方法，并且更具体地，涉及能够自适应地提供在由多个层构成的图像的每个层中的图像的局部图像的信息处理装置和方法。

背景技术：

作为利用超文本传输协议(HTTP)的内容分布技术，运动图像专家组-动态自适应HTTP流(MPEG-DASH)近年来已被标准化(例如，参见非专利文献1)。此MPEG-DASH采用自适应比特率流媒体(ABS)技术，该技术在内容服务器中将多个编码数据存储为表示不同比特率的相同内容的数据，并允许客户端根据网络带宽选择多个编码数据中的一个并再现所选的数据。

顺便地，已经考虑自适应地选择对应于整个图像的一部分的局部图像并分布所选的局部图像，而不是分布整个图像。例如，可以认为由图像数据接收终端分布从整个图像选择的局部图像，并根据终端的性能(诸如CPU的处理能力、显示器的大小)、传输信道、服务器加载状态和其它条件控制待分布的局部图像的大小。

此外，已经考虑通过使用例如层之间的预测等采用层编码以有效地编码由多个层构成的图像。

引用文献列表

非专利文献

[非专利文献1]

MPEG-DASH(动态自适应HTTP流)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

技术实现要素：

本发明要解决的问题

然而，传统的MPEG-DASH标准只有切换比特率的概念，并因此难以实现局部图像数据的自适应提供，即，通过选择由多个层构成的图像的任意层中的任意局部图像并在利用相应层的片结构时提供在所选局部图像上的数据的自适应提供。

所提出的本技术已考虑了前述的情况。本技术的目标是实现在由多个层构成的图像的每个层中的图像的局部图像的自适应提供。

问题的解决方案

本技术的一个方面涉及信息处理装置，其包括生成文件的文件生成单元，该文件存储关于通过图像数据的层编码所产生的编码数据的整个基层的信息、关于基层的图像的每个局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的每个局部区域的信息，使得每个信息被存储在彼此不同的轨道的对应的一个轨道中。

文件生成单元可在存储关于整个基层的信息的轨道中存储指示基层的编码系统的编码信息。文件生成单元可在存储关于基层的局部区域的信息的轨道的每个轨道中存储指示对应轨道仅存储关于基层的对应局部区域的信息的编码信息。文件生成单元可在存储关于整个增强层的信息的轨道中存储指示增强层的编码系统的编码信息。文件生成单元可在存储关于增强层的局部区域的信息的轨道的每个轨道中存储指示对应轨道仅存储关于增强层的对应局部区域的信息的编码信息。

文件生成单元可在存储关于整个基层的信息的轨道中存储指示参考存储关于基层的局部区域的信息的轨道的信息和指示该参考的类型的信息。文件生成单元可在存储关于基层的局部区域的信息的每个轨道中存储指示参考存储关于整个基层的信息的轨道的信息和指示该参考的类型的信息。文件生成单元可在存储关于整个增强层的信息的轨道中存储指示参考存储关于整个基层的信息的轨道的信息和指示该参考的类型的信息，以及指示参考存储关于增强层的局部区域的信息的轨道的信息和指示该参考的类型的信息。文件生成单元可在存储关于增强层的局部区域的信息的每个轨道中存储指示参考存储关于整个增强层的信息的轨道的信息和指示该参考的类型的信息。

文件生成单元可在存储关于增强层的局部区域的信息的每个轨道中进一步存储指示参考存储关于基层的局部区域(对应于增强层的对应的局部区域)的信息的轨道的信息和指示该参考的类型的信息。

文件生成单元可在存储关于整个层的信息的每个轨道中存储关于对应层的局部区域的编码数据的参考信息的样本。文件生成单元可在存储关于层的局部区域的信息的每个轨道中存储关于对应局部区域的编码数据的样本。

文件生成单元可在存储关于层的局部区域的信息的每个轨道中存储指示对应局部区域的位置的位置信息。

文件生成单元可生成每个轨道的文件。

文件生成单元可生成每个层的文件。

文件生成单元可生成存储所有轨道的文件。

本技术的一个方面涉及生成文件的信息处理方法，该文件存储关于通过图像数据的层编码所产生的编码数据的整个基层的信息、关于基层的图像的每个局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的每个局部区域的信息，使得每个信息被存储在彼此不同的轨道中的对应的一个轨道中。

本技术的不同方面涉及信息处理装置，其包括生成元数据的元数据生成单元，该元数据含有关于通过图像数据的层编码所产生的编码数据的整个基层的信息、关于基层的图像的每个局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的每个局部区域的信息。

存储关于整个基层的信息的信息可含有指示基层的编码系统的编码信息。关于基层的每个局部区域的信息可含有指示仅含有关于基层的对应局部区域的信息的编码信息。关于整个增强层的信息可含有指示增强层的编码系统的编码信息。关于增强层的每个局部区域的信息可含有指示仅含有关于增强层的对应局部区域的信息的编码信息。

关于整个基层的信息可含有指示参考关于基层的局部区域的信息的信息和指示该参考的类型的信息。关于基层的每个局部区域的信息可含有指示参考关于整个基层的信息的信息和指示该参考的类型的信息。关于整个增强层的信息可含有指示参考关于整个基层的信息的信息和指示该参考的类型的信息，以及指示参考关于增强层的局部区域的信息的信息和指示该参考的类型的信息。关于增强层的每个局部区域的信息可含有指示参考关于整个增强层的信息的信息和指示该参考的类型的信息。

关于增强区域的每个局部区域的信息可进一步含有指示参考关于对应于增强层的对应局部区域的基层的局部区域的信息的信息和指示该参考的类型的信息。

关于基层的局部区域的每条信息和关于增强层的局部区域的信息可含有位置信息，该位置信息指示对应局部区域的位置。

元数据生成单元可在关于整个基层的信息中设置存储基层的局部区域的编码数据的参考信息的样本的文件。元数据生成单元可在关于基层的每个局部区域的信息中设置存储基层的对应局部区域的编码数据的样本的文件。元数据生成单元可在关于整个增强层的信息中设置存储增强层的局部区域的编码数据的参考信息的样本的文件。元数据生成单元可在关于增强层的每个局部区域的信息中设置存储增强层的对应局部区域的编码数据的样本的文件。

元数据生成单元可以比关于整个基层的信息和关于基层的局部区域的信息更高的顺序设置存储基层的编码数据的文件。元数据生成单元可以比关于整个增强层的信息和关于增强层的局部区域的信息更高的顺序设置存储增强层的编码数据的文件。

元数据生成单元可以比关于整个基层的信息、关于基层的局部区域的信息、关于整个增强层的信息和关于增强层的局部区域的信息更高的顺序设置存储所有层的编码数据的文件。

元数据生成单元可设置关于整个基层的信息、关于基层的图像的局部区域的信息、关于整个增强层的信息和关于增强层的图像的局部区域的信息，使得每个信息在彼此不同的适应集的对应的一个适应集中设置或在彼此不同的子表示的对应的一个子表示中设置。

本技术的不同方面涉及生成元数据的信息处理方法，该元数据含有关于通过图像数据的层编码所产生的编码数据的整个基层的信息、关于基层的图像的每个局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的每个局部区域的信息。

根据本技术的方面涉及生成文件，该文件存储关于通过图像数据的层编码所产生的编码数据的整个基层的信息、关于基层的图像的每个局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的每个局部区域的信息，使得每个信息被存储在彼此不同的轨道中的对应的一个轨道中。

本技术的不同方面涉及生成元数据，该元数据含有关于通过图像数据的层编码所产生的编码数据的整个基层的信息、关于基层的图像的每个局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的每个局部区域的信息。

本发明的效果

根据本技术，图像处理是可实现的。此外，根据本技术，在由多个层构成的图像的每个层中的图像的局部图像的自适应提供是可实现的。

附图说明

图1为示出MPEG-DASH的略图。

图2为示出MPD的配置示例的视图。

图3为示出内容的时间分段的视图。

图4为示出按时间段和降序的在MPD中的层结构的示例的视图。

图5为示出在时间轴上的MPD文件的配置示例的视图。

图6为示出片图像的比特流的示例的视图。

图7为示出片图像的MP4文件的示例的视图。

图8为示出片图像的MP4文件的不同示例的视图。

图9为示出MP4文件格式的配置示例的视图。

图10为示出分区大小的示例的视图。

图11为示出扩展数据的示例的视图。

图12为示出层切换的示例的视图。

图13为示出层切换的示例的视图。

图14为示出文件生成装置的常规配置示例的框图。

图15为示出MP4文件的常规配置示例的视图。

图16为示出MP4文件的常规配置示例的视图。

图17为示出MP4文件生成过程的流程示例的流程图。

图18为示出MPD的常规配置示例的视图。

图19为示出MPD的常规配置示例的视图。

图20为示出MPD生成过程的流程示例的流程图。

图21为示出从图20继续的MPD生成过程的流程示例的流程图。

图22为示出文件再现装置的常规配置示例的框图。

图23为示出MP4文件再现过程的流程示例的流程图。

图24为示出MPD再现过程的流程示例的流程图。

图25为示出MP4文件的不同配置示例的视图。

图26为示出MP4文件的不同配置示例的视图。

图27为示出MP4文件生成过程的不同流程示例的流程图。

图28为示出MPD的不同示例的视图。

图29为示出MPD的不同示例的视图。

图30为示出MPD生成过程的不同流程示例的流程图。

图31为示出从图30继续的MPD生成过程的不同流程示例的流程图。

图32为示出MP4文件的另一个配置示例的视图。

图33为示出MP4文件的另一个配置示例的视图。

图34为示出MP4文件生成过程的另一个流程示例的流程图。

图35为示出MPD的另一个配置示例的视图。

图36为示出MPD的另一个配置示例的视图。

图37为示出MPD生成过程的另一个流程示例的流程图。

图38为示出MP4文件再现过程的不同流程示例的流程图。

图39为示出MPD再现过程的不同流程示例的流程图。

图40为示出MP4文件的又一示例的视图。

图41为示出MP4文件的又一示例的视图。

图42为示出MP4文件生成过程的又一流程示例的流程图。

图43为示出MPD的又一示例的视图。

图44为示出MPD的又一示例的视图。

图45为示出MPD生成过程的又一流程示例的流程图。

图46为示出MP4文件再现过程的另外流程示例的流程图。

图47为示出MPD再现过程的另外流程示例的流程图。

图48为示出分布系统的常规配置示例的框图。

图49为示出计算机的常规配置示例的框图。

具体实施方式

用于实施本发明的模式

在下面描述用于实施本公开的模式(在下文中，称为实施例)。应指出，相应的实施例按以下次序描述。

1.第一实施例(每片归档)

2.第二实施例(在每片的层之间的参考)

3.第三实施例(每层归档)

4.第四实施例(所有层归档)

5.第五实施例(分布系统)

6.第六实施例(计算机)

<1.第一实施例>

<DASH>

作为利用超文本传输协议(HTTP)的内容分布技术，已知例如在非专利文献1中描述的运动图像专家组-动态自适应HTTP流(MPEG-DASH)。此MPEG-DASH采用自适应比特率流(ABS)技术，该技术在内容服务器中将多个编码数据存储为表示不同比特率的相同内容的数据，并允许客户端根据网络带宽选择多个编码数据中的一个并再现所选的数据。

根据DASH的内容传输过程将在下文中参考图1来描述。初始地，被包含在内容接收侧的运动图像再现终端中的用于流数据控制的软件选择预期内容的媒体呈现描述(MPD)文件，并从web服务器获取所选文件。MPD为管理分布式内容诸如运动图像和语音的元数据。

已收到MPD的运动图像再现终端的用于流数据控制的软件分析MPD并进行控制以从web服务器获取满足通信线路的质量的数据(DASH片段)、运动图像再现终端的性能和预期内容的其它条件。用于HTTP访问的客户端软件在此控制下通过使用HTTP从web服务器获取DASH片段。运动图像再现软件再现所获取的内容。

MPD具有例如在图2中示出的配置。为了分析(语法分析)MPD，客户端从被包含在MPD(在图2中的媒体表示)的时间段(Periods)中的表示(Representations)属性中选择最佳的。

客户端读取所选表示(Representation)的初始片段(Segment)以获取初始化片段(Initialization Segment)并处理所获取的初始化片段(Initialization Segment)。然后，客户端获取后续片段(Segment)并再现该后续片段(Segment)。

应指出，在时间段(Period)、表示(Representation)和片段(Segment)之间的关系如图3表示。更具体地，一个媒体内容被管理以用于对应于时间方向上的数据单元的每个时间段(Period)，而每个时间段(Period)被管理以用于对应于在时间方向上的数据单元的每个片段(Segment)。此外，每个时间段(Period)可由具有不同属性(诸如比特率)的多个表示(Representations)构成。

因此，MPD的文件(也被称为MPD文件)具有如图4所示的按时间段(Period)和降序的层结构。图5进一步示出被布置在时间轴上的MPD的结构的示例。从图5所示的示例显而易见的是，多个表示(Representations)被呈现以用于相同的片段(Segment)。客户端根据通信环境、自解码能力和其它条件自适应地选择表示(Representations)中的任一个以获取适当的流数据并再现所获取的流数据。

<片(tile)结构>

如上所述的传统DASH自适应地控制被包含在整个图像中的数据的分布。然而，已经考虑自适应地选择并分布对应于整个图像的一部分的局部图像，而不是分布整个图像。例如，已经考虑由图像数据接收终端分布从整个图像选择的局部图像，并根据终端的性能(诸如CPU的处理能力、显示器的大小)、传输信道、服务器加载状态和其它条件控制待分布的局部图像的大小。

为了实现如上所述的局部图像的自适应分布，采用了片的概念。片为对应于以预定布局(诸如大小、形状和数量)划分的整个图像的分区的局部区域。片的图像在下文中被称为片图像。在整个图像如上所述预先被划分为片时，仅通过选择待分布的片图像可以很容易实现局部图像的自适应分布。在此情况下，局部图像由单个或多个片图像构成。

对于如在DASH的情况下的利用HTTP的分布，图像数据被编码，然后编码数据的比特流被归档(filed)并分布(以文件的方式发布)。在整个图像具有如上所述的片结构的情况下，针对每个片图像，独立地编码图像数据。在此情况下，每个片的编码数据可由一个比特流构成，如图6中的A示例所示。

根据图6中的A示例，将640×480大小的整个图像、1980×1080大小的整个图像和960×540大小的片图像(四个局部图像)准备为分布图像，其中，片图像对应于后者的整个图像在垂直方向的两个分区和后者的整个图像在水平方向的两个分区的。在640×480大小的整个图像中的数据被编码为一个比特流(bitstream1)，而在1980×1080大小的整个图像中的数据也被编码位一个比特流(bitstream2)。除了这些数据之外，在每个960×540大小的片图像中的数据被彼此独立地编码为一个比特流(bitstream3至bitstream6)。

头信息，诸如视频参数集(VPS)、序列参数集(SPS)、补充增强信息(SEI)和图像参数集(PPS)被添加到每个比特流。图像数据的各自比特流被安排给每个切片(Slice)。

此结构允许基于从bitstream3至bitstream6的待分布的比特流的选择来进行待分布的片图像的选择。此外，图6中的A示例的结构允许以类似于整个图像的分布的方式分布每个片图像。

顺便地，编码系统，诸如高效视频编码(HEVC)支持划分整个图像的被称为片的结构，并独立进行每个片的编码。例如，解码可以以仅获取对应于整个图像的一部分的片的图像的方式来进行。换句话说，解码可以仅获取对应于整个图像的一部分的局部图像的方式来进行。

通过利用这种编码系统的功能，对应于多个片图像的编码数据可被集中为一个比特流(bitstream7)，如图6中的B示例所示。更具体地，如上所述的待分布的片被编码同时被处理为编码系统支持的片。在此情况下，对应于各个片的数据被布置为比特流中的切片(Slices)。

<MP4文件>

如上所述，待分布的比特流被归档为例如MP4文件格式或类似格式。在此情况下，各个片的比特流可被归档在不同的文件中，该不同文件的每个如图7中的示例所示。每个片的比特流以轨道单元进行管理。此外，提供了关于每个片的头(Header)信息和描述每个轨道的参考的基准轨道(Base track)，并且将其归档在不同于各个片的比特流的文件中。为了解码所有片，再现基准轨道。为了解码每个片，将基准轨道用于每个头信息。

如图8中的示例所示，各个片的比特流可被集中在一个文件中。在此情况下，可集中对应于各个片的各个数据并将其作为一个轨道管理，如图8中的A所示，或可作为不同轨道进行管理，其中，每个轨道如图8中的B所示。在此情况下，类似于如图7所示的情况，提供用于每个片的头(Header)信息和描述每个轨道的参考的基准轨道(Base Track)。

<MP4文件格式>

在下文中描述MP4文件格式的大概。如图9所示，符合MPEG-DASH的MP4文件包含ftyp、moov和mdat。

如图9所示，在HEVC的每个样本(图片)上的数据在mdat中被存储为AV数据。

此外，管理信息被存储在用于每个样本(诸如图片)的样品表盒(Sample Table Box(stbl))中。

如图9所示，样本表盒(Sample Table Box)包含样本描述盒(Sample Description Box)、时间样本盒(Time To Sample Box)、样本大小盒(Sample Size Box)、样本区块盒(Sample To Chunk Box)、区块偏移盒(Chunk Offset Box)和子样本信息盒(Subsample Information Box)。

样本描述盒存储关于编解码、图像大小等的信息。例如，诸如编码参数的信息被存储在样本描述盒中的HEVC样本条目中。

时间样本盒存储关于样本的时间的信息。样本大小盒存储关于样本的大小的信息。样本区块盒存储关于在样本中的数据的位置的信息。区块偏移盒存储关于数据偏移的信息。子样本信息盒存储关于子样本的信息。

<分区方法>

片可为如图10中的A示例所示的整个图像的相等分区，或可为如图10中的B示例所示的整个图像的不等分区。换句话说，构成整个图像的各个片图像的图像大小可为均匀的尺寸或可为不同的尺寸。

<应用>

具有此片结构的应用的示例可包含控制待显示的局部图像的大小的应用。

假设如图10中的A所示的整个图像10被片化并不划分为具有相同大小的多个片图像11。例如，为了在具有小的显示器尺寸的移动装置21上显示此图像，应用显示由四个(2×2)片图像构成的局部图像12。另一方面，例如，为了在具有大的显示器尺寸的电视信号接收器(TV)22上显示此图像，应用显示由三十个(6×5)片图像构成的局部图像13。因此，可以考虑使用此类应用，其根据显示图像的终端的性能等控制待显示的局部图像的图像大小。

在如图10中的B示例所示的情况下，各个片图像的图像大小是不相等的。应用显示片3(Tile3)的图像以显示具有高清分辨率的图像、显示片2(Tile2)至片4(Tile4)的图像以显示具有电影院的分辨率的图像，并显示片1(Tile1)至片5(Tile5)的图像以扩展的大小(EXT)显示较大的图像。因此，可以考虑使用此类应用，其通过控制待显示的局部图像的图像大小来控制显示图像的分辨率或高宽比。

根据待显示的局部图像的图像大小对待分布的局部图像的大小的这种自适应控制(待分布的片图像的数量的控制)消除了将图像的未显示的非必要部分分布给这些应用的必要性。因此，这种控制自适应控制了服务器、终端、传输路径等上的负荷并减少不必要负荷的上升。

<片图像的自适应提供>

为了自适应提供局部图像上的数据，即，通过利用图像的片结构来选择任意的局部图像并提供在所选局部图像上的数据，例如，对应于构成整个图像的一部分的局部图像上的信息的局部图像信息被插入例如MPD中。

待提供的局部图像可为任意图像，只要整个图像的一部分构成局部图像。局部图像的形状、大小等可被任意确定。例如，局部图像可为任意部分，只要该部分是独立于其他部分而可编码的。为了便于解释，在下文中假设局部图像为以上述的片为单位的图像。更具体地，假设局部图像由一个或多个片图像构成。

例如，在利用在MPD中的描述符类型元素(DescriptorType element)时，片的描述被定义为如图11的A所示。此外，例如，指示由对应元素所示的图像的类型的视图类型(viewtype)被定义为如图11的B所示。

<在多层中的片图像的自适应提供>

顺便地，图像编码和解码系统的示例包括层编码和解码系统，其通过使用层之间的预测或其它方法有效编码由多个层构成的图像。

在用于图像分布或其它目的的这种层编码和层解码系统中，需要在多个层中的每个层中的局部图像的自适应提供。然而，根据传统的MPEG-DASH标准，在多个层中的局部图像数据的自适应提供是困难的。

为了克服这个问题，生成一个文件，该文件存储关于通过图像数据的层编码所生成的编码数据的整个基层的信息、关于基层的图像的相应局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的各个局部区域的信息，使得每条信息被存储在彼此不同的轨道的对应的一个轨道中。

还允许在存储关于整个基层的信息的轨道中存储指示基层的编码系统的编码信息，还允许在存储关于基层的局部区域的信息的每个轨道中存储指示对应轨道仅存储关于基层的对应局部区域的信息的编码信息；还允许在存储关于整个增强层的信息的每个轨道中存储指示增强层的编码系统的编码信息，以及还允许在存储关于增强层的局部区域的信息的每个轨道中存储指示对应轨道仅存储关于增强层的对应局部区域的信息的编码信息。

另外允许在存储关于整个基层的信息的轨道中存储指示参考存储关于基层的局部区域的信息的各个轨道的信息以及指示参考类型的信息，在存储关于基层的局部区域的信息的每个轨道中存储指示参考存储关于整个基层的信息的轨道的信息以及指示参考的类型的信息，在存储关于整个增强层的信息的轨道中存储指示参考存储整个基层的信息的轨道的信息和指示参考的类型的信息，以及指示参考存储关于增强层的局部区域的信息的轨道的信息和指示参考的类型的信息，以及在存储关于增强层的局部区域的信息的每个轨道中，存储指示参考存储关于整个增强层的信息的轨道的信息和指示参考的类型的信息。

此配置允许在由多个层构成的图像的每个层中的图像的局部图像的自适应提供。

此外，生成元数据，该元数据含有关于通过图像数据的层编码所生成的编码数据的整个基层的信息、关于基层的图像的每个局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的每个局部区域的信息。

注意如下：存储关于整个基层的信息的信息可包含指示基层的编码系统的编码信息；关于基层的每个局部区域的信息可包含指示仅包含关于基层的对应局部区域的信息的编码信息；存储整个增强层的信息可包含指示增强层的编码系统的编码信息；关于增强层的每个局部区域的信息可包含指示仅包含关于增强层的对应局部区域的信息的编码信息。

此外，关于整个基层的信息可含有指示参考关于基层的局部区域的信息的信息和指示该参考的类型的信息。关于基层的每个局部区域的信息可含有指示参考关于整个基层的信息的信息和关于该参考的类型的信息。关于整个增强层的信息可含有指示参考关于整个基层的信息的信息和指示该参考的类型的信息，以及指示参考关于增强层的局部区域的信息的信息和指示该参考的类型的信息。关于增强层的局部区域的信息可含有指示参考关于整个增强层的信息的信息和关于该参考的类型的信息。

此配置允许在由多个层构成的图像的每个层中的图像的局部图像的自适应提供。

<使用案例>

本文所述的为利用层之间的预测进行由基层和增强层构成的双层图像数据的层编码、并分布编码图像数据的技术的示例。不用说，图像数据的层的数量可被任意确定，诸如三层或更多层。此外，假设基层的图像与增强层的图像具有高相关性(两种图像为基本相同的图像，除了预定的图像参数诸如分辨率之外)，并具有比增强层的图像的分辨率更低的分辨率。

为了便于解释，假设每个层的图像总共被划分为四个片(局部区域)(两个在垂直方向和两个在水平方向)。不用说，在每个层的图像中划分片的数量可被随意确定。

使用这种层编码的示例被初始描述。对于具有低分辨率(低图像质量)的基层(BL)的图像的放大显示，如图12中的示例所示，例如，提取局部片并将其放大到初始的图像大小。在此情况下，从具有高分辨率(高图像质量)的增强层(EL)的图像提取的局部片的显示的放大率可变得比基层的前述放大率更低。根据如图12所示的示例，在使用放大层的图像时，消除了放大的必要性。因此，在待显示的图像的内容在两个层中基本上等同时，所显示的增强层的图像质量变得更高。

在此情况下，在待分布的图像从基层切换到增强层时，图像质量的劣化下降(所提供的图像质量改善)。

根据传统的MPEG-DASH，准备好的待分布流可根据情况在低分辨率流和高分辨率流之间切换。

然而，根据这种数据分布，数据分布通常是比显示时间足够早，使得例如几秒至几十秒的数据被保留在接收侧的缓冲区中，以用于稳定图像的再现，甚至在例如流分布时。

因此，例如在时间T1处图像中的待分布流以上述图13所示A的方式切换(从流1切换到流2)时，从时间T1到时间T2累积在缓冲器中的流1的所有数据被丢弃。然后，在流2中的数据的分布从时间T2开始。

在相反方向的切换(从流2到流1)以类似的方式进行。例如在时间T3处图像中的待分布流从流2切换到流1时，从时间T3到时间T4累积在缓冲器中的流2的所有数据被丢弃。然后，在流1中的数据的分布从时间T3开始。

因此，在缓冲器中的数据被丢弃并且每次切换待分布的流都会产生浪费。此外，保留在缓冲器中的数据变为零，此时再现的状况会变得不稳定。

然而，根据层编码数据，如图13的B所示的基层的流被不断分布。增强层的流仅在显示增强层的图像时被分布。

因此，消除了在用于显示的图像从基层切换到增强层时丢弃在缓冲器中的数据的必要性。换句话说，累积在缓冲器中的基层的编码数据在切换之后被不断使用。此外，在开始增强层的流的分布时，已进行层之间的预测。在此情况下，增强层的流的数据量变得小于图13的A中的流2的数据量。在此情况下，在缓冲器中的数据并不变为零。因此，甚至在切换时间T1之后，图像显示比图13的A的情况下更稳定。

这也可适用于在相反方向的切换(从增强层至基层)。在待显示的图像例如在时间T3从增强层切换到基层时，从时间T3到时间T4累积在缓冲器中的增强层上的所有数据被丢弃。然而，待丢弃的数据量小于图13的A中的流2中的丢弃数据的量。此外，在基层中的数据在时间T3之前已被分布，因此缓冲器中的数据不会变为零。因此，甚至在切换时间T3之后，图像显示比图13的A的情况下更稳定。

例如通过实现在由多个层构成的图像的每个层中的图像的局部图像的自适应提供，得以提供下面的效果。根据本技术，下面的效果的功能以分布式的格式，诸如MP4文件和MPD来实现。

<文件生成装置>

在下文中将描述生成如上所述的MP4文件和MPD的装置。图14为示出根据应用本技术的实施例的对应于信息处理装置的文件生成装置的通常配置示例的框图。图14中的文件生成装置100为生成MP4文件并生成MPD(用于控制如此生成的MP4文件的分布)的装置，该MP4文件用于在通过基层的图像(基层(BL)图像)和增强层的图像(增强层(EL)图像)的层编码获得的各个层中存储编码数据。

如图14所示，文件生成装置100包括基层编码单元101、增强层编码单元102、MP4文件生成单元103和MPD生成单元104。

基层编码单元101由预定的编码系统(诸如HEVC)编码输入的基层图像(BL图像)以生成基层编码数据。基层编码单元101向MP4文件生成单元103提供所生成的基层编码数据(HEVC)。基层编码单元101进一步向增强层编码单元102提供作为参考图像的基层图像(诸如，编码图像)。基层编码单元101进一步向增强层编码单元102提供作为关于编码的信息的编码信息。

增强层编码单元102由预定的编码系统(诸如SHVC)编码输入的增强层图像(EL图像)以生成增强层编码数据。在此情况下，增强层编码单元102基于参考图像和从基层编码单元101提供的编码信息进行层之间的预测。这种预测降低了编码效率的下降。增强层编码单元102向MP4文件生成单元103提供所生成的增强层编码数据(SHVC)。

MP4文件生成单元103生成存储基层编码单元101提供的基层编码数据(HEVC)和增强层编码单元102提供的增强层编码数据(SHVC)的文件(MP4文件)。MP4文件生成单元103在MP4文件的不同轨道中存储基层编码数据(HEVC)和增强层编码数据(SHVC)。MP4文件生成单元103输出所生成的MP4文件。MP4文件生成单元103进一步向MPD生成单元104提供所生成的MP4文件。

MPD生成单元104生成MPD，该MPD控制MP4文件生成单元103提供的MP4文件的分布。MPD文件生成单元104输出所生成的MPD文件。

<MP4文件的配置示例>

文件生成装置100的MP4文件生成单元103生成例如在图15和16中示出的MP4文件，例如，如存储基层编码数据(HEVC)和增强层编码数据(SHVC)的MP4文件。

如图15和16所示，MP4文件生成单元103生成用于分别存储关于整个基层的信息、关于基层图像的各个片的信息、关于整个增强层的信息和关于增强层图像的各个片的信息的轨道。在此情况下，MP4文件生成单元103生成相应轨道的文件，诸如MP4文件。

更具体地，MP4文件生成单元103生成用于基层的多个MP4文件：存储用于存储关于整个基层的信息的轨道1(Track1)的MP4文件，存储用于存储关于基层图像的片1(tile1)的信息的轨道2(Track2)的MP4文件，存储用于存储关于基层图像的片2(tile2)的信息的轨道3(Track3)的MP4文件，存储用于存储关于基层图像的片3(tile3)的信息的轨道4(Track4)的MP4文件，存储用于存储关于基层图像的片4(tile4)的信息的轨道5(Track5)的MP4文件(图15)。

类似地，MP4文件生成单元103生成用于增强层的多个MP4文件，存储用于存储关于整个增强层的信息的轨道6(Track6)的MP4文件，存储用于存储关于增强层图像的片1(tile1)的信息的轨道7(Track7)的MP4文件，存储用于存储关于增强层图像的片2(tile2)的信息的轨道8(Track8)的MP4文件，存储用于存储关于增强层图像的片3(tile3)的信息的轨道9(Track9)的MP4文件，存储用于存储关于增强层图像的片4(tile4)的信息的轨道10(Track10)的MP4文件(图16)。

存储关于整个基层的信息的轨道1(Track1)存储有对应于指示参考基层的每个片的参考信息的提取器样本(EXT样本)。此外，轨道1的样本条目包含指示HEVC为基层的编码系统(Sample Entry＝‘hvc2’)的编码信息。此外，该样本条目包含存储用于解码HEVC编码数据所需的配置信息的hvcC盒(hvcC盒)。此外，轨道参考(Track Reference)(对应于关于轨道1和其它轨道之间的参考的信息)包含关于存储参考样本的轨道的信息和关于参考(scal＝2、3、4、5)类型的信息的存在的指示。换句话说，轨道参考包含通过参考类型“scal”指示指示轨道1参考轨道2至5的信息。

存储关于基层图像的片的信息的轨道2(Track2)至轨道5(Track5)中的每一个轨道存储有基层的对应片的样本(片1样本、片2样本、片3样本或片4样本)。此外，轨道2至轨道5的每个样本条目包含指示轨道仅存储基层的片的切片的编码信息(Sample Entry＝'hvt1')。此外，样本条目中的每一个包含hvtC盒(hvtC盒)，该hvtC盒存储用于解码轨道中的数据所需的配置信息。此外，这些轨道的每个轨道参考(Track Reference)通过参考类型“tbas”(tbas＝1)指示参考轨道1。此外，这些轨道中的每一个包含作为片区组条目(TileRegionGroupEntry)的标识信息，其用于识别基层的对应片、对应片的水平位置(偏移)、对应片的垂直位置(偏移)、对应片的水平大小(宽度)、对应片的垂直大小(高度)等。

存储关于整个增强层的信息的轨道6(Track6)存储对应于参考信息(指示增强层的每个片的参考)的提取器样本(EXT样本)。此外，轨道6的样本条目包含指示SHVC为增强层的编码系统(Sample Entry＝‘lhv1’)的编码信息。此外，该样本条目包含hvcC盒(hvcC盒)，该hvcC盒存储用于解码SHVC编码数据所需的配置信息。

此外，轨道6的轨道参考(Track Reference)通过参考类型“scal”(scal＝7，8，9，10)指示参考轨道7至轨道10。轨道6的轨道参考(Track Reference)通过参考类型“sbas”(sbas＝1)指示参考存储关于整个基层的信息的轨道1。这种配置允许从增强层的轨道参考基层的轨道。

存储关于增强层图像的片的信息的轨道7(Track7)至轨道10(Track10)中的每一个轨道存储增强层的对应片的样本(片1样本、片2样本、片3样本或片4样本)。

此外，轨道7至轨道10的每个样本条目包含指示轨道仅存储增强层的片的切片的编码信息(Sample Entry＝'lht1')。此外，样本条目中的每一个包含lhtC盒(lhtC盒)，其存储用于解码轨道中的数据所需的配置信息。如上所述，关于存储增强层的片的各个轨道的编码信息不同于关于存储基层的片的各个轨道的编码信息。因此，存储增强层的片的轨道等同于存储增强层的片的信息。

此外，这些轨道的每个轨道参考(Track Reference)通过参考类型“tbas”(tbas＝6)指示参考轨道6。因此，轨道参考中的每一个指示存储增强层的片的轨道中的每一个轨道指的不是存储关于整个基层的信息的轨道1，而是指的是存储关于整个增强层的信息的轨道6。

此外，这些轨道中的每一个包含作为片区组条目(TileRegionGroupEntry)的标识信息，其用于识别增强层的对应片、对应片的水平位置(偏移)、对应片的垂直位置(偏移)、对应片的水平大小(宽度)、对应片的垂直大小(高度)等。

生成具有这种配置的MP4文件的MP4文件生成单元103允许每个片在增强层中以及基层中的分布的控制。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<MP4文件生成过程的流程>

在下文中参考如图17所示的流程图所述的为对应于上述用于生成MP4文件的过程、并由如图14所示的文件生成装置100进行的MP4文件生成过程的流程的示例。

在MP4文件生成过程的开始，基层编码单元101在步骤S101中编码基层图像。

在步骤S102中，MP4文件生成单元103生成基层的提取器的轨道并将该轨道归档为MP4文件。

在步骤S103中，MP4文件生成单元103在基层的提取器的轨道中生成样本条目。

在步骤S104中，MP4文件生成单元103生成基层的每个片的轨道并将所生成的轨道归档为MP4文件。

在步骤S105中，MP4文件生成单元103在基层的每个片的轨道中生成片区组条目。

在步骤S106中，MP4文件生成单元103在基层的每个片的轨道中生成样本条目。

在步骤S107中，MP4文件生成单元103在基层的提取器的轨道中生成指示基层的各个片的轨道的轨道参考。

在步骤S108中，MP4文件生成单元103在基层的每个片的轨道中生成指示基层的提取器的轨道的轨道参考。

在步骤S109中，增强层编码单元102根据需要相对于基层的参考图像进行层之间的预测并编码增强层图像。

在步骤S110中，MP4文件生成单元103生成增强层的提取器的轨道并将该轨道归档为MP4文件。

在步骤S111中，MP4文件生成单元103在增强层的提取器的轨道中生成样本条目。

在步骤S112中，MP4文件生成单元103生成增强层的每个片的轨道并将所生成的轨道归档为MP4文件。

在步骤S113中，MP4文件生成单元103在增强层的每个片的轨道中生成片区组条目。

在步骤S114中，MP4文件生成单元103在增强层的每个片的轨道中生成样本条目。

在步骤S115中，MP4文件生成单元103在增强层的提取器的轨道中生成指示增强层的各个片的轨道的轨道参考。

在步骤S116中，MP4文件生成单元103在增强层的每个片的轨道中生成指示增强层的提取器的轨道的轨道参考。

在步骤S117中，MP4文件生成单元103在增强层的提取器的轨道中生成指示基层的提取器的轨道的轨道参考。

在步骤S118中，MP4文件生成单元103输出相应的如此生成的MP4文件。

如上所述，文件生成装置100生成具有如图15和16所示的配置的MP4文件，并允许通过执行如上所述的MP4文件生成过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<MPD的配置示例>

文件生成装置100的MPD生成单元104根据由MP4文件生成单元103以例如上述的方式生成的MP4文件生成具有如图18和19所示的配置的MPD。

如图18和19所示，MPD生成单元104生成元数据，该元数据包含关于整个基层的信息、关于基层图像的各个片的信息、关于整个增强层的信息和关于增强层图像的各个片的信息。在每个轨道已被归档为MP4文件的状态下，MPD生成单元104设置用于每个MP4文件(轨道)的适应集(AdaptationSet)并设置(登记)用于每个片段(Segment)的MP4文件。

更具体地，MPD生成单元104设置存储关于整个基层的信息的适应集、以低于该适应集的次序设置表示(Representation)、以低于该表示的次序设置片段(Segment)并在该片段中登记存储关于整个基层的信息的MP4文件(Bl_bs.mp4)。

MPD生成单元104在适应集中设置属于MP4文件的样本条目的编码信息(<codecs＝"hvc2">)。MPD生成单元104进一步在该表示中设置指示所存储的信息为关于整个基层的信息的标识信息(<id＝"bl_bs">)。MPD生成单元104进一步设置包含在MP4文件的轨道参考中的信息等作为指示适应集和参考的类型之间的参考关系的关联信息。例如，设置下面的信息。

<associationid＝"bl_tile1,bl_tile2,bl_tile3,bl_tile4"associationType＝"scal">

相似地，MPD生成单元104设置存储关于基层图像的片1(tile1)的信息的适应集、以低于该适应集的次序设置表示、以低于该表示的次序设置片段并在该片段中登记存储关于基层图像的片1的信息的MP4文件(Bl_tile1.mp4)。

MPD生成单元104在适应集中设置属于MP4文件的样本条目的编码信息(<codecs＝"hvtl">)。MPD生成单元104进一步在适应集中设置基本属性(EssentialProperty)、将片方案(schemeIdUri＝"urn:mpeg:dash:srd:2013")设置为该基本属性的元素并设置关于MP4文件的片区组条目等的信息作为值(value)。例如，下面的信息被设置。

<EssentialProperty schemeIdUri＝"urn:mpeg:dash:srd:2013"value＝"1,0,0,960,540,1920,1080">

MPD生成单元104进一步在该表示中设置标识信息，该标识信息指示所存储的信息为关于基层的片1的信息(<id＝"bl_tile1">)。MPD生成单元104进一步设置包含在MP4文件的轨道参考中的消息等作为指示适应集和参考的类型之间的参考关系的关联信息。例如，下面的信息被设置。

<associationid＝"bl_bs"associationType＝"tbas">

相似地，MPD生成单元104设置存储关于基层图像的片2(tile2)的信息的适应集、以低于该适应集的次序设置表示、以低于该表示的次序设置片段并在该片段中登记存储关于基层图像的片2的信息的MP4文件(Bl_tile2.mp4)。

MPD生成单元104在适应集中设置属于MP4文件的样本条目的编码信息(<codecs＝"hvtl">)。MPD生成单元104进一步在适应集中设置基本属性(EssentialProperty)、将片方案(schemeIdUri＝"urn:mpeg:dash:srd:2013")设置为该基本属性的元素并设置关于MP4文件的片区组条目等的信息作为值(value)。例如，下面的信息被设置。

<EssentialProperty schemeIdUri＝"urn:mpeg:dash:srd:2013"value＝"1,960,0,960,540,1920,1080">

MPD生成单元104进一步在该表示中设置标识信息，该标识信息指示所存储的信息为关于基层的片2的信息(<id＝"bl_tile2">)。MPD生成单元104进一步设置被包含在MP4文件的轨道参考中的信息等作为指示适应集和参考的类型之间的参考关系的关联信息。例如，下面的信息被设置。

<associationid＝"bl_bs"associationType＝"tbas">

相似地，MPD生成单元104设置存储关于基层图像的片3(tile3)的信息的适应集、以低于该适应集的次序设置表示、以低于该表示的次序设置片段并在该片段中登记存储关于基层图像的片3的信息的MP4文件(Bl_tile3.mp4)。

MPD生成单元104在适应集中设置属于MP4文件的样本条目的编码信息(<codecs＝"hvtl">)。MPD生成单元104进一步在适应集中设置基本属性(EssentialProperty)、将片方案(schemeIdUri＝"urn:mpeg:dash:srd:2013")设置为该基本属性的元素并设置关于MP4文件的片区组条目等的信息作为值(value)。例如，下面的信息被设置。

<EssentialProperty schemeIdUri＝"urn:mpeg:dash:srd:2013"value＝"1,0,540,960,540,1920,1080">

MPD生成单元104进一步在该表示中设置指示所存储的信息为关于基层的片3的信息的标识信息(<id＝"bl_tile3">)。MPD生成单元104进一步设置被包含在MP4文件的轨道参考中的信息等作为指示适应集和参考的类型之间的参考关系的关联信息。例如，下面的信息被设置。

<associationid＝"bl_bs"associationType＝"tbas">

相似地，MPD生成单元104设置存储关于基层图像的片4(tile4)的信息的适应集、以低于该适应集的次序设置表示、以低于该表示的次序设置片段并在该片段中登记存储关于基层图像的片4的信息的MP4文件(Bl_tile4.mp4)。

MPD生成单元104在适应集中设置属于MP4文件的样本条目的编码信息(<codecs＝"hvtl">)。MPD生成单元104进一步在适应集中设置基本属性(EssentialProperty)、将片方案(schemeIdUri＝"urn:mpeg:dash:srd:2013")设置为该基本属性的元素并设置关于MP4文件等的片区组条目等的信息作为值(value)。例如，下面的信息被设置。

<EssentialProperty schemeIdUri＝"urn:mpeg:dash:srd:2013"value＝"1,960,540,960,540,1920,1080">

MPD生成单元104进一步在该表示中设置指示所存储的信息为关于基层的片4的信息的标识信息(<id＝"bl_tile4">)。MPD生成单元104进一步设置被包含在MP4文件的轨道参考中的信息等作为指示适应集和参考的类型之间的参考关系的关联信息。例如，下面的信息被设置。

<associationid＝"bl_bs"associationType＝"tbas">

图18示出前述配置。

此外，MPD生成单元104设置存储关于整个增强层的信息的适应集、以低于该适应集的次序设置表示、以低于该表示的次序设置片段并在该片段中登记存储关于整个增强层的信息的MP4文件(El_bs.mp4)。

MPD生成单元104在适应集中设置属于MP4文件的样本条目的编码信息(<codecs＝"lhv1">)。MPD生成单元104进一步在该表示中设置指示所存储的信息为关于整个基层的信息的标识信息(<id＝"el_bs">)。MPD生成单元104进一步设置被包含在MP4文件的轨道参考中的信息等作为指示适应集和参考的类型之间的参考关系的关联信息。例如，下面的信息被设置。

<associationid＝"bl_bs"associationType＝"sbas">

<associationid＝"el_tile1,el_tile2,el_tile3,el_tile4"associationType＝"scal">

该配置允许从增强层的适应集参考基层的适应集。

相似地，MPD生成单元104设置存储关于增强层图像的片1(tile1)的信息的适应集、以低于该适应集的次序设置表示、以低于该表示的次序设置片段并在该片段中登记存储关于增强层图像的片1的信息的MP4文件(el_tile1.mp4)。

MPD生成单元104在适应集中设置属于MP4文件的样本条目的编码信息(<codecs＝"lhtl">)。MPD生成单元104进一步在适应集中设置基本属性(EssentialProperty)、将片方案(schemeIdUri＝"urn:mpeg:dash:srd:2013")设置为该基本属性的元素并设置关于MP4文件等的片区组条目的信息作为值(value)。例如，下面的信息被设置。

<EssentialProperty schemeIdUri＝"urn:mpeg:dash:srd:2013"value＝"1,0,0,1920,1080,3840,2160">

MPD生成单元104进一步在该表示中设置指示所存储的信息为关于增强层的片1的信息的标识信息(<id＝"el_tile1">)。MPD生成单元104进一步设置被包含在MP4文件的轨道参考中的消息等作为指示适应集和参考的类型之间的参考关系的关联信息。例如，下面的信息被设置。

<associationid＝"el_bs"associationType＝"tbas">

相似地，MPD生成单元104设置存储关于增强层图像的片2(tile2)的信息的适应集、以低于该适应集的次序设置表示、以低于该表示的次序设置片段并在该片段中登记存储关于增强层图像的片2的信息的MP4文件(el_tile2.mp4)。

MPD生成单元104在适应集中设置属于MP4文件的样本条目的编码信息(<codecs＝"lhtl">)。MPD生成单元104进一步在适应集中设置基本属性(EssentialProperty)、将片方案(schemeIdUri＝"urn:mpeg:dash:srd:2013")设置为该基本属性的元素并设置关于MP4文件的片区组条目等的信息作为值(value)。例如，下面的信息被设置。

<EssentialProperty schemeIdUri＝"urn:mpeg:dash:srd:2013"value＝"1,1920,0,1920,1080,3840,2160">

MPD生成单元104进一步在该表示中设置指示所存储的信息为关于增强层的片2的信息的标识信息(<id＝"el_tile2">)。MPD生成单元104进一步设置被包含在MP4文件的轨道参考中的信息等作为指示适应集和参考的类型之间的参考关系的关联信息。例如，下面的信息被设置。

<associationid＝"el_bs"associationType＝"tbas">

相似地，MPD生成单元104设置存储关于增强层图像的片3(tile3)的信息的适应集、以低于该适应集的次序设置表示、以低于该表示的次序设置片段并在该片段中登记存储关于增强层图像的片3的信息的MP4文件(el_tile3.mp4)。

MPD生成单元104在适应集中设置属于MP4文件的样本条目的编码信息(<codecs＝"lhtl">)。MPD生成单元104进一步在适应集中设置基本属性(EssentialProperty)、将片方案(schemeIdUri＝"urn:mpeg:dash:srd:2013")设置为该基本属性的元素并设置关于MP4文件的片区组条目等的信息作为值(value)。例如，下面的信息被设置。

<EssentialProperty schemeIdUri＝"urn:mpeg:dash:srd:2013"value＝"1,0,1080,1920,1080,3840,2160">

MPD生成单元104进一步在该表示中设置指示所存储的信息为关于增强层的片3的信息的标识信息(<id＝"el_tile3">)。MPD生成单元104进一步设置被包含在MP4文件的轨道参考中的信息等作为指示适应集和参考的类型之间的参考关系的关联信息。例如，下面的信息被设置。

<associationid＝"el_bs"associationType＝"tbas">

相似地，MPD生成单元104设置存储关于增强层图像的片4(tile4)的信息的适应集、以低于该适应集的次序设置表示、以低于该表示的次序设置片段并在该片段中登记存储关于增强层图像的片4的信息的MP4文件(el_tile4.mp4)。

MPD生成单元104在适应集中设置属于MP4文件的样本条目的编码信息(<codecs＝"lhtl">)。MPD生成单元104进一步在适应集中设置基本属性(EssentialProperty)、将片方案(schemeIdUri＝"urn:mpeg:dash:srd:2013")设置为该基本属性的元素并设置关于MP4文件的片区组条目等的信息作为值(value)。例如，下面的信息被设置。

<EssentialProperty schemeIdUri＝"urn:mpeg:dash:srd:2013"value＝"1,1920,1080,1920,1080,3840,2160">

MPD生成单元104进一步在该表示中设置指示所存储的信息为关于增强层的片4的信息的标识信息(<id＝"el_tile2">)。MPD生成单元104进一步设置被包含在MP4文件的轨道参考中的信息等作为指示适应集和参考的类型之间的参考关系的关联信息。例如，下面的信息被设置。

<associationid＝"el_bs"associationType＝"tbas">

图18示出前述配置。

如上所述，关于增强层的各个片的适应集的编码信息不同于关于基层的各个片的适应集的编码信息。因此，增强层的片的适应集等同于增强层的片的适应集。

此外，关于属于这些适应集的表示的关联信息指示参考“el_bs”和参考类型“tbas”。在此情况下，不是关于整个基层的信息的适应集(bl_bs)的参考，而是关于整个增强层的信息的适应集(el_bs)的参考被允许来自增强层的各个片的适应集。

生成具有这种配置的MPD的MPD生成单元104允许每个片在增强层中以及基层中的分布的控制。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<MPD生成过程的流程>

参考如图20和21所示的流程图所述的为由如图14所示的文件生成装置100进行的MPD生成过程的流程的示例并对应于上述的用于生成MPD的过程。

在MPD生成过程的开始，基层编码单元101在图20中的步骤S121中编码基层图像。

在步骤S122中，增强层编码单元102根据需要相对于基层的参考图像进行层之间的预测并编码增强层图像。

在步骤S123中，MP4文件生成单元103生成MP4文件，该MP4文件在基层上存储编码数据和在增强层上存储编码数据。这种处理类似于参考图17中的流程图所述的MP4文件生成过程中的对应处理。因此，这种处理的相同解释不再重复。

在步骤S124中，MPD生成单元104生成基层的提取器的适应集。

在步骤S125中，MPD生成单元104在基层的提取器的适应集中设置编码信息。

在步骤S126中，MPD生成单元104生成基层的提取器的表示。

在步骤S127中，MPD生成单元104在基层的提取器的表示中设置标识信息。

在步骤S128中，MPD生成单元104在基层的提取器的表示中设置关联信息以指示与基层的各个片的关联。

在步骤S129中，MPD生成单元104生成基层的提取器的片段。

在步骤S130中，MPD生成单元104生成基层的每个片的适应集。

在步骤S131中，MPD生成单元104在基层的每个片的适应集中设置编码信息。

在步骤S132中，MPD生成单元104在基层的每个片的适应集中设置基本属性。

在步骤S133中，MPD生成单元104生成基层的每个片的表示。

在步骤S134中，MPD生成单元104在基层的每个片的表示中设置标识信息。

在步骤S135中，MPD生成单元104在基层的每个片的表示中设置关联信息以指示与基层的提取器的关联。

在步骤S136中，MPD生成单元104生成基层的每个片的片段。

在图21的步骤S141中，MPD生成单元104生成增强层的提取器的适应集。

在步骤S142中，MPD生成单元104在增强层的提取器的适应集中设置编码信息。

在步骤S143中，MPD生成单元104在增强层的提取器的适应集中设置关联信息以指示与基层的提取器的关联。

在步骤S144中，MPD生成单元104生成增强层的提取器的表示。

在步骤S145中，MPD生成单元104在增强层的提取器的表示中设置标识信息。

在步骤S146中，MPD生成单元104在增强层的提取器的表示中设置关联信息以指示与增强层的各个片的关联，以及在增强层的提取器的表示中设置关联信息以指示与基层的提取器的关联。

在步骤S147中，MPD生成单元104生成增强层的提取器的片段。

在步骤S148中，MPD生成单元104生成增强层的每个片的适应集。

在步骤S149中，MPD生成单元104在增强层的每个片的适应集中设置编码信息。

在步骤S150中，MPD生成单元104在增强层的每个片的适应集中设置基本属性。

在步骤S151中，MPD生成单元104生成增强层的每个片的表示。

在步骤S152中，MPD生成单元104在增强层的每个片的表示中设置标识信息。

在步骤S153中，MPD生成单元104在增强层的每个片的表示中设置关联信息以指示与基层的提取器的关联。

在步骤S154中，MPD生成单元104生成增强层的每个片的片段。

在步骤S155中，MPD生成单元104输出如此生成的MPD。

文件生成装置100生成具有如图18和19所示的配置的MPD，并允许通过执行如上所述的MPD生成过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<文件再现装置>

在下文中将描述用于再现MP4文件和如此生成的MPD的装置。图22为示出根据应用本技术的实施例的对应于信息处理装置的文件再现装置的常规配置示例的框图。在图22中的文件再现装置200为再现由如图14所示的文件生成装置100以上述的方式所生成的MP4文件和MPD、生成基层和增强层中的任一者或两者的解码图像并输出该解码图像的装置。

如图22所示，文件再现装置200包括MPD分析单元201、MP4文件再现单元202、基层解码单元203和增强层解码单元204。

<MP4文件再现过程的流程>

如图22所示的文件再现装置200进行MP4文件再现过程以再现输入的MP4文件并生成任意层的解码图像。MP4文件再现过程的流程的示例现在参考如图23所示的流程图来描述。

在MP4文件再现过程的开始，MP4文件再现单元202在步骤S171中确定是否再现基层。在确定基层待再现时，该过程前进至步骤S172。

在步骤S172中，MP4文件再现单元202获取基层的提取器的MP4文件。

在步骤S173中，MP4文件再现单元202基于在先前步骤中所获取的MP4文件的轨道参考获取待再现的片的MP4文件。

在步骤S174中，MP4文件再现单元202从所获取的MP4文件提取处理对象的样本的编码数据。

在步骤S175中，基层解码单元203解码所编码的数据以生成基层的解码图像(BL图像)。

在步骤S176中，基层解码单元203输出基层的解码图像(BL图像)。在完成步骤S176中的处理之后，该过程前进至步骤S189。

另一方面，在步骤S171中确定增强层待解码时，该过程前进至步骤S178。

在步骤S178中，MP4文件再现单元202确定是否已获取基层。在确定基层还未被获取时，该过程前进至步骤S179。

从步骤S179至步骤S183的处理类似于从步骤S172至步骤S176的处理来进行。在完成前述的处理之后输出基层的解码图像(BL图像)时，该过程前进至步骤S184。另一方面，在步骤S178中确定基层的图像已被获取时，该过程前进至步骤S184。

在步骤S184中，MPD文件再现单元202获取增强层的提取器的MP4文件。

在步骤S185中，MP4文件再现单元202基于在先前步骤中所获取的MP4文件的轨道参考获取待再现的片的MP4文件。

在步骤S186中，MP4文件再现单元202从所获取的MP4文件提取处理对象的样本的编码数据。

在步骤S187中，增强层解码单元204根据需要通过使用基层的参考图像和解码信息来进行层之间的预测以解码所编码的数据并生成增强层的解码图像(EL图像)。

在步骤S188中，增强层解码单元204输出增强层的解码图像(EL图像)。在完成步骤S188中的处理之后，该过程前进至步骤S189。

在步骤S189中，MP4文件再现单元202确定是否结束再现。在确定再现未结束时，该过程返回到步骤S171以重复在步骤S171和后续步骤中的处理。

在步骤S189中确定再现在以适当的方式完成每个样本从S171至S189的处理之后结束时，MP4文件再现过程结束。

文件再现装置200再现具有如图15和16所示的配置的MP4文件，并允许通过执行如上所述的MP4文件再现过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<MPD再现过程的流程>

如图22所示的文件再现装置200进行MPD再现过程以再现输入的MPD并生成任意层的解码图像。MPD再现过程的流程现在参考如图24所示的流程图来描述。

在MPD再现过程的开始，MPD分析单元201在步骤S201中获取MPD。

在步骤S202中，MPD分析单元201确定是否再现基层。在确定基层待再现时，该过程前进至步骤S203。

在步骤S203中，MPD分析单元201指定待再现的基层的片的适应集。

在步骤S204中，MPD分析单元201允许MP4文件再现单元202获取由属于指定的适应集的片段标出的MP4文件。

在步骤S205中，MP4文件再现单元202和基层解码单元203再现所获取的MP4文件以获得基层的片的解码图像。根据该过程，从在图23中的步骤S172至步骤S176的处理被进行。在完成步骤S205中的处理之后，该过程前进至步骤S211。

另一方面，在步骤S202中确定增强层待再现时，该过程前进至步骤S206。

在步骤S206和步骤S207中的处理类似于在步骤S203和步骤S204中的处理来进行。

在步骤S208中，MPD分析单元201指定待再现的增强层的片的适应集。

在步骤S209中，MPD分析单元201允许MP4文件再现单元202获取由属于指定的适应集的片段标出的MP4文件。

在步骤S210中，MP4文件再现单元202和增强层解码单元204再现所获取的MP4文件以获得增强层的片的解码图像。根据该处理，进行从在图23中的步骤S178至步骤S188的处理。在完成步骤S210中的处理之后，该过程前进至步骤S211。

在步骤S211中，MPD分析单元201确定是否结束再现。在确定再现未结束时，该过程返回到步骤S202以重复在步骤S202和后续步骤中的处理。

在步骤S211中确定再现在以适当的方式完成每个样本从步骤S202至步骤S211的处理之后结束时，MPD再现过程结束。

文件再现装置200再现具有如图18和19所示的配置的MPD，并允许通过进行如上所述的MPD再现过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<2.第二实施例>

<基层的参考>

可采用从增强层的每个片到基层的每个片的参考的配置。图25和26示出MP4文件的不同配置示例。

在此情况下，在如图15和16所示的配置中，用于参考基层的轨道参考被添加到增强层的每个片的轨道中。

例如，在图26中的轨道7的轨道参考(Track Reference)通过参考类型“sbas”(sbas＝2)指示参考轨道2。轨道8的轨道参考(Track Reference)通过参考类型“sbas”(sbas＝3)指示参考轨道3。轨道9的轨道参考(Track Reference)通过参考类型“sbas”(sbas＝4)指示轨道4的参考。轨道10的轨道参考(Track Reference)通过参考类型“sbas”(sbas＝5)指示参考轨道5。

因此，该配置允许从存储增强层的片的各自轨道参考基层的对应片的轨道。

<MP4文件生成过程的流程>

在此配置示例中的MP4文件生成过程的流程的示例现在参考如图27所示的流程图来描述。

从在图27中的步骤S221到步骤S236的处理类似于从在图17中的步骤S101到步骤S116的处理来进行。

在步骤S237中，MP4文件生成单元103在增强层的每个片的轨道中生成指示基层的对应片的轨道的轨道参考。

从在图27中的步骤S238和步骤S239的处理类似于从在图17中的步骤S117和步骤S118的处理来进行。

文件生成装置100生成具有如图25和26所示的配置的MP4文件，并允许通过执行如上所述的MP4文件生成过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<MPD的配置示例>

文件生成装置100的MPD生成单元104根据由MP4文件生成单元103以上述的方式生成的MP4文件生成具有例如图28和29所示的配置的MPD。

在此情况下，在如图18和19所示的配置中，用于参考基层的关联信息被添加到增强层的每个片的表示中。

例如，下面所示的用于指示与基层的片1的适应集的参考关系的关联信息被设置在如图29所示的增强层的片1的表示中。

<associationid＝"bl_tile1"associationType＝"sbas">

同样，下面所示的用于指示与基层的片2的适应集的参考关系的关联信息被设置在增强层的片2的表示中。

<associationid＝"bl_tile2"associationType＝"sbas">

同样，下面所示的用于指示与基层的片3的适应集的参考关系的关联信息被设置在增强层的片3的表示中。

<associationid＝"bl_tile3"associationType＝"sbas">

同样，下面所示的用于指示与基层的片4的适应集的参考关系的关联信息被设置在增强层的片4的表示中。

<associationid＝"bl_tile4"associationType＝"sbas">

因此，该配置允许从增强层的片的适应集参考基层的对应片的适应集。

<MPD生成过程的流程>

该MPD生成过程的流程的示例现在参考如图30和31所示的流程图来描述。

从在图30中的步骤S251到步骤S266的处理类似于从在图20中的步骤S121到步骤S136的处理来进行。

此外，从在图31中的步骤S271到步骤S282的处理类似于从在图21中的步骤S141到步骤S152的处理来进行。

在图31的步骤S283中，MPD生成单元104在增强层的每个片的表示中设置与基层的对应片的关联信息。

从在图31中的步骤S284到步骤S286的处理类似于从在图21中的步骤S153到步骤S155的处理来进行。

文件生成装置100生成具有如图28和29所示的配置的MPD，并允许通过进行如上所述的MPD生成过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

应指出，类似于在第一实施例中的对应过程被进行的MP4文件再现过程和MPD再现过程未在这里重复解释。

<3.第三实施例>

<归档每个层>

图32和33示出MP4文件的不同配置示例。如这些附图所示，每个层可被归档为例如MP4文件。根据如图32所示的示例，存储关于基层的信息的各个轨道(轨道1至5)被存储在一个MP4文件中。另一方面，在如图33所示的情况下，存储关于增强层的信息的各个轨道(轨道6至10)被存储在一个MP4文件中。在每个轨道中的内部配置类似于在第二实施例中的对应配置(图25和26)。不用说，在每个轨道中的内部配置可具有类似于在第一实施例中的对应配置(图15和16)。

<MP4文件生成过程的流程>

在此配置示例中的MP4文件生成过程的流程的示例现在参考如图34所示的流程图来描述。

在步骤S301中的处理类似于在图27中的步骤S221中的处理被进行。

在步骤S302中，MP4文件生成单元103生成基层的提取器的轨道。

在步骤S303中的处理类似于在图27中的步骤S223中的处理被进行。

在步骤S304中，MP4文件生成单元103生成基层的每个片的轨道。

从步骤S305到步骤S308的处理类似于从在图27中的步骤S225到步骤S228的处理来进行。

在步骤S309中，MP4文件生成单元103集中归档基层的各个轨道。换句话说，MP4文件生成单元103在一个文件中存储基层的各个轨道。

在步骤S310中的处理类似于在图27中的步骤S229中的处理被进行。

在步骤S311中，MP4文件生成单元103生成增强层的提取器的轨道。

在步骤S312中的处理类似于在图27中的步骤S231中的处理被进行。

在步骤S313中，MP4文件生成单元103生成增强层的每个片的轨道。

从步骤S314到步骤S319的处理类似于从在图27中的步骤S233到步骤S238的处理来进行。

在步骤S320中，MP4文件生成单元103集中归档增强层的各个轨道。换句话说，MP4文件生成单元103在一个文件中存储增强层的各个轨道。

在步骤S321中的处理类似于在图27中的步骤S239中的处理被进行。

文件生成装置100生成具有如图32和33所示的配置的MP4文件，并允许通过进行如上所述的MP4文件生成过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<MPD的配置示例>

文件生成装置100的MPD生成单元104根据由MP4文件生成单元103以上述的方式生成的MP4文件生成具有例如图35和36所示的配置的MPD。

在此情况下，归档每个层的MP4文件，因此在MPD中生成每个层的适应集。

根据基层的适应集，包含关于整个基层的信息的表示以低于如图35所示的适应集的次序设置。基层的MP4文件(bl.mp4)以低于表示的次序在片段中设置(登记)。关于每个片的信息在以低于表示的次序提供的子表示(sub representation)中设置。

如图36所示的增强层的配置类似于如图35所示的配置。

<MPD生成过程的流程>

在此配置示例中的MPD生成过程的流程的示例现在参考如图37所示的流程图来描述。

从步骤S341到步骤S343的处理类似于从在图30中的步骤S251到步骤S253的处理来进行。

在步骤S344中，MPD生成单元104生成基层的适应集。

在步骤S345中，MPD生成单元104生成基层的表示。

在步骤S346中，MPD生成单元104生成基层的片段。

在步骤S347中，MPD生成单元104生成基层的每个片的子表示。

在步骤S348中，MPD生成单元104在基层的每个片的子表示中设置编码信息。

在步骤S349中，MPD生成单元104在基层的每个片的子表示中设置级别信息。

在步骤S350中，MPD生成单元104在基层的每个片的子表示中设置基本属性。

在步骤S351中，MPD生成单元104生成增强层的适应集。

在步骤S352中，MPD生成单元104生成增强层的表示。

在步骤S353中，MPD生成单元104生成增强层的片段。

在步骤S354中，MPD生成单元104生成增强层的每个片的子表示。

在步骤S355中，MPD生成单元104在增强层的每个片的子表示中设置编码信息。

在步骤S356中，MPD生成单元104在增强层的每个片的子表示中设置级别信息。

在步骤S357中，MPD生成单元104在增强层的每个片的子表示中设置基本属性。

在步骤S358中，MPD生成单元104输出如此生成的MPD。

文件生成装置100生成具有如图35和36所示的配置的MPD，并允许通过执行如上所述的MPD生成过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<MP4文件再现过程的流程>

在前述配置示例中的MP4文件再现过程的流程的示例现在参考如图38所示的流程图来描述。

在MP4文件再现过程的开始，MP4文件再现单元202在步骤S371中确定是否再现基层。在确定基层待再现时，该过程前进至步骤S372。

在步骤S372中，MP4文件再现单元202获取基层的MP4文件。

在步骤S373中，MP4文件再现单元202基于所获取的MP4文件的轨道参考指定待再现的片的轨道。

在步骤S374中，MP4文件再现单元202从所指定的轨道提取处理对象的样本的编码数据。

在步骤S375中，基层解码单元203解码所编码的数据以生成基层的解码图像(BL图像)。

在步骤S376中，基层解码单元203输出基层的解码图像(BL图像)。在完成步骤S376中的处理之后，该过程前进至步骤S388。

另一方面，在步骤S371中确定增强层待解码时，该过程前进至步骤S377。

在步骤S377中，MP4文件再现单元202确定是否已获取基层。在确定基层还未被获取时，该过程前进至步骤S378。

从步骤S378至步骤S382的处理类似于从步骤S372至步骤S376的处理来进行。在完成这些步骤的处理之后输出基层的解码图像(BL图像)时，该过程前进至步骤S383。另一方面，在步骤S377中确定基层的图像已被获取时，该过程前进至步骤S383。

在步骤S383中，MP4文件再现单元202获取增强层的MP4文件。

在步骤S384中，MP4文件再现单元202基于所获取的MP4文件的轨道参考获取待再现的片的轨道。

在步骤S385中，MP4文件再现单元202从所指定的轨道提取处理对象的样本的编码数据。

在步骤S386中，增强层解码单元204根据需要通过使用基层的参考图像和编码信息来进行层之间的预测并解码所编码的数据以生成增强层的解码图像(EL图像)。

在步骤S387中，增强层解码单元204输出增强层的解码图像(EL图像)。在完成步骤S387中的处理之后，该过程前进至步骤S388。

在步骤S388中，MP4文件再现单元202确定是否结束再现。在确定再现未结束时，该过程返回到步骤S371以重复在步骤S371和后续步骤中的处理。

在步骤S388中确定再现在以适当的方式完成每个样本从步骤S371至步骤S388的处理之后结束时，MP4文件再现过程结束。

文件再现装置200再现具有如图32和33所示的配置的MP4文件，并允许通过执行如上所述的MP4文件再现过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<MPD再现过程的流程>

在前述配置示例中的MPD再现过程的流程的示例现在参考如图39所示的流程图来描述。

在MPD再现过程的开始，MPD分析单元201在步骤S401中获取MPD。

在步骤S402中，MPD分析单元201确定是否再现基层。在确定基层待再现时，该过程前进至步骤S403。

在步骤S403中，MPD分析单元201指定基层的适应集。

在步骤S404中，MPD分析单元201允许MP4文件再现单元202获取由属于指定的适应集的片段标出的MP4文件。

在步骤S405中，MPD分析单元201指定待再现的片的子表示。

在步骤S406中，MP4文件再现单元202和基层解码单元203再现对应于所获取的MP4文件的指定子表示的轨道以获得基层的片的解码图像。根据该过程，从在图38中的步骤S372至步骤S376的处理被进行。在完成步骤S406之后，该过程前进至步骤S414。

另一方面，在步骤S402中确定增强层待再现时，该过程前进至步骤S407。

从步骤S407至步骤S409的处理类似于从步骤S403至步骤S405的处理来进行。

在步骤S410中，MPD分析单元201指定增强层的适应集。

在步骤S411中，MPD分析单元201允许MP4文件再现单元202获取由属于指定的适应集的片段标出的MP4文件。

在步骤S412中，MPD分析单元201指定待再现的片的子表示。

在步骤S413中，MP4文件再现单元202至增强层解码单元204再现对应于所获取的MP4文件的指定的子呈现的轨道以获得增强层的片的解码图像。根据该过程，从在图38中的步骤S377至步骤S387的处理被进行。在完成步骤S413中的处理之后，该过程前进至步骤S414。

在步骤S414中，MPD分析单元201确定是否结束再现。在确定再现未结束时，该过程返回到步骤S402以重复在步骤S402和后续步骤中的处理。

在步骤S414中确定再现在以适当的方式完成每个样本从步骤S402至步骤S414的处理之后结束时，MPD再现过程结束。

文件再现装置200再现具有如图35和36所示的配置的MPD，并允许通过进行如上所述的MPD再现过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<4.第四实施例>

<所有层的归档>

图40和41示出MP4文件的不同配置示例。如这些附图所示，MP4文件的所有层可被归档为一个文件。在每个轨道中的内部配置类似于在第二实施例中的对应配置(图25和26)。不用说，在每个轨道中的内部配置可具有类似于在第一实施例中的对应配置(图15和16)。

<MP4文件生成过程的流程>

在此配置示例中的MP4文件生成过程的流程的示例现在参考如图42所示的流程图来描述。

从步骤S431至步骤S448的处理类似于从步骤S301至步骤S308的处理以及类似于从图34中的步骤S310至步骤S319的处理被进行。

在步骤S449中，MP4文件生成单元103集中归档所有层的各个片(各个轨道)(生成包含所有轨道的MP4文件)。

在步骤S450中，MP4文件生成单元103输出所生成的MP4文件。

文件生成装置100生成具有如图40和41所示的配置的MP4文件，并允许通过执行如上所述的MP4文件生成过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<MPD的配置示例>

文件生成装置100的MPD生成单元104根据由MP4文件生成单元103以上述的方式生成的MP4文件生成具有例如图43和44所示的配置的MPD。

在此情况下，只生成一个适应集(生成对所有层共同的适应集)，如图43和44所示。

包含关于所有层的信息的表示以低于适应集的次序生成。所有层的MP4文件(blel.mp4)以低于表示的次序设置(登记)在片段中。关于每个层的每个片的信息在以低于表示的次序在子表示中设置。

<MPD生成过程的流程>

在此配置示例中的MPD生成过程的流程的示例现在参考如图45所示的流程图来描述。

从步骤S471到步骤S472的处理类似于从在图30中的步骤S251到步骤S253的处理来进行。

在步骤S474中，MPD生成单元104生成对所有层为共同的适应集。

在步骤S475中，MPD生成单元104生成所有层公共的表示。

在步骤S476中，MPD生成单元104生成所有层公共的片段。

在步骤S477中，MPD生成单元104生成每个层的每个片的子表示。

在步骤S478中，MPD生成单元104在每个层的每个片的子表示中设置编码信息。

在步骤S479中，MPD生成单元104在每个层的每个片的子表示中设置级别信息。

在步骤S480中，MPD生成单元104在每个层的每个片的子表示中设置基本属性。

在步骤S481中，MPD生成单元104输出如此生成的MPD。

文件生成装置100生成具有如图43和44所示的配置的MPD，并允许通过执行如上所述的MPD生成过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<MP4文件再现过程的流程>

在前述配置示例中的MP4文件再现过程的流程的示例现在参考如图46所示的流程图来描述。

在MP4文件再现过程的开始，MP4文件再现单元202在步骤S501中获取MP4文件。

在步骤S502中，确定是否再现基层。在确定基层待再现时，该过程前进至步骤S503。

在步骤S503中，MP4文件再现单元202基于包含指示整个基层的信息的轨道的轨道参考指定待再现的基层的片的轨道。

从步骤S504到步骤S506的处理类似于从在图38中的步骤S371到步骤S376的处理来进行。

在完成步骤S506中的处理之后，该过程前进至步骤S516。

另一方面，在步骤S502中确定增强层待解码时，该过程前进至步骤S507。

在步骤S507中，MP4文件再现单元202确定是否已获取基层。在确定基层还未被获取时，该过程前进至步骤S508。

从步骤S508至步骤S511的处理类似于从步骤S503至步骤S506的处理来进行。在完成这些步骤的处理之后输出基层的解码图像(BL图像)时，该过程前进至步骤S512。另一方面，在步骤S507中确定基层的图像已被获取时，该过程前进至步骤S512。

在步骤S512中，MP4文件再现单元202基于包含指示整个增强层的信息的轨道的轨道参考获取待再现的增强层的片的轨道。

从步骤S513到步骤S515的处理类似于从在图38中的步骤S385到步骤S387的处理来进行。在完成步骤S515中的处理之后，该过程前进至步骤S516。

在步骤S516中，MP4文件再现单元202确定是否结束再现。在确定再现未结束时，该过程返回到步骤S501以重复在步骤S501和后续步骤中的处理。

在步骤S516中确定再现在以适当的方式完成每个样本从步骤S501至步骤S516的处理之后结束时，MP4文件再现过程结束。

文件再现装置200再现具有如图40和41所示的配置的MP4文件，并允许通过执行如上所述的MP4文件再现过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<MPD再现过程的流程>

在前述配置示例中的MPD再现过程的流程的示例现在参考如图47所示的流程图来描述。

在MPD再现过程的开始，MPD分析单元201在步骤S531中获取MPD。

在步骤S532中，MPD分析单元201允许MP4文件再现单元202获取由属于适应集(对所获取的MPD的所有层为公共的)的片段标出的MP4文件。

在步骤S4533中，MPD分析单元201确定是否再现基层。在确定基层待再现时，该过程前进至步骤S534。

在步骤S534中，MPD分析单元201指定待再现的片的子表示。

在步骤S535中，MP4文件再现单元202和基层解码单元203再现对应于所获取的MP4文件的指定的子表示的轨道，以获得基层的片的解码图像。根据该过程，进行从图46中的步骤S503至步骤S506的处理。在完成步骤S535中的处理之后，该过程前进至步骤S538。

在步骤S533中确定增强层待再现时，该过程前进至步骤S536。

在步骤S536中，MPD分析单元201指定待再现的片的子表示。

在步骤S537中，MP4文件再现单元202至增强层解码单元204再现对应于所获取的MP4文件的指定的子呈现的轨道，以获得增强层的片的解码图像。根据该过程，进行从图46中的步骤S507至步骤S515的处理。在完成步骤S537中的处理之后，该过程前进至步骤S538。

在步骤S538中，MPD分析单元201确定是否结束再现。在确定再现未结束时，该过程返回到步骤S531以重复在步骤S531和后续步骤中的处理。

在步骤S538中确定再现在以适当的方式完成每个样本从步骤S531至步骤S538的处理之后结束时，MPD再现过程结束。

文件再现装置200再现具有如图43和44所示的配置的MPD，并允许通过执行如上所述的MPD再现过程来控制每个片在增强层中以及在基层中的分布。因此，在由多个层构成的图像的每个层中的图像的局部图像(诸如片)被自适应地提供在图像分布中。

<5.第五实施例>

<分布系统>

在前述实施例中的相应装置适用于例如分布静态图像和运动图像的分布系统。在下文中描述此应用示例。

图48为示出已应用本技术的分布系统的常规配置示例的视图。如图48所示的分布系统300为分布静态图像和运动图像的系统。如图48所示，分布系统300包括分布数据生成装置301、分布服务器302、网络303、终端装置304和终端装置305。

分布数据生成装置301基于关于所分布的静态图像和运动图像的数据生成采用分布格式的分布数据。分布数据生成装置301向分布服务器302提供所生成的分布数据。分布服务器302在存储单元或管理数据的类似单元中存储由分布数据生成装置301所生成的分布数据，并经由网络303向终端装置304和终端装置305提供分布数据的分布服务。

网络303为对应于通信介质的通信网络。网络303可由任意的通信网络，诸如有线通信网络、无线通信网络和两者的组合构成。例如，网络303可为有线局域网(LAN)、无线LAN、公共电话线网络、用于无线移动通信的宽带通信网络，诸如所谓的3G线路和4G线路、互联网或这些网络的组合。此外，网络303可由单个通信网络或多个通信网络构成。此外，网络303的一部分或整体可由符合预定标准的通信电缆，诸如通用串行总线(USB)电缆和高清晰度多媒体接口(HDMI，注册商标)电缆构成。

分布服务器302、终端装置304和终端装置305以彼此可通信的状态被连接到网络303。用于将这些装置连接到网络303的方法可被任意地确定。例如，这些装置可经由有线通信或无线通信被连接到网络303。此外，例如，这些装置可经由任意的通信装置(通信设施)，诸如接入点、中继装置和基站被连接到网络303。

终端装置304和终端装置305中的每一个由具有通信功能的任意电子装置，诸如蜂窝电话、智能电话、平板型计算机和笔记本型计算机构成。终端装置304和终端装置305中的每一个请求分布服务器302基于例如从用户等发出的指令来分布分布文件。

分布服务器302向请求源传送所请求的分布数据。具有所请求的分布的终端装置304或终端装置305接收并再现分布数据。

根据具有此配置的分布系统300，在相应实施例中描述的本技术被应用于分布数据生成装置301。换句话说，上述的文件生成装置100被应用于分布数据生成装置301。

此外，在相应实施例中描述的本技术被应用于终端装置304和终端装置305。换句话说，上述的文件再现装置200被应用于终端装置304和终端装置305。

根据此配置，分布数据生成装置301、终端装置304和终端装置305提供类似于前述相应实施例的效果。更具体地，分布系统300能够自适应地提供在由多个层构成的图像的每个层中的图像的局部图像，并实现例如在第一实施例中所示的使用案例中描述的层切换。

<6.第六实施例>

<计算机>

前述的系列过程可由硬件或软件中的任一者进行。在该系列过程由软件进行时，由软件组成的程序被安装到计算机中。在此语境下的计算机包含并入专用硬件的计算机和能够在被安装到计算机中的各种类型的程序下进行各种类型的功能的计算机，诸如专用个人计算机。

图49为示出在程序下进行上述系列过程的计算机的硬件的配置示例的框图。

根据图49所示的计算机400，中央处理单元(CPU)401、只读存储器(ROM)402和随机存取存储器(RAM)403经由总线404彼此连接。

输入/输出接口410进一步被连接到总线404。输入单元411、输出单元412、存储单元413、通信单元414和驱动器415被连接到输入/输出接口410。

输入单元411由键盘、鼠标、麦克风、触摸面板、输入终端等构成。输出单元412由显示器、扬声器、输出终端等构成。存储单元413由硬盘、RAM盘、非易失性存储器等构成。通信单元414由网络接口等构成。驱动器415驱动可移除介质421，诸如磁盘、光盘、磁光盘和半导体存储器。

例如，根据具有此配置的计算机，CPU 401经由输入/输出接口410和总线404将存储在存储单元413中的程序加载到RAM 403中，并执行程序以执行上述的系列过程。用于由CPU 401执行相应的过程所需的数据等也被适当存储在RAM 403中。

例如，由计算机(CPU 401)执行的程序可被记录在构成包装介质的可移除介质421中。在此情况下，程序经由输入/输出接口410(处于可移除介质421附接到驱动器415的状态中)被安装到存储单元413中。

另选地，程序可经由有线或无线传输介质，诸如局域网、互联网和数字卫星广播来提供。在此情况下，程序可由通信单元414接收并被安装到存储单元413中。

可替换地，程序可改为被预安装在ROM 402或存储单元413中。

注意，由计算机执行的程序可为按在本说明书中描述的时间顺序执行的程序，或在必要的定时诸如被调用时或并行被执行的程序。

被记录在记录介质中的描述程序的步骤不仅包含按本文所述的时间顺序执行的过程，而且包含并行或单独执行而不是按时间顺序执行的过程。

由相应步骤执行的过程可由前述的相应装置执行，或由不是前述装置的任意装置执行。在此情况下，执行该过程的装置具有执行上述过程所需的功能(功能块等)。此外，该过程所需的信息被适当传送至装置。

根据本说明书，系统指的是多个构成元件(诸如装置和模块(部件))的集合，并包含所有构成元件被包含在相同外壳中以及部分构成元件未被包含在相同外壳中这两种案例。因此，被容纳在单独外壳中并经由网络连接的多个装置以及包括被容纳在一个外壳内的多个模块的一个装置这两种装置均被视为系统。

根据前面的描述，作为一个装置(或处理单元)论述的配置可被划分为多个装置(或处理单元)。相反，作为多个装置(或处理单元)论述的配置可被组合成一个装置(或处理单元)。不用说，未在本文论述的配置可被添加到相应装置的配置(或相应处理单元)。此外，在整个系统的配置和操作大体相同时，某些装置(或处理单元)的配置的一部分可被并入另一装置(或另一处理单元)的配置中。

虽然已参考附图详细描述根据本公开的优选实施例，但是本公开的技术范围应不局限于这些实例。显然，本公开的技术领域的普通技术人员可根据在权利要求书所描述的技术精神的范围内的本技术，提出各种变化和更改的示例。因此应理解，这些变化和更改当然也被包含在本公开的技术范围内。

例如，本技术适用于系统或一个功能由多个装置经由网络共享并彼此协调处理的云计算。

此外，参考前述流程图论述的相应步骤可由多个装置共享并执行而不是仅由一个装置执行。

此外，在多个过程被包含在一个步骤中时，被包含在一个步骤中的多个过程可由多个装置共享并执行而不是由一个装置执行。

另选地，本技术可以安装在前述装置或构成前述系统的装置上的任意配置的形式实施，诸如作为系统大规模集成(LSI)的处理器，包括多个处理器的模块，包括多个模块的单元，以及除了单元函数外还包括函数的集合(即，装置的一部分的配置)。

本技术可以具有下列配置。

(1)信息处理装置，其包括生成文件的文件生成单元，该文件存储关于通过图像数据的层编码所产生的编码数据的整个基层的信息、关于基层的图像的每个局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的每个局部区域的信息，使得每个信息被存储在彼此不同的轨道中的相应的一个轨道中。

(2)根据(1)所述的信息处理装置，其中

文件生成单元在存储关于整个基层的信息的轨道中存储指示基层的编码系统的编码信息，

文件生成单元在存储关于基层的局部区域的信息的轨道的每个轨道中存储指示对应轨道仅存储关于基层的对应局部区域的信息的编码信息，

文件生成单元在存储关于整个增强层的信息的轨道中存储指示增强层的编码系统的编码信息，以及

文件生成单元在存储关于增强层的局部区域的信息的轨道的每个轨道中存储指示对应轨道仅存储关于增强层的对应局部区域的信息的编码信息。

(3)根据(1)或(2)所述的信息处理装置，其中

文件生成单元在存储关于整个基层的信息的轨道中存储指示参考存储关于基层的局部区域的信息的轨道的信息和指示该参考的类型的信息，

文件生成单元在存储关于基层的局部区域的信息的轨道的每个轨道中存储指示参考存储关于整个基层的信息的轨道的信息和指示该参考的类型的信息，

文件生成单元在存储关于整个增强层的信息的轨道中存储指示参考存储关于整个基层的信息的轨道的信息和指示该参考的类型的信息，以及指示参考存储关于增强层的局部区域的信息的轨道的信息和指示该参考的类型的信息，以及

文件生成单元在存储关于增强层的局部区域的信息的轨道的每个轨道中存储指示参考存储关于整个增强层的信息的轨道的信息和指示该参考的类型的信息。

(4)根据(3)所述的信息处理装置，其中，文件生成单元在存储关于增强层的局部区域的信息的轨道的每个轨道中进一步存储指示参考存储与与所述增强层的相应局部区域对应的所述基层的局部区域的信息的轨道的信息。

(5)根据(1)到(4)中的任一项所述的信息处理装置，其中

文件生成单元在存储关于整个层的信息的轨道的每个轨道中存储关于对应层的局部区域的编码数据的参考信息的样本，以及

文件生成单元在存储关于层的局部区域的信息的轨道的每个轨道中存储关于对应局部区域的编码数据的样本。

(6)根据(1)到(5)中的任一项所述的信息处理装置，其中，文件生成单元在存储关于层的局部区域的信息的轨道的每个轨道中存储指示对应局部区域的位置的位置信息。

(7)根据(1)到(6)中的任一项所述的信息处理装置，其中，文件生成单元生成用于每个轨道的文件。

(8)根据(1)到(7)中的任一项所述的信息处理装置，其中，文件生成单元生成用于每个层的文件。

(9)根据(1)到(8)中的任一项所述的信息处理装置，其中，文件生成单元生成存储所有轨道的文件。

(10)生成文件的信息处理方法，该文件存储关于通过图像数据的层编码所产生的编码数据的整个基层的信息、关于基层的图像的每个局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的每个局部区域的信息，使得每条信息被存储在彼此不同的轨道中的对应的一个轨道中。

(11)信息处理装置，其包括生成元数据的元数据生成单元，该元数据含有关于通过图像数据的层编码所产生的编码数据的整个基层的信息、关于基层的图像的每个局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的每个局部区域的信息。

(12)根据(11)所述的信息处理装置，其中

存储关于整个基层的信息的信息含有指示基层的编码系统的编码信息，

关于基层的每个局部区域的信息含有指示仅含有关于基层的对应局部区域的信息的编码信息，

关于整个增强层的信息含有指示增强层的编码系统的编码信息，以及

关于增强层的每个局部区域的信息含有指示仅含有关于增强层的对应局部区域的信息的编码信息。

(13)根据(11)或(12)所述的信息处理装置，其中

关于整个基层的信息含有指示参考关于基层的局部区域的信息的信息和指示该参考的类型的信息，

关于基层的每个局部区域的信息可含有指示参考关于整个基层的信息的信息和指示该参考的类型的信息，

关于整个增强层的信息含有指示参考关于整个基层的信息的信息和指示该参考的类型的信息，以及指示参考关于增强层的局部区域的信息的信息和指示该参考的类型的信息，以及

关于增强层的每个局部区域的信息含有指示参考关于整个增强层的信息的信息和指示该参考的类型的信息。

(14)根据(13)所述的信息处理装置，其中，关于增强层的每个局部区域的信息进一步含有指示参考与所述增强层的相应局部区域对应的所述基层的局部区域的信息的信息和指示所述参考的类型的信息。

(15)根据(11)到(14)中的任一项所述的信息处理装置，其中，关于基层的局部区域的每个信息和关于增强层的局部区域的信息包含指示对应局部区域的位置的位置信息。

(16)根据(11)到(15)中的任一项所述的信息处理装置，其中

元数据生成单元在关于整个基层的信息中设置存储基层的局部区域的编码数据的参考信息的样本的文件，

元数据生成单元在关于基层的局部区域的信息中设置存储基层的对应局部区域的编码数据的样本的文件，

元数据生成单元在关于整个增强层的信息中设置存储增强层的局部区域的编码数据的参考信息的样本的文件，以及

元数据生成单元在关于增强层的局部区域的信息中设置存储增强层的对应局部区域的编码数据的样本的文件。

(17)根据(11)到(16)中的任一项所述的信息处理装置，其中

元数据生成单元以比关于整个基层的信息和关于基层的局部区域的信息更高的顺序设置存储基层的编码数据的文件，以及

元数据生成单元以比关于整个增强层的信息和关于增强层的局部区域的信息更高的顺序设置存储增强层的编码数据的文件。

(18)根据(11)到(17)中的任一项所述的信息处理装置，其中，元数据生成单元以比关于整个基层的信息、关于基层的局部区域的信息、关于整个增强层的信息和关于增强层的局部区域的信息更高的顺序设置存储所有层的编码数据的文件。

(19)根据(11)到(18)中的任一项所述的信息处理装置，其中，元数据生成单元设置关于整个基层的信息、关于基层的图像的每个局部区域的信息、关于整个增强层的信息和关于增强层的图像的每个局部区域的信息，使得每个信息在彼此不同的适应集的相应的一个适应集中设置或在彼此不同的子表示的相应的一个子表示中设置。

(20)生成元数据的信息处理方法，该元数据含有关于通过图像数据的层编码所产生的编码数据的整个基层的信息、关于基层的图像的每个局部区域的信息、关于编码数据的整个增强层的信息以及关于增强层的图像的每个局部区域的信息。

附图符号列表

100 文件生成装置

101 基层编码单元

102 增强层编码单元

103 MP4文件生成单元

104 MPD生成单元

200 文件再现装置

201 MPD分析单元

202 MP4文件再现单元

203 基层解码单元

204 增强层解码单元

300 分布系统

301 分布数据生成装置

302 分布服务器

303 网络

304和305 终端装置

400 计算机。