发送装置、发送方法、接收装置以及接收方法与流程

本技术涉及发送装置、发送方法、接收装置以及接收方法，并且涉及用于连续发送多个服务的视频流的发送装置等。

背景技术：

在广播中，假定例如以不同的帧速率发送混合的具有不同图像格式的的多个服务。例如，运动节目以120P服务提供，其他节目以60P服务提供等。

后来，针对HEVC(高效视频编码)，例如已经提出对构成动态图像数据的每个图片的图像数据执行分层编码的时间可伸缩性(参见非专利文献1)。接收侧可以基于插入NAL(网络抽象层)单元的报头中的时间ID(temporal_id)信息确定每个图片的层级，并且可以对与其解码性能相对应的层级执行有选择性的解码。

引用列表

非专利文献

非专利文献1：Gary J.Sullivan,Jens-Rainer Ohm,Woo-Jin Han,Thomas Wiegand,“Overview of the High Efficiency Video Coding(HEVC)Standard”IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY,VOL.22,NO.12,pp.1649-1668,2012年12月

技术实现要素：

本发明要解决的问题

本技术的目的是在转换服务时容易地防止显示静音(display mute)的出现。

问题的解决方案

本技术的构思在于：

提供了一种发送装置，包括：

图像编码单元，被配置为编码构成动态图像数据的每个图片的图像数据并且生成视频流；以及

发送单元，被配置为发送连续包括通过所述图像编码单元生成的第一视频流和第二视频流的预定格式的容器，其中，

所述第一视频流和所述第二视频流由第一流至第N流中的第一流至第M流组成(M≤N)，并且

所述发送单元分别将固定的标识符应用于所述第一流至所述第N流。

根据本技术，图像编码单元通过编码构成动态图像数据的每个图片的图像数据来产生视频流。发送单元发送连续包括通过图像编码单元产生的第一视频流和第二视频流的预定格式的容器。例如，第一视频流和第二视频流至少可以包括基本流和增强流中的基本流。

第一视频流和第二视频流由第一流至第N流中的第一流至第M流组成(M≤N)。然后，发送单元将固定的标识符应用于相应的第一流至第N流。

以这种方式，根据本技术，固定的标识符被应用于每个流。然后，在接收侧中，即使在转换服务时，也不必需改变提取每个流的过滤器的设置并且，因此，可以防止出现显示静音并且可以实现无缝显示。

在此，在本技术中，例如，发送单元可以在所述第一视频流的发送期间内，将构成所述第一视频流的每个流的标识符信息持续插入至容器的层中并发送，并且可以在所述第二视频流的发送期间开始的前一刻，将构成所述第二视频流的每个流的标识符信息插入至所述容器的层中并发送。在这种情况下，接收侧可以容易地识别构成当前接收的视频流的每个流的标识符并且，此外，这会有助于在执行转换之前容易地识别构成转换之后将接收的视频流的每个流的标识符。

此外，在本技术中，例如，发送单元可以在每个视频流的发送期间内将第一流至第N流的每个流的标识符信息插入至容器的层中并发送。在这种情况下，接收侧总是能识别出第一流至第N流的标识符信息。

此外，在本技术中，例如，发送单元可以在每个视频流的发送期间内将转换信息插入至容器层中并发送。在这种情况下，例如，转换信息可以包括第二视频流所包含的编码图像数据的帧速率信息和/或流结构信息。在这种情况下，接收侧可以在执行转换之前容易地识别出诸如转换之后将接收的视频流的帧速率的转换信息。

此外，在本技术中，例如，第一视频流和第二视频流可以至少由基本流(base stream)和增强流(enhanced stream)中的基本流组成。在这种情况下，例如，由基本流组成的视频流可以包括第一帧速率的编码图像数据，并且由基本流和增强流组成的视频流可以包括比第一帧速率快两倍的第二帧速率的编码图像数据。

此外，在本技术中，例如，图像编码单元可以将构成所述动态图像数据的每个图片的图像数据分类至多个层级中，编码所分类的每个层级中的所述图片的图像数据，将所述多个层级划分成M个数量的层级组，并且生成分别具有所划分的每个层级组的所述图片的编码图像数据的每个所述视频流中的第一流至第M流；并且可以执行分层编码使得分别包括在所述第一流至第M流的每个流中的所述图片的层级落在彼此独立的预先分配的范围以内。利用这个分层编码，可以避免系统层和视频层之间对于包括预先确定层级的不一致。

此外，在被技术中，例如，发送单元可以在所述第一视频流的发送期间内，将构成所述第一视频流的每个流的图片的层级范围信息持续插入至所述容器的层中并发送，并且可以在所述第二视频流的发送期间开始的前一刻，将构成所述第二视频流的每个流的图片的层级范围信息插入至所述容器的层中并发送。在这种情况下，接收侧可以容易地识别构成当前接收的视频流的每个流的层级范围，并且此外，可以在执行转换之前容易地识别构成转换之后将接收的视频流的每个流的层级范围。

此外，在本技术中，例如，第一视频流和第二视频流至少可以包括基本流和增强流中的基本流，并且图像编码单元可以编码使得包括在所述增强流中的图片的层级数量变为一。在这种情况下，例如，在每个视频流的发送期间内，在仅基本流包括在视频流中时，发送单元可以将基本流的图片的层级范围信息和增强流的图片的层级范围信息插入至容器层中并发送。

此外，本技术的另一个构思在于：

一种接收装置，包括：

接收单元，被配置为接收连续包括包含编码图像数据的第一视频流和第二视频流的预定格式的容器，其中，

所述第一视频流和所述第二视频流由第一流至第N流中的第一流至第M流组成(M≤N)，并且

固定的标识符被分别应用于所述第一流至所述第N流，

所述接收装置，进一步包括：

处理单元，被配置为通过基于分别应用的标识符的过滤来处理包括在所述第一视频流和所述第二视频流中的每个流。

根据本技术，接收单元接收连续包括包含编码图像数据的第一视频流和第二视频流的预定格式的容器。在此，第一视频流和第二视频流由第一流至第N流中的第一流至第M流组成(M≤N)，并且固定的标识符被应用于相应的第一流至第N流。然后，处理单元通过基于分别应用的标识符的过滤来处理包括在第一视频流和第二视频流中的每个流。

以这种方式，根据本技术，固定的标识符被应用于每个流。因此，即使在转换服务时，也不必需改变提取每个流的过滤器的设置，并且因此，可以防止出现显示静音并且可以实现无缝显示。

在此，在本技术中，例如，在每个所述视频流的所述第一流至所述第M流中，构成所述动态图像数据的每个图片的图像数据被分类至多个层级中，可以编码所分类的每个层级中的所述图片的图像数据，将所述多个层级划分成M个数量的层级组，可以包括所划分的每个层级组的所述图片的编码图像数据，并且可以执行分层编码使得分别包括在所述第一流至所述第M流中的每个流中的所述图片的层级落在彼此独立的预先分配的范围以内。利用这个分层编码，可以避免系统层和视频层之间对于哪个流包括预先确定层级的不一致。

此外，本技术的另一个构思在于

一种发送装置，包括：

图像编码单元，被配置为生成具有编码图像数据的视频流，以及

发送单元，被配置为发送连续包括通过所述图像编码单元生成的第一视频流和第二视频流的预定格式的容器，其中

所述第一视频流和所述第二视频流由第一流至第N流中的第一流至第M流组成(M≤N)，

所述图像编码单元将构成动态图像数据的每个图片的图像数据分类至多个层级中，编码所分类的每个层级中的图片的图像数据，将多个层级划分成M个数量的层级组，并且生成分别包括所划分的每个层级组的图片的编码图像数据的每个所述视频流中的所述第一流至所述第M流，并且

执行分层编码使得分别包括在所述第一流至第M流的每个流中的图片的层级落在彼此独立的预先分配的范围以内。

在本技术中，图像编码单元通过编码构成动态图像数据的每个图片的图像数据来产生视频流。发送单元发送连续包括通过图像编码单元产生的第一视频流和视频流的预定格式的容器。第一视频流和第二视频流由第一流至第N流中的第一流至第M流组成(M≤N)。

图像编码单元将构成动态图像数据的每个图片的图像数据分类至多个层级中，编码每个分类的层级中的图片的图像数据，将多个层级划分至M个数量的层级组中，产生具有每个划分的层级组中的图片的编码图像数据的每个视频流的第一流至第M流，并且执行分层编码使得包括在相应的第一流至第M流中的图片的层级变为在与彼此无关的先前分配的范围以内。

以这种方式，根据本技术，执行分层编码使得包括在相应的第一流至第M流中的图片的分级结构变为在与彼此无关的先前分配的范围以内。因此，可以避免系统层和视频层之间对于哪个流包括预先确定层级的不一致。

在此，在本技术中，例如，发送单元可以在所述第一视频流的发送期间内，将包括在所述第一视频流中的每个流的图片的层级范围信息持续插入至容器的层中并发送，并且可以在所述第二视频流的发送期间开始的前一刻，将包括在所述第二视频流中的每个流的图片的层级范围信息插入至所述容器的层中并发送。在这种情况下，接收侧可以容易地识别构成当前接收的视频流的每个流的层级范围，并且此外，可以在执行转换之前容易地识别构成转换之后将接收的视频流的每个流的层级范围。

此外，在本技术中，例如，第一视频流和第二视频流至少可以包括基本流和增强流中的基本流，并且包括在增强流中的图片的层级数量可以被假定为一。在这种情况下，例如，在每个视频流的发送期间内，在仅基本流包括在视频流中时，发送单元可以将基本流的图片的层级范围信息和增强流的图片的层级范围信息插入至容器层中并发送。

本发明的效果

根据本技术，可以容易地防止在转换服务时出现显示静音。

应注意，在此描述的效果不必受限制并且可以实现本文中所公开的内容中描述的效果中的任意一个。

附图说明

[图1]将发送和接收系统的结构实例示出为实施方式的框图。

[图2]示出了服务转换的实例情况的示图。

[图3]示出了分层编码的实例的示图。

[图4]示出了NAL单元报头的结构实例和结构实例中的主要参数的内容的示图。

[图5]示出了发送装置的结构实例的框图。

[图6]示出了HEVC描述符的结构实例的示图。

[图7]示出了无缝转换描述符的结构实例的示图。

[图8]示出了无缝转换描述符的结构实例中的主要信息的内容的示图。

[图9]示出了视频解码控制描述符的结构实例的示图。

[图10]示出了视频解码控制描述符的结构实例中的主要信息的内容的示图。

[图11]示意性地示出了复用器的结构的示图。

[图12]示出了发送60P服务的视频流(仅包括基本流)的情况下的传输流TS的结构实例的示图。

[图13]示出了发送120P服务的视频流(包括基本流和增强流)的情况下的传输流TS的结构实例的示图。

[图14]示出了接收装置的结构实例的框图。

[图15]示出了解复用器的结构实例的示图。

[图16]示出了发送侧(发送装置)中的操作实例的示图。

[图17]示出了接收侧(接收装置)中的操作实例的示图。

[图18]示出了发送侧(发送装置)的另一操作实例的示图。

[图19]示出了接收侧(接收装置)的另一操作实例的示图。

[图20]示出了根据服务转换的操作的分层编码结构的变化的实例的示图。

[图21]是示出了根据服务转换的操作的分层编码结构的变化的另一实例的示图。

[图22]是示出了根据服务转换的操作的分层编码结构的变化的另一实例的示图。

具体实施方式

以下将描述执行本发明的方式(在下文中，称为“实施方式”)。将按以下顺序执行说明：

1.实施方式

2.变形例

<1.实施方式>

[发送和接收系统]

图1示出作为实施方式的发送和接收系统10的结构实例。发送和接收系统10具有以下配置，即包括发送装置100和接收装置200。

发送装置100使用广播电波或者网络中的数据包发送作为容器格式的传输流TS。在传输流TS中，连续包括不同的服务的视频流。在这种情况下，每个视频流由第一流至第N流中的第一流至第M流(M≤N)形成。在这种情况下，固定的PID(数据包标识符)分别应用于第一流至第N流。

此外，在构成每个视频流的第一流至第M流中，构成动态图像数据的相应的图片的图像数据被分类至多个层级中，每个层级中的分类图片的图像数据被编码，多个层级被划分成M个数量的层级组，并且分别包括每个划分的层级组中的图片的编码图像数据。在这种情况下，执行分层编码使得包括在相应的第一流至第M流中的图片的层级在与彼此无关的先前分配的范围以内。

图2示出服务转换的实例情况。图2(a)示出从2160/60/p视频格式的服务转换至2160/120/p视频格式的服务。这是从一个流转换至两个流。图2(b)示出从1080/60/p视频格式转换至2160/60/p视频格式。这是从一个流转换至一个流。

图2(c)示出从1080/60/p视频格式的服务转换至2160/120/p视频格式的服务。这是从一个流转换至两个流。图2(d)示出从2160/60/p视频格式的服务转换至1080/120/p视频格式的服务。这是从两个流转换至一个流。

图2(e)示出从1080/60/p视频格式的服务转换至1080/60/i视频格式的服务。这是从一个流转换至一个流。图2(f)示出从2160/60/p视频格式的三个节目服务转换至4320/60/p视频格式的服务。这是从三个流转换至一个流。

图3示出分层编码的实例以及表示图片的每个矩形形状。图3(a)是最高层级是3并且层级0至3均在基本流的分层范围中的实例。在这个实例中，在所有层级0至3中均有图片。图3(b)是最高层级是3并且层级0至3均在基本流的分层范围中的实例。在这个实例中，在层级3中没有图片并且这导致了层级间隙。图3(c)是最高层级是3并且层级0至3均在基本流的分层范围中的实例。在这个实例中，在层级2中没有图片并且这导致了层级间隙。图3(d)是最高层级是4，层级0至3均在基本流的分层范围中，并且层级4在增强流的分层范围中的实例。在这个实例中，在层级3中没有图片并且这导致了层级间隙。图3(e)是最高层级是3，层级0至2均在基本流的分层范围中，并且层级3在增强流的分层范围中的实例。在这个实例中，在所有层级0至3中均有图片。

在分层编码中，例如，执行诸如H.264/AVC和H.265/HEVC的编码使得参考图片被编码以属于其层级和/或低于其层级的层级。对于每个图片，将用于确定其层级的层级识别信息(temporal_id)应用至每个层级中的图片的编码图像数据。在每个图片的NAL单元(nal_unit)的报头部分中，提供指示层级识别信息(temporal_id)的“nuh_temporal_id_plus1”。以这种方式，在应用层级识别信息时，可以在接收侧发现每个图片的层级。

图4(a)示出NAL单元报头的结构实例(语法)并且图4(b)示出结构实例中的主要参数的内容(语义)。在“Forbidden_zero_bit”的1-位字段中，0是强制性的。“Nal_unit_type”的6-位字段指示NAL单元的类型。在“Nuh_layer_id”的6-位字段中，0是假定的。“nuh_temporal_id_plus1”的3-位字段指示temporal_id并且采用加1的值(1至7)。

在每个服务的视频流的发送期间内，PID(数据包标识符)信息被插入容器层中。在这种情况下，例如，信息利用以下第一PID信息插入方式和第二PID信息插入方式插入。PID信息根据例如节目映射表(PMT)插入。

[第一PID信息插入方式]

在第一PID信息插入方式中，在一个服务的视频流发送期间内，构成视频流的每个流的PID信息被持续插入并且，在开始随后的服务的视频流发送时段的前一刻，插入构成视频流的每个流的PID信息。

[第二PID信息插入方式]

在第二PID信息插入方式中，在每个服务的视频流发送期间内，插入相应的第一流至第N流的PID信息。

此外，在每个服务的视频流发送期间内，层级范围信息被插入容器层中。层级范围信息根据例如节目映射表(PMT)插入。在这种情况下，在一个服务的视频流发送期间内，构成视频流的每个流的图片的层级范围信息被持续插入，并且在开始随后的服务的视频流发送时段的前一刻，插入构成视频流的每个流的图片的层级范围信息。

此外，在每个服务的视频流发送期间内，转换信息被插入至容器层。转换信息包括例如包括在随后的服务的视频流中的编码图像数据的帧速率信息、流结构信息等。转换信息根据例如节目映射表(PMT)插入。

接收装置200接收经由广播电波或者网络中的数据包从发送装置100发送的以上描述的传输流TS。在传输流TS中，连续包括多个服务的视频流。每个视频流由第一流至第N流之外的第一流至第M流组成(M≤N)。在此，固定的PID(数据包标识符)分别应用于第一流至第N流。

接收装置200基于插入容器层中的PID(数据包标识符)信息识别构成包括在传输流TS中的视频流的相应的流的PID。接收装置200通过基于应用至流的PID执行过滤来处理构成视频流的相应的流。接收装置200顺序地显示连续包括在传输流TS中的每个服务的视频流的图像。

在这种情况下，因为固定的PID(数据包标识符)分别应用于第一流至第N流，所以即使在转换服务时，也不需要改变提取每个流的过滤器的设置。这防止了显示静音的出现并执行无缝显示。

基于插入容器层中的层级范围信息，接收装置200识别构成包括在传输流TS中的视频流的相应的流的图片的层级范围。在这种情况下，因为执行分层编码使得分别包括在第一流至第M流中的图片的层级在与彼此无关的先前分配的范围以内，避免了系统层和视频层之间关于将预先确定的层级包括在哪个流中的不一致。

此外，基于插入在容器层中的转换信息，接收装置200在转换服务之前识别随后的服务的视频流中的编码图像数据的帧速率信息等。

根据本实施方式，假定N＝2，则每个视频流仅由基本流组成或者由基本流和增强流组成。在此，在60P的服务的情况下，视频流仅由基本流组成，而在120P的服务的情况下，视频流由基本流和增强流组成。

根据本实施方式，执行编码使得包括在增强流中的图片的层级的数量变为一。此外，在仅由基本流组成的视频流的发送时段中，使用以下的第一方式或第二方式。在第一方式中，仅插入基本流的层级范围信息。在第二方式中，除插入基本流的层级范围信息之外，插入可以用于增强流的层级范围的信息。

在这种情况下，例如，最小值(mix)和最大值(max)被设置为不同的值并且甚至假定实际存在任意增强流。换言之，根据本实施方式，执行编码使得包括在增强流中的图片的层级数量变为一并且在增强流存在时，最小值(mix)和最大值(max)变为相同的值。

[发送装置的结构]

图5示出发送装置100的结构的实例。发送装置100包括CPU(中央处理器)101、编码器102A和102B、压缩数据缓存器(cpb)103A和103B、复用器104以及发送单元105。CPU 101是控制单元并且控制发送装置100中的每个单元的操作。

编码器102A以60Hz的帧频输入未压缩的动态图像数据VDA并且例如执行诸如H.264/AVC和H.265/HEVC的编码。在这种情况下，编码器102A将构成动态图像数据VDA的每个图片的图像数据分类至多个层级中，编码分类至每个层级中的图片的图像数据，并且产生具有每个层级的图片的编码图像数据的与60P服务相关的视频流。压缩数据缓存器(cpb)103A暂时存储视频流。

在这个视频流中，仅包括基本流。换言之，编码器102A产生包括通过分层编码获得的所有层级中的图片的编码图像数据的基本流。在此，执行分层编码使得包括在基本流中的图片的层级范围在先前分配的范围以内。例如，在包括在基本流中的图片的层级范围是例如层级0至3时，执行分层编码使得最高层级变为等于或小于3，如在图3(a)至图3(c)中示出的。

编码器102B以120Hz的帧频输入未压缩的动态图像数据VDB并且例如执行诸如H.264/AVC和H.265/HEVC的编码。在这种情况下，编码器102B将构成动态图像数据VDB的每个图片的图像数据分类至多个层级中，编码分类至每个层级中的图片的图像数据，并且产生与具有每个层级的图片的编码图像数据的120P服务相关的视频流。压缩数据缓存器(cpb)103B暂时存储视频流。

在这个视频流中，包括基本流和增强流。换言之，编码器102B将多个层级划分成两个并且产生具有较低的层级中的图片的编码图像数据的基本流和具有较高的层级中的图片的编码图像数据的增强流。

在此，执行分层编码使得包括在基本流和增强流中的图片的层级范围变为在先前分配的范围以内，并且执行编码使得包括在增强流中的图片的层级数量变为一。例如，在包括在基本流中的图片的层级范围是层级0至3并且包括在增强流中的图片的层级范围是层级4至5时，例如，如在图3(d)中示出的，包括在基本流中的图片的层级被设置为3或更低并且包括在增强流中的图片的层级被设置为4。

在执行60P的服务时，复用器104读取存储在压缩数据缓存器103A中的视频流并且通过将数据打包成打包的基础流(PES)并且将数据多路传输至传输数据包来获得作为复用流的传输流TS。在这个传输流TS中，如上所述的仅包括基本流。复用器104将固定的PID(＝PID_1)应用于这个基本流。

此外，在执行120P的服务时，复用器104读取存储在压缩数据缓存器103B中的视频流并且通过将数据打包成打包的基础流(PES)并且将数据多路传输至传输数据包来获得作为复用流的传输流TS。在这个传输流TS中，如上所述的包括基本流和增强流。复用器104将固定的PID(＝PID_1)应用于基本流并且将固定的PID(＝PID_2)应用于增强流。

发送单元105将通过复用器104获得的传输流TS经由广播电波或者网络中的数据包发送至接收装置200。在这种情况下，例如，发送60P服务的传输流TS并且然后发送120P的传输流TS。可替换地，发送120P服务的传输流TS并且然后发送60P服务的传输流TS。

在每个服务的视频流发送期间内，复用器140根据节目映射表(PMT)插入PID信息。在这种情况下，复用器140以下文的第一PID信息插入方式或第二PID信息插入方式插入PID信息。

换言之，在第一PID信息插入方式中，在一个服务的视频流发送期间内，构成视频流的每个流的PID信息被连续插入并且，在开始随后的视频流发送时段的前一刻，插入构成视频流的每个流的PID信息。此外，在第二PID信息插入方式中，在每个服务的视频流发送期间内，插入基本流和增强流两者的PID信息。

此外，在每个服务的视频流发送期间内，复用器104根据节目映射表(PMT)插入层级范围信息。在这种情况下，在一个服务的视频流发送期间内，构成视频流的每个流的图片的层级范围信息被连续插入，并且在开始随后的服务的视频流发送时段的前一刻，插入构成视频流的每个流的图片的层级范围信息。

在此，在仅由基本流组成的视频流的发送期间内，复用器104以下文的第一方式或第二方式插入层级范围信息。换言之，在第一方式中，仅插入基本流的层级范围信息。此外，在第二方式中，除插入基本流的层级范围信息之外，插入可以由增强流采用的层级范围的信息。

如上所述，假定包括在增强流中的图片的层级数量是一，并且可以由增强流采用的层级范围的信息包括多个层级例如。利用这个方式，可以由增强流采用的层级范围在字面上指示增强流可以采用的层级范围并且指出实际不存在增强流。

对于这个层级范围信息的插入，使用传统HEVC描述符的“temporal_id_min”和“temporal_id_max”字段。图6示出HEVC_descriptor的结构实例(语法)。“descriptor_tag”的8位字段表示描述符的类型并且其表示在这个实例中的HEVC描述符。“descriptor_length”的8位字段表示描述符的长度(大小)并且将随后的字节的数量表示为描述符的长度。

“level_idc”的8位字段表示比特速率水平规格值。此外，在“temporal_layer_subset_flag＝1”时，存在“temporal_id_min”的5位字段和“temporal_id_max”的5位字段。“temporal_id_min”表示包括在相应的视频流中的分层编码数据的最低层级的temporal_id值。“temporal_id_max”表示包括在相应的视频流中的分层编码数据的最高层级的temporal_id值。

此外，在每个流的视频流发送期间内，至少在开始随后的服务的视频流发送时段的时间，复用器140根据节目映射表(PMT)插入转换信息。对于这个转换信息的插入，使用新的限定的无缝转换描述符(Seamless_switch descriptor)或者现有的视频解码控制描述符(Video_decode_control descriptor)。

图7示出无缝转换描述符的结构实例(语法)。此外，图8示出结构实例的主要信息内容(语义)。“descriptor_tag”的8位字段表示描述符类型。在此，其指示其是无缝转换描述符。“descriptor_length”的8位字段表示描述符的长度(大小)并且将随后的字节的数量表示为描述符的长度。

“EOS_flag”的1位字段是指示“end_of_seq”在流的结尾被编码的标记。“1”指示其已被编码。“0”指示其还没有被编码。“number_of_streams”的3位字段表示转换之后的服务流的数量。“frame_rate”的4位字段表示转换之后的服务流的帧频。例如，“1001”表示60Hz并且“1100”表示120Hz。

“spatial_resolution”的4位字段表示转换之后的服务流动的表面成像。例如，“0001”表示720(h)*480(v)，“0010”表示1280(h)*720(v)，“0011”表示1920(h)*1080(v)，“0100”表示3840(h)*2160(v)，并且“0101”表示7680(h)*4320(v)。“scanning_format”的1位字段表示帧结构。“1”表示渐进的并且“0”指示被交织。

图9示出视频解码控制描述符的结构实例(语法)。此外，图10示出结构实例的主要信息内容(语义)。“descriptor_tag”的8-位字段示出描述符类型。在此，其表示视频解码控制描述符。“descriptor_length”的8-位字段指示描述符的长度(大小)并且将随后的字节的数量表示为描述符的长度。

“sequence_end_code_flag”的1位字段是指示“end_of_seq”在流的结尾被编码的标记。“1”表示其被编码。“0”表示其没有被编码。“video_encode_format”的4位字段表示转换之后的服务流动的格式。例如，“0000”表示1080p(2K)，“0111”表示2160p(4K)，并且“1000”表示4320p(8K)。

“frame_rate_type”的1位字段是重新限定的字段并且表示转换之后的流的帧频的类型。“1”指示形成60Hz或更低的传统帧速率并且“0”指示形成120Hz或更高的帧速率。“stream_not_extended_flag”的1-位字段是重新限定的字段并且指示转换之后的流中的没有增强流。“1”指示没有具有不同的PID的增强流，并且“0”指示具有不同的PID的增强流是复用的并且120p利用其组成。

图11示意性地示出复用器104的结构。复用器104包括片段信息(包括描述符)产生单元141、无效数据包产生单元142、选择器143、PID分配单元144以及TS复用单元145。选择器143输入从外部输入的60P服务的视频流(基本流)，120P服务的视频流(基本流和增强流)，其他服务的流，片段信息产生单元141中产生的片段信息和无效数据包产生单元142中产生的无效数据包，并且有选择地从其中提取一些数据。

PID分配单元144将PID分配至在选择器143中有选择地提取的每个信号，即视频流、片段信息、无效数据包等。TS复用单元145多路传输每个信号并获得传输流TS。

[传输流TS的结构]

图12示出发送60P服务的视频流(仅包括基本流)的情况下的传输流TS的结构实例。在这个结构实例中，存在通过PID1识别的基本流的PES数据包“video PES 1”。在此，PID 1是被固定至基本流的PID。

在每个图片的编码图像数据中，存在诸如VPS、SPS、PPS、SLICE、SEI等的NAL单元。如上所述，在NAL单元的报头中，提供图片的层级识别信息(意味着temporal_id的“nuh_temporal_id_plus1”)。在SPS中，插入“general_level_idc”，这是位流的水平规格值。

此外，在传输流TS中，将PMT(Program Map Table)作为PSI(Program Specific Information)包括。该PSI是指示包括在传输流中的每个基础流属于哪个节目的信息。在PMT中，存在描述与整个节目相关的信息的节目循环(loop)。此外，在PMT中，存在具有与每个基础流相关的信息的基础循环。在这个结构实例中，存在可应用于基本流的视频基础循环(video ES1loop)。

在这个视频基础循环(video ES1loop)中，提供与基本流(video PES1)相对应的诸如流类型、PID(数据包标识符)等的信息并且该提供描述与视频流相关的信息的描述符。假定基本流的“Stream_type”的值被设置为“0x24”，并且PID信息指示应用于如上所述的基本流的PES数据包“video PES1”的PID1。

此外，作为提供至视频基础循环(video ES1loop)的描述符，插入以上描述的HEVC描述符或无缝转换描述符(Seamless_switch descriptor)。在此，在使用“frame_rate”的字段被重新限定的视频解码控制描述符(Video_decode_control descriptor)的情况下，不需要插入无缝转换描述符。

在所示出的实例中，“level_idc”被设置为HEVC描述符中的“level5.1”。此外，其被设置为“temporal_id_min＝0”并且“temporal_id_max＝3”使得限定为基本流的层级范围是层级从0至3。

在此，在第一方式中，根据PMT仅存在与基本流相对应的视频基础循环(video ES1 loop)；然而，在第二方式中，还存在与增强流相对应的利用虚线示出的视频基础循环(video ES2 loop)。

在这个实际不存在的与增强流(video PES2)相对应的视频基础循环(video ES2 loop)中，提供诸如流类型、PID(数据包标识符)等的信息，并且还提供描述与视频流相关的信息的描述符。假定增强流的“Stream_type”的值被设置为“0x 25”，并且PID信息指示分配至增强流的PES数据包“video PES2”的PID2。

此外，作为提供至视频基础循环的描述符，插入以上描述的HEVC描述符或者无缝转换描述符(Seamless_switch descriptor)。在此，在使用“frame_rate”的字段被重新限定的视频解码控制描述符(Video_decode_control descriptor)的情况下，不需要插入无缝转换描述符。

在所示出的实例中，在HEVC描述符中，“level_idc”被设置为“level5.2”。此外，其被设置为“temporal_id_min＝5”并且“temporal_id_max＝6”，并且指出增强流可以采用的层级范围是层级5和6并且指出实际不存在增强流。在此，在发送60P服务的视频流(仅包括基本流)的情况下包括在传输流TS中的PMT通常被假定为具有所示出的内容，并且，在开始发送随后的服务的视频流的前一刻，更新至具有与该视频流相对应的内容的新的PMT。

图13示出发送120P服务的视频流(包括基本流和增强流)的情况下的传输流TS的结构实例。在这个结构实例中，存在利用PID1识别的基本流的PES数据包“video PES1”和利用PID2识别的增强流的PES数据包“video PES2”。在此，“stream_id”表示相同的服务(广播频道)，PID1是基本流的固定的PID，并且PID2是增强流的固定的PID。

在基本流的每个图片的编码图像数据中，存在诸如VPS、SPS、PPS、SLICE、SEI等的NAL单元。在NAL单元的报头中，提供图片的层级识别信息(意味着temporal_id的“nuh_temporal_id_plus1”)。在SPS中，插入“general_level_idc”，这是位流的水平规格值。此外，在SPS中，属于通过“temporal_id”指出的每个层级的图片被收集为子层(sub_layer)并且，在“sublayer_level_presented_flag”被设置为“1”时，插入“sublayer_level_idc”，这是每个子层的位速率的水平规格值。

另一方面，在增强流的每个图片的编码图像数据中，存在诸如PPS、SLICE等的NAL单元。在NAL单元的报头中，提供图片的层级识别信息(意味着temporal_id的“nuh_temporal_id_plus1”)。

此外，在传输流TS中，将PMT(Program Map Table)作为PSI(Program Specific Information)包括。该PSI是描述包括在传输流中的每个基础流属于哪个节目的信息。

在PMT中，存在描述与整个节目相关的信息的节目循环(loop)。此外，在PMT中，存在具有与每个基础流相关的信息的基础循环。在这个结构实例中，存在两个视频基础循环(video ES1loop和video ES2loop)。

在与视频流(video PES1和video PES2)相对应的每个视频基础循环中，提供数据包标识符(PID)等并且还提供描述与视频流相关的信息的描述符。省去对视频基础循环(video ES1loop)的详细描述，但是其具有与图12的TS结构相同的结构。

在与增强流(video PES2)相对应的视频基础循环(video ES2loop)中，提供诸如流类型、PID(数据包标识符)等的信息，并且还提供描述与视频流相关的信息的描述符。假定增强流的“Stream_type”的值被设置为“0x 25”，并且PID信息指示分配至增强流的PES数据包“video PES2”的PID2。

此外，作为在视频基础循环中提供的描述符，插入以上描述的HEVC描述符或者无缝转换描述符(Seamless_switch descriptor)。在此，在使用“frame_rate”的字段被重新限定的视频解码控制描述符(Video_decode_control descriptor)时，不需要插入无缝转换描述符。在所示出的实例中，在HEVC描述符中，“level_idc”被设置为“level5.2”。此外，指出其被设置为“temporal_id_min＝5”并且“temporal_id_max＝5”，并且指出包括在增强流中的图片在层级5中。

在此，在发送120P服务的视频流(仅包括基本流)的情况下包括在传输流TS中的PMT通常被假定为具有所示出的内容，并且，在开始发送随后的服务的视频流的前一刻，更新至具有与该视频流相对应的内容的新的PMT。

将简要地说明在图5中示出的发送装置100的操作。将具有60Hz的帧频的未压缩的动态图像数据VDA输入至编码器102A。在编码器102A中，对这个动态图像数据VDA，例如执行诸如H.264/AVC、H.265/HEVC等的编码。在这种情况下，在编码器102A中，构成动态图像数据VDA的每个图片的图像数据被分类至多个层级中，编码分类至每个层级中的图片的图像数据，并且产生具有每个层级的图片的编码图像数据的与60P服务相关的视频流。

在这个视频流中，仅包括基本流。换言之，编码器102A产生具有通过分层编码获得的所有层级中的图片的编码图像数据的基本流。在此，执行分层编码使得包括在基本流中的图片的层级范围在先前分配的范围以内。在编码器102A中产生的并且包括每个层级中的图片的编码数据的视频流(基本流)被提供至压缩数据缓存器(cpb)103A并被暂时存储。

此外，将具有120Hz的帧频的未压缩的动态图像数据VDB输入至编码器102B。在编码器102B中，例如执行诸如H.264/AVC、H.265/HEVC等的编码。在这种情况下，在编码器102B中，形成动态图像数据VDB的每个图片的图像数据被分类至多个层级中，编码分类至每个层级中的图片的图像数据，并且产生具有每个层级的图片的编码图像数据的与120P服务相关的视频流。

在这个视频流中，包括基本流和增强流。换言之，在编码器102B中，将多个层级划分成两个并且产生具有较低的层级中的图片的编码图像数据的基本流和具有较高的层级中的图片的编码图像数据的增强流。在此，执行分层编码使得包括在基本流和增强流中的图片的层级范围变为在先前分配的范围以内，并且使得包括在增强流中的图片的层级数量变为一。在编码器102B中产生的并且包括每个层级中的图片的编码数据的视频流(基本流和增强流)被提供至压缩数据缓存器(cpb)103B并被暂时存储。

在复用器104中，在执行60P服务时，读取存储在压缩数据缓存器103A中的视频流，将其打包成打包的基础流(PES)中，将其打包成传输数据包并复用以获得作为复用流的传输流TS。这个传输流TS仅包括基本流。在复用器104中，将固定的PID(＝PID_1)应用于基本流。

此外，在复用器104中，在执行120P服务时，读取存储在压缩数据缓存器103B中的视频流，将其打包成打包的基础流(PES)中，将其打包成传输数据包并复用以获得作为复用流的传输流TS。这个传输流TS包括基本流和增强流。在复用器104中，将固定的PID(＝PID_1)应用于基本流并将固定的PID(＝PID_2)应用于增强流。

此外，在复用器104中，在每个服务的视频流发送期间内，根据节目映射表(PMT)插入PID信息。在此，根据第一PID信息插入方式中，在一个服务的视频流发送期间内，构成视频流的每个流的PID信息被持续插入并且，在开始随后的服务的视频流发送时段的前一刻，插入构成视频流的每个流的PID信息。此外，根据第二PID信息插入方式中，在每个服务的视频流发送期间内，插入基本流和增强流两者的PID信息。

此外，在复用器104中，在每个服务的视频流发送期间内，根据节目映射表(PMT)插入层级范围信息。在这种情况下，在一个服务的视频流发送期间内，构成视频流的每个流的图片的层级范围信息被持续插入，并且在开始随后的服务的视频流发送时段的前一刻，插入构成该视频流的每个流的图片的层级范围信息。

在此，在复用器104中，在利用基本流形成的视频流的发送期间内，仅根据第一方式插入基本流的层级范围信息，并且除基本流的层级范围信息之外，还根据第二方式插入增强流可以采用的层级范围的信息。包括在增强流中的图片的层级数量被假定为一，但是增强流动可以采用的层级范围的信息被假定为包括多个层级例如。

此外，在复用器140中，在每个服务的视频流发送期间内，至少在开始随后的服务的视频流发送时段的前一刻，根据节目映射表(PMT)插入转换信息。在这个转换信息的插入中，使用新的限定的无缝转换描述符(Seamless_switch descriptor)或者传统的视频解码控制描述符(Video_decode_control descriptor)。

在发送单元105中，在复用器104中获得的传输流TS经由广播电波或者网络中的数据包发送至接收装置200。在这种情况下，例如，发送60P服务的传输流TS并且随后发送120P的传输流TS。可替换地，发送120P服务的传输流TS并且随后发送60P服务的传输流TS。

在此，已经描述了编码器102A产生60P服务的视频流(基本流)，编码器102B产生120P服务的视频流(基本流和增强流)，以及复用器104对它们的转换。然而，编码器102B可以产生相同的效果。在这种情况下，编码器102B具有输入具有120Hz的帧频的未压缩的动态图像数据VDB并且按照60P服务的视频流(基本流)的输出和120P服务的视频流(基本流和增强流)的输出的转换输出的功能。

[接收装置的结构]

图14示出接收装置200的结构实例。接收装置200包括CPU(中央处理器)201、接收单元202、解复用器203以及压缩数据缓存器(cpb)204。此外，接收装置200包括解码器205、解压数据缓存器(dpb)206、后处理单元207以及显示单元208。CPU 201组成控制单元并且控制接收装置200中的每个单元的操作。

接收单元202从发送装置100接收经由广播电波或者网络中的数据包传送的传输流TS。解复用器203通过利用PID过滤器过滤并且将数据发送至压缩数据缓存器(cpb)204从传输流TS提取构成视频流的流。

在这种情况下，固定的PID被分别应用于基本流和增强流。因此，例如，即使在执行从60p服务至120p服务的转换或者相反方向的转换时，也不需要改变提取每个流的过滤器的设置，并且因此可以防止出现显示静音并实现无缝显示。

图15示出解复用器203的结构实例。解复用器203包括PID过滤器231、复用缓存器232_0至232_n、232_null和232_c、片段过滤器233以及PMT分析单元234。

基于PID，PID过滤器231允许包括在传输流TS中的片段数据和无效数据包通过。在所示出的实例中，片段数据的PID值被设置为PID_c并且无效数据包的PID被设置为PID_null。无效数据包可以被传输以便在不具有自身的PID值的情况下被插入视频的PID流中。因此，接收器的复用缓存器可以检测无效数据包并且使用这个检测确定可以发生转换。此外，PID过滤器231基于设置的PID值允许包括在传输流TS中的与根据广播服务频道的节目编号相对应的TS数据包通过。在所示出的实例中，可以设置的TS数据包的PID值被设置为PID_0至PID_n。

复用缓存器232_0至232_n、232_null和232_c暂时存储已经通过PID过滤器231的TS数据包、片段数据、无效数据包。换言之，在解复用器203中，基于PID值管理复用缓存器。片段过滤器233基于PID值从存储在复用缓存器232_c中的片段数据提取节目映射表(PMT)。

PMT分析单元234分析通过片段过滤器233提取的PMT，基于分析结果，为PID过滤器231设置将通过的TS数据包的PID值。例如，在传输流TS是例如60P服务时，将应用于基本流的固定的PID值“101”设置为PID_0。此外，在传输流TS是例如120P服务时，将应用于基本流的固定的PID值“101”设置为PID_0，并且将应用于增强流的固定的PID值“102”设置为PID_1。

根据解码器205的解码性能，解复用器203基于PID值将存储在复用缓存器232_0至232_n中的TS数据包传输至压缩数据缓存器204。例如，在解码器205是60p解码器时，解复用器203将存储在复用缓存器232_0中的基本流的TS数据包传输至压缩数据缓存器204。此外，例如，在解码器205是120p解码器时，解复用器203将存储在复用缓存器232_0中的基本流的TS数据包和存储在复用缓存器232_1中的增强流的TS数据包传输至压缩数据缓存器204。

应注意，已经描述了，在传输流TS是例如120P服务时，PID过滤器231允许PID_0、PID_1的TS数据包通过；然而，在解码器205是60p解码器时，可以使用PID过滤器231仅允许PID_0的数据包通过的方法。

参考回图14，压缩数据缓存器(cpb)204暂时存储从解复用器203传输的TS数据包，即每个图片的编码图像数据。解码器205分别在由图片的DTS(解码时间戳)给定的解码时间读取并解码存储在压缩数据缓存器204中的每个图片的编码图像数据并将其发送至解压数据缓存器(dpb)206。

解压数据缓存器(dpb)206暂时存储在解码器205中解码的每个图片的图像数据。后处理单元207处理在由PTS(呈现时间戳)给定的显示时间从解压数据缓存器(dpb)206顺序地读取的每个图片的图像数据的帧速率以调节显示能力。

例如，在解码之后每个图片的图像数据的帧速率是60fps并且显示能力是120fps的情况下，后处理单元207在解码之后对每个图片的图像数据执行内插处理(interpolation process)以便具有两倍的时间方向上的分辨率(twice as a resolution in a temporal direction)并且将数据作为120fps的图像数据发送至显示单元208。

显示单元208由例如LCD(液晶显示器)、有机EL(有机电致发光)板等组成。在此，显示单元208可以是连接至接收装置200的外部装置。

将简要地描述在图14中示出的接收装置200的操作。在接收单元202中，接收经由广播电波或者网络中的数据包从发送装置100传送的传输流TS。该传送流TS被发送至解复用器203。在解复用器203中，基于包括在PMT中的PID信息，从传输流TS提取与服务相对应的TS数据包。该TS数据包被发送至压缩数据缓存器(cpb)204并被暂时存储。

例如，在传输流TS是60p服务时，提取基本流的TS数据包并且将其传输至压缩数据缓存器204。此外，例如，对于120p服务的传输流TS，在解码器205是60p解码器时，提取基本流的TS数据包并将其传输至压缩数据缓存器204并且，在解码器205是120p解码器时，提取基本流和增强流两者的TS数据包并将其传输至压缩数据缓存器204。

在解码器205中，存储在压缩数据缓存器204中的每个图片的编码图像数据分别在图片的解码时间解码，被发送至解压数据缓存器(dpb)206，并且被暂时存储。然后，在显示时间从解压数据缓存器(dpb)206顺序地读取的每个图片的图像数据被发送至后处理单元207。在后处理单元207中，对每个图片的图像数据执行内插或子取样以便将那些帧速率调节至显示能力。后处理单元207中处理的每个图片的图像数据被提供至显示单元208并显示动态图像。

下面，将说明在图1中示出的发送和接收系统10中的从4K 60p节目转换至4K 120p节目的操作。图16示出发送器，即，发送装置100的操作实例。在60p服务发送期间内，编码器102A产生60p服务的视频流。在这个视频流中，仅包括将例如“101”作为PID值应用至的基本流。

然后，在60p服务的发送期间内，在复用器104中，这些基本流被打包为打包的基础流(PES)，然后使其产生为传输数据包，并且被复用以获得作为复用流的传输流TS，该传输流用作4K 60p节目的发送流。

在该60p服务发送期间内，被示出为“先前的PMT”的PMT被持续插入至容器层并被发送。这个PMT包括“service_id”和“Version number”的信息，以及与基本流相对应的“Elementary_PID”和“Stream_type”的信息。

此外，在60p服务发送期间内，在开始120p服务发送时段的前一刻，例如60p服务发送时段结束前一秒的时间，被示出为“新的PMT”的PMT被插入至容器层并被发送。与“先前的PMT”相似，这个PMT包括“service_id”和“Version number”的信息。“Version number”从“V0”变化成“V0+1”以指示变化成“新的PMT”。

此外，这个PMT包括与基本流相对应的“Elementary_PID”和“Stream_type”的信息并且还包括与增强流相对应的“Elementary_PID”和“Stream_type”的信息。此外，在这个PMT中，包括写入转换信息的无缝转换描述符(Seamless_switch descriptor)。

在此，设置为“EOS_flag＝1”并且指出“end_of_seq”被编码。此外，设置为“number_of_streams＝2”并且指出转换之后的服务流的数量是二。此外，设置为“frame_rate＝1100(120Hz)”并且指出转换之后的服务流的帧频是120Hz。

在60p服务的发送时段结束时，转换至120p服务的发送时段。在120p服务的发送期间内，编码器102B产生120p服务的视频流。在这个视频流中，包括例如“101”作为PID值被应用至的基本流和例如“102”作为PID值被应用至的增强流。

然后，在这个120p服务发送期间内，在复用器104中，基本流和增强动作为PES数据包产生，然后作为运输数据包产生并且被复用以获得作为复用流的传输流TS，该传输流TS用作4K 120p节目的发送流。在此，在4K 60p节目的发送流和4K 120p节目的发送流之间，存在间隙时段，在该间隙时段过程中发送无效数据包。

图17示出接收侧，即，接收装置200的操作实例。在60p服务的发送期间内，解复用器203输出4K 60p节目的视频流。然后，在60p解码器和120p解码器两者的情况下，解码器205输出4K 60p节目的图像数据。

在这个60p服务的发送期间内，从容器层持续获得作为“先前的PMT”示出的PMT并且，在开始120p服务的发送时段的前一刻，获得“新的PMT”。在包括在“新的PMT”中的增强流的PID值被设置到PID过滤器时，解复用器203变为能够输出4K 120p节目的视频流的状态。

在60p服务发送时段结束时，转换至120p服务发送时段。在这种情况下，解复用器203的输出在包括无效数据包的间隙时段之后从4K 60p节目视频流(仅基本流)转换至4K 120p节目视频流(基本流和增强流)。然后，在60p解码器的情况下4K 60节目图像数据从解码器205输出，并且在120p解码器的情况下4K 120p节目图像数据从解码器205输出。将进一步说明在从60p服务发送时段转换成120p服务发送时段时的解复用器203的操作。在60p服务发送期间内，仅PID_0(101)的流(基本流)通过PID过滤器231并存储在复用缓存器232_0中。

在60p服务的周期时段结束前一秒的时间，片段过滤器233提取“新的PMT”。这个“新的PMT”在PMT分析单元234中被分析，并且检测通过PID过滤器231的流的PID值、“Stream_type”和“Descriptor”并且将PID值设置到PID过滤器231。因此，在以下120p服务的发送时段中，PID过滤器231可以允许PID_1(102)的流(增强流)以及PID_0(101)的流(基本流)通过。

在转换至120p服务的发送时段之后，PID_0(101)的流(基本流)通过PID过滤器231并存储在复用缓存器232_0中，并且PID_0(102)的流(增强流)也通过PID过滤器231并存储在复用缓存器232_1中。在此，在“新的PMT”中的无缝转换描述符的“EOS_flag”是“1”时，在检测视频流的EOS的时间确定将出现视频格式和服务流的数量的转换。

在此，在图16和图17中示出的以上操作实例示出增强流的PID值利用在开始120p服务的发送时段的前一刻(即，例如在60p服务的发送时段结束的前一秒的时间)插入在容器层中的“新的PMT”(第一PID插入方式)通知。然而，可以通过将增强流的PID值包括在60p服务的发送期间内持续插入容器层中的“先前的PMT”中(第二PID插入方式)来保留增强流的PID值。图18和图19示出发送侧和接收侧中的操作的实例。

下面，将说明与在图1中示出的发送和接收系统10相对应的服务转换操作相对应的分层编码结构的变化。图20示出与服务转换操作相对应的分层编码结构的变化的实例。在这个实例中，层级0至3被分配给基本流，并且层级4和5被分配给增强流。

在这个实例中，在60p服务的视频流中，包括对其执行分层编码的每个图片的编码图像数据。在这种情况下，图片存在于层级0至3。在60p服务的视频流中，仅包括基本流。在这个基本流中，包括所有层级0至3中的图片。在这种情况下，在基本流的SPS中，“general_level_idc”被设置为“level5.1”并且设置为“sps_max_sublayer_minus1＝3”。

在这个实例中，在120p服务的视频流中，包括对其执行分层编码的每个图片的编码图像数据。在这种情况下，图片存在于层级0至4。在120p服务的视频流中，包括基本流和增强流。层级0至3中的图片包括在基本流中，并且层级4中的图片包括在增强流中。在这种情况下，在基本流的SPS(序列参数集)中，“general_level_idc”被设置为“level5.2”并且设置为“sps_max_sublayer_minus1＝4”。

在开始60p服务的发送时段的前一刻，具有60p服务的视频流的信息的PMT被插入容器层中。在包括在PMT中的HEVC描述符中，“level_idc”被设置为“level5.1”并且设置为“temporal_id_min＝0”和“temporal_id_max＝3”。

相似地，在60p服务发送期间内，在开始120p服务的前一刻，具有120p服务的视频流的信息的PMT被插入容器层中。在包括在PMT中的基本流的HEVC描述符中，“level_idc”被设置为“level5.1”并且进一步设置为“temporal_id_min＝0”和“temporal_id_max＝3”。此外，在包括在PMT中的增强流的HEVC描述符中，“level_idc”被设置为“level5.2”并且进一步设置为“temporal_id_min＝4”和“temporal_id_max＝4”。

在这种情况下，在从插入具有120p服务的视频流的信息的PMT开始直至60p服务的发送时段结束的时段T中，视频层的信息是60p服务中的视频流的信息，而系统层的信息是120p服务中的视频流的信息。然而，在这种情况下，视频的“temporal_id”的值和HEVC描述符的“temporal_id”的值的范围是匹配的。这是因为对每个服务的视频流执行分层编码使得分别包括在基本流和增强流中的图片的层级变为在与彼此无关的先前分配的范围以内。

图21示出根据服务转换的操作的分层编码结构的变化的另一实例。在这个实例中，层级0至3被分配给基本流，并且层级5和6被分配给增强流。

在这个实例中，在60p服务的视频流中，包括对其执行分层编码的每个图片的编码图像数据。在这种情况下，在层级0至3中均有图片。在60p服务的视频流中，仅包括基本流。在这个基本流中，包括所有层级0至3中的图片。在这种情况下，在基本流的SPS中，“general_level_idc”被设置为“level5.1”并且设置为“sps_max_sublayer_minus1＝3”。

此外，在这个实例中，在120p服务的视频流中，包括对其执行分层编码的每个图片的编码图像数据。在这种情况下，在层级0至2和5中均有图片。在120p服务的视频流中，包括基本流和增强流。基本流包括0至2层级中的图片并且增强流包括层级5中的图片。在这种情况下，在基本流的SPS(序列参数集)中，“general_level_idc”被设置为“level5.2”并且设置为“sps_max_sublayer_minus1＝5”。

在开始60p服务的发送时段的前一刻，具有60p服务的视频流的信息的PMT被插入容器层中。在这个PMT中，存在基本流和增强流的信息。在基本流的HEVC描述符中，“level_idc”被设置为“level5.1”并且进一步设置为“temporal_id_min＝0”和“temporal_id_max＝3”。

此外，在增强流的HEVC描述符中，“level_idc”被设置为“level5.2”并且进一步设置为“temporal_id_min＝5”和“temporal_id_max＝6”。利用该设置，指出增强流可以采用的层级范围是层级5和6并且指出增强流实际不存在。在此，与图20的说明相似，增强流的信息不存在于PMT中。

此外，相似地，在60p服务发送期间内，在开始120p服务的前一刻，具有120p服务的视频流的信息的PMT被插入容器层中。在包括在PMT中的基本流的HEVC描述符中，“level_idc”被设置为“level5.1”并且进一步设置为“temporal_id_min＝0”和“temporal_id_max＝3”。此外，在包括在PMT中的增强流的HEVC描述符中，“level_idc”被设置为“level5.2”并且进一步设置为“temporal_id_min＝5”和“temporal_id_max＝5”。

在这种情况下，在从插入具有120p服务的视频流的信息的PMT开始直至60p服务的发送时段结束的时段T中，视频层的信息是60p服务的视频流的信息，而系统层的信息是120p服务的视频流的信息。然而，在这个实例中，视频的“temporal_id”的值和HEVC描述符的“temporal_id”的值的范围是匹配的。这是因为对每个服务的视频流执行分层编码使得分别包括在基本流和增强流中的图片的层级变为在与彼此无关的先前分配的范围以内。

图22示出根据服务转换的操作的分层编码结构的变化的实例。这是分别包括在基本流和增强流中的图片的层级没有被预先分配的实例。

在这个实例中，在60p服务的视频流中，包括对其执行分层编码的每个图片的编码图像数据。在这种情况下，在层级0至3中存在图片。在60p服务的视频流中，仅包括基本流。在这个基本流中，包括所有层级0至3中的图片。在这种情况下，在基本流的SPS中，“general_level_idc”被设置为“level5.1”并且设置为“sps_max_sublayer_minus1＝3”。

此外，在这个实例中，在120p服务的视频流中，包括对其执行分层编码的每个图片的编码图像数据。在这种情况下，图片存在于层级0至3。在120p服务的视频流中，包括基本流和增强流。基本流包括层级0至2中的图片并且增强流包括层级3中的图片。在这种情况下，在基本流的SPS(序列参数集)中，“general_level_idc”被设置为“level5.2”并且设置为“sps_max_sublayer_minus1＝3”。

在开始60p服务的发送时段的前一刻，具有60p服务的视频流的信息的PMT被插入容器层中。在包括在PMT中的HEVC描述符中，“level_idc”被设置为“level5.1”并且进一步设置为“temporal_id_min＝0”和“temporal_id_max＝3”。

相似地，在60p服务的发送期间内，在开始120p服务的前一刻，具有120p服务的视频流的信息的PMT被插入容器层中。在包括在PMT中的基本流的HEVC描述符中，“level_idc”被设置为“level5.1”并且进一步设置为“temporal_id_min＝0”和“temporal_id_max＝2”。此外，在包括在PMT中的增强流的HEVC描述符中，“level_idc”被设置为“level5.2”并且设置为“temporal_id_min＝3”和“temporal_id_max＝3”。

在这种情况下，在从插入具有120p服务的视频流的信息的PMT开始直至60p服务的发送时段结束的时段T中，视频层的信息是60p服务的视频流的信息，而系统层的信息是120p服务的视频流的信息。然后，在这个实例中，视频的“temporal_id”的值和HEVC描述符的“temporal_id”的值的范围不匹配。这是因为没有对每个服务的视频流执行分层编码来使得分别包括在基本流和增强流中的图片的层级变为在与彼此无关的先前分配的范围以内，并且temporal_ID＝3的层可以改变为存在于基本流中或者存在于增强流动中。

如上所述，在图1中示出的发送和接收系统10中，在发送装置100中，固定的标识符(PID)被应用于基本流和增强流。因此，在发送侧中，即使在从60p服务转换至120p或者从120p服务转换至60p服务时，也不需要改变提取解复用器203中的每个流的过滤器的设置。因而可以防止显示静音的出现并实现无缝显示。

此外，在图1中示出的发送和接收系统10中，执行每个服务的视频流的分层编码使得，在每个服务的视频流中，分别包括在基本流和增强流中的图片的层级变为在与彼此无关的先前分配的范围以内。因此，可以防止视频的“temporal_id”的值的范围和HEVC描述符的“temporal_id”的值的范围之间的不一致。

<2.变形例>

在此，根据以上描述的实施方式，已经示出由发送装置100和接收装置200组成的发送和接收系统10；然而，可以应用本技术的发送和接收系统的结构不限于这个结构。例如，接收装置200的部分可以是例如经由诸如HDMI(高清晰度多媒体接口)的数字接口连接的机顶盒和监控器的结构。应注意“HDMI”是注册商标。

此外，以上描述的实施方式已经描述了容器是传输流(MPEG-2TS)的实例。然而，本技术还可以应用于使用诸如互联网的网络将数据传递至接收终端的结构的系统。对于经由互联网的传递，数据经常利用MP4的容器或者以其他格式传递。换言之，作为容器，可以是按照数字广播标准使用的诸如传输流(MPEG-2TS)的各种格式容器，以及用于经由互联网传递的MP4。

而且，本技术可采用以下结构。

(1)一种发送装置，包括：

图像编码单元，被配置为编码构成动态图像数据的每个图片的图像数据并且生成视频流；以及

发送单元，被配置为发送连续包括通过所述图像编码单元生成的第一视频流和第二视频流的预定格式的容器，其中，

所述第一视频流和所述第二视频流由第一流至第N流中的第一流至第M流组成(M≤N)，并且

所述发送单元分别将固定的标识符应用于所述第一流至所述第N流。

(2)根据(1)所述的发送装置，其中

所述发送单元：

在所述第一视频流的发送期间内，将构成所述第一视频流的每个流的标识符信息持续插入至容器的层中并发送；并且

在所述第二视频流的发送期间开始的前一刻，将构成所述第二视频流的每个流的标识符信息插入至所述容器的层中并发送。

(3)根据(1)所述的发送装置，其中

所述发送单元在每个视频流的发送期间内，将所述第一流至第N流的每个流的标识符信息插入至容器的层中并发送。

(4)根据(1)至(3)中任一项所述的发送装置，其中

所述发送单元在每个视频流的发送期间内，将转换信息插入至容器的层中并发送。

(5)根据(4)所述的发送装置，其中

所述转换信息包括所述第二视频流所包含的编码图像数据的帧速率信息和/或流结构信息。

(6)根据(1)至(5)中任一项所述的发送装置，其中

所述第一视频流和所述第二视频流至少由基本流和增强流中的基本流组成。

(7)根据(6)所述的发送装置，其中

由所述基本流组成的视频流包括第一帧速率的编码图像数据；并且

由所述基本流和所述增强流组成的视频流包括比所述第一帧速率快两倍的第二帧速率的编码图像数据。

(8)根据(1)至(7)中任一项所述的发送装置，其中

所述图像编码单元将构成所述动态图像数据的每个图片的图像数据分类至多个层级中，编码所分类的每个层级中的所述图片的图像数据，将所述多个层级划分成M个数量的层级组，并且生成分别具有所划分的每个层级组的所述图片的编码图像数据的每个所述视频流中的第一流至第M流；并且

执行分层编码使得分别包括在所述第一流至第M流的每个流中的所述图片的层级落在彼此独立的预先分配的范围以内。

(9)根据(8)所述的发送装置，其中

所述发送单元：

在所述第一视频流的发送期间内，将构成所述第一视频流的每个流的图片的层级范围信息持续插入至所述容器的层中并发送；并且

在所述第二视频流的发送期间开始的前一刻，将构成所述第二视频流的每个流的图片的层级范围信息插入至所述容器的层中并发送。

(10)根据(8)或(9)所述的发送装置，其中

所述第一视频流和所述第二视频流至少包括基本流和增强流中的所述基本流，并且

所述图像编码单元执行编码使得包括在所述增强流中的图片的层级数量变为一。

(11)根据(10)所述的发送装置，其中

在每个所述视频流的所述发送期间内，

在仅所述基本流包括在所述视频流中时，

所述发送单元将所述基本流的图片的层级范围信息和所述增强流的图片的层级范围信息一起插入至所述容器的层中并发送。

(12)一种发送方法，包括：

图像编码步骤，编码构成动态图像数据的每个图片的图像数据并生成视频流；以及

发送步骤，发送连续包括在所述图像编码步骤中生成的第一视频流和第二视频流的预定格式的容器，其中，

所述第一视频流和所述第二视频流由第一流至第N流中的第一流至第M流组成(M≤N)，并且

在所述发送步骤中，分别将固定的标识符应用于所述第一流至所述第N流。

(13)一种接收装置，包括：

接收单元，被配置为接收连续包括包含编码图像数据的第一视频流和第二视频流的预定格式的容器，其中，

所述第一视频流和所述第二视频流由第一流至第N流中的第一流至第M流组成(M≤N)，并且

固定的标识符被分别应用于所述第一流至所述第N流，

所述接收装置，进一步包括：

处理单元，被配置为通过基于分别应用的标识符的过滤来处理包括在所述第一视频流和所述第二视频流中的每个流。

(14)根据(13)所述的接收装置，其中

在每个所述视频流的所述第一流至所述第M流中，

构成动态图像数据的每个图片的图像数据被分类至多个层级中，编码所分类的每个层级中的所述图片的图像数据，将所述多个层级划分成M个数量的层级组，并且分别包括所划分的每个层级组的所述图片的编码图像数据，并且

执行分层编码使得分别包括在所述第一流至所述第M流中的每个流中的所述图片的层级落在彼此独立的预先分配的范围以内。

(15)一种接收方法，包括：

接收步骤，接收连续包括包含编码图像数据的第一视频流和第二视频流的预定格式的容器，其中，

所述第一视频流和所述第二视频流由第一流至第N流中的第一流至第M流组成(M≤N)，并且

固定的标识符被分别应用于所述第一流至所述第N流，

所述接收方法，进一步包括：

处理步骤，通过基于分别应用的标识符的过滤来处理包括在所述第一视频流和所述第二视频流中的每个流。

(16)一种发送装置，包括：

图像编码单元，被配置为生成具有编码图像数据的视频流，以及

发送单元，被配置为发送连续包括通过所述图像编码单元生成的第一视频流和第二视频流的预定格式的容器，其中

所述第一视频流和所述第二视频流由第一流至第N流中的第一流至第M流组成(M≤N)，

所述图像编码单元将构成动态图像数据的每个图片的图像数据分类至多个层级中，编码所分类的每个层级中的图片的图像数据，将多个层级划分成M个数量的层级组，并且生成分别包括所划分的每个层级组的图片的编码图像数据的每个所述视频流中的所述第一流至所述第M流，并且

执行分层编码使得分别包括在所述第一流至第M流的每个流中的图片的层级落在彼此独立的预先分配的范围以内。

(17)根据(16)所述的发送装置，其中

所述发送单元：

在所述第一视频流的发送期间内，将包括在所述第一视频流中的每个流的图片的层级范围信息持续插入至容器的层中并发送；并且

在所述第二视频流的发送期间开始的前一刻，将包括在所述第二视频流中的每个流的图片的层级范围信息插入至所述容器的层中并发送。

(18)根据(16)或(17)所述的发送装置，其中

所述第一视频流和所述第二视频流至少包括基本流和增强流中的所述基本流；并且

包括在所述增强流中的图片的层级的数量被假定为一。

(19)根据(18)所述的发送装置，其中

在每个视频流的发送期间内，

当在所述视频流中仅包括所述基本流时，

所述发送单元将所述基本流的图片的层级范围信息和所述增强流的图片的层级范围信息插入至所述容器的层中并发送。

本技术的主要特征是，通过将固定的标识符应用于基本流和增强流，接收侧即使在转换服务时也不需要通过解复用器改变提取每个流的过滤器的设置，并且这防止了显示静音的出现并实现无缝显示(参见图16)。此外，本技术的主要特征是，对每个服务的视频流执行分层编码使得分别包括在基本流和增强流中的图片的层级变为在与彼此无关的先前分配范围以内并且防止了视频的“temporal_id”的值和HEVC描述符的值之间的不一致(参见图20)。

符号说明

10 发送和接收系统

100 发送装置

101 CPU

102A、102B 编码器

103A、103B 压缩数据缓存器(cpb)

104 复用器

105 发送单元

141 片段信息产生单元

142 无效数据包产生单元

143 选择器

144 PID分配单元

145 TS复用单元

200 接收装置

201 CPU

202 接收单元

203 解复用器

204 压缩数据缓存器(cpb)

205 解码器

206 解压数据缓存器(dpb)

207 后处理单元

208 显示单元

231 PID过滤器

232_0至232_n、232_null、232_c 复用缓存器

233 片段过滤器

234 PMT分析单元