发送设备、发送方法、接收设备以及接收方法
【技术领域】
[0001]本技术涉及发送设备、发送方法、接收设备以及接收方法。更具体而言，本技术涉及发送设备等，其层次编码和发送构成运动图像数据的各个图片的图像数据。
【背景技术】
[0002]在通过广播、网络服务等提供压缩运动图像时，可以重放的帧频率的上限受到接收器的解码能力限制。因此，服务侧需要考虑普遍的接收器的重放性能，并且将服务仅仅限制为低帧频率，或者同时提供多个高和低帧频率服务。
[0003]支持高帧频率服务，增大了接收器的成本，这变成服务快速普及的阻碍。如果仅仅专用于低帧频率的服务的低成本接收器在早期普及，并且服务侧在未来开始高帧频率服务，那么在没有新接收器的情况下，完全不能看到新服务，这变成服务普及的阻碍。
[0004]例如，提出了时间方向可扩展性，其中，在HEVC(高效率视频编码)中，构成运动图像数据的各个图片的图像数据进行层次编码(参照非专利文档1)。接收侧可以根据插入NAL(网络抽象层)单元的报头内的时间ID(temp0ral_id)，识别各个图片的层次，并且对与解码能力对应的层次执行选择性解码。
[0005]【非专利文献1】:Gary J.Sul 1 ivan , Jens-Rainer 0hm,ffoo-Jin Han , Thomasffiegand,^Overview of the High Efficiency Video Coding(HEVC)Standard^IEEETRANSACT1NS ON CIRCUITS AND SYSTEMS FOR VIDEO TECN0R0GY,V0L.22,N0.12,pp.1649-1668，DECEMBER 2012。
【发明内容】
[0006]本发明要解决的问题
[0007]本技术的一个目标在于，能够在接收侧上执行与解码能力对应的令人满意的解码处理。
[0008]解决问题的方式
[0009]本技术的一个概念在于一种发送设备，包括:图像编码单元，其将构成运动图像数据的图片的图像数据分类为多个层次，编码各个分类的层次的图片的图像数据，并且生成包括各个层次的图片的编码图像数据的视频数据;发送单元，其发送包括所生成的视频数据的预定格式的容器(container);以及识别信息插入单元，其将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内。
[0010]在本技术中，所述图像编码单元编码构成运动图像数据的图片的图像数据，并且生成视频数据。在这种情况下，将构成运动图像数据的图片的图像数据分类为多个层次并且编码，并且生成包括各个层次的图片的编码图像数据的视频数据。
[0011]发送单元发送包括上述视频数据的预定格式的容器。例如，容器可以是在数字广播标准中采用的传输流(MPEG-2 TS)。进一步，例如，容器可以是用于在互联网等上分发(distribut1n)的MP4或者是任何其他格式的容器。
[0012]识别信息插入单元将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内。例如，所述识别信息是优先级程度信息，其设置为在低层次侧上的层次组更高。
[0013]例如，所述识别信息可以插入包括在有效载荷内用于各个图片的编码图像数据的PES数据包的报头内。在这种情况下，例如，可以使用所述报头的PES优先级的字段，插入所述识别信息。进一步，例如，所述识别信息可以插入包括适配字段(adaptat1n field)的TS数据包的适配字段内。在这种情况下，例如，可以使用所述适配字段的ES优先级指示符的字段来插入所述识别信息。进一步，例如，所述识别信息可以插入与合适的图片的轨道(track)相关的报头(header)的盒(box)内。
[0014]如上所述，在本技术中，将用于识别包含在视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为视频数据的容器的数据包内。因此，在接收侧上，通过使用识别信息，能够容易选择性解码等于或低于与解码能力对应的预定层次的层次的图片的编码图像数据。
[0015]应注意的是，在本技术中，例如，所述图像编码单元可以生成包括各个层次的图片的编码图像数据的单个视频流，或者可以将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且生成各自包括各个层次组的图片的编码图像数据的预定数量的视频流，并且可以进一步包括配置信息插入单元，其将包含在所述容器内的视频流的配置信息插入所述容器的层内。在这种情况下，例如，在接收侧上，根据包含在所述容器内的视频流的配置信息，能够容易掌握视频流的配置。
[0016]进一步，本发明的另一个概念在于一种接收设备，包括:接收单元，其接收包括视频数据的预定格式的容器，所述视频数据包括各个层次的图片的编码图像数据，通过将构成运动图像数据的图片的图像数据分类为多个层次并且编码所述图像数据，来获得所述编码图像数据；以及图像解码单元，其从包含在所接收的容器内的视频数据，使等于或低于与解码能力对应的预定层次的层次的图片的编码图像数据选择性地进入缓冲器内，解码进入所述缓冲器的各个图片的编码图像数据，并且获得等于或低于预定层次的层次的图片的图像数据。
[0017]在本技术中，接收单元接收预定格式的容器。在容器中包括视频数据，所述视频数据包括各个层次的图片的编码图像数据，通过将构成运动图像数据的图片的图像数据分类为多个层次并且编码所述图像数据，来获得所述编码图像数据。
[0018]图像解码单元从包含在所接收的容器内的视频数据，使等于或低于与解码能力对应的预定层次的层次的图片的编码图像数据选择性地进入缓冲器，解码进入所述缓冲器的各个图片的编码图像数据，并且获得等于或低于预定层次的层次的图片的图像数据。
[0019]例如，可以将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且可以将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内，并且所述图像解码单元可以根据所述识别信息，使与解码能力对应的预定层次组的图片的编码图像数据进入缓冲器，并且解码所述编码图像数据。
[0020]在这种情况下，例如，所述识别信息可以插入包括在有效载荷内用于各个图片的编码图像数据的PES数据包的报头内。进一步，在这种情况下，所述识别信息可以插入包括适配字段的TS数据包的适配字段内。进一步，在这种情况下，所述识别信息可以插入与合适的图片的轨道(track)相关的报头的盒内。
[0021]进一步，例如，可以将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且所接收的容器可以包括预定数量的视频流，所述视频流分别包括预定数量的层次组的图片的编码图像数据，并且所述图像解码单元可以根据流识别信息，使与解码能力对应的预定层次组的图片的编码图像数据进入缓冲器，并且解码所述编码图像数据。在这种情况下，例如，在多个视频流内包含预定层次组的图片的编码图像数据时，所述图像解码单元可以根据解码定时信息将各个图片的编码图像数据转换成一个流，并且使所述流进入所述缓冲器中。
[0022]如上所述，在本技术中，从所接收的视频数据中，使等于或低于与解码能力对应的预定层次的层次的图片的编码图像数据选择性进入缓冲器内，然后解码。因此，能够执行与解码能力对应的合适的解码处理。
[0023]应注意的是，在本技术中，例如，所述图像解码单元可以具有重写选择性进入所述缓冲器中的各个图片的编码图像数据的解码时间戳并且调整低层次图片的解码间隔的功能。在这种情况下，甚至在具有低解码能力的解码器中，可以执行现实的解码处理。
[0024]进一步，在本技术中，例如，接收设备可以进一步包括后处理单元，其使由在所述图像解码单元获得的各个图片的图像数据的帧速率与显示能力匹配。在这种情况下，甚至在解码能力较低时，可以获得与高显示能力匹配的帧速率(frame rate)的图像数据。
[0025]本发明的效果
[0026]根据本技术，能够在接收侧上执行与解码能力对应的令人满意的解码处理。应注意的是，不一定限于在本文中描述的效果，而是可以是在本文中描述的任何效果。
【附图说明】
[0027]图1是示出作为实施方式的发送和接收系统的配置实例的方框图；
[0028]图2是示出发送设备的配置实例的方框图；
[0029]图3是示出在编码器执行的层次编码的一个实例的示图；
[0030]图4是示出NAL单元报头的结构实例(语法(Syntax))以及在结构实例中的主要参数的细节(语义(Semantics))的示图；
[0031]图5是用于描述通过HEVC在各个图片的编码图像数据的配置的示图；
[0032]图6是示出在层次编码时的编码、解码、显示顺序以及延迟的一个实例的示图；
[0033]图7是示出层次编码的编码流和在指定层次内的显示期望(显示顺序)的示图；
[0034]图8是示出HEVC描述符(HEVC_descriptor)的结构实例(语法)的示图；
[0035]图9是示出在HEVC描述符的结构实例中的主要信息的细节(语义)的示图；
[0036]图10是不出可扩展性延伸描述符(scalability_extens1n_descriptor)的结构实例(语法)的示图；
[0037]图11是示出在可扩展性延伸描述符的结构实例中的主要信息的细节(语义)的示图；
[0038]图12是示出多路复用器的配置实例的方框图；
[0039]图13是示出多路复用器的处理流程的一个实例的示图；
[0040]图14是示出在执行通过单个流进行的分发时传输流TS的配置实例的示图；
[0041 ]图15是示出接收设备的配置实例的方框图；
[0042]图16是示出多路分用器的配置实例的方框图；
[0043]图17是示出在传输流TS内包括单个视频流(编码流)的情况的示图；
[0044]图18是示出在传输流TS内包括包含基础流和延伸流的两个视频流(编码流)的情况的示图；
[0045]图19是用于描述重写各个图片的编码图像数据的解码时间戳并且调整低层次图片的解码间隔的功能的示图；
[0046]图20是示出多路分用器的处理流程(1个帧)的一个实例的示图；
[0047]图21是示出多路分用器的处理流程(2个帧)的一个实例的示图；
[0048]图22是示出解码器的配置实例的方框图；
[0049]图23是示出后处理单元的配置实例的示图；
[0050]图24是示出解码器和后处理单元的处理流程的一个实例的示图。
[0051 ]图25是示出适配字段的设置实例的示图；
[0052]图26是示出在层次组的识别信息插入适配字段内时多路复用器的配置实例的方框图；
[0053]图27是示出在层次组的识别信息插入适配字段内时传输流TS的配置实例的方框图；
[0054]图28是示出在层次组的识别信息插入适配字段内时多路分用器的配置实例的方框图；
[0055]图29是示出MP4流的配置实例的示图；
[0056]图30是不出“SampleDependencyTypeBox”的结构实例的不图；
[°°57]图31是示出在“SampleDependencyTypeBox”的结构实例中的主要信息的细节的示图；
[0058]图32是不出“SampleScalablePr1rityBox”的结构实例的不图；
[0059]图33是示出在“SampleScalablePr1rityBox”的结构实例中的主要信息的细节的示图。
【具体实施方式】
[0060]在后文中，描述用于执行本发明的模式(在后文中称为“实施方式”)。要注意的是，按照以下顺序提供描述。
[0061 ]1、实施方式
[0062]2、修改实例
[0063]〈1、实施方式〉
[0064]【发送和接收系统】
[0065]图1示出作为实施方式的发送和接收系统10的配置实例。此发送和接收系统10具有包括发送设备100和接收设备200的配置。
[0066]发送设备100在广播波上发送作为容器的传输流TS。在传输流中，构成运动图像数据的图片的图像数据被分类为多个层次，并且包括视频流，该视频流包含各个层次的图片的图像数据的编码数据。在这种情况下，例如，执行H.264/AVC、HEVC等编码，并且被参考图片被编码为属于被参考图片的层次和/或比被参考图片的层次更低的层次。
[0067]将用于识别编码图像数据所属的层次的层次识别信息加入各个层次的各个图片的编码图像数据中。在此实施方式中，在各个图片的NAL单元(nal_unit)的报头部分内设置层次识别信息(“nuh_temporal_id_plusl”，其表示temporal_id)。通过这种方式加入层次识别信息，在接收侧上，能够在NAL单元的层内识别各个图片的层次，并且通过选择性取出等于或低于预定层次的层次的编码图像数据，能执行解码处理。
[0068]在此实施方式中，多个层次分成预定数量的层次组，S卩，2个或更多个，并且将用于识别包含在视频流内的各个图片的编码图像数据所属的层次组的识别信息插入视频流的层内。
[0069]在此实施方式中，识别信息被视为优先级程度信息，其设置为在低层次侧上的层次组更高，并且插入包括在有效载荷(payl