本技术涉及发送设备、发送方法，接收设备和接收方法，且具体涉及用于发送高帧速率运动图像数据的发送设备等。
背景技术：
近年来，已知用于通过高速帧快门执行高帧速率拍摄的相机。例如，正常帧速率是60fps、50fps等，而高帧速率是几倍或更高的几十倍，或更高的几百倍。
在提供高帧速率服务的情况下，由高速帧快门拍摄的运动图像数据可以转换为较低频率的运动图像序列并被发送。然而，高速帧快门的图像具有改善运动模糊并以高锐度实现图像质量的效果，但是在传统帧插值技术中的接收/再现方面具有引起图像质量问题的因素。
使用由高速帧快门拍摄的具有高锐度的图像的帧插值在运动矢量搜索适配的情况和不适配的情况之间具有大的差异。这是因为它们之间的差异被显示为显著的图像质量劣化。为了提高帧插入期间的运动矢量搜索的精度，需要高负荷计算，这对接收器的成本有影响。
本申请人已经提出了一种技术，用于转换由高速帧快门拍摄的图像素材，并且在用于执行正常帧速率解码的传统接收器上以一定或更高图像质量显示该素材(参见专利文献1)。
引用列表
专利文献
专利文献1：国际公开第2015/076277号
技术实现要素：
本发明要解决的问题
本技术旨在优选地发送正常帧速率和高帧速率的运动图像数据。
解决问题的办法
本技术的概念是一种发送设备，包括：
图像处理单元，对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据，并且图像处理单元以时间上连续的两个图片为单位执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；
图像编码单元，对参考帧速率图像数据执行编码处理，以获得基本流，并且图像编码单元对高帧速率的扩展帧的图像数据执行编码处理以获得扩展流；和
发送单元，发送包括基本流和扩展流的预定格式的容器。
根据本技术，图像处理单元从高帧速率图像数据获得基本帧速率图像数据和高帧速率的扩展帧的图像数据。这里，基本帧速率图像数据是通过对预定帧率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的。通过以时间上连续的两个图片为单位执行第二比率混合处理来获得高帧速率的扩展帧的图像数据。
图像编码单元对参考帧速率图像数据执行编码处理以获得基本流，并且对高帧速率的扩展帧的图像数据执行编码处理以获得扩展流。由发送单元发送包括基本流和扩展流的预定格式的容器。例如，也可以配置为使得图像处理单元将基本帧速率图像数据和高帧速率的扩展帧的图像数据作为一个系统的图像数据提供给图像编码单元，一个系统的图像数据添加有识别信息，识别信息用于识别基本帧速率图像数据和高帧速率的扩展帧的图像数据的各个帧。
通过这种方式，根据本技术，对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理，以获得具有较高光圈比率的基本帧速率图像数据，并且发送通过对基本帧速率图像数据进行编码处理而获得的基本流。因此，在具有处理基本帧速率图像数据的解码能力的接收器的情况下，对基本流进行处理以获得基本帧速率图像数据，从而将平滑图像显示为运动图像并避免在显示处理中在低负荷计算的帧插值处理中引起图像质量的问题。
此外，根据本技术，扩展流(包括通过对时间上连续的两个图片为单位执行第二比率混合处理而获得的高帧速率的扩展帧的图像数据)与基本流一起发送。因此，在具有处理高帧速率图像数据的解码能力的接收器的情况下，处理扩展流以获得高帧速率的扩展帧的图像数据，其与基本帧速率图像数据组合，以获得高帧速率图像数据，从而优选地执行高帧速率图像显示。
另外，根据本技术，例如，进一步提供了信息插入单元，执行以下一者或两者：将代表第一比率的混合比率信息插入到基本流的层中，将代表第二比率的混合比率信息插入到扩展流的层中。例如，在这种情况下，基本流和扩展流具有nal单元结构，以及信息插入单元可被配置为将具有混合比率信息的seinal单元插入到基本流和/或扩展流中。以这种方式将混合比率信息插入到扩展流的层中，并且因此接收侧可以容易地识别基本帧速率图像数据或高帧速率的扩展帧的图像数据被混合的混合比率。例如，通过使用混合比率信息，可以容易且适当地执行对混合处理的逆处理。
此外，根据本技术，例如，可以进一步提供信息插入单元，该信息插入单元将指示包括在基本流中的图像数据是通过执行混合处理而获得的识别信息插入到容器的层中。在这种情况下，接收侧可以从识别信息容易地识别包括在基本流中的图像数据是通过执行混合处理获得的。
此外，本技术的另一概念是一种接收设备，包括：
接收单元，接收包括基本流和扩展流的预定格式的容器，
其中，基本流是通过对基本帧速率图像数据执行编码处理而获得的，基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的，以及
扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，高帧速率的扩展帧的图像数据是通过以时间上连续的两个图片为单位执行第二比率混合处理而获得的，
接收设备进一步包括处理单元，处理单元仅处理基本流以获得基本帧速率图像数据，或者处理基本流和扩展流两者以获得高帧速率图像数据。
根据本技术，接收单元接收包括基本流和扩展流的预定格式的容器。基本流是通过对基本帧速率图像数据执行编码处理而获得的，基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的。扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，高帧速率的扩展帧的图像数据是通过以时间上连续的两个图片为单位执行第二比率混合处理而获得的。
处理单元仅处理基本流以获得基本帧速率图像数据，或者处理基本流和扩展流两者以获得高帧速率图像数据。
例如，为了获得高帧速率图像数据，处理单元可以执行以下处理：对基本流执行解码处理，以获得基本帧速率图像数据，并对扩展流进行解码处理以获得高帧速率的扩展帧的图像数据，以及将基本帧速率图像数据与高帧速率的扩展帧的图像数据组合以获得高帧速率图像数据。在这种情况下，可以容易地获得高帧速率图像数据。
此外，例如，为了获得高帧速率图像数据，处理单元可以执行以下处理：对基本流执行解码处理以获得基本帧速率图像数据，并且对扩展流执行解码处理以获得高帧速率的扩展帧的图像数据，对基本帧速率图像数据和高帧速率的扩展帧的图像数据执行混合处理的逆处理以获得以时间上连续的两个图片为单位中的一个和其他图片的图像数据，以及对以时间上连续的两个图片为单位中的一个和其他图片的图像数据进行组合以获得高帧速率图像数据。在这种情况下，执行对混合处理的逆处理，并且因此最终获得的高帧速率图像数据以其原始快门光圈率被再现，从而在高帧速率图像显示中提高图像质量。
这样，根据本技术，在提供处理基本帧速率图像数据的解码能力的情况下，仅处理基本流以获得基本帧速率图像数据。基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的，并且光圈率增大。因此，可以将平滑图像显示为运动图像，并避免在显示处理中利用低负荷计算的帧插值处理中引起图像质量问题。
此外，根据本技术，在提供处理高帧速率图像数据的解码能力的情况下，对基本流进行处理以获得基本帧速率图像数据，处理扩展流以获得高帧速率的扩展帧的图像数据，并进一步将它们组合以获得高帧速率图像数据。因此，可以优选地执行高帧速率图像显示。
此外，本技术的另一概念是一种发送设备，包括：
图像处理单元，对第一帧和第二帧交互连续的高帧速率图像数据中的第一帧的图像数据和接续该第一帧的第二帧的图像数据执行第一比率混合处理，获得基本帧速率图像数据，并且图像处理单元对第二帧的图像数据和接续该第二帧的第一帧的图像数据执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；
图像编码单元，对参考帧速率图像数据执行编码处理以获得基本流，并且对高帧速率的扩展帧的图像数据执行编码处理以获得扩展流；和
发送单元，发送包括基本流和扩展流的预定格式的容器。
根据本技术，图像处理单元从高帧速率图像数据获得基本帧速率图像数据和高帧速率的扩展帧的图像数据。这里，对第一帧和第二帧交替连续的高帧速率图像数据中的第一帧的图像数据和第一帧之后的第二帧的图像数据执行第一比率混合处理，获得基本帧速率图像数据。对高帧速率图像数据中的第二帧的图像数据和第二帧之后的第一帧的图像数据执行第二比率混合处理，获得高帧速率的扩展帧的图像数据。
图像编码单元对基本帧速率图像数据执行编码处理以获得基本流，并且对高帧速率的扩展帧的图像数据执行编码处理以获得扩展流。发送单元发送包括基本流和扩展流的预定格式的容器。例如，也可以配置为使得图像处理单元向图像编码单元提供基本帧速率图像数据和高帧速率的扩展帧的图像数据作为一个系统的图像数据，并且一个系统的图像数据添加有用于识别基本帧速率图像数据和高帧速率的扩展帧的图像数据的各个帧的识别信息。
通过这种方式，根据本技术，对通过第一帧和第二帧交替连续的高帧速率图像中的第一帧的图像数据和第一帧之后的第二帧的图像数据执行第一比率混合处理而获得的基本流并且包括具有较高光圈比率的基本帧速率图像数据的基本流被发送。因此，在具有处理基本帧速率图像数据的解码能力的接收器的情况下，对基本流进行处理以获得基本帧速率图像数据，从而将平滑图像显示为运动图像，并避免引起在显示处理中利用低负荷计算的帧插值处理中的图像质量的问题。
此外，根据本技术，扩展流(包括通过对高帧速率图像数据中的第二帧的图像数据和第二帧之后的第一帧的图像数据执行第二比率混合处理而获得的高帧速率的扩展帧的图像数据)与基本流一起被发送。因此，在具有处理高帧速率图像数据的解码能力的接收器的情况下，处理扩展流以获得高帧速率的扩展帧的图像数据，其与基本帧速率图像数据组合，以获得高帧速率图像数据，从而优选地执行高帧速率图像显示。
这里，基本帧速率图像数据是通过对第一帧的图像数据和第一帧之后的第二帧的图像数据执行混合处理而获得的，高帧速率的扩展帧的图像数据是通过对第二帧的图像数据和第二帧之后的第一帧的图像数据执行第二比率混合处理来获得的，并且通过组合获得的高帧速率图像数据的帧连续性是优异的，以此平滑地进行高帧速率的图像显示。
另外，根据本技术，例如，进一步提供了信息插入单元，用于以下一者或两者：将代表第一比率的混合比率信息插入到基本流的层中，将代表第二比率的混合比率信息插入到扩展流的层中。例如，在这种情况下，基本流和扩展流可以具有nal单元结构，并且信息插入单元可以将具有混合比率信息的seinal单元插入到基本流和/或扩展流中。以这种方式将混合比率信息插入到扩展流的层中，并且因此接收侧可以容易地识别基本帧速率图像数据或高帧速率的扩展帧的图像数据被混合的混合比率。
此外，根据本技术，例如，可以进一步提供信息插入单元，该信息插入单元将指示包括在基本流中的图像数据是通过执行混合处理而获得的识别信息插入到容器的层中。在这种情况下，接收侧可以从识别信息容易地识别包括在基本流中的图像数据是通过执行混合处理获得的。
此外，本技术的另一概念是一种接收设备，包括：
接收单元，接收包括基本流和扩展流的预定格式的容器，
其中，基本流是通过对基本帧速率图像数据执行编码处理而获得的，基本帧速率图像数据是通过对第一帧和第二帧交互连续的高帧速率图像数据中的第一帧的图像数据和接续该第一帧的第二帧的图像数据执行第一比率混合处理而获得的，以及
扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，高帧速率的扩展帧的图像数据是通过对高帧速率图像数据中的第二帧的图像数据和接续该第二帧的第一帧的图像数据执行第二比率混合处理而获得的，
接收设备进一步包括处理单元，处理单元仅处理基本流以获得基本帧速率图像数据，或者处理单元处理基本流和扩展流两者以获得高帧速率图像数据。
根据本技术，接收单元接收包括基本流和扩展流的预定格式的容器。基本流是通过对基本帧速率图像数据执行编码处理而获得的，基本帧速率图像数据是通过对第一帧和第二帧交替连续的高帧速率图像数据中的第一帧的图像数据和第一帧之后的第二帧的图像数据执行第一比率混合处理而获得的。扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，高帧速率的扩展帧的图像数据是通过对高帧速率图像数据中的第二帧的图像数据和第二帧之后的第一帧的图像数据执行第二比率混合处理而获得的。
处理单元仅处理基本流以获得基本帧速率图像数据，或者处理基本流和扩展流两者以获得高帧速率图像数据。
例如，为了获得高帧速率图像数据，处理单元可以执行以下处理：对基本流执行解码处理，以获得基本帧速率图像数据，并对扩展后的图像数据执行解码处理以获得高帧速率的扩展帧的图像数据，以及将基本帧速率图像数据与高帧速率的扩展图像的图像数据组合以获得高帧速率图像数据。在这种情况下，可以容易地获得高帧速率图像数据。
通过这种方式，根据本技术，在提供处理基本帧速率图像数据的解码能力的情况下，仅处理基本流以获得基本帧速率图像数据。基本帧速率图像数据是通过对第一帧和第二帧交替连续的高帧速率图像数据中的第一帧的图像数据和第一帧之后的第二帧的图像数据执行第一比率混合处理而获得的，并且其光圈比率增加。因此，可以将平滑图像显示为运动图像，并避免在显示处理中利用低负荷计算的帧插值处理中引起图像质量问题。
此外，根据本技术，在提供处理高帧速率图像数据的解码能力的情况下，对基本流进行处理以获得基本帧速率图像数据，处理扩展流以获得高帧速率的扩展帧的图像数据，并进一步将它们组合以获得高帧速率图像数据。因此，可以优选地执行高帧速率图像显示。
这里，基本帧速率图像数据是通过对第一帧的图像数据和第一帧之后的第二帧的图像数据执行混合处理而获得的，高帧速率的扩展帧的图像数据是通过对第二帧的图像数据和第二帧之后的第一帧的图像数据执行第二比率混合处理而获得，并且通过组合获得的高帧速率图像数据的帧连续性优异，从而平滑地执行高帧速率图像显示。
本发明的效果
根据本技术，可以优选地发送正常帧速率(基本帧速率)和高帧速率图像数据。另外，这里描述的效果不是限制性的，并且可以获得在本公开中描述的任何效果。
附图说明
图1是示出了根据实施方式的发送/接收系统的示例性配置的框图。
图2是用于说明根据混合比而变化的快门光圈率的示图。
图3是示出了发送设备和接收设备的处理概要的示图。
图4是示出了发送设备的示例性配置的框图。
图5是示出了预处理器的示例性配置的框图。
图6是示出了预处理器的输入数据(图像数据p)与输出数据(图像数据qb和qe)之间的示例性关系的示图。
图7是示出了示例性结构中的逆混合层预测sei和主要信息的内容的示例性结构的示图。
图8是示出了示例性结构中的视频可伸缩性信息描述符和主要信息的内容的示例性结构的示图。
图9是示出传输流ts的示例性配置的示图。
图10是示出了(用于高帧速率)接收设备的示例性配置的框图。
图11是示出了后处理器的示例性配置的框图。
图12是示出了后处理器的另一示例性配置的框图。
图13是示出了(用于正常帧速率)接收设备的示例性配置的框图。
图14是示出了预处理器的另一示例性配置的框图。
图15是示出了预处理器的输入数据(图像数据p)与输出数据(图像数据qb和qe)之间的示例性关系的框图。
具体实施方式
下面将描述用于执行本发明的模式(其下面将被表示为“实施方式”)。另外，将按以下顺序进行描述：
1.实施方式
2.变形例
<1.实施方式>
[发送/接收系统]
图1示出了根据实施方式的发送/接收系统10的示例性配置。发送/接收系统10包括发送设备100和接收设备200。
发送设备100在广播波上发送作为容器的传输流ts。传输流ts包括通过处理根据本实施方式的高帧速率或120fps的图像数据(运动图像数据)而获得的基本流(基本视频流)和扩展流(扩展视频流)。假定基本流和扩展流具有根据本实施方式的nal单元结构。
这里，基本流是通过对基本帧速率(正常帧速率)图像数据执行编码处理而获得的，该基本帧速率图像数据是对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的。基本流包括作为存取单位的基本帧速率图像数据的每个图片的编码图像数据。基本帧速率图像数据是60fps图像数据。
此外，扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，该高帧速率的扩展帧的图像数据是通过对以时间上连续的两个图片为单位执行第二比率混合处理而获得的。扩展流包括高帧速率的扩展帧的图像数据的每个图片的编码图像数据作为存取单位。高帧速率的扩展帧的图像数据是60fps图像数据。
这里，如在图2的(a)中所示，将高帧速率图像数据假定为原始图像序列(高速快门图像序列)。在该图中，“a”和“b”分别表示在以时间上连续的两个图片为单位中的第一图片的图像数据和第二图片的图像数据。原始图像序列的快门光圈率是1(100％)。尽管未示出，但是从高帧速率图像数据简单提取的图像序列“a”或“b”的快门光圈率是1/2(50％)。
相反，如在图2的(b)到图2的(d)中所示的，通过以两个图片为单位执行混合处理而获得的混合图像序列的快门光圈率在1/2(50％)和1(100％)之间。在这些图中，“c”表示通过以两个图片为单位执行第一比率混合处理而获得的基本帧速率图像数据，并且“d”表示通过以两个图片为单位执行第二比率混合处理而获得的高帧速率的扩展帧的图像数据。这里，关注混合图像序列“c”。
例如，如在图2的(b)中所示，当第一图片的系数α是1并且第二图片的系数β是0时，混合图像序列的快门光圈率是1/2(50％)。此外，例如，如在图2的(c)中所示，当第一图片的系数α是3/4并且第二图片的系数β是1/4时，混合图像序列的快门光圈率是3/4(75％)。此外，例如，如在图2的(d)中所示，当第一图片的系数α是1/2并且第二图片的系数β是1/2时，混合图像序列的快门光圈率是1(100％)。
混合处理中的混合比率信息被插入到基本流和/或扩展流的层中。在这种情况下，关于第一比率的混合比率信息被插入到基本流的层中，并且关于第二比率的混合比率信息被插入到扩展流的层中。例如，混合比率信息被假设为关于以两个图片为单位的第一图片的系数α和第二图片的系数β的信息。根据该实施方式，具有混合比率信息的seinal单元被插入到基本流和/或扩展流中。混合比率信息使得接收方能够容易地识别混合基本帧速率图像数据或高帧速率的扩展帧的图像数据的混合比率。
指示包括在基本流中的图像数据是通过执行混合处理所获得的识别信息被插入到容器的层中。根据该实施方式，描述识别信息的描述符在节目映射表(pmt)下插入到被布置对应于扩展流的视频基本流循环中。接收方可以从识别信息容易地识别出包括在基本流中的图像数据是通过执行混合处理而获得的。
接收设备200接收从发送设备100在广播波发出的传输流ts。在接收设备200具有处理60fps图像数据的解码能力的情况下，其仅处理包括在传输流ts中的基本流以获得基本帧速率(60fps)的图像数据，并且再现该图像。
另一方面，在接收设备200具有处理120fps图像数据的解码能力的情况下，其处理包括在传输流ts中的基本流和扩展流两者以获得高帧速率(120fps)图像数据，并再现该图像。
例如，在这种情况下，接收设备200对基本流执行解码处理以获得基本帧速率图像数据，并且对扩展流执行解码处理以获得高帧速率的扩展帧的图像数据，并且随后将基本帧速率图像数据与高帧速率的扩展帧的图像数据组合，以获得高帧速率图像数据。在这种情况下，可以容易地获得高帧速率图像数据。
此外，在这种情况下，例如，接收设备200获得基本帧速率图像数据和高帧速率的扩展帧的图像数据，且随后执行对图像数据的混合处理的逆处理，以获得以时间上连续的两个图片为单位的一张和另一张图片的图像数据，并且组合图像数据得到高帧速率的图像数据。在这种情况下，执行了对混合处理的逆处理，并且因此最终获得的高帧速率图像数据以其原始快门光圈率被再现，并且可以增强高帧速率图像显示的图像质量。
图3示出了发送设备100和接收设备200的处理的概况。将120p序列图像数据p输入到发送设备100中。在发送设备100中，图像数据p由预处理器101处理以获得基本帧速率图像数据qb和高帧速率的扩展帧的图像数据qe。然后在发送设备100中，在编码器102中对图像数据qb和qe执行编码处理，以获得基本流stb和扩展流ste。两个流stb和ste从发送设备100发送到接收设备200。
在具有处理120fps图像数据的解码能力的接收设备200a中，在解码器203中对两个流stb和ste执行解码处理，以获得基本帧速率图像数据qb'和高帧速率的扩展帧的图像数据qe'。然后在接收设备200a中，在后处理器204中处理图像数据qb'和qe'以获得120p序列图像数据p'。
另一方面，在具有处理60fps图像数据的解码能力的接收设备200b中，在解码器203b中对流stb执行解码处理以获得基本帧速率图像数据qb'。然后，在接收设备200b中，图像数据qb'照原样是60p序列的图像数据。
[发送设备的配置]
图4示出了发送设备100的示例性配置。发送设备100包括预处理器101、编码器102、多路复用器103和发送单元104。预处理器101输入120fps图像数据p，并输出基本帧速率图像数据qb和高帧速率的扩展帧的图像数据qe。
这里，预处理器101对120fps图像数据p以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据qb。此外，预处理器101以时间上连续的两个图片为单位执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据qe。
图5的(a)是表示预处理器101的示例性配置的示图。预处理器101包括用于延迟1帧120fps的延迟电路111和114、运算电路112和开关电路115。另外，运算电路112包括系数乘法单元112a、112b、112c和112d以及加法单元112e和112f。
系数乘法单元112a和112b以及加法单元112e用于对以时间上连续的两个图片执行第一比率混合处理。在系数乘法单元112a中乘以系数p，在系数乘法单元112b中乘以系数q。此外，满足p＝0到1和q＝1-p。此外，系数乘法单元112c和112d以及加法单元112f被用于对时间上连续的两个图片执行第二比率混合处理。在系数乘法单元112c中乘以系数r，在系数乘法单元112d中乘以系数s。此外，满足r＝0到1和s＝1-r。
120fps图像数据p在延迟电路111中被延迟一帧，并且随后被输入到构成计算电路112的系数乘法单元112a和112c中。另外，120fps图像数据p原样被输入到构成计算电路112的系数乘法单元112b和112d。系数乘法单元112a和112b的输出被输入并加到加法单元112e中。此外，系数乘法单元112c和112d的输出被输入并加到加法单元112f中。
这里，当将图像数据p中的时间上连续的两个图片的图像数据假定为a和b时，在延迟电路111的输出为a的时刻，获得c(＝p*a+q*b)的混合输出作为加法单元112e的输出，并且获得d(＝r*a+s*b)的混合输出作为加法单元112f的输出。图5的(b)示出了用数学式表示的用于计算电路112中的混合处理的计算。
在计算电路112中的加法单元112e的输出原样输入到开关电路115。另一方面，在计算电路112中的加法单元112f的输出在延迟电路114中被延迟一帧，且随后被输入到开关电路115中。开关电路115被提供有标志信号b_flag作为开关控制信号。标志信号b_flag以120hz的周期交替地取“1”或“0”，在当加法单元112e的输出是混合输出c的时刻取“1”，并且在当延迟电路114的输出是混合输出d的时刻取“0”。
在开关电路115中，当标志信号b_flag取“1”时，作为加法单元112e的输出的混合输出c被取出，并且当标志信号b_flag取“0”时，作为延迟电路114的输出的混合输出d被取出。这里，混合输出c构造通过对图像数据p中的以时间上连续的两个图片为单位执行第一比率混合处理而获得的基本帧速率的图像数据qb。此外，混合输出d构造通过对以时间上连续的两个图片为单位执行第二比率混合处理而获得的高帧速率的扩展帧的图像数据qe。
图像数据qb和qe作为来自开关电路115的一个系统的图像数据输出，并被发送到编码器102。这里，具有标志信号b_flag的一个系统的图像数据被发送。标志信号b_flag使得编码器102能够识别在一个系统中发送的图像数据的当前帧(图片)是图像数据qb的帧还是图像数据qe的帧。
图6示意性地示出了预处理器101的输入数据(120fps图像数据p)与在预处理器101中生成的60fps图像数据qb(混合输出c)和qe(混合输出d)之间的示例性关系。图6的(a)示出了图像数据p，图6的(b)示出了图像数据qb，图6的(c)示出了图像数据qe。基本帧速率(60fps)图像数据qb的各个图片的图像数据f1'、f3'、f5'和高帧速率的扩展帧的图像数据qe的各个图片的图像数据f2'、f4'、f6'，...对应于120fps的图像数据p的各个图片的图像数据f1，f2，f3，f4，f5，f6，f7，f8，...而获得。
返回到图4，编码器102对在预处理器101中获得的图像数据qb和qe执行编码处理，以生成基本流stb和扩展流ste。在这种情况下，对图像数据qb和qe执行诸如h.246/avc或h.265/hevc的预测编码处理。
编码器102将混合处理中的混合比率信息插入到基本流stb和扩展流ste的层中。在这种情况下，关于第一比率(系数p和q)的混合比率信息被插入到基本流stb的层中，并且关于第二比率(系数r和s)的混合比率信息被插入扩展流ste的层(参见图5的(a)和图6)中。接收方可以容易地识别混合基本帧速率图像数据或高帧速率的扩展帧的图像数据的混合比率。
根据该实施方式，具有混合比率信息的seinal单元被插入到基本流stb和扩展流ste的每个存取单位中。在这种情况下，编码器102将新定义的逆混合层预测sei(inverse_blending_layer_prediction_sei)插入到存取单位(au)中的部分“sei”中。
图7的(a)示出了逆混合层预测sei的示例性结构(语法)，并且图7的(b)示出了示例性结构中的主要信息的内容(语义)。4位字段“blend_coef_alpha”表示系数α。4位字段“blend_coef_beta”表示系数β。系数α和β对应于插入到基本流stb中的逆混合层预测sei中的系数p和q，并且对应于插入到扩展流ste中的逆混合层预测sei中的系数r和s。
返回图4，多路复用器103对在编码器102中生成的基本流stb和扩展流ste进行使初步流打包(pes)的打包(packetization)，并且进一步执行传输打包以将它们多路复用，由此获得作为多路复用流的传输流ts。
此外，多路复用器103将指示包括在基本流中的图像数据通过执行混合处理而获得的识别信息插入到传输流ts的层中。在这种情况下，多路复用器103将新定义的视频可伸缩性信息描述符(video_scalability_information_descriptor)插入到被布置为对应于节目映射表下的扩展流的视频初步流循环中。
图8的(a)图示了视频可伸缩性信息描述符的示例性结构(语法)。图8的(b)示出了示例性结构中的主要信息的内容(语义)。8位字段“video_scalability_information_descriptor_tag”表示描述符类型，或者这里的视频可伸缩性信息描述符。8位字段“video_scalability_information_descriptor_length”表示描述符的长度(大小)，或者随后字节的数量作为描述符的长度。
1位字段“temporal_scalable_flag”是关于该流是否在时间上可伸缩的标志信息。例如，“1”表示在时间上可伸缩，“0”表示在时间上不可伸缩。1位字段“picture_blending_for_base_stream_flag”是关于是否对基本流执行图片混合处理的标记信息。例如，“1”表示进行混合处理，“0”表示不进行混合处理。
当“picture_blending_for_base_stream_flag”为“1”时，存在4位字段“blend_coef_alpha”和4位字段“blend_coef_beta”。字段“blend_coef_alpha”表示系数α。字段“blend_coef_beta”表示系数β。
图9示出了传输流ts的示例性配置。传输流ts包括基本流(基础流)stb和扩展流(增强流)ste的两个视频流。即，在示例性配置中，存在基本流stb的pes分组“视频pes1”，并且存在扩展流ste的pes分组“视频pes2”。
将逆混合层预测sei(参见图7的(a))插入到包含在pes分组“视频pes1”和pes分组“视频pes2”中的每个图片的编码图像数据中。
此外，传输流ts包括节目映射表(pmt)作为一段节目特定信息(psi)。psi是描述传输流中包括的每个基础流属于哪个节目的信息。
描述与整个节目相关的信息的节目循环出现在pmt中。此外，具有与每个视频流相关的信息的初步流循环存在于pmt中。在示例性配置下，存在对应于基本流的视频初步流循环“视频es1循环”，并且存在对应于扩展流的视频初步流循环“视频es2循环”。
关于流类型、分组标识符(pid)等的信息被布置，并且描述与视频流相关联的信息的描述符也被布置在对应于基本流(视频pes1)的“视频es1循环”中。流类型被假定为表示基本流的“0×24”。
此外，布置关于流类型、分组标识符(pid)等的信息，并且描述与视频流相关联的信息的描述符也被布置在与扩展流(视频pes2)对应的“视频es2循环”中。流类型被假定为表示扩展流的“0×2x”。此外，将视频可伸缩性信息描述符(参见图8的(a))插入作为一个描述符。
返回图4，发送单元104在诸如qpsk/ofdm的适合广播的调制系统中调制传输流ts，并且从发送天线发送rf调制信号。
将简要描述图4中所示的发送设备100的操作。120fps图像数据p被输入预处理器101。然后，从预处理器101输出基本帧速率图像数据qb和高帧速率的扩展帧的图像数据qe。
这里，预处理器101对120fps图像数据p中的以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据qb(60fps)。此外，预处理器101对时间上连续的两个图片执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据qe(60fps)。
在预处理器101中获得的图像数据qb和qe被提供给编码器102。编码器102对图像数据qb和qe执行编码处理，以生成基本流stb和扩展流ste。混合处理中的混合比率信息被编码器102插入到基本流stb和扩展流ste的层中。在这种情况下，关于第一比率(系数p和q)的混合比率信息被插入到基本流stb的层中，并且关于第二比率(系数r和s)的混合比信息被插入到扩展流ste的层(参见图5的(a)和图6)中。
具体而言，将逆混合层预测sei(参照图7的(a))插入基本流stb和扩展流ste的各存取单位的“sei”部分。
在编码器102中生成的基本流stb和扩展流ste被提供给多路复用器103。基本流stb和扩展流ste经过pes打包和进一步的传输打包以被多路复用器103多路复用，由此获得作为多路复用流的传输流ts。
此外，多路复用器103将指示包括在基本流stb中的图像数据通过执行混合处理而获得的识别信息插入到传输流ts的层中。具体地，视频可伸缩性信息描述符(参见图8的(a))被插入到对应于节目映射表下的扩展流ste而布置的视频初步流循环中。
在多路复用器103中生成的传输流ts被发送到发送单元104。在发送单元104中，传输流ts以适合于广播的调制系统(诸如qpsk/ofdm)调制，并且rf传输信号从传输天线发送。
[接收设备的配置]
图10示出了具有处理120fps运动图像数据的解码能力的接收设备200a的示例性配置。接收设备200a包括接收单元201、解复用器202、解码器203、后处理器204和显示处理器205。
接收单元201解调由接收天线接收的rf调制信号以获得传输流ts。解复用器202通过pid过滤从传输流ts取出基本流stb和扩展流ste，并将它们提供给解码器203。
此外，解复用器202提取包括在传输流ts的层中的部分信息，并将其发送到控制单元(未示出)。在这种情况下，也提取视频可伸缩性信息描述符(参见图8的(a))。从而，控制单元识别出包括在基本流stb中的图像数据是通过执行混合处理等而获得的。
解码器203对基本流stb执行解码处理以获得基本帧速率图像数据qb'，并且对扩展流ste执行解码处理以获得高帧速率的扩展帧的图像数据qe'。
这里，通过对120fps图像数据p中的以时间上连续的两个图片为单位执行第一比率混合处理而获得的图像数据执行编码处理，然后进行解码处理来获得图像数据qb'。此外，通过对以时间上连续的两个图片为单位执行第二比率混合处理而获得的图像数据执行编码处理，然后进行解码处理来获得图像数据qe'。
此外，解码器203提取插入构成基本流stb和扩展流ste的每个存取单位中的参数组或sei，并将其发送到控制单元(未示出)。在这种情况下，也提取具有混合比率信息的逆混合层预测sei(参见图7的(a))。从而，控制单元可以容易地识别混合基本帧速率图像数据或高帧速率的扩展帧的图像数据的混合比率。
后处理器204处理由解码器203获得的基本帧速率图像数据qb'和高帧速率的扩展帧的图像数据qe'，以获得120fps图像数据p'。
图11的(a)表示后处理器204的示例性配置。后处理器204包括运算电路241和开关电路242。另外，运算电路241包括系数乘法单元241a、241b、241c、241d和加法单元241e和241f。计算电路241执行针对图5的(a)中的预处理器101中的计算电路112中的混合处理的逆处理(逆混合处理)。
系数乘法单元241a和241b以及加法单元241e被用于从图像数据qb'和图像数据qe'获得以时间上连续的两个图片为单位的第一图片的图像数据。系数u乘以系数乘法单元241a，并且系数v乘以系数乘法单元241b。此外，系数乘法单元241c和241d以及加法单元241f被用于从图像数据qb'和图像数据qe'获得以时间上连续的两个图片为单位的第二图片的图像数据。系数w乘以系数乘法单元241c，并且系数z乘以系数乘法单元241d。
将基本帧速率图像数据qb'输入到构成计算电路单元241的系数乘法单元241a和241c中。此外，将高帧速率的扩展帧的图像数据qe'输入到构成计算电路241的系数乘法单元241b和241d。系数乘法单元241a和241b的输出被输入并加到加法单元241e中。此外，系数乘法单元241c和241d的输出被输入并加到加法单元241f中。
在这种情况下，获得以时间上连续的两个图片为单位的第一个图片的图像数据a作为加法单元241e的输出，并且获得以时间上连续的两个图片为单位的第二个图片的图像数据b作为加法单元241f的输出。图11的(b)以数学式示出了计算电路241中的逆混合处理的计算。此外，图11的(c)示出了矩阵中的系数u、v、w和z与系数p、q、r和s之间的对应关系。
计算电路241中的加法单元241e和241f的输出分别被输入到开关电路242的a侧和b侧的固定端子中。开关电路242可以以120hz的周期交替地切换a侧和b侧。从开关电路242获得组合了图像数据a和b的120fps图像数据p'。
在由图11的(a)中所示的后处理器204获得120fps图像数据p'的情况下，执行对混合处理的逆处理，并因此最终获得的120fps图像数据p'以其原始快门光圈率再现，并且可以增强高帧速率图像显示中的图像质量。
图12示出了后处理器204的另一示例性配置。后处理器204包括开关电路242。基本帧速率图像数据qb'被输入到开关电路242的a侧的固定端子。此外，将高帧速率的扩展帧的图像数据qe'输入到开关电路242的b侧的固定端子。开关电路242可以以120hz的周期交替地切换a侧和b侧。从开关电路242获得其中图像数据qb'(c)和图像数据qe'(d)被组合的120fps图像数据p'。
在由图12中所示的后处理器204获得120fps图像数据p'的情况下，不需要用于执行对混合处理的逆处理的计算，由此容易地获得高帧速率图像数据。
返回图10，显示处理器205根据需要对高帧速率图像数据p'进行时间方向上的内插处理或帧内插处理，并获得比120fps高的帧速率的图像数据，并将其提供给显示单元。
将简要描述图10中所示的接收设备200a的操作。由接收天线接收的rf调制信号被接收单元201解调以获得传输流ts。传输流ts被发送到解复用器202。通过pid滤波从传输流ts取出基本流stb和扩展流ste，并且由解复用器202提供给解码器203。
此外，解复用器202提取包括在传输流ts的层中的段信息，并将其发送到控制单元(未示出)。视频可伸缩性信息描述符(参见图8的(a))也被提取。从而，控制单元识别出包括在基本流stb中的图像数据是通过执行混合处理等而获得的。
解码器203对基本流stb和扩展流ste执行解码处理，以获得基本帧速率图像数据qb'和高帧速率的扩展帧的图像数据qe'。此外，解码器203提取插入构成基本流stb和扩展流ste的每个存取单位中的参数组或sei，并将其发送到控制单元(未示出)。从而，控制单元可以容易地识别混合基本帧速率图像数据qb'或高帧速率的扩展帧的图像数据qe'的混合比率。
由解码器203获得的基本帧速率图像数据qb和高帧速率的扩展帧的图像数据qe被提供给后处理器204。后处理器204处理图像数据qb'和qe'以获得120fps图像数据p'。
图像数据p'被提供给显示处理器205。显示处理器205根据需要对高帧速率图像数据qe'执行时间方向上的内插处理或帧内插处理，以获得超过120fps的较高的帧速率的图像数据。图像数据被提供给显示单元以显示图像。
图13示出了具有处理60fps运动图像数据的解码能力的接收设备200b的示例性配置。在图13中，相同的附图标记被表示为对应于图10中的那些部分，并且根据需要将省略其详细描述。接收设备200b包括接收单元201、解复用器202b、解码器203b和显示处理器205b。
接收单元201解调由接收天线接收的rf调制信号以获得传输流ts。解复用器202b通过pid滤波从传输流ts仅提取基本流stb，并将其提供给解码器203b。
解码器203b对基本流stb执行解码处理以获得基本帧速率图像数据qb'。这里，通过对120fps图像数据p中以时间上连续的两个图片为单位执行第一比率混合处理而获得的图像数据执行编码处理，然后进行解码处理，从而获得图像数据qb'。显示处理器205b对60fps图像数据qb'执行时间方向上的内插处理或帧内插处理，以获得比60fps高的帧速率的图像数据。图像数据被提供给显示单元以显示图像。
如上所述，在图1所示的发送/接收系统10中，通过对120fps图像数据p中的以时间上连续的两个图片为单位执行第一比率混合处理而获得的基本流stb(其包括具有更高光圈率的60fps的基本帧率的图像数据qb)被发送。因此，例如，在接收侧具有处理基本帧速率图像数据的解码能力的情况下，处理基本流stb以获得基本帧速率图像数据，由此将平滑图像显示为运动图像并且避免在显示处理中利用低负荷计算在帧插值处理中引起图像质量问题。
此外，在图1中所示的发送/接收系统10中，包括通过对以时间上连续的两个图片为单位执行第二比率混合处理而获得的高帧速率的扩展帧的图像数据qe的扩展流ste与基本流stb一起被发送。因此，在具有处理高帧速率图像数据的解码能力的接收器的情况下，对扩展流进行处理以获得高帧速率的扩展帧的图像数据，并将其与基本帧速率图像数据组合以获得高帧速率图像数据，从而优选地执行高帧速率图像显示。
<2.变形>
另外，根据本实施方式，发送设备100中的预处理器101对120fps图像数据p中的以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据qb，并对这以时间上连续的两个图片为单位进行第二比率混合处理，以获得高帧速率的扩展帧的图像数据qe(参见图5的(a)和图6)。
然而，预处理器101可以对第一帧和第二帧交替连续的120fps图像数据p中的第一帧的图像数据和第一帧之后的第二帧的图像数据执行第一比率混合处理，以获得基本帧速率图像数据qb，并且可以对120fps图像数据p中第二帧的图像数据和第二帧之后的第一帧的图像数据执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据qe。
图14示出了在这种情况下的预处理器101的示例性配置。在图14中，对与在图5的(a)中对应的部分标注相同或对应的标号。预处理器101包括延迟一帧120fps的延迟电路111和116、计算电路112b以及开关电路115。此外，计算电路112b包括系数乘法单元112a、112b、112c、112d和加法单元112e和112f。
系数乘法单元112a和112b以及加法单元112e用于对第一帧(a)和第二帧(b)交替连续的120fps图像数据p中的第一帧(a)的图像数据和第一帧(a)之后的第二帧(b)的图像数据执行第一比率混合处理。此外，系数乘法单元112c和112d和加法单元112f被用于对在120fps图像数据p中的第二帧(b)的图像数据以及第二帧之后的第一帧(a)的图像数据执行第二比率混合处理。
120fps图像数据p在延迟电路111中被延迟一帧，然后被输入到构成计算电路112b的系数乘法单元112a中，并被原样输入到系数乘法单元112b中。此外，120fps图像数据p在延迟电路116中被延迟一帧，然后被输入到构成计算电路112b的系数乘法单元112d，并被原样输入到系数乘法单元112c中。系数乘法单元112a和112b的输出被输入并加到加法单元112e中。此外，系数乘法单元112c和112d的输出被输入并加到加法单元112f中。
在延迟电路111的输出是第一帧(a)的时刻，获得混合输出c(＝p*a+q*b)作为加法单元112e的输出。此外，在延迟电路116的输出是第二帧(b)的时刻，获得混合输出d(＝r*a+s*b)作为加法单元112f的输出。计算电路112b中的加法单元112e和112f的输出c被原样输入到开关电路115中。
开关电路115被提供有标志信号b_flag作为开关控制信号。标志信号b_flag以120hz的周期交替地取“1”或“0”，在加法单元112e的输出是混合输出c的时刻取“1”，并且在加法单元112f的输出是混合输出d的时刻取“0”。
当标志信号b_flag取“1”时，开关电路115取出混合输出c作为加法单元112e的输出，并且当标志信号b_flag取“0”时取出混合输出d作为加法单元112f的输出。这里，混合输出c构造通过对图像数据p中第一帧(a)的图像数据和第一帧(a)之后的第二帧(b)的图像数据执行第一比率混合处理而获得的基本帧速率图像数据qb。此外，混合输出d构造通过对图像数据p中的第二帧(b)的图像数据和第二帧(b)之后的第一帧(a)的图像数据执行第二比率混合处理而获得的高帧速率的扩展帧的图像数据qe。
图像数据qb和qe作为来自开关电路115的一个系统的图像数据被输出并被发送到编码器102。这里，一个系统的图像数据被添加有标志信号b_flag，并被发送。标志信号b_flag使得编码器102能够识别在一个系统中发送的图像数据的当前帧(图片)是图像数据qb的帧还是图像数据qe的帧。
图15示意性地示出了预处理器101的输入数据(120fps图像数据p)与在预处理器101中生成的60fps图像数据qb(混合输出c)和qe(混合输出d)之间的示例性关系。图15的(a)示出了图像数据p，图15的(b)示出了图像数据qb，并且图15的(c)示出了图像数据qe。对应于120fps图像数据p中的各个图片的图像数据f1、f2、f3、f4、f5、f6、f7、f8，...获得基本帧速率(60fps)图像数据qb中的各个图片的图像数据f1'、f3'、f5'，...和高帧速率的扩展帧的图像数据qe中的各个图片的图像数据f2'、f4'、f6'，...。
如上所述，例如，当通过对第一帧的图像数据和在第一帧之后的第二帧的图像数据执行混合处理而获得基本帧速率图像数据qb时，以及当通过对第二帧的图像数据和第二帧之后的第一帧的图像数据执行第二比率混合处理来获得高帧速率的扩展帧的图像数据qe时，接收侧可以用在图12中所示的后处理器204中获得的120fps图像数据p'的优异的帧连续性平滑地执行高帧速率图像显示。
此外，通过根据实施方式的示例描述了120fps的整个帧速率和60fps的基本帧速率，但是帧速率的组合不限于此。例如，类似100fps和50fps的组合是可能的。
此外，根据实施方式描述了包括发送设备100和接收设备200的发送/接收系统10，但是本技术适用的发送/接收系统的配置不限于此。例如，接收设备200可以被替换为在诸如高锐度多媒体接口(hdmi)的数字接口中连接的机顶盒和监视器。另外，“hdmi”是注册商标。
此外，根据上述实施方式假定容器作为传输流(mpeg-2ts)。然而，本技术类似地适用于通过使用诸如因特网的网络向接收终端分发的系统。互联网分发在许多情况下使用mp4或其他格式的容器。也就是说，容器采用各种格式，例如在数字广播标准中采用的传输流(mpeg-2ts)或mpeg媒体传输(mmt)，或在因特网分发中使用的isobmff(mp4)。
此外，本技术可以采用以下配置。
(1)一种发送设备，包括：
图像处理单元，所述图像处理单元对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据，并且所述图像处理单元以所述时间上连续的两个图片为单位执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；
图像编码单元，对参考帧速率图像数据执行编码处理，以获得基本流，并且所述图像编码单元对所述高帧速率的扩展帧的图像数据执行编码处理以获得扩展流；和
发送单元，发送包括所述基本流和所述扩展流的预定格式的容器。
(2)根据(1)所述的发送设备，
其中，所述图像处理单元将所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据作为一个系统的图像数据提供给所述图像编码单元，并且
所述一个系统的图像数据添加有识别信息，所述识别信息用于识别所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据的各个帧。
(3)根据(1)或(2)所述的发送设备，进一步包括：
信息插入单元，执行以下一者或两者：将代表所述第一比率的混合比率信息插入到所述基本流的层中，将代表所述第二比率的混合比率信息插入到所述扩展流的层中。
(4)根据(3)所述的发送设备，
其中，所述基本流和所述扩展流具有nal单元结构，以及
所述信息插入单元将具有混合比率信息的seinal单元插入到所述基本流和/或所述扩展流中。
(5)根据(1)至(4)中任一项所述的发送设备，进一步包括：
信息插入单元，所述信息插入单元将识别信息插入到所述容器的层中，所述识别信息指示包含在所述基本流中的图像数据是通过执行所述混合处理而获得的。
(6)一种发送方法，包括：
图像处理步骤，对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据，以及以所述时间上连续的两个图片为单位执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；
图像编码步骤，对参考帧速率图像数据执行编码处理，以获得基本流，并且对所述高帧速率的扩展帧的图像数据执行编码处理以获得扩展流；和
发送步骤，通过发送单元发送包括所述基本流和所述扩展流的预定格式的容器。
(7)一种接收设备，包括：
接收单元，所述接收单元接收包括基本流和扩展流的预定格式的容器，
其中，所述基本流是通过对基本帧速率图像数据执行编码处理而获得的，所述基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的，以及
所述扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，所述高帧速率的扩展帧的图像数据是通过以所述时间上连续的两个图片为单位执行第二比率混合处理而获得的，
所述接收设备进一步包括处理单元，所述处理单元仅处理所述基本流以获得基本帧速率图像数据，或者处理所述基本流和所述扩展流两者以获得高帧速率图像数据。
(8)根据(7)所述的接收设备，
其中，获得所述高帧速率图像数据时，所述处理单元执行以下处理：
对所述基本流执行解码处理以获得所述基本帧速率图像数据，并且对所述扩展流执行解码处理以获得所述高帧速率的扩展帧的图像数据，以及
将所述基本帧速率图像数据与所述高帧速率的扩展帧的图像数据合成以获得所述高帧速率图像数据。
(9)根据(7)所述的接收设备，
其中，获得所述高帧速率图像数据时，所述处理单元执行以下处理：
对所述基本流执行解码处理以获得所述基本帧速率图像数据，并且对所述扩展流执行解码处理以获得所述高帧速率的扩展帧的图像数据，
对所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据执行混合处理的逆处理，以获得所述时间上连续的两个图片中的一个图片和另一个图片的图像数据，以及
将所述时间上连续的两个图片中的一个图片和另一个图片的图像数据合成以获得所述高帧速率图像数据。
(10)一种接收方法，包括：
接收步骤，通过接收单元接收包括基本流和扩展流的预定格式的容器；
其中，所述基本流是通过对基本帧速率图像数据执行编码处理而获得的，所述基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的，以及
所述扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，所述高帧速率的扩展帧的图像数据是通过以所述时间上连续的两个图片为单位执行第二比率混合处理而获得的，
所述接收方法进一步包括处理步骤，所述处理步骤仅处理所述基本流以获得所述基本帧速率图像数据，或者所述处理步骤处理所述基本流和所述扩展流两者以获得所述高帧速率图像数据。
(11)一种发送设备，包括：
图像处理单元，所述图像处理单元对第一帧和第二帧交互连续的高帧速率图像数据中的所述第一帧的图像数据和接续该第一帧的所述第二帧的图像数据执行第一比率混合处理，获得基本帧速率图像数据，并且所述图像处理单元对所述第二帧的图像数据和接续该第二帧的所述第一帧的图像数据执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；
图像编码单元，对参考帧速率图像数据执行编码处理以获得基本流，并且对所述高帧速率的扩展帧的图像数据执行编码处理以获得扩展流；和
发送单元，发送包括所述基本流和所述扩展流的预定格式的容器。
(12)根据(11)所述的发送设备，
其中，所述图像处理单元将所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据作为一个系统的图像数据提供给所述图像编码单元，并且
所述一个系统的图像数据添加有识别信息，所述识别信息用于识别所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据的各个帧。
(13)根据(11)或(12)所述的发送设备，进一步包括：
信息插入单元，执行以下一者或两者：将代表所述第一比率的混合比率信息插入到所述基本流的层中，将代表所述第二比率的混合比率信息插入到所述扩展流的层中。
(14)根据(13)所述的发送设备，
其中，所述基本流和所述扩展流具有nal单元结构，以及
所述信息插入单元将具有混合比率信息的seinal单元插入到所述基本流和/或所述扩展流中。
(15)根据(11)至(14)中任一项所述的发送设备，进一步包括：
信息插入单元，所述信息插入单元将识别信息插入所述容器的层中，所述识别信息指示包含在所述基本流中的图像数据是通过执行所述混合处理而获得的。
(16)一种发送方法，包括：
图像处理步骤，对第一帧和第二帧交互连续的高帧速率图像数据中的所述第一帧的图像数据和接续该第一帧的所述第二帧的图像数据执行第一比率混合处理，获得基本帧速率图像数据，并且所述图像处理步骤对所述第二帧的图像数据和接续该第二帧的所述第一帧的图像数据执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；
图像编码步骤，对参考帧速率图像数据执行编码处理以获得基本流，并且对所述高帧速率的扩展帧的图像数据执行编码处理以获得扩展流；和
发送步骤，通过发送单元发送包括所述基本流和所述扩展流的预定格式的容器。
(17)一种接收设备，包括：
接收单元，接收包括基本流和扩展流的预定格式的容器，
其中，所述基本流是通过对基本帧速率图像数据执行编码处理而获得的，所述基本帧速率图像数据是通过对第一帧和第二帧交互连续的高帧速率图像数据中的所述第一帧的图像数据和接续该第一帧的所述第二帧的图像数据执行第一比率混合处理而获得的，以及
所述扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，所述高帧速率的扩展帧的图像数据是通过对所述高帧速率图像数据中的所述第二帧的图像数据和接续该第二帧的所述第一帧的图像数据执行第二比率混合处理而获得的，
所述接收设备进一步包括处理单元，所述处理单元仅处理所述基本流以获得所述基本帧速率图像数据，或者所述处理单元处理所述基本流和所述扩展流两者以获得高帧速率图像数据。
(18)根据(17)所述的接收设备，
其中，获得高帧速率图像数据时，所述处理单元执行以下处理：
对所述基本流执行解码处理以获得所述基本帧速率图像数据，并且对所述扩展流执行解码处理以获得所述高帧速率的扩展帧的图像数据，
将所述基本帧速率图像数据与所述高帧速率的扩展帧的图像数据合成以获得所述高帧速率图像数据。
(19)一种接收方法，包括：
接收步骤，通过接收单元接收包括基本流和扩展流的预定格式的容器；
其中，所述基本流是通过对基本帧速率图像数据执行编码处理而获得的，所述基本帧速率图像数据是通过对第一帧和第二帧交互连续的高帧速率图像数据中的所述第一帧的图像数据和接续该第一帧的所述第二帧的图像数据执行第一比率混合处理而获得的，以及
所述扩展流是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，所述高帧速率扩展帧的图像数据是通过对所述高帧速率图像数据中的所述第二帧的图像数据和接续该第二帧的所述第一帧的图像数据执行第二比率混合处理而获得的，
所述接收方法进一步包括处理步骤，所述处理步骤仅处理所述基本流以获得所述基本帧速率图像数据，或者所述处理步骤处理所述基本流和所述扩展流两者以获得高帧速率图像数据。
本技术的主要特征在于对在120fps图像数据p中的以时间上连续的两个图片为单位执行第一比率混合处理，以获得60fps的基本帧速率的图像数据qb，并且对以时间上连续的两个图片为单位执行第二比率混合处理以获得高帧速率的扩展帧的60fps的图像数据qe，或者对第一帧和第二帧交替连续的120fps图像数据p中的第一帧的图像数据和第一帧之后的第二帧的图像数据执行第一比率混合处理，以获得基本帧速率图像数据qb，并且对在120fps图像数据p中的第二帧的图像数据以及第二帧之后的第一帧的图像数据执行第二比率混合处理以获得高帧速率的扩展帧的图像数据qe，并且包括图像数据qe的扩展流ste与包括图像数据qb的基本流stb一起被发送，从而优选地发送高帧速率图像数据，同时实现向后兼容性(见图3、6和15)。
参考标记列表
10发送/接收系统
100发送设备
101预处理器
102编码器
103多路复用器
104发送单元
111、114、116延时电路
112、112b计算电路
112a到112d系数乘法单元
112e、112f加法单元
115开关电路
200、200a、200b接收设备
201接收单元
202、202b解复用器
203、203b解码器
204后处理器
205、205b显示处理器
241计算电路
241a至241d系数乘法单元
241e、241f加法单元
242开关电路
权利要求书(按照条约第19条的修改)
1.一种发送设备，包括：
图像处理单元，所述图像处理单元对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据，并且所述图像处理单元以所述时间上连续的两个图片为单位执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；
图像编码单元，对基本帧速率图像数据执行编码处理，以获得基本帧速率编码图像数据，并且所述图像编码单元对所述高帧速率的扩展帧的图像数据执行编码处理以获得扩展帧的编码图像数据；
和
发送单元，发送所述基本帧速率编码图像数据和所述扩展帧的编码图像数据。
2.根据权利要求1所述的发送设备，
其中，所述图像处理单元将所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据作为一个系统的图像数据提供给所述图像编码单元，并且
所述一个系统的图像数据添加有识别信息，所述识别信息用于识别所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据的各个帧。
3.根据权利要求1所述的发送设备，其中，所述发送设备进一步
发送代表所述第一比率的混合比率信息和/或代表所述第二比率的混合比率信息。
4.根据权利要求3所述的发送设备，
其中，所述基本帧速率编码图像数据和所述扩展帧的编码图像数据具有nal单元结构，以及
所述混合比率信息被插入在所述基本帧速率编码图像数据的seinal单元和/或所述扩展帧的编码图像数据的seinal单元中。
5.根据权利要求1所述的发送设备，其中，所述发送设备进一步：
发送识别信息，所述识别信息指示包含在所述基本帧速率编码图像数据中的图像数据是通过执行所述混合处理而获得的。
6.一种发送方法，包括以下步骤：
图像处理步骤，对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理，以获得基本帧速率图像数据，以及以所述时间上连续的两个图片为单位执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；
图像编码步骤，对基本帧速率图像数据执行编码处理，以获得基本帧速率编码图像数据，并且对所述高帧速率的扩展帧的图像数据执行编码处理以获得扩展帧的编码图像数据；和
发送步骤，通过发送单元发送所述基本帧速率编码图像数据和所述扩展帧的编码图像数据。
7.一种接收设备，包括：
接收单元，所述接收单元接收基本帧速率编码图像数据和扩展帧的编码图像数据，
其中，所述基本帧速率编码图像数据是通过对基本帧速率图像数据执行编码处理而获得的，所述基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的，以及
所述扩展帧的编码图像数据是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，所述高帧速率的扩展帧的图像数据是通过以所述时间上连续的两个图片为单位执行第二比率混合处理而获得的，
所述接收设备进一步包括处理单元，所述处理单元仅处理所述基本帧速率编码图像数据以获得所述基本帧速率图像数据，或者处理所述基本帧速率编码图像数据和所述扩展帧的编码图像数据两者以获得高帧速率图像数据。
8.根据权利要求7所述的接收设备，
其中，获得所述高帧速率图像数据时，所述处理单元执行以下处理：
对所述基本帧速率编码图像数据执行解码处理以获得所述基本帧速率图像数据，并且对所述扩展帧的编码图像数据执行解码处理以获得所述高帧速率的扩展帧的图像数据，以及
将所述基本帧速率图像数据与所述高帧速率的扩展帧的图像数据合成以获得所述高帧速率图像数据。
9.根据权利要求7所述的接收设备，
其中，获得所述高帧速率图像数据时，所述处理单元执行以下处理：
对所述基本帧速率编码图像数据执行解码处理以获得所述基本帧速率图像数据，并且对所述扩展帧的编码图像数据执行解码处理以获得所述高帧速率的扩展帧的图像数据，
对所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据执行混合处理的逆处理，以获得所述时间上连续的两个图片中的一个图片和另一个图片的图像数据，以及
将所述时间上连续的两个图片中的一个图片和另一个图片的图像数据合成以获得所述高帧速率图像数据。
10.一种接收方法，包括：
接收步骤，通过接收单元接收基本帧速率编码图像数据和扩展帧的编码图像数据；
其中，所述基本帧速率编码图像数据是通过对基本帧速率图像数据执行编码处理而获得的，所述基本帧速率图像数据是通过对高帧速率图像数据以时间上连续的两个图片为单位执行第一比率混合处理而获得的，以及
所述扩展帧的编码图像数据是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，所述高帧速率的扩展帧的图像数据是通过以所述时间上连续的两个图片为单位执行第二比率混合处理而获得的，
所述接收方法进一步包括处理步骤，所述处理步骤仅处理所述基本帧速率编码图像数据以获得基本帧速率图像数据，或者所述处理步骤处理所述基本帧速率编码图像数据和所述扩展帧的编码图像数据两者以获得所述高帧速率图像数据。
11.一种发送设备，包括：
图像处理单元，所述图像处理单元对第一帧和第二帧交互连续的高帧速率图像数据中的所述第一帧的图像数据和接续该第一帧的所述第二帧的图像数据执行第一比率混合处理，获得基本帧速率图像数据，并且所述图像处理单元对所述第二帧的图像数据和接续该第二帧的所述第一帧的图像数据执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；
图像编码单元，对基本帧速率图像数据执行编码处理以获得基本帧速率编码图像数据，并且对所述高帧速率的扩展帧的图像数据执行编码处理以获得扩展帧的编码图像数据；和
发送单元，发送所述基本帧速率编码图像数据和所述扩展帧的编码图像数据。
12.根据权利要求11所述的发送设备，
其中，所述图像处理单元将所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据作为一个系统的图像数据提供给所述图像编码单元，并且
所述一个系统的图像数据添加有识别信息，所述识别信息用于识别所述基本帧速率图像数据和所述高帧速率的扩展帧的图像数据的各个帧。
13.根据权利要求11所述的发送设备，其中，所述发送设备进一步：
发送代表所述第一比率的混合比率信息和/或代表所述第二比率的混合比率信息。
14.根据权利要求13所述的发送设备，
其中，所述基本帧速率编码图像数据和所述扩展帧的编码图像数据具有nal单元结构，以及
所述混合比率信息被插入在所述基本帧速率编码图像数据的seinal单元和/或所述扩展帧的编码图像数据的seinal单元中。
15.根据权利要求11所述的发送设备，所述发送设备进一步：
发送识别信息，所述识别信息指示包含在所述基本帧速率编码图像数据中的图像数据是通过执行所述混合处理而获得的。
16.一种发送方法，包括：
图像处理步骤，对第一帧和第二帧交互连续的高帧速率图像数据中的所述第一帧的图像数据和接续该第一帧的所述第二帧的图像数据执行第一比率混合处理，获得基本帧速率图像数据，并且所述图像处理步骤对所述第二帧的图像数据和接续该第二帧的所述第一帧的图像数据执行第二比率混合处理，以获得高帧速率的扩展帧的图像数据；
图像编码步骤，对基本帧速率图像数据执行编码处理以获得基本帧速率编码图像数据，并且对所述高帧速率的扩展帧的图像数据执行编码处理以获得扩展帧的编码图像数据；和
发送步骤，通过发送单元发送所述基本帧速率编码图像数据和所述扩展帧的编码图像数据。
17.一种接收设备，包括：
接收单元，接收基本帧速率编码图像数据和扩展帧的编码图像数据，
其中，所述基本帧速率编码图像数据是通过对基本帧速率图像数据执行编码处理而获得的，所述基本帧速率图像数据是通过对第一帧和第二帧交互连续的高帧速率图像数据中的所述第一帧的图像数据和接续该第一帧的所述第二帧的图像数据执行第一比率混合处理而获得的，以及
所述扩展帧的编码图像数据是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，所述高帧速率的扩展帧的图像数据是通过对所述高帧速率图像数据中的所述第二帧的图像数据和接续该第二帧的所述第一帧的图像数据执行第二比率混合处理而获得的，
所述接收设备进一步包括处理单元，所述处理单元仅处理所述基本帧速率编码图像数据以获得所述基本帧速率图像数据，或者所述处理单元处理所述基本帧速率编码图像数据和所述扩展帧的编码图像数据两者以获得所述高帧速率图像数据。
18.根据权利要求17所述的接收设备，
其中，获得高帧速率图像数据时，所述处理单元执行以下处理：
对所述基本帧速率编码图像数据执行解码处理以获得所述基本帧速率图像数据，并且对所述扩展帧的编码图像数据执行解码处理以获得所述高帧速率的扩展帧的图像数据，
将所述基本帧速率图像数据与所述高帧速率的扩展帧的图像数据合成以获得所述高帧速率图像数据。
19.一种接收方法，包括：
接收步骤，通过接收单元接收基本帧速率编码图像数据和扩展帧的编码图像数据；
其中，所述基本帧速率编码图像数据是通过对基本帧速率图像数据执行编码处理而获得的，所述基本帧速率图像数据是通过对第一帧和第二帧交互连续的高帧速率图像数据中的第一帧的图像数据和接续该第一帧的所述第二帧的图像数据执行第一比率混合处理而获得的，以及
所述扩展帧的编码图像数据是通过对高帧速率的扩展帧的图像数据执行编码处理而获得的，所述高帧速率的扩展帧的图像数据是通过对所述高帧速率图像数据中的所述第二帧的图像数据和接续该第二帧的所述第一帧的图像数据执行第二比率混合处理而获得的，
所述接收方法进一步包括处理步骤，所述处理步骤仅处理所述基本帧速率编码图像数据以获得所述基本帧速率图像数据，或者所述处理步骤处理所述基本帧速率编码图像数据和所述扩展帧的编码图像数据两者以获得高帧速率图像数据。