接收装置、接收方法、传输装置和传输方法与流程

文档序号:13629257阅读:249来源:国知局
接收装置、接收方法、传输装置和传输方法与流程

相关申请的交叉引证

本申请要求于2015年6月9日提交的日本优先专利申请jp2015-116893的权益,其全部内容通过引证结合于此。

本技术涉及接收装置、接收方法、传输装置和传输方法,更具体地,涉及执行将字幕数据叠加在视频数据上的处理的接收装置等。



背景技术:

在相关技术中,例如,标题信息作为位图数据在诸如数字视频广播(dvb)的广播中传输。近来,提出了其中字幕信息作为文本的字符码被传输,即,在文本库中被传输的技术(参见专利文献1)。

参考文献列表

专利文献

ptl1:jp2012-169885a



技术实现要素:

技术问题

在相关技术中,当视频数据和字幕数据分别在单独流中传输时,这两个数据之间的色域和亮度中不存在明显差异。因此,在叠加时,在没有任何特殊因素的情况下,结合这两个数据。

例如,在视频数据的色域是宽色域(例如,符合itu-rrecbt.2020)并且字幕数据的色域是窄色域(例如,srgb)的情况下,为了保持视频图像高品质,可能需要在将字幕数据的色域调节为视频数据的色域之后执行叠加。

进一步地,在高动态范围(hdr)中产生视频数据并且在标准水平的动态范围(sdr)中产生字幕数据的情况下,为了保持视频图像高品质,可能需要在将字幕数据调节为视频数据的动态范围区域之后执行叠加。

本技术针对当字幕数据在视频数据上叠加时保持图像高品质。

解决问题的技术方案

本技术的构思是一种接收装置,该接收装置包括被配置为接收视频流和字幕流的电路。该电路被配置为处理视频流以获得视频的视频数据。该电路被配置为处理字幕流以获得字幕位图图像(subtitlebitmapimage)的字幕位图数据。该电路被配置为将字幕位图数据的色域调节为视频数据的色域。基于字幕位图数据的色域识别信息和视频数据的色域识别信息调节字幕位图数据的色域。进一步地,该电路被配置为在视频上叠加已调节色域的字幕位图图像。

根据本技术的实施方式,其中包括视频流和字幕流的预定格式的容器通过由电路实施的接收单元接收。可以通过由电路实施的处理视频流的视频解码单元获得视频数据。可以通过由电路实施的处理字幕流的字幕解码单元获得字幕位图数据。

基于字幕位图数据的色域识别信息和视频数据的色域识别信息,字幕位图数据的色域通过由电路实施的色域处理单元被调节为视频数据的色域。进一步地,已调节色域的字幕位图图像通过由电路实施的视频叠加单元被叠加在视频上。

例如,字幕位图数据的色域识别信息是从一层字幕流或者包括视频流和字幕流的一层容器获得。在这种情况下,例如,当字幕位图数据的色域识别信息不是从一层字幕流或者一层容器获得时,字幕位图数据的色域识别信息被设置为默认范围。

因此,根据本技术的实施方式,字幕位图数据的色域识别信息基于字幕位图数据的色域识别信息和视频数据的色域识别信息被调节为视频数据的色域。因此,当字幕叠加在视频上时,可以保持图像高品质。

进一步地,根据本技术的实施方式,可以进一步提供例如由电路实施的亮度处理单元,该亮度处理单元将字幕位图数据的亮度的最大水平调节至视频数据的亮度的参考水平或者低于该参考水平,亮度的最大水平基于字幕位图数据的动态范围信息和视频数据的动态范围信息而进行调节。因此,通过调节字幕位图数据的亮度,当字幕叠加在视频上时,可以保持图像高品质。

例如,字幕位图数据的动态范围信息是从一层字幕流或者包括视频流和字幕流的一层容器获得。在这种情况下,例如,当字幕位图数据的动态范围信息不是从一层字幕流或者一层容器获得时,字幕位图数据的动态范围被设置为默认范围。

进一步地,根据本技术的实施方式,例如,可以进一步提供由电路实施的视频水平调节单元,该视频水平调节单元插入视频解码单元与视频叠加单元之间并且适用于调节其中叠加已调节色域的字幕位图图像的视频的区域中的亮度水平。因此,通过调节视频的亮度水平,可以防止背景视频(背景图像)的高亮度部分阻挡字幕,并且可以改善字幕的可读度。

例如,视频水平调节单元可以对应于视频的区域中存在的高亮度像素降低视频的亮度水平,所述视频的区域是其中被叠加已调节色域的字幕位图图像的区域。进一步地,例如,当视频叠加单元中的视频数据的混合比超过阈值时,视频水平调节单元可以调节视频数据的亮度水平。由此,可以有效地调节视频数据的亮度水平。

根据本技术的实施方式,提供了一种接收方法。该方法包括通过电路接收视频流和字幕流。该方法包括处理视频流以获得视频的视频数据。该方法包括处理字幕流以获得字幕位图图像的字幕位图数据。该方法包括将字幕位图数据的色域调节为视频数据的色域。基于字幕位图数据的色域识别信息和视频数据的色域识别信息调节字幕位图数据的色域。该方法进一步包括在视频上叠加已调节色域的字幕位图图像。

进一步地,本技术的另一个构思是一种接收装置,该接收装置包括被配置为接收视频流和字幕流的电路。该电路被配置为处理视频流以获得视频的视频数据。该电路被配置为处理字幕流以获得字幕位图图像的字幕位图数据。该电路被配置为将字幕位图数据的亮度的最高水平调节为视频数据的亮度的参考水平或者低于该参考水平。字幕位图数据的亮度的最高水平是基于字幕位图数据的动态范围信息和视频数据的动态范围信息进行调节。该电路进一步被配置为在视频上叠加已调节亮度的字幕位图图像。

根据本技术的实施方式,其中包括视频流和字幕流的预定格式的容器通过由电路实施的接收单元接收。可以通过由电路实施的处理视频流的视频解码单元获得视频数据。可以通过由电路实施的处理字幕流的字幕解码单元获得字幕位图数据。

通过由电路实施的亮度处理单元将字幕位图数据的亮度的最高水平调节为视频数据的亮度的参考水平或低于该参考水平,基于字幕位图数据的动态范围信息和视频数据的动态范围信息调节字幕位图数据的亮度的最高水平。通过由电路实施的视频叠加单元将已调节亮度的字幕位图图像叠加在视频上。

例如,字幕位图数据的动态范围信息是从一层字幕流或者一层容器获得。在这种情况下,例如,当字幕位图数据的动态范围信息不是从一层字幕流或者一层容器获得时,字幕位图数据的动态范围被设置为默认范围。

因此,根据本技术的实施方式,字幕位图数据的亮度的最高水平是基于字幕位图数据的动态范围信息和视频数据的动态范围信息被调节为视频数据的亮度的参考水平或者低于该参考水平。因此,当字幕叠加在视频上时,可以保持图像高品质。

同时,根据本技术的实施方式,例如,可以进一步提供由电路实施的视频水平调节单元,该视频水平调节单元插入视频解码单元与视频叠加单元之间并且适用于调节其中叠加已调节亮度的字幕位图图像的视频的区域中的亮度水平。因此,通过调节视频数据的亮度水平,可以防止视频的高亮度部分阻挡字幕,并且可以改善字幕的可读度。

例如,视频水平调节单元可以对应于区域中存在的高亮度像素降低视频的亮度水平,所述区域是其中被叠加已调节亮度的字幕位图图像的区域。进一步地,例如,当视频叠加单元中的视频数据的混合比超过阈值时,视频水平调节单元可以调节视频数据的亮度水平。由此,可以有效地调节视频数据的亮度水平。

根据本技术的实施方式,提供了一种接收方法。该方法包括通过电路接收视频流和字幕流。该方法包括处理视频流以获得视频的视频数据。该方法包括处理字幕流以获得字幕位图图像的字幕位图数据。该方法包括将字幕位图数据的亮度的最高水平调节为视频数据的亮度的参考水平或者低于该参考水平。基于字幕位图数据的动态范围信息和视频数据的动态范围信息调节字幕位图数据的亮度的最高水平。该方法进一步包括在视频上叠加已调节亮度的字幕位图图像。

进一步地,本技术的另一个构思是一种传输装置,该传输装置包括被配置为传输视频流和字幕流的电路。该电路被配置为将包括在字幕流中的与字幕数据相关的色域识别信息和/或动态范围信息插入一层字幕流和/或包括视频流和字幕流的一层容器中。

根据本技术的实施方式,其中包括视频流和字幕流的预定格式的容器被传输。例如,字幕数据可以是预定格式的字幕文本信息。与字幕数据相关的色域识别信息和/或动态范围信息通过由电路实施的信息插入单元被插入一层字幕流和/或一层容器中。

因此,根据本技术的实施方式,与字幕数据相关的色域识别信息和/或动态范围信息被插入一层字幕流和/或一层容器中。因此,接收端可以基于该信息容易地且适当地依照视频数据的色域执行字幕位图数据的色域的调节、或者调节字幕位图数据的亮度的最高水平以致成为视频数据的亮度的参考水平或者低于该参考水平。

根据本技术的实施方式,提供了一种传输方法。该方法包括通过电路传输视频流和字幕流。该方法进一步包括将包括在字幕流中的与字幕数据相关的色域识别信息和/或动态范围信息插入一层字幕流和/或包括视频流和字幕流的一层容器中。

本发明的优势效果

根据本技术的实施方式,当字幕数据叠加在视频数据上时,可以保持图像高品质。应注意,本说明书中描述的上述效果仅是实例并且不限于此,并且也可以提供其他额外的效果。

附图说明

[图1]图1是示出了根据实施方式的传输/接收系统的示例性配置的框图。

[图2]图2是示出了传输装置的示例性配置的框图。

[图3]图3是示出了示例性光电转换特性的示图。

[图4]图4是示出了在编码系统是hevc的情况下的gop的标头访问单元的示图。

[图5]图5是示出了在编码系统是hevc的情况下的gop的除了标头访问单元之外的访问单元的示图。

[图6]图6a是示出了动态范围/sei消息的示例性结构的示图,并且图6b是示出了示例性结构中的主要信息的内容的示图。

[图7]图7是示出了ttml结构的示图。

[图8]图8a至图8c是示出了ttml结构的标头中存在的元数据、格式和布局的相应元素的示例性结构的示图。

[图9]图9是示出了ttml结构的主体的示例性结构的示图。

[图10]图10a和图10b是示出了在通过使用ttml结构的标头中存在的元数据的元素插入色域识别信息和动态范围信息的情况下的元数据(ttm:ttmlmetadata)的示例性结构的示图。

[图11]图11是示出了在通过使用ttml结构的标头中存在的格式扩展的元素插入色域识别信息和动态范围信息的情况下的格式扩展(ttm:stylingextension)的示例性结构的示图。

[图12]图12是示出了包括色域识别信息和动态范围信息的渲染片段的示例性结构的示图。

[图13]图13a是其中描述色域识别信息和动态范围信息的subtitle_wcghdr描述符的示例性结构,并且图13b是示出了示例性结构中的主要信息的内容的示图。

[图14]图14是示出了传输流ts的示例性结构的示图。

[图15]图15是示出了接收装置的示例性配置的框图。

[图16]图16是示出了色域/亮度转换单元的示例性配置的框图。

[图17]图17是示出了与包括在亮度转换单元中的亮度信号y相关的配置单元的示例性配置的框图。

[图18]图18是示意性地示出了亮度转换单元的操作的示图。

[图19]图19是示出了色域/亮度转换单元的示例性处理程序的流程图。

[图20]图20a至图20c是描述用于视频数据的亮度水平调节的说明性示图。

[图21]图21是示出了包括在视频水平调节单元中并且与亮度信号yv相关的配置单元的示例性结构的框图。

[图22]图22是示出了与亮度信号yv相关的配置单元中的每个像素的示例性处理程序的流程图。

具体实施方式

以下将描述实施该技术的方式(以下称为“实施方式”)。应注意,将按照以下顺序提供描述。

1.实施方式

2.变形例

<1.实施方式>

(传输/接收系统的示例性结构)

图1是示出了根据实施方式的传输/接收系统10的示例性配置的示图。传输/接收系统10包括传输装置100和接收装置200。

传输装置100将mpeg2的传输流ts生成为容器,并且在空气波或者网络上的数据包上传输该传输流ts。在传输流ts中,包括具有视频数据(图像数据)的视频流。

进一步地,在传输流ts中,包括具有字幕数据(标题数据)的字幕流。在此,字幕数据是预定格式的字幕文本信息或者字幕位图数据。与字幕数据相关的色域识别信息和动态范围信息被插入一层字幕流和/或一层容器中。

接收装置200接收从传输装置100传输的传输流ts。接收装置200通过将解码处理应用于视频流来获得视频数据,并且通过将解码处理应用于字幕流进一步获得字幕位图数据。进一步地,接收装置200通过在视频数据上叠加基于字幕位图数据和视频数据的色域识别信息和动态范围信息调节的色域和亮度水平的字幕位图数据获得用于显示的视频数据。

在这种情况下,字幕位图数据的色域基于字幕位图数据和视频数据的色域识别信息被调节为视频数据的色域。进一步地,字幕位图数据的亮度的最高水平基于字幕位图数据的动态范围信息和视频数据的动态范围信息被调节成为视频数据的亮度的参考水平或者低于该参考水平。

在此,主要地,使用从一层字幕流和/或一层容器获得的与字幕数据相关的色域识别信息和动态范围信息。同时,在与字幕数据相关的色域识别信息和动态范围信息不是从一层字幕流和/或一层容器获得的情况下,使用默认设置的信息。

(传输装置的配置)

图2是示出了传输装置100的示例性配置的示图。传输装置100包括控制单元101、照相机102、视频光电转换单元103、rgb/ycbcr转换单元104、视频编码器105、字幕生成单元106、文本格式转换单元107、字幕编码器108、系统编码器109和传输单元110。

同时,在将字幕位图数据作为字幕数据传输而不是将字幕文本信息作为字幕数据传输的情况下,传输装置100包括位图数据生成单元111、字幕光电转换单元112、以及代替文本格式转换单元107和字幕编码器108的字幕编码器113。

控制单元101包括中央处理单元(cpu)并且基于控制程序控制传输装置100中的相应单元的操作。照相机102捕捉对象的图像并且输出高动态范围(hdr)或者标准动态范围(sdr)的视频数据(图像数据)。hdr图像具有0至100%*n(n大于1)的对比度,诸如,在sdr图像的白峰处超过亮度0至1000%。在此,100%的水平对应于例如白色的亮度值100cd/m2

视频光电转换单元103将光电转换应用于通过照相机102捕捉的视频数据,并且获得传输视频数据v1。在这种情况下,在视频数据是sdr视频数据的情况下,通过使用sdr光电转换特性执行光电转换,并且获得sdr传输视频数据(制成具有sdr光电转换特性的传输视频数据)。另一方面,在视频数据是hdr视频数据的情况下,通过使用hdr光电转换特性执行光电转换,并且获得hdr传输视频数据(制成具有hdr光电转换特性的传输视频数据)。

rgb/ycbcr转换单元104将传输视频数据从rgb域转换为ycbcr(亮度/色差)域。视频编码器105将诸如mpeg4-avc或者hevc的编码应用于已经转换为ycbcr域的传输视频数据v1,并且生成包括编码的视频数据的视频流(pes流)vs。

此时,视频编码器105将表示对应于由传输视频数据v1(传递函数)保持的光电转换特性的电光转换特性的信息、表示传输视频数据v1的色域的信息、以及表示参考水平的元信息等插入访问单元(au)中的spsnal单元的视频可用性信息(vui)区域中。

进一步地,视频编码器105将提供新的定义并且包括表示对应于由传输视频数据v1(传递函数)保持的光电转换特性的电光转换特性的信息的动态范围/sei消息(dynamic_rangesei消息)、表示参考水平的元信息等插入访问单元(au)的一部分“seis”中。

在此,动态范围/sei消息被制成为具有表示电光转换特性的信息的理由在于:即使当传输视频数据v1是hdr传输视频数据时,可在除了vui之外的地方需要表示对应于hdr光电转换特性的电光转换特性的信息,因为在hdr光电转换特性与sdr光电转换特性一致的情况下,表示对应于sdr光电转换特性的电光转换特性(γ特性)的信息被插入spsnal单元的vui中。

图3是示出了示例性光电转换特性的示图。在这个示图中,水平轴表示接收的亮度水平并且竖直轴表示传输代码值。曲线a表示示例性sdr光电转换特性。进一步地,曲线b1表示示例性hdr光电转换特性(不与sdr光电转换特性一致)。进一步地,曲线b2表示示例性hdr光电转换特性(与sdr光电转换特性一致)。在这些实例的情况下,所接收的亮度水平与sdr光电转换特性一致,直到达到兼容极限值。当所接收的亮度水平是兼容极限值时,传输代码值变为兼容水平。

进一步地,动态范围/sei消息制成包括参考水平的理由在于:当传输视频数据v1是sdr传输视频数据时,尽管表示对应于sdr光电转换特性的电光转换特性(γ特性)的信息被插入spsnal单元的vui中,但是不存在与参考水平的插入相关所描述的标准。

图4是示出了在编码系统是hevc的情况下的图片组(gop)的标头访问单元的示图。进一步地,图5是示出了在编码系统是hevc的情况下的除了标头访问单元之外的gop的访问单元的示图。在编码系统是hevc的情况下,用于解码的sei消息组“prefix_seis”被布置在具有编码的图像数据的片段之前,并且用于显示的sei消息组“suffix_seis”被布置在这些片段之后。如图4和图5所示,动态范围/sei消息可以布置为sei消息组“suffix_seis”。

图6a是示出了动态范围/sei消息的示例性结构(语法)的示图。图6b是示出了在示例性结构中的主要信息的内容(语义)的示图。一位标记信息“dynamic_range_cancel_flag”表示是否刷新“dynamic_range”的消息。“0”表示刷新该消息,并且“1”表示没有刷新该消息,即,将消息保持原样。

当“dynamic_range_cancel_flag”是“0”时,存在以下字段。“coded_data_bit_depth”中的8位字段表示编码的像素位数。“reference_level”中的8位字段表示作为参考水平的参考亮度水平值。“transfer_function”中的8位字段表示对应于由传输视频数据v1保持的光电转换特性的电光转换特性。

返回参考图2,字幕生成单元106将文本数据(字符码)dt生成为字幕信息。在本实施方式中,文本格式转换单元107接收文本数据dt并且获得预定格式的字幕文本信息并且获得定时文本标记语言(ttml)。

图7是示出了ttml结构的示图。基于xml描述ttml。在标头中,存在相应的元素,诸如,元数据、格式和布局。图8a是示出了元数据(ttm:ttmlmetadata)的示例性结构的示图。元数据包括元数据的标题信息与版权信息。

图8b是示出了格式(tts:ttml格式)的示例性结构的示图。该格式包括除了标识符(id)之外的诸如颜色(color)、字体(fontfamily)、大小(fontsize)以及对齐(textalign)等信息。应注意,“tts:opacity”表示与背景视频的混合比。例如,“1.0”表示字幕(标题)是100%并且背景视频是0%,并且“0.1”表示字幕(标题)是0%并且背景视频是100%。在这个示图的实例中,描述了“1.0”。

图8c是示出了布局(区域:ttml布局)的示例性结构的示图。该布局包括除了布置字幕的区域的标识符(id)之外的诸如范围(extent)、偏差(padding)、背景颜色(backgroundcolor)、以及对齐(displayalign)等信息。

图9是示出了主体的示例性结构的示图。在这个示图的实例中,包括三个字幕的信息,这三个字幕包括字幕1(subtitle1)、字幕2(subtitle2)和字幕3(subtitle3)。在每一个字幕中,与显示开始时间和显示结束时间的描述一起描述文本数据。例如,至于字幕1(subtitle1),显示开始时间是“0.76s”并且显示结束时间是“3.45s”,并且描述了“itseemsaparadox,doseitnot(这似乎是一个悖论,不是吗)”的文本数据。

返回参考图2,字幕编码器108将在文本格式转换单元107中获得的ttml转换为各种类型的片段,并且生成由具有布置在有效载荷中的片段的pes分组(pespacket,pes包)形成的字幕流ss。

进一步地,位图数据生成单元111接收在字幕生成单元106中生成的文本数据dt,并且生成字幕位图数据。字幕光电转换单元112将光电转换应用于在位图数据生成单元111中生成的字幕位图数据,并且获得传输位图数据m1。

在这种情况下,通过使用sdr光电转换特性执行光电转换,或者通过使用hdr光电转换特性执行光电转换。进一步地,在通过使用hdr光电转换特性执行光电转换的情况下,在叠加在hdr视频上的先决条件下,亮度范围受限达到hdr的参考水平。应注意,可能存在不包括字幕光电转换单元112的结构。在这种情况下,在位图数据生成单元111中生成的字幕位图数据保持线性状态并且获得为传输位图数据m1。

字幕编码器113将传输位图数据m1和显示控制信息转换为各种类型的片段,并且生成包括具有布置在有效载荷中的片段的pes分组的字幕流ss。

系统编码器109生成包括在视频编码器105中生成的视频流vs的传输流ts以及在字幕编码器108或字幕编码器113中生成的字幕流ss。传输单元110在网络中的数据包或者空气波上将传输流ts传输至接收装置200。

在此,传输装置100将与字幕数据相关的色域识别信息和动态范围信息插入一层字幕流ss和/或作为如上所述的容器的一层传输流ts中。

首先,将描述将信息插入一层字幕流ss中的情况。在字幕流ss包括作为字幕文本信息的ttml的情况下,传输装置100通过以下第一方法、第二方法和第三方法中的任一个插入信息。

第一方法

通过使用ttml结构的标头中存在的元数据的元素插入与字幕数据相关的色域识别信息和动态范围信息。在这种情况下,在文本格式转换单元107中执行插入。

图10a是示出了元数据(ttm:ttmlmetadata)的示例性结构的示图。图10b是示出了示例性结构中的主要信息的内容的示例性结构的示图。“ttm-ext:colorspace”表示色域识别信息,并且随后描述表示宽色域的“itur2020”、表示标准色域的“srgb”等。在示图中的实例中,描述“itur2020”。

“ttm-ext:dynamicrange”表示动态范围信息,并且随后描述“hdrmapped”、“sdr”、“linear”等。“hdrmapped”表示通过使用hdr光电转换特性执行光电转换并且进一步地在叠加在hdr视频上的先决条件下亮度范围受限达到hdr的参考水平。“sdr”表示通过使用sdr光电转换特性执行光电转换。“linear”表示不执行光电转换的线性状态。在示图的实例中,描述“sdr”。

第二方法

通过使用ttml结构的标头中存在的格式扩展的元素插入与字幕数据相关的色域识别信息和动态范围信息。在这种情况下,在文本格式转换单元107中执行插入。

图11是示出了在这种情况下的格式扩展(ttmlstylingextension)的示例性结构的示图。“ttse:colorspace”表示色域识别信息,并且描述“itur2020”、“srgb”等。在示图中的实例中,描述“itur2020”。“ttse:dynamicrange”表示动态范围信息,并且随后描述“hdrmapped”、“sdr”、“linear”等。在示图的实例中,描述“sdr”。

第三方法

通过将包括与字幕数据相关的色域识别信息和动态范围信息的片段插入字幕流ss中插入与字幕数据相关的色域识别信息和动态范围信息。

图12是示出了渲染片段(rendaring_segment())的示例性结构(语法)的示图。在这个结构中,包括“sync_byte”、“segment_type”、“page_id”、“segment_length”、“version_number”和“number_of_resion”的相应信息。“segment_type”中的8位字段表示片段类型,并且在此表示渲染片段。“segment_length”中的8位字段表示片段的长度(大小)。“number_of_regions”中的8位字段表示区域的数量。

进一步地,在这个结构中,每个区域包括与字幕数据相关的色域识别信息和动态范围信息。“resion_id”中的8位字段表示识别区域的标识符。“colorspace_type”中的8位字段表示色域识别信息,并且描述“itur2020”、“srgb”等。“dynamicrange_type”中的8位字段表示动态范围信息,并且描述“hdrmapped”、“sdr”、“linear”等。

同时,在字幕流ss包括字幕位图数据的情况下,传输装置100将与字幕数据相关的色域识别信息和动态范围信息通过第三方法插入一层字幕流ss中。

接下来,将描述将信息插入作为容器的一层传输流ts中的情况。在这种情况下,在节目映射表(pmt)下,传输装置100插入适用于提供新定义的字幕wcghdr描述符(subtitle_wcghdr_descriptor)。

图13a是示出了字幕wcghdr描述符的示例性结构(语法)的示图。图13b是示出了示例性结构中的主要信息(语义)的内容的示图。“descriptor_tag”中的8位字段表示描述符类型,并且在此表示字幕wcghdr描述符。“descriptor_length”中的8位字段表示描述符的长度(大小),并且表示以下字节的数量作为描述符的长度。

“color_gamut_type”中的3位字段表示色域识别信息。例如,“001”表示“itur2020”并且“010”表示“srgb”。“dynamicrange_type”中的3位字段表示动态范围信息。例如,“000”表示“linear”,“001”表示“hdrmapped”,并且“010”表示“sdr”。

传输流ts的示例性结构

图14是示出了传输流ts的示例性结构的示图。在这个示例性结构中,存在通过pid1识别的视频流的pes分组“视频pes1”。进一步地,在这个示例性结构中,存在通过pid2识别的字幕流中的pes分组“字幕pes2”。

pes分组包括pes报头和pes有效载荷。在视频流的pes分组中,编码的视频流被插入pes有效载荷中。在访问单元中的spsnal单元的vui区域中,插入传输视频数据的色域识别信息和动态范围信息。进一步地,将具有传输视频数据的色域识别信息和动态范围信息的描述的动态范围/sei消息插入访问单元中。

进一步地,在字幕流的pes分组中,与字幕数据相关的色域识别信息和动态范围信息被插入ttml结构的标头中存在的元数据的元素、ttml结构的标头中存在的格式扩展的元素或者渲染片段中。

进一步地,在传输流ts中,节目映射表(pmt)作为节目特定信息(psi)被包括。psi是表示包括在传输流ts中的每个基本流属于哪个节目的信息。在pmt中,存在描述与整个节目相关的信息的节目循环。

进一步地,存在具有与pmt中的每个基本流相关的信息的基本流循环。在这个示例性结构中,存在:对应于视频流的视频基本流循环(videoesloop);以及对应于字幕流的字幕基本流循环(subtitleesloop)。

在视频基本流循环(videoesloop)中,对应于视频流布置诸如流类型和数据包标识符(pid)的信息,并且也进一步布置描述与视频流相关的信息的描述符。这个视频流“stream_type”的值被设置为例如表示hevc视频流的值,并且pid信息表示分配到视频流的pes分组“视频pes1”的pid1。

在字幕基本流循环(subtitleesloop)中,对应于字幕流布置诸如流类型和数据包标识符(pid)的信息,并且也进一步布置描述与字幕流相关的信息的描述符。字幕流的“stream_type”的值例如被设置为表示专用流的值,并且pid信息表示分配到字幕流的pes分组“字幕pes2”的pid2。作为描述符,插入适用于提供新定义的字幕wcghdr描述符。

将简要地描述在图2中示出的传输装置100的操作。通过照相机102拍摄和捕捉的视频数据(图像数据)被供应至视频光电转换单元103。在视频光电转换单元103中,光电转换被应用于通过照相机102捕捉的视频数据,并且获得传输视频数据v1。

在这种情况下,在视频数据是sdr视频数据的情况下,通过使用sdr光电转换特性执行光电转换,并且获得sdr传输视频数据(制成具有sdr光电转换特性的传输视频数据)。另一方面,在视频数据是hdr视频数据的情况下,通过使用hdr光电转换特性执行光电转换,并且获得hdr传输视频数据(制成具有hdr光电转换特性的传输视频数据)。

在视频光电转换单元103中获得的传输视频数据v1在rgb/ycbcr转换单元104中从rgb域转换为ycbcr(亮度/色差)域之后被供应至视频编码器105。视频编码器105将诸如mpeg4-avc或者hevc的编码应用于传输视频数据v1,并且生成包括编码的视频数据的视频流(pes流)vs。

进一步地,在视频编码器105中,表示对应于由传输视频数据v1(传递函数)保持的光电转换特性的电光转换特性的信息、表示传输视频数据v1的色域的信息、以及表示参考水平的元信息等被插入访问单元(au)中的spsnal单元的vui区域中。

此外,在视频编码器105中,适用于提供新定义并且包括表示对应于由传输视频数据v1保持的光电转换特性的电光转换特性的信息(传递函数)的动态范围/sei消息、诸如参考水平的元信息等被插入访问单元(au)的部分“seis”中(参考图6)。

在字幕生成单元106中,文本数据(字符码)dt生成为字幕信息。在传输作为字幕数据的字幕文本信息的情况下,文本数据dt被供应至文本格式转换单元107。

在文本格式转换单元107中,转换为具有显示定时信息的字幕文本信息,即,基于文本数据dt执行ttml(参考图7)。ttml被供应至字幕编码器108。

在字幕编码器108中,在文本格式转换单元107中获得的ttml被转换为各种类型的片段,并且生成由具有布置在有效载荷中的片段的pes分组形成的字幕流ss。

进一步地,在传输作为字幕数据的字幕位图数据的情况下,在字幕生成单元106中生成的文本数据dt被供应至位图数据生成单元111。

在位图数据生成单元111中,基于文本数据dt生成字幕位图数据。字幕位图数据被供应至字幕光电转换单元112。在字幕光电转换单元112中,光电转换被应用于字幕位图数据并且获得传输位图数据m1。

在这种情况下,通过使用sdr光电转换特性或者hdr光电转换特性执行光电转换。在通过使用hdr光电转换特性执行光电转换的情况下,在叠加在hdr视频上的先决条件下亮度范围受限达到hdr的参考水平。在位图数据生成单元111中生成的字幕位图数据可以保持线性状态并且作为传输位图数据m1获得。

如上所述获得的传输位图数据m1被供应至字幕编码器113。在字幕编码器113中,传输位图数据m1和显示控制信息被转换为各种类型的片段,并且生成由具有布置在有效载荷中的片段的pes分组形成的字幕流ss。

在视频编码器105中生成的视频流vs被供应至系统编码器109。在字幕编码器108或者字幕编码器113中生成的字幕流ss被供应至系统编码器109。在系统编码器109中,生成包括视频流vs和字幕流ss的传输流ts。传输流ts在网络中的数据包或者空气波上通过传输单元110被传输至接收装置200。

进一步地,在传输装置100中,与字幕数据相关的色域识别信息和动态范围信息被插入一层字幕流ss和/或作为容器的一层传输流ts中。

在被插入一层字幕流ss中的情况下,与字幕数据相关的色域识别信息和动态范围信息被插入ttml结构的标头中存在的元数据的元素、ttml结构的标头中存在的格式扩展的元素、或者渲染片段中(参考图10a、图10b、图11和图12)。

进一步地,在被插入作为容器的一层传输流ts的情况下,具有与字幕数据相关的色域识别信息和动态范围信息的描述并且适用于提供新定义的字幕wcghdr描述符被插入节目映射表(pmt)下(参考图13a和图13b)。

(接收装置的配置)

图15是示出了接收装置200的示例性配置的示图。接收装置200包括控制单元201、接收单元202、系统解码器203、视频解码器204、视频水平调节单元205、字幕解码器206、字体开发单元207、字幕解码器208、ycbcr/rgb转换单元209和色域/亮度转换单元210。进一步地,接收装置200包括视频叠加单元211、ycbcr/rgb转换单元212、电光转换单元213、显示映射单元214和ce监视器215。

控制单元201包括中央处理单元(cpu)并且基于控制程序控制接收装置200中的相应单元的操作。接收单元202接收在网络中的数据包或者空气波上从传输装置100传输的传输流ts。系统解码器203从传输流ts提取视频流vs和字幕流ss。

进一步地,系统解码器203提取被插入传输流ts(容器)中的各种类型的信息,并且将该信息传输至控制单元201。在所提取的信息中,还包括具有与字幕数据相关的色域识别信息和动态范围信息的描述的字幕wcghdr描述符(参考图13a和图13b)。

视频解码器204将解码处理应用于在系统解码器203中提取的视频流vs,并且输出传输视频数据v1。进一步地,视频解码器204提取被插入构成视频流vs的相应访问单元中的参数集和sei消息,并且将其传输至控制单元201。

在spsnal单元的vui区域中,插入表示对应于由传输视频数据v1(传递函数)保持的光电转换特性的电光转换特性的信息、表示传输视频数据v1的色域的信息、表示参考水平的信息等。进一步地,在sei消息中,还包括具有表示对应于由传输视频数据v1(传递函数)保持的光电转换特性的电光转换特性的信息的动态范围sei消息、参考水平信息等(参考图6a和图6b)。

在字幕文本信息作为字幕数据传输的情况下,字幕解码器206工作。字幕解码器206将解码处理应用于包括在字幕流ss中的每一个区域中的片段数据,并且为每一个区域获得文本数据和控制码。进一步地,字幕解码器206提取被插入字幕流ss中与字幕数据相关的色域识别信息和动态范围信息,并且将这些信息传输至控制单元201。

字体开发单元207基于在字幕解码器206中获得的每一个区域中的文本数据和控制码开发字体,并且获得每一个区域的位图数据。获得具有rgb域的字幕位图数据。

字幕位图数据的色域被制成符合由与字幕数据相关的上述色域识别信息表示的色域。进一步地,字幕位图数据处于诸如“linear”、“sdr”、“hdrmapped”的状态下,并且被调节为由与字幕数据相关的上述动态范围信息表示的状态。

在此,“linear”表示不执行光电转换的线性状态。“sdr”表示通过使用sdr光电转换特性执行光电转换。“hdrmapped”表示通过使用hdr光电转换特性执行光电转换并且进一步地在叠加在hdr视频上的先决条件下亮度范围受限达到hdr的参考水平。

在字幕位图数据作为字幕数据传输的情况下,字幕解码器208工作。字幕解码器208将解码处理应用于字幕流ss,并且获得字幕位图数据。在这种情况下,包括在字幕流ss中的数据被传输至颜色查找表(clut),并且可能存在clut输出是基于ycbcr域的情况。

在字幕解码器208中获得是字幕位图数据的域是ycbcr的情况下,ycbcr/rgb转换单元209执行转换为rgb域。同时,在字幕解码器208中获得的字幕位图数据的域是rgb的情况下,ycbcr/rgb转换单元209照原样输出字幕位图数据。

字幕位图数据的色域被制成符合由与字幕数据相关的上述色域识别信息表示的色域。进一步地,字幕位图数据处于诸如“linear”、“sdr”、“hdrmapped”的状态下,并且被调节为由与字幕数据相关的上述动态范围信息表示的状态。

在控制单元201的控制下,色域/亮度转换单元210基于字幕位图数据的色域信息和视频数据的色域信息将字幕位图数据的色域调节为视频数据的色域。进一步地,在控制单元201的控制下,色域/亮度转换单元210基于字幕位图数据的动态范围信息和视频数据的动态范围信息调节字幕位图数据的亮度的最高水平以便成为视频数据的亮度的参考水平或者低于该参考水平。

图16是示出了色域/亮度转换单元210的示例性配置的示图。色域/亮度转换单元210包括电光转换单元221、色域转换单元222、hdr光电转换单元223、rgb/ycbcr转换单元224和亮度转换单元225。

电光转换单元221将电光转换应用于所接收的字幕位图数据。在此,当字幕位图数据在“sdr”状态下时,电光转换单元221通过使用sdr电光转换特性执行电光转换以使该状态形成线性状态。进一步地,当字幕位图数据在“hdrmapped”状态下时,电光转换单元221通过使用hdr电光转换特性执行电光转换以使该状态形成线性状态。

同时,当字幕位图数据在“linear”状态时,字幕位图数据已经处于线性状态。因此,电光转换单元221基本上不执行任何事并且照原样输出所接收的字幕位图数据。

色域转换单元222将从电光转换单元221输出的字幕位图数据的色域调节为视频数据的色域。例如,当字幕位图数据的色域是“srgb”并且视频数据的色域是“itur2020”时,字幕位图数据的色域从“srgb”转换为“itur2020”。同时,当字幕位图数据的色域和视频数据的色域相同时,色域转换单元222基本上不执行任何事并且照原样输出所接收的字幕位图数据。

光电转换单元223通过使用与用于视频数据的光电转换特性相同的光电转换特性将光电转换应用于从色域转换单元222输出的字幕位图数据。rgb/ycbcr转换单元224将从光电转换单元223输出的字幕位图数据从rgb域转换为ycbcr(亮度/色差)域。

亮度转换单元225为从rgb/ycbcr转换单元224输出的字幕位图数据执行调节以使得字幕位图数据的亮度的最高水平成为视频数据的亮度的参考水平或者低于该参考水平,并且获得输出位图数据。在这种情况下,在字幕位图数据处于“hdrmapped”的状态下并且视频数据是hdr的情况下,所接收的字幕位图数据照原样输出而基本不执行任何处理。

图17是示出了与包括在亮度转换单元225中的亮度信号y相关的配置单元225y的示例性配置的示图。配置单元225y包括编码的像素位数调节单元231和水平调节单元232。

编码的像素位数调节单元231将字幕位图数据的亮度信号ys的编码的像素位数调节为视频数据的编码的像素位数。例如,当亮度信号ys的编码的像素位数是“8位”并且视频数据的编码的像素位数是“10位”时,亮度信号ys的编码的像素位数从“8位”被转换为“10位”。水平调节单元232执行调节以使得具有调节过的编码的像素位数的亮度信号ys的最高水平成为视频数据的亮度的参考水平或者低于该参考水平,并且获得输出亮度信号ys'。

图18是示意性地示出了图17中示出的配置单元225y的操作的示图。示图中的实例示出了视频数据是hdr的情况。参考水平对应于非照明部分与照明部分之间的边界。

在编码的像素位数的调节之后,参考水平存在于亮度信号ys的最高水平(sc_high)与最低水平(sc_low)之间。在这种情况下,最高水平(sc_high)被调节成为参考水平或者低于该参考水平。同时,在这种情况下,采用其中执行降低至线性状态的方法,例如,因为诸如白色水平失真的状态可能由削波方法引起。

因此通过调节亮度信号ys的水平,可以保持图像高品质,这是因为当字幕位图数据被叠加在视频数据上时,防止字幕在背景视频上发光显示。

应注意,以上已经描述了与包括在亮度转换单元225中的亮度信号ys相关的配置单元225y(参考图17)。至于色差信号cb和cr,仅在亮度转换单元225中执行将编码的像素位数调节为视频数据的编码的像素位数的处理。例如,由位宽表示的整个范围被限定为100%并且其中的中间值被限定为参考值,并且执行从8位空间至10位空间的转换以使得振幅从参考值在加法方向上变成50%并且在减法方向上变成50%。

图19是示出了色域/亮度转换单元210的示例性处理程序的流程图。应注意,尽管处理程序也包括与控制单元201相关的控制处理,但是将方便地提供关于色域/亮度转换单元210的处理的描述。

色域/亮度转换单元210开始步骤st1中的处理。然后,在步骤st2中,色域/亮度转换单元210确定是否存在字幕数据的色域和非线性转换信息。

当与字幕数据相关的色域识别信息和动态范围信息从系统解码器203和字幕解码器206被传输时,色域/亮度转换单元210确定以上所述信息存在。应注意,非线性转换信息构成动态范围信息,并且表示字幕位图数据在“linear”、“sdr”或者“hdrmapped”的哪个状态下。在确定存在以上所述的信息的情况下,色域/亮度转换单元210进行至步骤st4中的处理。

在确定不存在以上所述的信息的情况下,在步骤st3中,色域/亮度转换单元210使用色域识别信息和非线性转换信息集作为默认的色域识别信息和非线性转换信息。例如,默认设置的色域识别信息是“srgb”并且默认设置的非线性转换信息集是“sdr”。在步骤st3中的处理之后,色域/亮度转换单元210进行步骤st4中的处理。

在步骤st4中,色域/亮度转换单元210根据非线性转换信息将电光转换应用于字幕位图数据,以便形成线性状态。接下来,在步骤st5中,色域/亮度转换单元210将字幕位图数据的色域调节为视频数据的色域。然后,在步骤st6中,色域/亮度转换单元210将应用于视频数据的相同的光电转换应用于字幕位图数据,并且将字幕位图数据的光电转换特性调节为应用于视频数据的光电转换特性。

接下来,在步骤st7中,色域/亮度转换单元210将字幕位图数据的编码的像素位数调节为视频数据的编码的像素位数。接下来,在步骤st8中,色域/亮度转换单元210确定相对于字幕位图数据的亮度水平是否已经对hdr采取任何对策。当非线性转换信息表示“hdrmapped”时,色域/亮度转换单元210确定已经对hdr采取对策。

当未对hdr采取对策时,在步骤st9中色域/亮度转换单元210确定视频数据是不是hdr。当视频数据是hdr时,在步骤st10中,色域/亮度转换单元210调节字幕位图数据的亮度的最高水平以便成为视频数据的亮度的参考水平或者低于该参考水平,然后将字幕位图数据输出为输出位图数据。然后,色域/亮度转换单元210完成步骤st11中的处理。

当在步骤st9中视频数据不是hdr时,在步骤st12中色域/亮度转换单元210将字幕位图数据原样输出为输出位图数据。然后,色域/亮度转换单元210完成步骤st11中的处理。

进一步地,当在步骤st8中已经对hdr采取对策时,在步骤st13中色域/亮度转换单元210确定视频数据是不是hdr。当视频数据不是hdr时,在步骤st10中,色域/亮度转换单元210调节字幕位图数据的亮度的最高水平以便成为视频数据的亮度的参考水平或者低于该参考水平,并且将这个字幕位图数据输出为输出位图数据。然后,色域/亮度转换单元210完成步骤st11中的处理。

当在步骤st13中视频数据是hdr时,在步骤st12中色域/亮度转换单元210将字幕位图数据原样输出为输出位图数据。然后,色域/亮度转换单元210完成步骤st11中的处理。

返回参考图15,视频水平调节单元205调节从视频解码器204输出的传输视频数据v1的字幕叠加区域(region)中的亮度水平。利用这个调节,防止字幕(标题)被背景视频(背景图像)的高亮度部分阻挡,从而可以改善字幕的可读度。

图20a是示出了基于调节亮度水平之前的视频数据的示例性图像显示的示图。在这个背景图像中,存在高亮度区域。图20b是示出了在调节亮度水平之前的视频数据上叠加具有如上所述调节的亮度水平的字幕位图数据的情况下的示例性图像显示的示图。在这种情况下,几乎不可以阅读字幕(标题),因为背景图像的高亮度部分阻挡字幕。

图20c是示出了在将视频数据的字幕叠加区域(region)中的亮度水平调节为低于具有如上所述调节的亮度水平的字幕位图数据的亮度的最高水平的情况下的示例性图像显示的示图。在这种情况下,字幕(标题)不被背景图像的高亮度部分阻挡并且可以容易地读取字幕。

图21是示出了包括在视频水平调节单元205中并且与亮度信号yv相关的配置单元205y的示例性结构的示图。同时,至于色差信号cb和cr,尽管为此省略了详细说明,但是视频水平调节单元205照原样输出所接收的数据。

配置单元205y包括水平调节控制单元241、高亮度部分检测单元242和水平调节单元243。高亮度部分检测单元242从所接收的亮度信号yv检测针对每个像素的超过参考水平的高亮度部分,并且将检测信号传输至水平调节控制单元241。

至于所接收的亮度信号yv,水平调节单元243通过使用削波电路或者线性映射电路将所接收的亮度信号yv的亮度水平调节为低于调节了亮度的上述字幕位图数据的亮度的最高水平来获得输出亮度信号yv'。

水平调节控制单元241基于高亮度部分检测单元242、区域范围信息与视频数据的混合比信息的检测输出控制水平调节单元243的操作。换言之,水平调节控制单元241执行控制,使得通过水平调节单元243仅为高亮度部分中的像素调节亮度信号yv的水平。

进一步地,水平调节控制单元241执行控制,使得通过水平调节单元243仅为位于字幕叠加区域(region)中的像素调节亮度信号yv的水平。此外,水平调节控制单元241执行控制,使得仅在视频数据的混合比超过阈值的情况下通过水平调节单元243调节亮度信号yv的水平。

图22是示出了为图21中示出的配置单元205y中的每个像素执行的示例性处理程序的流程图。配置单元205y开始步骤st21中的处理。然后,在步骤st22中,配置单元205y确定像素是否位于区域范围中。在像素位于区域范围中的情况下,在步骤st23中,配置单元205y确定像素是不是高亮度部分。

当像素在高亮度部分中时,在步骤st24中,配置单元205y确定混合比是否超过阈值。在混合比超过阈值的情况下,在步骤st25中,配置单元205y将所接收的亮度信号yv的亮度水平调节为低于如上所述调节的亮度的字幕位图数据的亮度的最高水平,并且获得输出亮度信号yv'。然后,配置单元205y完成步骤st26中的处理。

当在步骤st22中像素没有位于区域范围中时,当在步骤st23中像素不是高亮度部分时,或者当在步骤st24中混合比不超过阈值时,在步骤st27中配置单元205y获得原样的输出亮度信号yv'而不为所接收的亮度信号yv执行水平调节。然后,配置单元205y完成步骤st26中的处理。

返回参考图15,视频叠加单元211将从色域/亮度转换单元210输出的字幕位图数据叠加在从视频水平调节单元205输出的传输视频数据v1上。在这种情况下,视频叠加单元211将字幕位图数据与传输视频数据v1以预定比例混合。

ycbcr/rgb转换单元212将与字幕位图数据叠加的传输视频数据v1'从ycbcr(亮度/色差)域转换为rgb域。在这种情况下,ycbcr/rgb转换单元212通过使用对应于色域的转换系统基于色域识别信息执行转换。

电光转换单元213通过使用对应于应用于此的光电转换特性的电光转换特性将电光转换应用于转换为rgb域的传输视频数据v1',并且获得显示视频数据以显示图像。显示映射单元214根据ce监视器215的最高亮度显示能力等为显示视频数据执行显示亮度调节。ce监视器215基于经受上述显示亮度调节的显示视频数据来显示图像。ce监视器215例如由液晶显示器(lcd)、有机电致发光显示器(有机el显示器)等形成。

将简要地描述在图15中示出的接收装置200的操作。在接收单元202中,在网络中的数据包或者空气波上从传输装置100传输的传输流ts被接收。传输流ts被供应至系统解码器203。在系统解码器203中,从传输流ts提取视频流vs和字幕流ss。

进一步地,在系统解码器203中,被插入传输流ts(容器)中的各种类型的信息被提取并且传输至控制单元201。在提取的信息中,还包括具有与字幕数据相关的色域识别信息和动态范围信息的描述的字幕wcghdr描述符(参考图13a和图13b)。

在系统解码器203中提取的视频流vs被供应至视频解码器204。在视频解码器204中,解码处理被应用于视频流vs并且获得传输视频数据v1。

进一步地,在视频解码器204中,被插入构成视频流vs的相应访问单元中的参数集和sei消息被提取并且被传输至控制单元201。在spsnal单元的vui区域中,插入表示对应于由传输视频数据v1(传递函数)保持的光电转换特性的电光转换特性的信息、表示传输视频数据v1的色域的信息、表示参考水平的信息等。进一步地,在sei消息中,还包括具有表示对应于由传输视频数据v1(传递函数)保持的光电转换特性的电光转换特性的信息的动态范围sei消息、参考水平信息等(参考图6a和图6b)。

在字幕文本信息作为字幕数据被传输的情况下,在系统解码器203中提取的字幕流ss被供应至字幕解码器206。在字幕解码器206中,解码处理被应用于包括在字幕流ss中的每一个区域中的片段数据,并且获得每一个区域中的文本数据和控制码。

每一个区域中的文本数据和控制码被供应至字体开发单元207。在字体开发单元207中,基于每一个区域中的文本数据和控制码开发字体,并且获得每一个区域的位图数据。字幕位图数据被供应至色域/亮度转换单元210。

进一步地,在字幕位图数据作为字幕数据被传输的情况下,在系统解码器203中提取的字幕流ss被供应至字幕解码器208。在字幕解码器208中,解码处理被应用于字幕流ss并且获得字幕位图数据。字幕位图数据在ycbcr/rgb转换单元209中从ycbcr域被转换为rgb域,并且供应至色域/亮度转换单元210。

在色域/亮度转换单元210中,基于字幕位图数据的色域信息和视频数据的色域信息将字幕位图数据的色域调节为视频数据的色域。进一步地,在色域/亮度转换单元210中,基于字幕位图数据的动态范围信息(非线性转换信息)和视频数据的动态范围信息(参考水平信息以及表示是不是hdr的信息),字幕位图数据的亮度的最高水平被调节成为视频数据的亮度的参考水平或者低于该参考水平。

在视频解码器204中获得的传输视频数据v1被供应至视频水平调节单元205。在视频水平调节单元205中,传输视频数据v1的字幕叠加区域(region)中的亮度水平被调节。在这种情况下,当视频数据的混合比超过阈值时,视频数据的字幕叠加区域(region)中的亮度水平被调节成为低于调节了亮度水平的字幕位图数据的亮度的最高水平。

在视频水平调节单元205中,调节了亮度水平的传输视频数据v1被供应至视频叠加单元211。进一步地,具有在色域/亮度转换单元210中调节的色域和亮度的字幕位图数据被供应至视频叠加单元211。在视频叠加单元211中,字幕位图数据被叠加在传输视频数据v1上。在这种情况下,字幕位图数据与传输视频数据v1以预定比例混合。

在视频叠加单元211中获得并且与位图数据叠加的传输视频数据v1'在ycbcr/rgb转换单元212中被从ycbcr(亮度/色差)域转换为rgb域,然后被供应至电光转换单元213。在电光转换单元213中,通过使用对应于应用于此的光电转换特性的电光转换特性将电光转换应用于传输视频数据v1',并且获得显示视频数据以显示图像。

显示视频数据被供应至显示映射单元214。在显示映射单元214中,根据ce监视器215的最高亮度显示能力等为显示视频数据执行显示亮度调节。因此经受显示亮度调节的显示视频数据被供应至ce监视器215。在ce监视器215中,基于显示视频数据显示图像。

如上所述,在图1中示出的传输/接收系统10中,接收装置200将字幕位图数据的色域调节为视频数据的色域,并且将字幕位图数据的亮度的最高水平调节成为视频数据的亮度的参考水平或者低于该参考水平。因此,当字幕数据叠加在视频数据上时,可以保持图像高品质。

进一步地,在图1中示出的传输/接收系统10中,当视频数据的混合比超过阈值时,接收装置200将视频数据的字幕叠加区域(region)中的亮度水平调节成为低于调节了亮度水平的字幕位图数据的亮度的最高水平。因此,可以防止字幕(标题)被背景视频(背景图像)的高亮度部分阻挡,从而可以改善字幕的可读度。

<2.变形例>

在上述实施方式中,应注意,已经为其中容器是传输流(mpeg-2ts)的实例提供描述。然而,传输不限于本技术中的ts,并且即使在采用诸如iso基媒体文件格式(isobmff)和mpeg媒体传输(mmt)等其他数据包的情况下,也可以相同方法实现视频层。进一步地,在将ttml转换到如上所述的片段中之后,字幕流的成分不必局限于布置在多路复用有效载荷上的pes分组。通过将ttml直接布置在pes分组上或者布置在上述多路复用有效载荷上的部分也可以实现本技术中公开的主题。

进一步地,本技术还可以具有以下配置。

(1)一种接收装置,包括:

电路,被配置为:

接收视频流和字幕流;

处理视频流以获得视频的视频数据;

处理字幕流以获得字幕位图图像的字幕位图数据;

将字幕位图数据的色域调节为视频数据的色域,基于字幕位图数据的色域识别信息和视频数据的色域识别信息调节字幕位图数据的色域;并且

在视频上叠加已调节色域的字幕位图图像。

(2)根据以上项(1)所述的接收装置,其中,电路被配置为从一层字幕流或者包括视频流和字幕流的一层容器获得字幕位图数据的色域识别信息。

(3)根据以上项(2)所述的接收装置,其中,当字幕位图数据的色域识别信息不是从一层字幕流或者一层容器获得时,字幕位图数据的色域识别信息被设置为默认范围。

(4)根据以上项(1)至(3)中任一项所述的接收装置,其中,电路被配置为将字幕位图数据的亮度的最高水平调节为视频数据的亮度的参考水平或者低于该参考水平,基于字幕位图数据的动态范围信息和视频数据的动态范围信息调节亮度的最高水平。

(5)根据以上项(4)所述的接收装置,其中,电路被配置为从一层字幕流或者包括视频流和字幕流的一层容器获得字幕位图数据的动态范围信息。

(6)根据以上项(5)所述的接收装置,其中,当字幕位图数据的动态范围信息不是从一层字幕流或者一层容器获得时,字幕位图数据的动态范围被设置为默认范围。

(7)根据以上项(4)至(6)中任一项所述的接收装置,其中,电路被配置为调节视频的其中被叠加已调节色域的字幕位图图像的区域中的亮度水平。

(8)根据以上项(7)所述的接收装置,其中,电路被配置为对应于视频的其中被叠加已调节色域的字幕位图图像的区域中存在的高亮度像素来减小视频数据的亮度水平。

(9)根据以上项(7)或者(8)所述的接收装置,其中,电路被配置为当视频数据的混合比超过阈值时,调节视频数据的亮度水平。

(10)一种接收方法,包括:

通过电路接收视频流和字幕流;

处理视频流以获得视频的视频数据;

处理字幕流以获得字幕位图图像的字幕位图数据;

将字幕位图数据的色域调节为视频数据的色域,基于字幕位图数据的色域识别信息和视频数据的色域识别信息调节字幕位图数据的色域;并且

在视频上叠加已调节色域的字幕位图图像。

(11)一种接收装置,包括:

电路,被配置为:

接收视频流和字幕流;

处理视频流以获得视频的视频数据;

处理字幕流以获得字幕位图图像的字幕位图数据;

将字幕位图数据的亮度的最高水平调节为视频数据的亮度的参考水平或者低于该参考水平,基于字幕位图数据的动态范围信息和视频数据的动态范围信息调节字幕位图数据的亮度的最高水平;并且

在视频上叠加已调节亮度的字幕位图图像。

(12)根据以上项(11)所述的接收装置,其中,电路被配置为从一层字幕流或者包括视频流和字幕流的一层容器获得字幕位图数据的动态范围信息。

(13)根据以上项(12)所述的接收装置,其中,当字幕位图数据的动态范围信息不是从一层字幕流或者一层容器获得时,字幕位图数据的动态范围被设置为默认范围。

(14)根据以上项(11)至(13)中任一项所述的接收装置,其中,电路被配置为调节视频的其中被叠加已调节亮度的字幕位图图像的区域中的亮度水平。

(15)根据以上项(14)所述的接收装置,其中,电路被配置为对应于已调节亮度的字幕位图图像被叠加的区域中存在的高亮度像素来减小视频的亮度水平。

(16)根据以上项(14)或者(15)所述的接收装置,其中,电路被配置为当视频数据的混合比超过阈值时,调节视频数据的亮度水平。

(17)一种接收方法,包括:

通过电路接收视频流和字幕流;

处理视频流以获得视频的视频数据;

处理字幕流以获得字幕位图图像的字幕位图数据;

将字幕位图数据的亮度的最高水平调节为视频数据的亮度的参考水平或者低于该参考水平,基于字幕位图数据的动态范围信息和视频数据的动态范围信息调节字幕位图数据的亮度的最高水平;并且

在视频上叠加已调节亮度的字幕位图图像。

(18)一种传输装置,包括:

电路,被配置为:

传输视频流和字幕流;并且

将包括在字幕流中的与字幕数据相关的色域识别信息和/或动态范围信息插入一层字幕流和/或包括视频流和字幕流的一层容器中。

(19)根据以上项(18)所述的传输装置,其中,字幕数据是预定格式的字幕文本信息。

(20)一种传输方法,包括:

通过电路传输视频流和字幕流;并且

将包括在字幕流中的与字幕数据相关的色域识别信息和/或动态范围信息插入一层字幕流和/或包括视频流和字幕流的一层容器中。

(21)一种接收装置,包括:

接收单元,适用于接收预定格式的容器,在该容器中包括具有视频数据的视频流和具有字幕数据的字幕流;

视频解码单元,适用于将解码处理应用于视频流以获得视频数据;

字幕解码单元,适用于将解码处理应用于字幕流以获得字幕位图数据;

色域处理单元,适用于基于字幕位图数据的色域识别信息和视频数据的色域识别信息将字幕位图数据的色域调节为视频数据的色域;以及

视频叠加单元,适用于在视频数据上叠加已调节色域的字幕位图数据。

(22)根据以上项(21)所述的接收装置,其中,色域处理单元使用从一层字幕流或一层容器获得的色域识别信息作为字幕位图数据的色域识别信息。

(23)根据以上项(22)所述的接收装置,其中,当字幕位图数据的色域识别信息不是从一层字幕流或者一层容器获得时,色域处理单元使用默认设置的色域识别信息作为字幕位图数据的色域识别信息。

(24)根据以上项(21)至(23)中任一项所述的接收装置,进一步包括亮度处理单元,该亮度处理单元适用于基于字幕位图数据的动态范围信息和视频数据的动态范围信息将字幕位图数据的亮度的最高水平调节成为视频数据的亮度的参考水平或者低于该参考水平。

(25)根据以上项(24)所述的接收装置,其中,亮度处理单元使用从一层字幕流或者一层容器获得的动态范围信息作为字幕位图数据的动态范围信息。

(26)根据以上项(25)所述的接收装置,其中,当字幕位图数据的动态范围信息不是从一层字幕流或者一层容器获得时,亮度处理单元使用默认设置的动态范围信息作为字幕位图数据的动态范围。

(27)根据以上项(24)至(26)中任一项所述的接收装置,进一步包括视频水平调节单元,该视频水平调节单元插入视频解码单元与视频叠加单元之间,并且适用于调节视频数据的字幕数据叠加区域中的亮度水平。

(28)根据以上项(27)所述的接收装置,其中,视频水平调节单元执行调节以便对应于字幕数据叠加区域中存在的高亮度像素减小视频数据的亮度水平。

(29)根据以上项(27)或者(28)所述的接收装置,其中,当视频叠加单元中的视频数据的混合比超过阈值时,视频水平调节单元调节视频数据的亮度水平。

(30)一种接收方法,包括:

通过接收单元接收预定格式的容器,在该容器中包括具有视频数据的视频流和具有字幕数据的字幕流;

将解码处理应用于视频流以获得视频数据;

将解码处理应用于字幕流以获得字幕位图数据;

基于字幕位图数据的色域识别信息和视频数据的色域识别信息将字幕位图数据的色域调节为视频数据的色域;并且

在视频数据上叠加已调节色域的字幕位图数据。

(31)一种接收装置,包括:

接收单元,适用于接收预定格式的容器,在该容器中包括具有视频数据的视频流和具有字幕数据的字幕流;

视频解码单元,适用于将解码处理应用于视频流以获得视频数据;

字幕解码单元,适用于将解码处理应用于字幕流以获得字幕位图数据;

亮度处理单元,适用于基于字幕位图数据的动态范围信息和视频数据的动态范围信息将字幕位图数据的亮度的最高水平调节成为视频数据的亮度的参考水平或者低于该参考水平;以及

视频叠加单元,适用于在视频数据上叠加已调节亮度的字幕位图数据。

(32)根据以上项(31)所述的接收装置,其中,亮度处理单元使用从一层字幕流或者一层容器获得的动态范围信息作为字幕位图数据的动态范围信息。

(33)根据以上项(32)所述的接收装置,其中,当字幕位图数据的动态范围信息不是从一层字幕流或者一层容器获得时,亮度处理单元使用默认设置的动态范围信息作为字幕位图数据的动态范围。

(34)根据以上项(31)至(33)中任一项所述的接收装置,进一步包括视频水平调节单元,该视频水平调节单元插入视频解码单元与视频叠加单元之间,并且适用于调节视频数据的字幕数据叠加区域中的亮度水平。

(35)根据以上项(34)所述的接收装置,其中,视频水平调节单元执行调节以便对应于字幕数据叠加区域中存在的高亮度像素减小视频数据的亮度水平。

(36)根据以上项(34)或者(35)所述的接收装置,其中,当视频叠加单元中的视频数据的混合比超过阈值时,视频水平调节单元调节视频数据的亮度水平。

(37)一种接收方法,包括:

通过接收单元接收预定格式的容器,在该容器中包括具有视频数据的视频流和具有字幕数据的字幕流;

将解码处理应用于视频流以获得视频数据;

将解码处理应用于字幕流以获得字幕位图数据;

基于字幕位图数据的动态范围信息和视频数据的动态范围信息将字幕位图数据的亮度的最高水平调节成为视频数据的亮度的参考水平或者低于该参考水平;并且

在视频数据上叠加已调节亮度的字幕位图数据。

(38)一种传输装置,包括:

传输单元,适用于传输预定格式的容器,在该容器中包括具有视频数据的视频流和具有字幕数据的字幕流;以及

信息插入单元,适用于将与字幕数据相关的色域识别信息和/或动态范围信息插入一层字幕流和/或一层容器中。

(39)根据以上项(38)所述的传输装置,其中,字幕数据是预定格式的字幕文本信息。

(40)一种传输方法,包括:

通过传输单元传输预定格式的容器,在该容器中包括具有视频数据的视频流和具有字幕数据的字幕流;并且

将与字幕数据相关的色域识别信息和/或动态范围信息插入一层字幕流和/或一层容器中。

本技术的主要特征在于:当通过将字幕位图数据的色域调节为视频数据的色域并且进一步将字幕位图数据的亮度的最高水平调节成为视频数据的亮度的参考水平或者低于该参考水平而将字幕数据叠加在视频数据上时,可以保持图像高品质(参考图15至图19)。

进一步地,本技术的另一主要特征在于:当视频数据的混合比超过阈值时,通过将视频数据的亮度水平调节成为低于字幕位图数据的亮度的最高水平,可以防止字幕被背景视频的高亮度部分阻挡并且可以改善字幕的可读度。

[参考符号列表]

10图像传输/接收系统

100传输装置

101控制单元

102照相机

103视频光电转换单元

104rgb/ycbcr转换单元

105视频编码器

106字幕生成单元

107文本格式转换单元

108字幕编码器

109系统编码器

110传输单元

111位图数据生成单元

112字幕光电转换单元

113字幕编码器

200接收装置

201控制单元

202接收单元

203系统解码器

204视频解码器

205视频水平调节单元

205y配置单元

206字幕编码器

207字体开发单元

208字幕编码器

209ycbcr/rgb转换单元

210色域/亮度转换单元

211视频叠加单元

212ycbcr/rgb转换单元

213电光转换单元

214显示映射单元

215ce监视器

221电光转换单元

222色域转换单元

223光电转换单元

224rgb/ycbcr转换单元

225亮度转换单元

225y配置单元

231编码的像素位数调节单元

232水平调节单元

241水平调节控制单元

242高亮度检测单元

243水平调节单元

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1