专利名称：数字电视手语配音方法及装置的制作方法
技术领域：
本发明涉及数字电视技术领域，尤其涉及数字电视手语配音方法及装置。
背景技术：
手语(SignLanguage，SL)是用手势比量动作，根据手势的变化模拟形象或者音节以构成的一定意思或词语，它是听力受损人士互相交际和交流思想的一种手的语言，它是“有声语言的重要辅助工具”，对于听力受损人士来说，它是主要的交际工具。在数字电视的应用过程中，如何实现手语配音视频与数字电视节目视频的同步展现，便于听力受损人士观看数字电视节目内容，成为一个急待解决的技术问题。
发明内容
本发明实施例提供一种数字电视手语配音方法，用以实现手语配音视频与数字电视节目视频的同步展现，该方法包括:获得与当前播放的数字电视节目视频相匹配的手语配音视频；将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率；将所述手语配音视频嵌入所述数字电视节目视频，合成后输出至显示屏进行显示；显示前进行时移缓冲处理。本发明实施例还提供一种数字电视手语配音装置，用以实现手语配音视频与数字电视节目视频的同步展现，该装置包括:手语配音获得模块，用于获得与当前播放的数字电视节目视频相匹配的手语配音视频；帧率调整模块，用于将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率；输出处理模块，用于将所述手语配音视频嵌入所述数字电视节目视频，合成后输出至显示屏进行显示；显示前进行时移缓冲处理。本发明实施例中，获得与当前播放的数字电视节目视频相匹配的手语配音视频；将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率；将所述手语配音视频嵌入所述数字电视节目视频，合成后输出至显示屏；显示前进行时移缓冲处理，从而实现了手语配音视频与数字电视节目视频的同步展现。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中数字电视手语配音方法的处理流程图；图2为本发明实施例中获得与当前播放的数字电视节目视频相匹配的手语配音视频的不意图；图3为本发明实施例中数字电视节目视频与手语配音视频的同步处理示意图；图4为本发明实施例中时移缓冲处理的示意图；图5为本发明实施例中数字电视手语配音方法的一具体实例的示意图；图6为本发明实施例中数字电视手语配音方法的另一具体实例的示意图；图7为本发明实施例中的数字电视手语配音装置的结构示意图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。如图1所示，本发明实施例中数字电视手语配音方法的处理流程可以包括:步骤101、获得与当前播放的数字电视节目视频相匹配的手语配音视频；步骤102、将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率；步骤103、将所述手语配音视频嵌入所述数字电视节目视频，合成后输出至显示屏进行显示；显示前进行时移缓冲处理。由图1所示流程可以得知，本发明实施例中，获得与当前播放的数字电视节目视频相匹配的手语配音视频；将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率；将所述手语配音视频嵌入所述数字电视节目视频，合成后输出至显示屏进行显示；显示前进行时移缓冲处理，从而实现了手语配音视频与数字电视节目视频的同步展现。具体实施时，数字电视节目视频可以通过射频方式获得或者通过网络获得。获得与当前播放的数字电视节目视频相匹配的手语配音视频可以有多种方式，例如:从电视机外部存储设备读取所述手语配音视频；或，从网络下载所述手语配音视频，具体的，可以从网络下载播放或直播(progressive download/live)手语配音视频。又如，可以接收通过射频信号传输的所述数字电视节目视频，根据所述数字电视节目视频实时生成所述手语配音视频，以实现实时手语电视。图2为获得与当前播放的数字电视节目视频相匹配的手语配音视频的示意图。如图2所示，从电视机外部存储设备读取所述手语配音视频，可以包括:对从电视机外部存储设备读取的图像帧进行屏幕抓取，将抓取的图像进行缓冲及字幕提取，将提取的字幕进行文本至手语的转换，获得所述手语配音视频。从网络下载所述手语配音视频，可以包括:对从网络下载的媒体流中的字幕文件进行文本至手语的转换，获得所述手语配音视频。根据所述数字电视节目视频实时生成所述手语配音视频，可以包括:对所述数字电视节目视频的传送流进行缓冲及字幕提取，将提取的字幕进行文本至手语的转换，获得所述手语配音视频。具体实施时，获得与当前播放的数字电视节目视频相匹配的手语配音视频，还可以包括:将用户指定的人物形象确定为所述手语配音视频使用的人物形象。例如，手语配音视频使用的人物形象，可以是用户上传的人物形象。用户可以将自己喜欢的人物图片指定为手语配音视频使用的人物形象，实施时可以对用户指定的人物图片进行自动缩放处理，将其用于手语配音视频的人物形象使用。具体实施时，获得与当前播放的数字电视节目视频相匹配的手语配音视频，还可以包括:在所述手语配音视频中添加深度信息。在手语配音视频中添加深度信息，可以进行手语配音视频的3D模式显示，让观众感受面对面的沟通，用户可感觉到更近距离的与翻译者的沟通。实施时可以通过自动或手动指定深度信息来生成符合用户要求的3D模式显示的手语配音视频。具体实施时，将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率，实现了数字电视节目视频与手语配音视频的同步，该同步可以是定期或不定期地进行，具体可以有多种同步方式，例如:以所述数字电视节目视频的帧率为基准，将所述手语配音视频的帧率调整至与所述数字电视节目视频的帧率相同。又如:若所述手语配音视频的播放时长与所述数字电视节目视频中话音的播放时长不相等，则以所述手语配音视频的播放中间时间点与所述数字电视节目视频中话音的播放中间时间点对齐为准则，将所述手语配音视频的播放提前或滞后。图3为数字电视节目视频与手语配音视频的同步处理示意图。如图3所示，手语配音视频1、2的播放时长均与数字电视节目视频中话音的播放时长不相等，则以手语配音视频1、2的播放中间时间点与数字电视节目视频中话音的播放中间时间点对齐为准则，将手语配音视频1、2的播放提前或滞后。再如:若所述手语配音视频相对于所述数字电视节目视频的滞后时间大于设定值，则对所述手语配音视频进行丢帧处理，在当前时刻将所述数字电视节目视频的帧率与丢帧处理后的所述手语配音视频的帧率调整为相同的帧率。具体实施时，将所述手语配音视频嵌入所述数字电视节目视频，合成后输出至显示屏，显示前可进行时移缓冲处理，从而以时移电视的方式呈现给观众。图4为时移缓冲处理的示意图。如图4所示，携带手语的时移节目的播放相对于原始节目有一小段时间的移位/缓冲。具体实施时，还可以在显示前检测所述显示屏上的非用户感兴趣区域(RegionOflnterest, R0I)，在显示时将所述手语配音视频显示在所述非用户感兴趣区域，以避免影响对节目内容的观看。其中，检测所述显示屏上的非用户感兴趣区域，可以包括:生成所述数字电视节目视频的差值图像序列，具体的，可以对相邻显示图像帧做差，生成差值图像序列；根据所述差值图像序列，确定设定时间段内差值小于阈值的图像区域为所述非用户感兴趣区域。图5为本发明实施例中数字电视手语配音方法的一具体实例的示意图。如图5所示，经信源输入的媒体流传送至处理模块后，由处理模块进行媒体流文本至手语的转换，以及进行手语同步处理，同步处理后获得的手语配音视频传送至显示模块进行显示。信源输入的媒体流可以是经服务器从网络下载的，或者，网络传输的媒体流直接送入处理模块进行文本至手语的处理；实施时也可以从存储单元(例如存储有缓冲的数字电视节目视频传送流或从电视机外部存储设备读取的图像)获取传送流或图像送入处理模块，或者，也可以通过遥控器控制外部输入设备提供图像帧至处理模块。其中处理模块的详细处理过程可参见图2中获得手语配音视频的相关描述。图6为本发明实施例中数字电视手语配音方法的另一具体实例的示意图。如图6所示，信源输入后进行缓冲及音视频解码处理，获得数字电视节目视频送入显示模块进行显示；信源输入后进行字幕提取、文本转换成手语的处理、手语同步处理，获得手语配音视频送入显示模块进行显示；手语配音视频还可进行人物形象选择、及3D模式显示处理。其中对手语配音视频的详细处理过程可参见图2中获得手语配音视频的相关描述。本发明实施例中还提供了一种数字电视手语配音装置，如下面的实施例所述。由于该装置解决问题的原理与数字电视手语配音方法相似，因此该装置的实施可以参见数字电视手语配音方法的实施，重复之处不再赘述。如图7所示，本发明实施例中的数字电视手语配音装置可以包括:手语配音获得模块701，用于获得与当前播放的数字电视节目视频相匹配的手语配音视频；帧率调整模块702，用于将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率；输出处理模块703，用于将所述手语配音视频嵌入所述数字电视节目视频，合成后输出至显示屏进行显示；显示前进行时移缓冲处理。—个实施例中，所述手语配音获得模块701可以包括:第一获得单元，用于从电视机外部存储设备读取所述手语配音视频；或，第二获得单元，用于从网络下载所述手语配音视频；或，第三获得单元，用于接收通过射频信号传输的所述数字电视节目视频，根据所述数字电视节目视频实时生成所述手语配音视频。一个实施例中，所述第一获得单元具体可以用于:对从电视机外部存储设备读取的图像帧进行屏幕抓取，将抓取的图像进行缓冲及字幕提取，将提取的字幕进行文本至手语的转换，获得所述手语配音视频。一个实施例中，所述第二获得单元具体可以用于:对从网络下载的媒体流中的字幕文件进行文本至手语的转换，获得所述手语配音视频。一个实施例中，所述第三获得单元具体可以用于:对所述数字电视节目视频的传送流进行缓冲及字幕提取，将提取的字幕进行文本至手语的转换，获得所述手语配音视频。一个实施例中，所述手语配音获得模块701还可以用于:将用户指定的人物形象确定为所述手语配音视频使用的人物形象。一个实施例中，所述手语配音获得模块701还可以用于:在所述手语配音视频中添加深度信息。一个实施例中，所述帧率调整模块702具体可以用于:以所述数字电视节目视频的帧率为基准，将所述手语配音视频的帧率调整至与所述数字电视节目视频的帧率相同；或，若所述手语配音视频的播放时长与所述数字电视节目视频中话音的播放时长不相等，则以所述手语配音视频的播放中间时间点与所述数字电视节目视频中话音的播放中间时间点对齐为准则，将所述手语配音视频的播放提前或滞后；或，若所述手语配音视频相对于所述数字电视节目视频的滞后时间大于设定值，则对所述手语配音视频进行丢帧处理，在当前时刻将所述数字电视节目视频的帧率与丢帧处理后的所述手语配音视频的帧率调整为相同的帧率。—个实施例中，所述输出处理模块703可以进一步用于:在显示前检测所述显示屏上的非用户感兴趣区域，在显示时将所述手语配音视频显示在所述非用户感兴趣区域。—个实施例中，所述输出处理模块703具体可以用于:生成所述数字电视节目视频的差值图像序列；根据所述差值图像序列，确定设定时间段内差值小于阈值的图像区域为所述非用户感兴趣区域。综上所述，本发明实施例中，获得与当前播放的数字电视节目视频相匹配的手语配音视频；将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率；将所述手语配音视频嵌入所述数字电视节目视频，合成后输出至显示屏；显示前进行时移缓冲处理，从而实现了手语配音视频与数字电视节目视频的无缝对接和同步展现；还检测所述显示屏上的非用户感兴趣区域，将所述手语配音视频显示在所述非用户感兴趣区域，以免影响对数字电视节目内容的观看。听力受损人士在数字电视节目无字幕或读取数字电视节目的字幕信息有障碍时，可通过本发明实施例的数字电视手语配音方法或装置观看、学习数字电视节目内容，实现对更广泛数字电视内容的观看。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种数字电视手语配音方法，其特征在于，该方法包括: 获得与当前播放的数字电视节目视频相匹配的手语配音视频； 将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率； 将所述手语配音视频嵌入所述数字电视节目视频，合成后输出至显示屏进行显示；显示前进行时移缓冲处理。
2.如权利要求1所述的方法，其特征在于，获得与当前播放的数字电视节目视频相匹配的手语配音视频，包括: 从电视机外部存储设备读取所述手语配音视频； 或，从网络下载所述手语配音视频； 或，接收通过射频信号传输的所述数字电视节目视频，根据所述数字电视节目视频实时生成所述手语配音视频。
3.如权利要求2所述的方法，其特征在于，从电视机外部存储设备读取所述手语配音视频，包括: 对从电视机外部存储设备读取的图像帧进行屏幕抓取，将抓取的图像进行缓冲及字幕提取，将提取的字幕进行文本至手语的转换，获得所述手语配音视频。
4.如权利要求2所述的方法，其特征在于，从网络下载所述手语配音视频，包括: 对从网络下载的媒体流中的字幕文件进行文本至手语的转换，获得所述手语配音视频。
5.如权利要求2所述的方法，其特征在于，根据所述数字电视节目视频实时生成所述手语配音视频，包括: 对所述数字电视节目视频的传送流进行缓冲及字幕提取，将提取的字幕进行文本至手语的转换，获得所述手语配音视频。
6.如权利要求1所述的方法，其特征在于，获得与当前播放的数字电视节目视频相匹配的手语配音视频，还包括: 将用户指定的人物形象确定为所述手语配音视频使用的人物形象。
7.如权利要求1所述的方法，其特征在于，获得与当前播放的数字电视节目视频相匹配的手语配音视频，还包括: 在所述手语配音视频中添加深度信息。
8.如权利要求1所述的方法，其特征在于，将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率，包括: 以所述数字电视节目视频的帧率为基准，将所述手语配音视频的帧率调整至与所述数字电视节目视频的帧率相同； 或，若所述手语配音视频的播放时长与所述数字电视节目视频中话音的播放时长不相等，则以所述手语配音视频的播放中间时间点与所述数字电视节目视频中话音的播放中间时间点对齐为准则，将所述手语配音视频的播放提前或滞后； 或，若所述手语配音视频相对于所述数字电视节目视频的滞后时间大于设定值，则对所述手语配音视频进行丢帧处理，在当前时刻将所述数字电视节目视频的帧率与丢帧处理后的所述手语配音视频的帧率调整为相同的帧率。
9.如权利要求1所述的方法，其特征在于，在显示前还检测所述显示屏上的非用户感兴趣区域，在显示时将所述手语配音视频显示在所述非用户感兴趣区域。
10.如权利要求9所述的方法，其特征在于，检测所述显示屏上的非用户感兴趣区域，包括: 生成所述数字电视节目视频的差值图像序列； 根据所述差值图像序列，确定设定时间段内差值小于阈值的图像区域为所述非用户感兴趣区域。
11.一种数字电视手语配音装置，其特征在于，该装置包括: 手语配音获得模块，用于获得与当前播放的数字电视节目视频相匹配的手语配音视频； 帧率调整模块，用于将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率； 输出处理模块，用于将所述手语配音视频嵌入所述数字电视节目视频，合成后输出至显示屏进行显示；显示前进行时移缓冲处理。
12.如权利要求11所述的装置，其特征在于，所述手语配音获得模块包括: 第一获得单元，用于从电视机外部存储设备读取所述手语配音视频； 或，第二获得单元，用于从网络下载所述手语配音视频； 或，第三获得单元，用于接收通过射频信号传输的所述数字电视节目视频，根据所述数字电视节目视频实时生成所述手语配音视频。
13.如权利要求12所述的装置，其特征在于，所述第一获得单元具体用于: 对从电视机外部存储设备读取的图像帧进行屏幕抓取，将抓取的图像进行缓冲及字幕提取，将提取的字幕进行文本至手语的转换，获得所述手语配音视频。
14.如权利要求12所述的装置，其特征在于，所述第二获得单元具体用于: 对从网络下载的媒体流中的字幕文件进行文本至手语的转换，获得所述手语配音视频。
15.如权利要求12所述的装置，其特征在于，所述第三获得单元具体用于: 对所述数字电视节目视频的传送流进行缓冲及字幕提取，将提取的字幕进行文本至手语的转换，获得所述手语配音视频。
16.如权利要求11所述的装置，其特征在于，所述手语配音获得模块还用于: 将用户指定的人物形象确定为所述手语配音视频使用的人物形象。
17.如权利要求11所述的装置，其特征在于，所述手语配音获得模块还用于: 在所述手语配音视频中添加深度信息。
18.如权利要求11所述的装置，其特征在于，所述帧率调整模块具体用于: 以所述数字电视节目视频的帧率为基准，将所述手语配音视频的帧率调整至与所述数字电视节目视频的帧率相同； 或，若所述手语配音视频的播放时长与所述数字电视节目视频中话音的播放时长不相等，则以所述手语配音视频的播放中间时间点与所述数字电视节目视频中话音的播放中间时间点对齐为准则，将所述手语配音视频的播放提前或滞后； 或，若所述手语配音视频相对于所述数字电视节目视频的滞后时间大于设定值，则对所述手语配音视频进行丢帧处理，在当前时刻将所述数字电视节目视频的帧率与丢帧处理后的所述手语配音视频的帧率调整为相同的帧率。
19.如权利要求11所述的装置，其特征在于，所述输出处理模块进一步用于: 在显示前检测所述显示屏上的非用户感兴趣区域，在显示时将所述手语配音视频显示在所述非用户感兴趣区域。
20.如权利要求19所述的装置，其特征在于，所述输出处理模块具体用于: 生成所述数字电视节目视频的差值图像序列； 根据所述差值图像序列，确定设定时间段内差值小于阈值的图像区域为所述非用户感兴趣区域。
全文摘要
本发明公开了一种数字电视手语配音方法及装置，其中数字电视手语配音方法包括获得与当前播放的数字电视节目视频相匹配的手语配音视频；将所述数字电视节目视频的帧率与所述手语配音视频的帧率调整为相同的帧率；将所述手语配音视频嵌入所述数字电视节目视频，合成后输出至显示屏进行显示；显示前进行时移缓冲处理。采用本发明可以实现手语配音视频与数字电视节目视频的同步展现。
文档编号H04N21/434GK103188548SQ20111045630
公开日2013年7月3日 申请日期2011年12月30日 优先权日2011年12月30日
发明者贾杰, 赵容浩 申请人:乐金电子(中国)研究开发中心有限公司