预先录制的视频的自动语音翻译配音的制作方法

本申请涉及预先录制的视频的自动语音翻译配音。

背景技术：

1、将视频中的话语从原始记录的语言翻译成另一种语言可能涉及将翻译音频部分语音配音到原始视频上的劳动密集型工作。通常，语音配音指代将其他或补充录音(配音的话语)与原始录制的话语组合以创建视频的最终声迹。但是，配音的话语可能与原始录制的话语不同，并且可能不与原始录制的话语的开始时间和结束时间对齐。结果，翻译音频可能看起来不同步，并且可能对观看者没有吸引力。

技术实现思路

1、下文是本公开的简化
技术实现要素：
以便提供对本公开的一些方面的基本理解。此发明内容不是本公开的广泛概要。它既不旨在识别本公开的关键或决定性元素，也不旨在划定本公开的特定实施方式的任何范围或权利要求的任何范围。其唯一目的是为了以简化形式呈现本公开的一些构思作为稍后呈现的更详细描述的序言。

2、本公开的实施方式可以包括由处理设备识别视频的原始字幕数据的方法，其中原始字幕数据包括与视频的音频部分相关联的多个字幕字符串。处理设备可以识别针对视频的音频部分而生成的话语辨识数据，其中话语辨识数据包括多个生成字符串以及针对每个生成字符串的相关联的定时信息。处理设备可以使用指示多个字幕字符串的单独字幕字符串与多个生成字符串的单独生成字符串之间的语义相似性的指配值来映射多个生成字符串。该方法可以进一步基于映射的单独生成字符串的定时信息将定时信息指配给单独字幕字符串。处理设备可以使用指配的单独字幕字符串的定时信息来将原始字幕数据的翻译与视频的音频部分对齐。

3、本公开的实施方式可以包括一种用于生成原始字幕数据的翻译的翻译音频话语的方法。翻译音频话语可以是包含翻译音频话语分段集的机器生成的音频话语。该方法可以进一步包括，将音频话语分段集中的翻译音频话语分段覆盖在视频的视频分段上，该视频的视频分段对应于翻译音频话语分段中的每一个的时间间隔。该方法可以进一步包括生成第二视频，该第二视频包含视频的视频部分和包括覆盖的翻译音频话语分段的翻译音频部分。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，所述字幕语句片段集合是使用所述多个字幕字符串中的标点符号从所述多个字幕字符串而被生成。

3.根据权利要求1所述的方法，进一步包括：

4.根据权利要求3所述的方法，进一步包括：通过将所述多个字幕字符串映射到所述多个生成字符串来确定与所述原始字幕数据相关联的所述定时，并且基于映射的单独生成字符串的定时信息，来向所述原始字幕数据的单独字幕字符串指配定时信息，其中，与所述原始字幕数据相关联的所述定时与被指配给所述原始字幕数据的所述单独字幕字符串的所述定时信息相对应。

5.根据权利要求4所述的方法，其中，使用指示所述单独字幕字符串与所述多个生成字符串中的单独生成字符串之间的语义相似性的指配值，所述多个字幕字符串被映射到所述多个生成字符串。

6.根据权利要求4所述的方法，进一步包括：在将所述多个字幕字符串映射到所述多个生成字符串之前，通过去除非说出的字符串来标准化所述多个字幕字符串和所述多个生成字符串。

7.根据权利要求5所述的方法，其中，使用指示所述多个字幕字符串中的所述单独字幕字符串与所述多个生成字符串中的所述单独生成字符串之间的语义相似性的所述指配值，来将所述多个字幕字符串映射到所述多个生成字符串包括：

8.根据权利要求5所述的方法，其中，使用所述指配值将所述多个字幕字符串映射到所述多个生成字符串包括：

9.根据权利要求1所述的方法，其中，使用所述翻译语句片段集合中的连续翻译语句片段生成所述翻译语句集合包括：

10.根据权利要求1所述的方法，进一步包括：

11.根据权利要求1所述的方法，进一步包括：

12.根据权利要求11所述的方法，其中，将所述翻译音频话语分段集合中的所述翻译音频话语分段覆盖到所述视频的所述视频分段上包括：

13.根据权利要求11所述的方法，其中，将所述翻译音频话语分段集合中的所述翻译音频话语分段覆盖到所述视频的所述视频分段上包括：

14.一种系统，包括：

技术总结
本申请公开了预先录制的视频的自动语音翻译配音，提供了一种将原始字幕数据的翻译与视频的音频部分对齐的方法。该方法包括由处理设备识别包括多个字幕字符串的视频的原始字幕数据。处理设备识别话语辨识数据，该话语辨识数据包括多个生成字符串以及每个生成字符串的相关联的定时信息。处理设备使用指示字符串之间的语义相似性的指配值将多个字幕字符串映射到多个生成字符串。处理设备基于映射的单独生成字符串的定时信息来将定时信息指配给单独字幕字符串。处理设备使用单独字幕字符串的指配的定时信息将原始字幕数据的翻译与视频的音频部分对齐。

技术研发人员：小特伦斯·保罗·麦卡特尼,布赖恩·科隆纳,迈克尔·内希巴
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/1/15