直播字幕添加方法、装置及设备与流程

本发明实施例涉及音视频，具体涉及一种直播字幕添加方法、装置及设备。

背景技术：

1、目前实现字幕添加主要是针对离线文件字幕及会议字幕，尚没有在视频直播的成熟应用，本申请的发明人发现，现有方案在垂直场景例如赛事直播场景下准确率较低，存在同音字识别不准、无法准确识别人名及专业术语以及时间轴不对齐等一系列问题。

技术实现思路

1、鉴于上述问题，本发明实施例提供了一种直播字幕添加方法、装置及设备，用于解决现有技术中存在的字幕添加方案在垂直场景下准确率较低的问题。

2、根据本发明实施例的一个方面，提供了一种直播字幕添加方法，所述方法包括：

3、将从直播流中提取的待转写音频实时进行文本转写，得到第一文本；所述第一文本中包括字幕时间戳；

4、对所述第一文本进行纠错，得到第二文本；所述对所述第一文本进行纠错，包括根据预设的图谱热词对所述第一文本进行纠错；所述预设的图谱热词为根据预设的知识图谱及所述直播流对应的直播信息确定；

5、据所述第二文本生成带有字幕时间戳的第一字幕；

6、根据所述字幕时间戳将所述第一字幕添加至所述直播流中。

7、在一种可选的方式中，所述根据所述字幕时间戳将所述第一字幕添加至所述直播流中，包括：

8、根据所述字幕时间戳与所述直播流时间戳，对所述第一字幕及所述直播流进行对齐处理，得到对齐信息；

9、根据所述对齐信息，将所述第一字幕添加至所述直播流中。

10、在一种可选的方式中，所述根据所述字幕时间戳与所述直播流时间戳，对所述第一字幕及所述直播流进行对齐处理，得到对齐信息，还包括：

11、确定所述直播流是否发生网络抖动；

12、当发生网络抖动时，获取新的直播流时间戳；

13、根据所述字幕时间戳与所述新的直播流时间戳，对所述第一字幕及所述直播流进行对齐处理，得到对齐信息。

14、在一种可选的方式中，所述对所述第一字幕及所述直播流进行对齐处理，得到对齐信息之后，所述方法还包括：

15、根据所述对齐信息，将所述第一字幕插入到ts流中的sei，得到ts流字幕；

16、将所述ts流字幕添加至所述直播流中。

17、在一种可选的方式中，所述将所述ts流字幕添加至所述直播流中之后，所述方法还包括：

18、将添加了ts流字幕的直播流推送至cdn；

19、从cdn获取并分离所述添加了ts流字幕的直播流，得到视频信息与所述ts流字幕，解析所述ts流字幕，以在所述直播流播放时同步显示字幕。

20、在一种可选的方式中，所述sei包括字幕位置信息；所述方法还包括：根据所述sei对视频区域的字幕位置信息进行动态调整。

21、在一种可选的方式中，所述据所述第二文本生成带有字幕时间戳的第一字幕之前，所述方法还包括：

22、将所述第二文本翻译成至少两种语言，得到翻译后的第二文本。

23、在一种可选的方式中，所述对所述第一文本进行纠错，得到第二文本，还包括：

24、对所述第一文本进行敏感词屏蔽，得到敏感词屏蔽的所述第二文本。

25、根据本发明实施例的另一方面，提供了一种直播字幕添加装置，包括：

26、转写模块，用于将从直播流中提取的待转写音频实时进行文本转写，得到第一文本；所述第一文本中包括字幕时间戳；

27、纠错模块，用于对所述第一文本进行纠错，得到第二文本；所述对所述第一文本进行纠错，包括根据预设的图谱热词对所述第一文本进行纠错；所述预设的图谱热词为根据预设的知识图谱及所述直播流对应的直播信息确定；

28、字幕生成模块，用于根据所述第二文本生成带有字幕时间戳的第一字幕；

29、字幕添加模块，用于根据所述字幕时间戳将所述第一字幕添加至所述直播流中。

30、根据本发明实施例的另一方面，提供了一种直播字幕添加设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

31、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述一种直播字幕添加方法的操作。

32、本发明实施例提供了一种直播字幕添加方法，通过预设的图谱热词，使最后得到的直播字幕在垂直场景下准确率有效提高，提高用户的观看体验。

33、上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种直播字幕添加方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述字幕时间戳将所述第一字幕添加至所述直播流中，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述字幕时间戳与所述直播流时间戳，对所述第一字幕及所述直播流进行对齐处理，得到对齐信息，还包括：

4.根据权利要求3所述的方法，其特征在于，所述对所述第一字幕及所述直播流进行对齐处理，得到对齐信息之后，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述将所述ts流字幕添加至所述直播流中之后，所述方法还包括：

6.根据权利要求4所述的方法，其特征在于，所述sei包括字幕位置信息；所述方法还包括：根据所述sei对视频区域的字幕位置信息进行动态调整。

7.根据权利要求1所述的方法，其特征在于，所述据所述第二文本生成带有字幕时间戳的第一字幕之前，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述对所述第一文本进行纠错，得到第二文本，还包括：

9.一种直播字幕添加装置，其特征在于，所述装置包括：

10.一种直播字幕添加设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

技术总结
本发明实施例涉及音视频技术领域，公开了一种体育直播字幕方法、装置及设备，该方法包括：将从直播流中提取的待转写音频实时进行文本转写，得到第一文本；所述第一文本中包括字幕时间戳；对所述第一文本进行纠错，得到第二文本；所述对所述第一文本进行纠错，包括根据预设的图谱热词对所述第一文本进行纠错；所述预设的图谱热词为根据预设的知识图谱及所述直播流对应的直播信息确定；据所述第二文本生成带有字幕时间戳的第一字幕；根据所述字幕时间戳将所述第一字幕添加至所述直播流中。通过上述方式，本发明实施例通过预设的图谱热词，使最后得到的直播字幕在垂直场景下准确率有效提高，提高用户的观看体验。

技术研发人员：周效军,相迎迎,陆彦良,宋国栋
受保护的技术使用者：咪咕文化科技有限公司
技术研发日：
技术公布日：2024/1/13