一种AI字幕修正方法、装置及云视频服务器与流程

一种ai字幕修正方法、装置及云视频服务器
技术领域
1.本公开涉及视频字幕技术领域，具体而言，涉及一种ai字幕修正方法、装置及云视频服务器。


背景技术：

2.随着视频网站的兴起，越来越多的人开始在网络上通过视频形式分享自己的生活，而为了让观众有更好的观影体验，部分视频制作者会以内嵌或外嵌的方式嵌入字幕，从而方便观众观看。然而制作字幕对于视频制作者而言是一项工程量较大的工作，因此，目前视频网站支持ai识别或观众上传外嵌字幕，然而上述方式中，可能会存在ai识别率不高或观众制作字幕存在纰漏，从而造成字幕中存在错误，因此降低了观看体验。


技术实现要素：

3.为了至少克服现有技术中的上述不足，本公开的目的在于提供一种ai字幕修正方法、装置及云视频服务器。
4.第一方面，本公开提供一种ai字幕修正方法，包括：获取当前视频的外嵌srt字幕；所述外嵌srt字幕为用户对所述当前视频发布的自制字幕；检测得到所述外嵌srt字幕中的目标词组；所述目标词组为所述外嵌srt字幕中契合度低于第一阈值的词组，所述目标词组的契合度基于将所述目标词组输入至热词库中得到；获取与所述目标词组对应的所述当前视频的视频帧，并识别所述视频帧中的内容信息；若所述内容信息与所述目标词组不匹配，则对所述目标词组进行修正。
5.第二方面，本公开提供一种ai字幕修正装置，包括：外嵌单元，用于获取当前视频的外嵌srt字幕；所述外嵌srt字幕为用户对所述当前视频发布的自制字幕；校对单元，用于检测得到所述外嵌srt字幕中的目标词组；所述目标词组为所述外嵌srt字幕中契合度低于第一阈值的词组，所述目标词组的契合度基于将所述目标词组输入至热词库中得到；匹配单元，用于获取与所述目标词组对应的所述当前视频的视频帧，并识别所述视频帧中的内容信息；修正单元，用于若所述内容信息与所述目标词组不匹配，则对所述目标词组进行修正。
6.第三方面，本公开实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其被执行时，使得计算机执行上述第一方面或者第一方面中任意一个可能的设计中的ai字幕修正方法。
7.第四方面，本公开实施例还提供一种云视频服务器，所述云视频服务器包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个客户端通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行第一方面或者第一方面中任意一个可能的设计中的ai字幕修正方法。
8.基于上述任意一个方面，本公开提供一种ai字幕修正方法、装置及云视频服务器。该方法包括：获取当前视频的外嵌srt字幕；所述外嵌srt字幕为用户对所述当前视频发布的自制字幕；检测得到所述外嵌srt字幕中的目标词组；所述目标词组为所述外嵌srt字幕中契合度低于第一阈值的词组，所述目标词组的契合度基于将所述目标词组输入至热词库中得到；获取与所述目标词组对应的所述当前视频的视频帧，并识别所述视频帧中的内容信息；若所述内容信息与所述目标词组不匹配，则对所述目标词组进行修正。使用该方法可以提高自制字幕中错误词组的识别能力和修复能力，有效纠正自制字幕中的错别词组，并可以基于上述错误进行自学习，从而提升了观影体验。
附图说明
9.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
10.图1为本公开实施例提供的ai字幕修正系统的应用场景示意图；图2为本公开实施例提供的ai字幕修正方法的流程示意图；图3为本公开实施例提供的ai字幕修正装置的功能模块示意图；图4为本公开实施例提供的用于实现上述的ai字幕修正方法的云视频服务器的结构示意框图。
具体实施方式
11.下面结合说明书附图对本公开进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
12.图1是本公开一种实施例提供的ai字幕修正系统10的交互示意图。ai字幕修正系统10可以包括云视频服务器100以及与所述云视频服务器100通信连接的客户端200。图1所示的ai字幕修正系统10仅为一种可行的示例，在其它可行的实施例中，该ai字幕修正系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
13.本实施例中，客户端200可以包括移动设备、平板计算机、膝上型计算机等或其任意组合。在一些实施例中，移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机等，或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等，或其任何组合。在一些实施例中，智能移动设备可以包括智能手机、个人数字助理、游戏设备等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强
现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。
14.本实施例中，ai字幕修正系统10中的云视频服务器100和客户端200可以通过配合执行以下方法实施例所描述的ai字幕修正方法，具体云视频服务器100和客户端200的执行步骤部分可以参照以下方法实施例的详细描述。
15.为了解决前述背景技术中的技术问题，图2为本公开实施例提供的ai字幕修正方法的流程示意图，本实施例提供的ai字幕修正方法可以由图1中所示的云视频服务器100执行，下面对该ai字幕修正方法进行详细介绍。
16.步骤s110，获取当前视频的外嵌srt字幕；所述外嵌srt字幕为用户对所述当前视频发布的自制字幕；步骤s120，检测得到所述外嵌srt字幕中的目标词组；所述目标词组为所述外嵌srt字幕中契合度低于第一阈值的词组，所述目标词组的契合度基于将所述目标词组输入至热词库中得到；步骤s130，获取与所述目标词组对应的所述当前视频的视频帧，并识别所述视频帧中的内容信息；步骤s140，若所述内容信息与所述目标词组不匹配，则对所述目标词组进行修正。
17.在一个可能的实施例中，ai字幕修正方法还包括获取所述目标词组对应的候选词组；所述候选词组的契合度大于所述目标词组的契合度，所述候选词组的契合度基于将所述候选词组输入至所述热词库中得到；将所述目标词组替换为所述候选词组。
18.在一个可能的实施例中，检测得到所述外嵌srt字幕中的目标词组具体为：将所述外嵌srt字幕输入至所述热词库中，得到所述外嵌srt字幕中的第一词组的契合度；在所述第一词组的契合度小于第二阈值的情况下，将所述第一词组作为所述目标词组。
19.在一个可能的实施例中，所述热词库包括第一热词库和第二热词库，所述第一热词库基于训练视频的视频标签得到，所述第二热词库基于所述训练视频的自制字幕得到。
20.在一个可能的实施例中，将所述外嵌srt字幕输入至所述热词库中，得到所述外嵌srt字幕中的第一词组的契合度，具体包括将所述外嵌srt字幕输入至所述第一热词库中，得到所述第一词组的第一估值；将所述外嵌srt字幕输入至所述第二热词库中，得到所述第一词组的第二估值；将所述第一估值和所述第二估值加权求和的结果，作为所述第一词组的契合度。
21.在一个可能的实施例中，步骤s130还包括：步骤s131，当出现所述目标词组时，截取与所述目标词组时间戳对应的所述当前视频的视频帧；步骤s132，对所述视频帧中进行识别，得到所述视频帧中的目标物体；步骤s133，判断所述目标物体是否与所述目标词组匹配。
22.在一个可能的实施例中，步骤s133还包括：步骤s1331，若所述目标物体与目标词组匹配，则认为所述目标词组正确；步骤s1332，若所述目标物体与目标词组不匹配，则认为所述目标词组错误。
23.在一个可能的实施例中，步骤s140还包括：
步骤s141，若所述内容信息与所述目标词组不匹配，则获取所述内容信息对应的正确词组；步骤s142，将所述目标词组替换为所述正确词组。
24.图3为本公开实施例提供的ai字幕修正装置300的功能模块示意图，本实施例可以根据上述云视频服务器100执行的方法实施例对该ai字幕修正装置300进行功能模块的划分，也即该ai字幕修正装置300所对应的以下各个功能模块可以用于执行上述云视频服务器100执行的各个方法实施例。其中，该ai字幕修正装置300可以包括外嵌单元310、校对单元320、匹配单元330以及修正单元340，下面分别对该ai字幕修正装置300的各个功能模块的功能进行详细阐述。
25.外嵌单元310可以用于执行上述的步骤s110，即用于获取当前视频的外嵌srt字幕；所述外嵌srt字幕为用户对所述当前视频发布的自制字幕。
26.校对单元320可以用于执行上述的步骤s120，即用于检测得到所述外嵌srt字幕中的目标词组；所述目标词组为所述外嵌srt字幕中契合度低于第一阈值的词组，所述目标词组的契合度基于将所述目标词组输入至热词库中得到。
27.匹配单元330可以用于执行上述的步骤s130，即用于获取与所述目标词组对应的所述当前视频的视频帧，并识别所述视频帧中的内容信息。
28.修正单元340可以用于执行上述的步骤s140，即用于若所述内容信息与所述目标词组不匹配，则对所述目标词组进行修正。
29.需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，外嵌单元310可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上外嵌单元310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
30.例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，asic)，或，一个或多个微处理器(digital signal processor，dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，soc)的形式实现。
31.图4示出了本公开实施例提供的用于实现上述的控制设备的云视频服务器100的硬件结构示意图，如图4所示，云视频服务器100可包括处理器110、机器可读存储介质120、总线130以及收发器140。
32.在具体实现过程中，至少一个处理器110执行所述机器可读存储介质120存储的计
算机执行指令（例如图3中所示的ai字幕修正装置300包括的），使得处理器110可以执行如上方法实施例的ai字幕修正方法，其中，处理器110、机器可读存储介质120以及收发器140通过总线130连接，处理器110可以用于控制收发器140的收发动作，从而可以与前述的客户端200进行数据收发。
33.处理器110的具体实现过程可参见上述云视频服务器100执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
34.在上述的图4所示的实施例中，应理解，处理器可以是中央处理单元(英文：central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，dsp)、专用集成电路(英文：application specificintegrated circuit，asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
35.机器可读存储介质120可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器。
36.总线130可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component interconnect，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
37.此外，本公开实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上ai字幕修正方法。
38.上述的可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
39.最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。