视频标题生成方法、装置、电子设备和介质与流程

1.本公开涉及人工智能领域，具体为深度学习、视觉技术、自然语音处理等技术领域，更具体地，涉及一种视频标题生成方法、装置、电子设备、介质和程序产品。


背景技术：

2.随着自媒体行业的蓬勃发展，出现了越来越多的视频。针对每个视频，通常需要标注该视频的标题。相关技术通常通过人工标注视频标题，导致耗时耗力，并且标注效果较差。


技术实现要素：

3.本公开提供了一种视频标题生成方法、装置、电子设备、存储介质以及程序产品。
4.根据本公开的一方面，提供了一种视频标题生成方法，包括：响应于接收到针对视频数据的视频标题生成指令，针对所述视频标题中待生成的目标字词，确定所述目标字词的字词类别；根据所述字词类别，基于与所述视频数据相关联的文本内容、字词集合和针对所述视频标题中已生成字词中的至少一个，得到所述目标字词；基于所述目标字词，得到所述视频标题。
5.根据本公开的另一方面，提供了一种视频标题生成方法，包括：响应于接收到针对视频数据的视频标题生成指令，利用深度学习模型的编码网络对所述文本内容进行编码，得到文本向量；利用所述深度学习模型的解码网络基于所述文本向量执行以下解码操作：针对所述视频标题中待生成的目标字词，确定所述目标字词的字词类别；根据所述字词类别，基于与所述视频数据相关联的文本内容的所述文本向量、字词集合和针对所述视频标题中已生成字词中的至少一个，得到所述目标字词；基于所述目标字词，得到所述视频标题。
6.根据本公开的另一方面，提供了一种视频标题生成装置，包括：确定模块、第一获得模块以及第二获得模块。确定模块，用于响应于接收到针对视频数据的视频标题生成指令，针对所述视频标题中待生成的目标字词，确定所述目标字词的字词类别；第一获得模块，用于根据所述字词类别，基于与所述视频数据相关联的文本内容、字词集合和针对所述视频标题中已生成字词中的至少一个，得到所述目标字词；第二获得模块，用于基于所述目标字词，得到所述视频标题。
7.根据本公开的另一方面，提供了一种视频标题生成装置，包括：编码模块以及解码模块。编码模块，用于响应于接收到针对视频数据的视频标题生成指令，利用深度学习模型的编码网络对所述文本内容进行编码，得到文本向量；解码模块，用于利用所述深度学习模型的解码网络基于所述文本向量执行以下解码操作：针对所述视频标题中待生成的目标字词，确定所述目标字词的字词类别；根据所述字词类别，基于与所述视频数据相关联的文本内容的所述文本向量、字词集合和针对所述视频标题中已生成字词中的至少一个，得到所述目标字词；基于所述目标字词，得到所述视频标题。
8.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的视频标题生成方法。
9.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的视频标题生成方法。
10.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述视频标题生成方法的步骤。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.附图用于更好地理解本方案，不构成对本公开的限定。其中：
13.图1示意性示出了根据本公开一实施例的视频标题生成的系统架构；
14.图2示意性示出了根据本公开一实施例的视频标题生成方法的流程图；
15.图3示意性示出了根据本公开一实施例的视频标题生成方法的原理图；
16.图4示意性示出了根据本公开另一实施例的视频标题生成方法的流程图；
17.图5示意性示出了根据本公开一实施例的深度学习模型的原理图；
18.图6示意性示出了根据本公开一实施例的视频标题生成装置的框图；
19.图7示意性示出了根据本公开另一实施例的视频标题生成装置的框图；
20.以及
21.图8是用来实现本公开实施例的用于执行视频标题生成的电子设备的框图。
具体实施方式
22.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
23.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
24.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
25.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
26.视频标题生成任务是对给定的视频进行特征抽象，并将其转换为自然语言，对视
觉内容进行结构化总结与重新表达的一种任务。视频标题自动生成在媒体这个行业不言而喻，好的视频标题能够为视频带来关注，就算是相同的视频内容，不一样的标题也会带来截然不同的效果。
27.在一些视频标题生成方式中，可以通过人工标注标题，其过程十分耗时耗力，随着自媒体行业蓬勃发展，大量的视频涌现，因此难以投入大规模人力处理视频以生成标题，且人工标注的标题质量不一，无法保证能很好地体现视频的主要内容。
28.在另一些视频标题生成方式中，可以基于模版来生成标题。基于固定规则框架，设计手工特征从视频中获取视觉语义表达，使用识别检测技术检测出人物、动作、场景等，将其填入预设的语句模板中，按照固定规则组合成描述语句，从而得到视频标题。手工特征耗时耗力、移植性差、需要大量的专家进行制定，按照模版得到的标题死板单一，无法迁移到其他领域。
29.在另一些视频标题生成方式中，可以通过传统的seq2seq方式生成标题。例如，通过自回归方式生成标题，将标题中已生成字词映射到字词集合(词表)，得到已生成字词与词表中各字词的概率，基于概率得到标题的下一个字词，生成的标题中的字词一定是来自于词表中已有的字词，无法生成词表之外的字词。此外，该方式在解码得到标题的过程中，通常只看见前一个时刻解码出来的字词，因此非常容易生成重复的字词。
30.另外，还可以通过pointer指针方式按一定概率从视频的原文(文本内容)中复制某些字词作为标题，通常一次只能复制一个字词，无法针对原文中含有完整语义的字词进行复制，容易出现漏词现象。
31.本公开实施例的视频标题生成方法，能够对被划分为不同层级的视频片段打上合适的标题。例如，可以通过深度学习模型对特定的视频进行学习，以自动生成同类型的视频标题，减少人力资源的同时大大提高了工作效率。
32.图1示意性示出了根据本公开一实施例的视频标题生成的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
33.如图1所示，根据该实施例的系统架构100可以包括客户端101、102、103，网络104和服务器105。网络104用以在客户端101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
34.用户可以使用客户端101、102、103通过网络104与服务器105交互，以接收或发送消息等。客户端101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
35.客户端101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。本公开实施例的客户端101、102、103例如可以运行应用程序。
36.服务器105可以是提供各种服务的服务器，例如对用户利用客户端101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给客户端。另外，服务器105还可以是云服务器，即服务器105具有云计算功能。
37.需要说明的是，本公开实施例所提供的视频标题生成方法可以由服务器105执行。相应地，本公开实施例所提供的视频标题生成装置可以设置于服务器105中。
38.在一种示例中，客户端101、102、103可以向服务器105发送视频标题生成指令，视频标题生成指令中例如包括视频数据。服务器105响应于视频标题生成指令对视频数据进行处理，得到视频标题。
39.在另一示例中，视频数据存储于服务器105中，服务器105在接收到来自客户端101、102、103的视频标题生成指令后，服务器105基于视频标题生成指令对视频数据进行处理，得到视频标题。
40.应该理解，图1中的客户端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端、网络和服务器。
41.下面结合图1的系统架构，参考图2～图5来描述根据本公开示例性实施方式的视频标题生成方法。本公开实施例的视频标题生成方法例如可以由图1所示的服务器来执行，图1所示的服务器例如以下文的电子设备相同或类似。
42.图2示意性示出了根据本公开一实施例的视频标题生成方法的流程图。
43.如图2所示，本公开实施例的视频标题生成方法200例如可以包括操作s210～操作s230。
44.在操作s210，响应于接收到针对视频数据的视频标题生成指令，针对视频标题中待生成的目标字词，确定目标字词的字词类别。
45.在操作s220，根据字词类别，基于与视频数据相关联的文本内容、字词集合和针对视频标题中已生成字词中的至少一个，得到目标字词。
46.在操作s230，基于目标字词，得到视频标题。
47.示例性地，利用本方法可以自动生成视频标题。在生成视频标题时，可以依次生成视频标题中的每个字词，目标字词例如是下一个要生成的字词。
48.通过确定目标字词的字词类别，基于字词类别来确定生成目标字词的策略。例如，基于字词类别，从与视频数据相关联的文本内容、字词集合和针对视频标题中已生成字词这三类数据中选择一类或多类来生成目标字词。针对不同的字词类别，从三类数据中选择的数据类别不同。
49.在生成目标字词之后，可以继续生成下一个目标字词，直到生成所有字词，从而将所有生成的字词作为视频标题。
50.根据本公开的实施例，首先确定目标字词的字词类别，然后基于字词类别来确定生成目标字词的策略，实现了在生成目标字词时兼顾了从文本内容本身抽取目标字词以及基于字词集合生成目标字词，提高了视频标题的准确性。
51.在本公开的另一示例中，与视频数据相关联的文本内容例如可以通过以下至少一种方式得到。
52.其中一种方式，对视频数据中的图像帧进行图像识别，得到文本内容。在一示例中，可以利用光学字符识别(optical character recognition，ocr)技术对图像帧进行识别，得到图像帧中的字幕文本信息，将字幕文本信息作为文本内容。
53.另一种方式，对视频数据中的音频信息进行语音识别，得到文本内容。在一示例中，可以利用自动语音识别(automatic speech recognition，asr)技术对音频数据进行语
音识别，得到文本内容。
54.另一种方式，还可以将与视频数据相关联的描述文本确定为文本内容。以视频数据为新闻数据为例，描述文本例如包括新闻稿件，可以直接将描述文本作为文本内容。
55.在本公开的实施例中，可以根据实际需求通过不同的方式获取针对视频数据的文本内容，提高了文本内容的丰富程度和获取灵活性，以便于后续基于文本内容来生成视频标题时，提高视频标题的效果。
56.图3示意性示出了根据本公开一实施例的视频标题生成方法的原理图。
57.如图3所示，针对视频数据的视频标题330例如包括已生成字词331和待预测的目标字词332。已生成字词331例如包括字词“#”、“a”、“b”和“c”，字词“#”例如为起始符字词“b”和“c”例如为汉字或英文单词。在预测字词“a”时，已生成字词包括起始符“#”；在预测字词“b”时，已生成字词包括“#”和“a”；在预测字词“c”时，已生成字词包括“#”、“a”和“b”；在预测目标字词332时，已生成字词331包括“#”、“a”、“b”和“c”。
58.在本公开的实施例中，基于针对视频数据的文本内容310、字词集合320和已生成字词331中的至少一个，预测目标字词332。
59.首先，预测目标字词332的字词类别，字词类别例如包括第一类别、第二类别或第三类别。
60.在预测目标字词332的字词类别时，可以以与历史视频相关联的历史文本、历史视频的历史标题、历史标题中各字词的类别作为参考，来确定目标字词332的字词类别。历史标题中各字词的类别例如可以预先标注为第一类别、第二类别或第三类别。
61.在一示例中，可以利用历史视频相关联的历史文本、历史视频的历史标题、历史标题中各字词的类别来训练深度学习模型，经训练的深度学习模型具有预测字词类别的功能。
62.示例性地，第一类别例如用于指示目标字词332与字词集合320相关联，可以至少基于字词集合320得到目标字词332。
63.示例性地，第二类别例如用于指示目标字词332与文本内容310相关联以及目标字词332与字词集合320相关联，可以至少基于文本内容310和字词集合320得到目标字词332。
64.示例性地，第三类别例如用于指示目标字词332与文本内容310相关联、目标字词332与字词集合320相关联以及目标字词332与已生成字词331相关联，可以至少基于文本内容310、字词集合320和已生成字词331得到目标字词332。
65.示例性地，字词集合320例如包括字词典或字词表，字词集合320中具有多个预设的字词。
66.示例性地，图3中所示的o类别例如为第一类别、b类别例如为第二类别、i类别例如为第三类别。
67.针对字词类别为第一类别(o类别)，可以基于已生成字词331与字词集合320中各字词之间的置信度，从字词集合320选择目标字词332。字词集合320中各字词之间的置信度例如表征了各字词作为将要预测的目标字词的可信程度或概率，在一些示例中，置信度还表征了已生成字词331与字词集合320中各字词之间的相似度。
68.示例性地，字词集合320中例如包括n个预设的字词，n为大于1的整数。将已生成字词331映射至字词集合320中，得到n个置信度。例如，字词集合320中各字词均对应各自的特
征向量，处理已生成字词331得到已生成字词331的特征向量，计算已生成字词331的特征向量分别与n个预设的字词各自的特征向量之间的置信度，得到n个置信度。基于n个置信度从字词集合320选择目标字词332，例如从字词集合320中选择置信度较大的一个或多个字词，然后基于选择的一个或多个字词来得到目标字词332，可以从选择的一个或多个字词中确定目标字词332。
69.针对字词类别为第二类别(b类别)，从字词集合320中包含的n个字词确定一个或多个第一候选字词，该第一候选字词出现在文本内容310中。第一候选字词例如包括n1个字词，n1为大于1的整数，n1小于等于n。
70.示例性地，将已生成字词331映射至字词集合320，得到已生成字词331与字词集合320中n个字词一一对应的n个置信度，由于n1个第一候选字词是n个字词的至少部分，因此n个置信度中与n1个第一候选字词对应的n1个置信度也即为已生成字词331与n1个第一候选字词之间的置信度。接下来，基于已生成字词331与n1个第一候选字词之间的n1个置信度，从n1个第一候选字词中选择置信度大的一个或多个字词，然后基于选择的一个或多个字词来得到目标字词332，可以从选择的一个或多个字词中确定目标字词332。
71.针对字词类别为第三类别(i类别)，从字词集合320中确定第二候选字词，第二候选字词出现在文本内容310中并且第二候选字词与已生成字词331能够组成词组，例如第二候选字词与“a”、“b”和“c”中的任意一个或多个能够组成词组，在一示例中，第二候选字词与已生成字词331中的最后一个字词“c”能够组成词组。第二候选字词例如包括n2个字词，n2为大于1的整数，n2小于等于n。
72.示例性地，将已生成字词331映射至字词集合320，得到已生成字词331与字词集合320中n个字词一一对应的n个置信度，由于n2个第二候选字词是n个字词的至少部分，因此n个置信度中与n2个第二候选字词对应的n2个置信度也即为已生成字词331与n2个第二候选字词之间的置信度。接下来，基于已生成字词331与n2个第二候选字词对应的n2个置信度，从n2个第二候选字词中选择置信度大的一个或多个字词，然后基于选择的一个或多个字词来得到目标字词3322，可以从选择的一个或多个字词中确定目标字词332。
73.根据本公开的实施例，当目标字词的字词类别为第一类别时，可以基于字词集合生成目标字词；当目标字词的字词类别为第二类别或第三类别时，可以从文本内容中抽取目标字词。可以理解，基于不同的字词类别确定目标字词的不同获取方式，兼顾以生成方式和抽取方式来生成目标字词，提高目标字词的准确性，从而提高了生成视频标题的效果。
74.上述基于第一类别(o类别)、第二类别(b类别)、第三类别(i类别)来生成目标字词的方式，也称为bio copy机制，即通过字词类别选择生成策略生成目标字词或选择抽取策略从文本内容中抽取目标字词。
75.另外，上述中基于置信度选择字词，并基于选择的字词来得到目标字词时，可以采用集束搜索(beam search)方式基于置信度选择多个字词，集束搜索(beam search)方式指示了基于置信度选择多个字词，以扩大搜索空间。
76.在本公开的另一示例中，可以采用重复惩罚机制来生成目标字词。
77.例如，根据字词类别为第一类别、第二类别或者第三类别，基于与视频数据相关联的文本内容、字词集合和针对已生成字词中的至少一个，确定至少一个初始字词。
78.然后，可以基于至少一个初始字词中每个初始字词与已生成字词之间的关联关
系，确定针对每个初始字词的概率，关联关系表征了初始字词是否出现在已生成字词中。如果初始字词已经出现在已生成字词中，为了降低后续该初始字词重复出现的概率，将该初始字词的概率设置为较低，以便基于至少一个初始字词确定目标字词时，降低概率较低的初始字词被选中的概率。然后，在确定目标字词时，可以基于概率从至少一个初始字词中确定目标字词，初始字词的概率越低，表示该初始字词被选中作为目标字词的概率越低，降低重复字词出现的概率。
79.可以理解，通过重复惩罚机制来生成目标字词，降低了视频标题的重复性，提高了视频标题的生成效果。
80.在本公开的另一示例中，在基于上述方法循环处理得到多个目标字词之后，可以基于目标字词生成初始标题。然后，将初始标题和文本内容进行相似度比较，如果初始标题和文本内容之间的语义相似度高于预设相似度，可以将初始标题确定为视频标题，如果相似度等于或小于预设相似度，可以丢弃该初始标题。
81.可以理解，通过语义相似度比较，可以过滤与文本内容语义相关性较低的视频标题，并且保留与文本内容语义相关的视频标题，使得生成的视频标题与视频数据之间的匹配性较好。
82.图4示意性示出了根据本公开另一实施例的视频标题生成方法的流程图。
83.如图4所示，本公开实施例的视频标题生成方法400例如可以包括操作s410～操作s420。
84.在操作s410，响应于接收到针对视频数据的视频标题生成指令，利用深度学习模型的编码网络对文本内容进行编码，得到文本向量。
85.在操作s420，利用深度学习模型的解码网络基于文本向量执行解码操作得到视频标题。
86.示例性地，深度学习模型包括编码网络和解码网络。利用编码网络对文本内容进行编码，得到文本向量，然后利用解码网络基于文本向量执行解码操作得到视频标题。
87.例如，利用深度学习模型的解码网络执行解码操作包括以下操作：
88.针对视频标题中待生成的目标字词，确定目标字词的字词类别。
89.根据字词类别，基于与视频数据相关联的文本内容的文本向量、字词集合和针对视频标题中已生成字词中的至少一个，得到目标字词。
90.基于目标字词，得到视频标题。
91.上述操作与上文提及的内容相同或类似，在此不再赘述。
92.可以理解，本公开的实施例通过经训练的深度学习模型自动生成视频标题，提高了视频标题的准确性。例如，通过经训练的深度学习模型确定目标字词的字词类别，然后基于字词类别来确定生成目标字词的策略，使生成目标字词时兼顾了从文本内容本身抽取目标字词以及基于字词集合生成目标字词，提高了视频标题的准确性。
93.图5示意性示出了根据本公开一实施例的深度学习模型的原理图。
94.如图5所示，深度学习模型例如包括编码网络51和解码网络52。编码网络51例如包括encoder网络，encoder网络例如包括transformer网络。解码网络52例如包括decoder网络，decoder网络例如包括transformer网络。
95.示例性地，针对视频数据501，获取针对视频数据501的文本内容510。将文本内容
510输入编码网络51进行编码，得到文本向量511。在利用编码网络51进行编码时，可以基于self-attention机制学习文本内容510的上下文关联信息来生成文本向量511。
96.然后，将文本向量511输入解码网络52中进行解码。通过解码网络52预测目标字词的字词类别，根据字词类别，基于针对文本内容510的文本向量511、字词集合520，针对视频标题530的已生成字词531中的至少一个生成目标字词532，基于生成的目标字词532可以得到完整的视频标题530。在利用解码网络52进行解码时，基于cross-attention交互机制学习文本向量511和视频标题530之间的关联信息。解码的过程与上文提及的目标字词的生成过程相同或类似，在此不再赘述。
97.以下将介绍深度学习模型的训练过程。
98.针对用于训练深度学习模型的训练样本，每个训练样本例如包括历史视频相关联的历史文本、历史视频的历史标题、历史标题中各字词的类别。历史标题中各字词的类别作为样本的标签。
99.针对历史标题中的各个字词，可以利用数据构造算法标记各个字词的字词类别，字词类别包括第一类别(o类别)、第二类别(b类别)、第三类别(i类别)。第一类别(o类别)表示该字词是基于字词集合生成，并非从历史文本中抽取。第二类别(b类别)表示该字词是从历史文本中抽取的。第三类别(i类别)表示该字词从历史文本中抽取并且该字词与历史标题中前面的字词组成词组，例如与前一个字词组成字词。
100.利用数据构造算法标记各个字词的字词类别包括将历史文本和历史标题中重叠的多个字词作为最长公共子序列，通过数据构造算法标记序列中每个字词的类别。最长公共子序列中的每个字词的类别为b类别或i类别，最长公共子序列之外的标题字词的类别为o类别。
101.以下以一个示例来阐述深度学习模型的训练过程，但是本公开实施例不仅限于以下的示例。
102.在训练深度学习模型时，模型的输入例如包括：针对历史视频的历史文本，起始符和历史标题、标签(历史标题中各个字的类别)。以起始符和历史标题为[#abcde]为例，利用数据构造算法提前标注abcde各个字词的类别，例如类别分别为b类别、i类别、o类别、b类别、b类别。
[0103]
针对标题生成的模型训练，将起始符“#”的向量映射到字词集合中，得到起始符与字词集合中各个字词之间的置信度，训练深度学习模型以便尽可能使得字词集合中置信度最大的字词为“a”(历史标题中的第一个字词)；继续将已生成字词“#”和“a”映射到字词集合中得到已生成字词与字词集合中各个字词之间的置信度，训练深度学习模型以便尽可能使得字词集合中置信度最大的字为b(历史标题中的第二个字词)，以此类推。
[0104]
针对字词类别的模型训练，对起始符“#”的向量进行三分类(第一类别、第二类别、第三类别)，训练模型以便尽可能使得起始符“#”向量的最大概率的类别为b类别(历史标题中的第一个字词的类别)；继续对字词“a”的向量进行三分类(第一类别、第二类别、第三类别)，训练模型以便尽可能使得字词“a”的最大概率的类别为i类别(历史标题中的第二个字词的类别)，以此类推。
[0105]
根据本公开的实施例，提供了一种视频标题生成的系统。该系统包括视频信息抽取模块、文本标题生成模块和概率重构后处理模块。
[0106]
视频信息抽取模块用于获取针对视频数据的文本内容。
[0107]
示例性地，视频数据例如可以被分割为片段层、场景层和镜头层等不同层级的视频片段，以获得视频更加详细的信息。片段层一般为普通的视频片段，场景层包括情节场景切换前后的视频片段，镜头层包括镜头切换前后的视频片段。本公开利用ocr技术和asr技术对不同层级的视频片段进行视频信息抽取，根据视频不同层级(片段层、场景层、镜头层)的需求选择不同的文本信息来源。
[0108]
在利用ocr技术和asr技术对视频不同层级进行信息抽取后，分别得到ocr文本和asr文本。可以按照视频切分时间点进行ocr文本和asr文本的片段聚合，例如ocr文本和asr文本具有起始时间，可以按照视频片段时间顺序将ocr文本片段和asr文本片段进行拼接组合得到针对视频数据的文本内容，后续将文本内容作为深度学习模型的输入。
[0109]
在一示例中，可以基于不同策略对视频片段的ocr文本和asr文本进行选取。例如，当片段层适用ocr技术时，针对该片段层可以选择ocr文本作为抽取结果；当场景层适用asr技术时，针对该场景层可以选择asr文本作为抽取结果。
[0110]
本公开的实施例，可以生成针对视频整体的视频标题，也可以生成针对片段层、场景层、镜头层各个片段的标题。
[0111]
文本标题生成模块例如包括标题生成的编码解码网格、bio copy机制、集束搜索机制、数据构造算法等等。各部分的功能参见上文内容，在此不再赘述。
[0112]
概率重构后处理模块例如包括重复惩罚机制、语义相似度过滤机制、最短长度限制机制。重复惩罚机制和语义相似度过滤机制参考上文内容，在此不再赘述。最短长度限制机制用于限定生成标题的文本长度，抑制在初始解码生成标题时终止字符出现的概率，减少空标题的生成。
[0113]
本公开的实施例，以文本内容的形式进行视频标题的生成，利用自然语言处理技术处理文本内容，能够更好地保证视频标题的通顺性，适合不同领域的视频标题生成。
[0114]
另外，本公开的实施例在生成标题时，通过bio copy机制能够更好地保留视频原文(文本内容)中的专有名词，提升了模型的抽取能力，符合“抽取+生成”相结合的业务需求。此外，模型的训练样本可以采用新闻和娱乐等含有标题数据的视频，提升模型效果的同时不需要额外的人工标注成本。
[0115]
此外，视频标题生成难以避免会出现标题与视频内容不符的情况，本公开的实施例通过语义相似度过滤能够改善这类情况，减少低相关和弱相关的视频标题比例，提高标题的可用性。
[0116]
图6示意性示出了根据本公开一实施例的视频标题生成装置的框图。
[0117]
如图6所示，本公开实施例的视频标题生成装置600例如包括确定模块610、第一获得模块620以及第二获得模块630。
[0118]
确定模块610可以用于响应于接收到针对视频数据的视频标题生成指令，针对视频标题中待生成的目标字词，确定目标字词的字词类别。根据本公开实施例，确定模块610例如可以执行上文参考图2描述的操作s210，在此不再赘述。
[0119]
第一获得模块620可以用于根据字词类别，基于与视频数据相关联的文本内容、字词集合和针对视频标题中已生成字词中的至少一个，得到目标字词。根据本公开实施例，第一获得模块620例如可以执行上文参考图2描述的操作s220，在此不再赘述。
[0120]
第二获得模块630可以用于基于目标字词，得到视频标题。根据本公开实施例，第二获得模块630例如可以执行上文参考图2描述的操作s230，在此不再赘述。
[0121]
根据本公开的实施例，字词类别包括第一类别，第一类别用于指示目标字词与字词集合相关联；其中，第一获得模块620包括：第一选择子模块，用于响应于字词类别包括第一类别，基于已生成字词与字词集合中各字词之间的置信度，从字词集合选择目标字词。
[0122]
根据本公开的实施例，字词类别包括第二类别，第二类别用于指示目标字词与文本内容相关联以及目标字词与字词集合相关联；其中，第一获得模块620包括：第一确定子模块和第二选择子模块。第一确定子模块，用于响应于字词类别包括第二类别，从字词集合中确定第一候选字词，其中，第一候选字词出现在文本内容中；第二选择子模块，用于基于已生成字词与第一候选字词之间的置信度，从第一候选字词选择目标字词。
[0123]
根据本公开的实施例，字词类别包括第三类别，第三类别用于指示目标字词与文本内容相关联、目标字词与字词集合相关联以及目标字词与已生成字词相关联；其中，第一获得模块620包括：第二确定子模块和第三选择子模块。第二确定子模块，用于响应于字词类别包括第三类别，从字词集合中确定第二候选字词，其中，第二候选字词出现在文本内容中并且第二候选字词与已生成字词能够组成词组；第三选择子模块，用于基于已生成字词与第二候选字词之间的置信度，从第二候选字词选择目标字词。
[0124]
根据本公开的实施例，第一获得模块620包括：第三确定子模块、第四确定子模块和第五确定子模块。第三确定子模块，用于根据字词类别，基于与视频数据相关联的文本内容、字词集合和针对已生成字词中的至少一个，确定至少一个初始字词；第四确定子模块，用于基于至少一个初始字词中每个初始字词与已生成字词之间的关联关系，确定针对每个初始字词的概率，其中，关联关系表征了初始字词是否出现在已生成字词中；第五确定子模块，用于基于概率，从至少一个初始字词中确定目标字词。
[0125]
根据本公开的实施例，第二获得模块630包括：生成子模块和生成子模块。生成子模块，用于基于目标字词，生成初始标题；第六确定子模块，用于响应于初始标题和文本内容之间的语义相似度高于预设相似度，将初始标题确定为视频标题。
[0126]
根据本公开的实施例，与视频数据相关联的文本内容是通过以下至少一种方式得到的：对视频数据中的图像帧进行图像识别，得到文本内容；对视频数据中的音频信息进行语音识别，得到文本内容；将与视频数据相关联的描述文本，确定为文本内容。
[0127]
根据本公开的实施例，确定模块610还用于：以与历史视频相关联的历史文本、历史视频的历史标题、历史标题中各字词的类别作为参考，确定目标字词的字词类别。
[0128]
图7示意性示出了根据本公开另一实施例的视频标题生成装置的框图。
[0129]
如图7所示，本公开实施例的视频标题生成装置700例如包括编码模块710以及解码模块720。
[0130]
编码模块710可以用于响应于接收到针对视频数据的视频标题生成指令，利用深度学习模型的编码网络对文本内容进行编码，得到文本向量。根据本公开实施例，编码模块710例如可以执行上文参考图4描述的操作s410，在此不再赘述。
[0131]
解码模块720可以用于利用深度学习模型的解码网络基于文本向量执行解码操作得到视频标题。根据本公开实施例，解码模块720例如可以执行上文参考图4描述的操作s420，在此不再赘述。
[0132]
根据本公开的实施例，利用深度学习模型的解码网络基于文本向量执行以下解码操作：针对视频标题中待生成的目标字词，确定目标字词的字词类别；根据字词类别，基于与视频数据相关联的文本内容的文本向量、字词集合和针对视频标题中已生成字词中的至少一个，得到目标字词；基于目标字词，得到视频标题。
[0133]
在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
[0134]
在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
[0135]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0136]
根据本公开实施例，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上文所描述的视频标题生成方法。
[0137]
根据本公开实施例，提供了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现上文所描述的视频标题生成方法。
[0138]
图8是用来实现本公开实施例的用于执行视频标题生成的电子设备的框图。
[0139]
图8示出了可以用来实施本公开实施例的示例电子设备800的示意性框图。电子设备800旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0140]
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0141]
设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0142]
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如视频标题生成方法。例如，在一些实施例中，视频标题生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的视频标题生成方法
的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频标题生成方法。
[0143]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0144]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程视频标题生成装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0145]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0146]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0147]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0148]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计
算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0149]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0150]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。