一种视频时序定位方法、装置、存储介质及电子设备与流程

1.本说明书涉及计算机技术领域，尤其涉及一种视频时序定位方法、装置、存储介质及电子设备。


背景技术：

2.视频时序定位是一种根据给定的文本，在给定的视频中确定出视频内容与这段文本所表达的内容相匹配的视频片段的技术，在视频直播、监控等场景中有着较为频繁的应用。
3.现有技术在实现视频时序定位时，通常会将视频分割为若干视频片段后，利用神经网络提取每个视频片段的视频特征以及文本的文本特征，并利用提取出的特征计算文本与各视频片段之间的匹配程度，最终将与文本的匹配程度最高的视频片段作为定位到的视频片段。
4.但由于神经网络的特性，在处理视频特征时通常会重点关注特征更丰富的部分，也就是视频内容较为丰富、突出的部分；而相对应的，神经网络会常常会忽略特征不明显的部分，比如视频内容较为平淡的部分或视频片段的开头和结尾部分等。换句话说，现有的视频时序定位方法只能有效利用部分视频特征，其对于视频内容与文本的匹配结果的准确度仍有待提高。


技术实现要素：

5.本说明书提供一种视频时序定位方法、装置、存储介质及电子设备，以至少部分地解决现有技术存在的上述问题。
6.本说明书采用下述技术方案：
7.本说明书提供了一种视频时序定位方法，包括：
8.获取待定位视频和目标文本；
9.将所述待定位视频划分为若干个视频片段；并，将所述待定位视频和所述目标文本输入预先训练的时序定位模型中，以通过所述时序定位模型确定所述待定位视频中每一视频帧的图像特征，其中，一个视频帧的图像特征是根据该视频帧和所述目标文本得到的；
10.针对每个视频片段，将该视频片段中包含的所有视频帧的图像特征的序列作为该视频片段的视频特征；
11.根据该视频片段的视频特征确定该视频片段与所述目标文本之间的相关值，以及该视频片段的划分质量；
12.根据各视频片段与所述目标文本之间的相关值以及各视频片段的划分质量确定各视频片段与所述目标文本之间的匹配值；
13.根据各视频片段与所述目标文本之间的匹配值确定与所述目标文本匹配的视频片段。
14.可选的，将所述待定位视频划分为若干个视频片段，具体包括：
15.遍历各预设的窗口宽度和滑动步长的组合，采用下述方式将所述待定位视频划分为若干个视频片段：
16.针对指定窗口宽度和指定滑动步长，采用指定窗口宽度的窗口在所述待定位视频的时间轴上以所述指定滑动步长滑动，将每次滑动后窗口中包含的视频作为一个视频片段。
17.可选的，根据该视频片段的视频特征确定该视频片段的划分质量，具体包括：
18.根据该视频片段的起始帧的图像特征和结束帧的图像特征，确定该视频片段的起始帧和结束帧是所述待定位视频的语义分割点的概率；
19.根据该视频片段的起始帧和结束帧是语义分割点的概率，确定该视频片段的划分质量。
20.可选的，所述时序定位模型为多任务模型；
21.所述时序定位模型包括：特征提取层、第一任务输出层、第二任务输出层；
22.预先训练时序定位模型，具体包括：
23.获取样本文本和样本视频；
24.将所述样本视频划分为若干个样本视频片段，并将所述样本文本和所述样本视频输入待训练的时序定位模型中，以通过所述时序定位模型中的特征提取层确定所述样本视频中每一视频帧的待优化图像特征，其中，一个视频帧的待优化图像特征是根据各视频帧和所述样本文本得到的；
25.针对每个样本视频片段，将该样本视频片段中包含的所有视频帧的图像特征的序列作为该样本视频片段的待优化视频特征；
26.将该样本视频片段的视频特征分别输入第一任务输出层和第二任务输出层，得到第一任务输出层输出的该样本视频片段与所述样本文本之间的待优化相关值，以及第二任务输出层输出的该样本视频片段的待优化划分质量；
27.以所述样本视频片段与所述样本文本之间的所述待优化相关值和标注相关值之间的差异最小为优化目标，调整所述特征提取层和所述第一任务输出层的模型参数，以所述样本视频片段的待优化划分质量和标注划分质量之间的差异最小为优化目标，调整所述特征提取层和所述第二任务输出层的模型参数，其中，所述标注相关值是根据该样本视频片段的视频内容标注的，所述标注划分质量是根据所述样本视频的时间轴标注的。
28.可选的，获取样本文本和样本视频，具体包括：
29.获取第一文本、第二文本，以及与第一文本匹配的第一视频和与第二文本匹配的第二视频；
30.将所述第一文本、第二本文作为样本文本；
31.在所述第二视频中截取指定长度的视频片段；
32.采用在所述第二视频中截取的视频片段替换第一视频中指定长度的视频片段，将被替换后的第一视频作为样本视频。
33.可选的，根据该样本视频片段的视频内容标注该样本视频片段与所述样本文本之间的标注相关值，具体包括：
34.根据该样本视频片段中与所述样本文本匹配的视频在所述样本视频片段中的占比，标注该样本视频片段与所述样本文本之间的标注相关值。
35.可选的，根据所述样本视频的时间轴对标注划分质量进行标注，具体包括：
36.将所述第一视频中被替换的视频片段的起始位置和结束位置作为所述样本视频的拼接位置；
37.将所述样本视频的起始位置、拼接位置、结束位置作为所述样本视频的语义分割点；
38.根据所述样本拼接视频的语义分割点对标注划分质量进行标注。
39.可选的，所述模型还包括第三任务输出层；
40.在确定所述样本视频中每一视频帧与所述样本文本相关的待优化图像特征之后，还包括：
41.将与所述样本文本匹配的视频在所述样本视频中的占比，作为所述样本文本对所述样本视频的标注占比；
42.将所述样本视频中各视频帧的待优化图像特征输入所述第三任务输出层，得到第三任务输出层输出的所述样本文本匹配的视频的视频内容在所述样本视频的视频内容中的待优化占比；
43.以所述待优化占比和所述标注占比之间的差异最小为优化目标，调整所述特征提取层的模型参数。
44.可选的，所述模型还包括第四任务输出层；
45.在获取样本文本和样本视频之后，所述方法还包括：
46.对所述样本文本进行加扰，得到加扰文本，并确定所述样本文本中被加扰的原始词；
47.确定所述加扰文本的待优化文本特征，所述待优化文本特征是根据所述加扰文本和所述样本视频得到的；
48.将所述待优化文本特征输入所述第四任务输出层，得到第四任务输出层输出的所述加扰文本中被加扰的词；
49.以确定出的所述加扰文本中被加扰的词和所述样本文本中被加扰的原始词之间的差异最小为优化目标，调整所述特征提取层的模型参数。
50.本说明书提供的一种视频时序定位的装置，所述装置包括：
51.获取模块，获取待定位视频和目标文本；
52.输入模块，将所述待定位视频划分为若干个视频片段；并，将所述待定位视频和所述目标文本输入预先训练的时序定位模型中，以通过所述时序定位模型确定所述待定位视频中每一视频帧的图像特征，其中，一个视频帧的图像特征是根据该视频帧和所述目标文本得到的；
53.片段模块，针对每个视频片段，将该视频片段中包含的所有视频帧的图像特征的序列作为该视频片段的视频特征；
54.第一确定模块，根据该视频片段的视频特征确定该视频片段与所述目标文本之间的相关值，以及该视频片段的划分质量；
55.第二确定模块，根据各视频片段与所述目标文本之间的相关值以及各视频片段的划分质量确定各视频片段与所述目标文本的匹配值；
56.匹配模块，根据各视频片段与所述目标文本的匹配值确定与所述目标文本匹配的
视频片段。
57.本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述时序定位方法。
58.本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述时序定位方法。
59.本说明书采用的上述至少一个技术方案能够达到以下有益效果：
60.在本说明书提供的视频时序定位方法中，会将获取到的待定位视频和目标文本输入时序定位模型中，提取待定位视频中每一视频帧的图像特征，同时，将待定位视频划分为若干视频片段；根据视频帧的图像特征确定视频片段的视频特征，根据视频特征确定各视频片段与目标文本之间的相关值和划分质量，再根据相关值和划分质量确定视频片段与目标文本之间的匹配值，最终根据匹配值确定出与目标文本匹配的视频片段。采用本说明书提供的视频时序定位方法时，视频片段的视频特征是由视频片段中每一帧的图像特征的序列组成的，在使用的过程中不会忽略视频中的任何特征，避免了网络在计算过程中丢失部分特征的情况，能够为目标文本匹配到更准确的视频片段。
附图说明
61.此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
62.图1为本说明书中一种视频时序定位方法的流程示意图；
63.图2为本说明书中一种划分视频片段的方式的示意图；
64.图3为本说明书中一种模型的结构示意图；
65.图4为本说明书中一种获取样本视频的方式的示意图；
66.图5为本说明书中一种对标注相关值进行标注的方式的示意图；
67.图6为本说明书中一种对标注划分质量进行标注的方式的示意图；
68.图7为本说明书中一种模型方法的结构示意图；
69.图8为本说明书中一种模型方法的结构示意图；
70.图9为本说明书提供的一种视频时序定位装置的示意图；
71.图10为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
72.目前，现有的方法在实现视频时序定位技术时，通常会在将视频划分成视频片段后，提取文本特征和每个视频片段的视频特征，并计算各视频特征和文本特征之间的相似度或相关度等数据，并以此来确定与文本匹配的视频片段。
73.但神经网络在学习和应用的过程中，很容易重点关注视频中特征更明显、更丰富的部分，而忽略掉一些特征较少的部分。举例来说，假设在一个15s的视频片段中，开头部分的前3s和结尾部分的最后2s为用于过场的风景，中间的10s为两个人进行打斗的场景。在这个视频中，中间10s的内容较为丰富，特征较为突出；而开头和结尾部分的视频内容相对平淡，特征也不太明显。在神经网络学习与使用的过程中，会趋向于更多的去利用中间10s的
视频特征去和文本特征进行相关程度的计算，而开头和结尾部分的特征使用的较少，甚至直接忽略。
74.而实际上，一个视频片段中天然存在的镜头切换或是场景变换等内容，有时反而能够很好的表达出特别的语义，帮助模型更好的识别出与文本匹配的视频片段。现有的方法在不能完全有效利用全部视频特征的情况下，模型为文本匹配出的视频片段的准确度显然是不够高的。
75.为了解决上述文本，本说明书提供了一种新的视频时序定位方法。
76.为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
77.以下结合附图，详细说明本说明书各实施例提供的技术方案。
78.图1为本说明书中一种视频时序定位方法的流程示意图，具体包括以下步骤：
79.s100：获取待定位视频和目标文本。
80.本说明书所提供的视频时序定位方法中的所有步骤均可由任何具有计算功能的电子设备实现，例如终端、服务器等设备。
81.视频时序定位技术的作用是从待定位视频中找到一个视频片段，该视频片段中的内容与目标文本所表达的含义相匹配。因此，待定位视频和目标文本是实现视频时序定位的基础，需要最先获取。
82.s102：将所述待定位视频划分为若干个视频片段；并，将所述待定位视频和所述目标文本输入预先训练的时序定位模型中，以通过所述时序定位模型确定所述待定位视频中每一视频帧的图像特征，其中，一个视频帧的图像特征是根据该视频帧和所述目标文本得到的。
83.同样的，由于最终目的为在待定位视频中挑选出合适的视频片段，因此需要在此步骤中先将待定位视频划分成若干个视频片段。其中，划分视频片段的方法可以根据具体需求进行设置，划分出的视频片段可以是连续的，也可以是非连续的，每个视频片段的长度可以相同，也可以不同，本说明书在此不做限制。
84.同时，在此步骤中还可将待定位视频和目标文本输入到预先训练好的时序定位模型中，通过时序定位模型可确定出待定位视频中的每个视频帧的图像特征。需要注意的是，一个视频帧的图像特征并不是仅根据该视频帧本身确定出来的，而是同时根据该视频帧和目标文本确定出来的。
85.在根据视频帧和目标文本确定视频帧的图像特征时，可采用多种方法，本说明书在此提供一种示例以供参考。具体的，可分别提取每个视频帧自身的原始图像特征，以及目标文本中每个词自身的原始文本特征；针对每个视频帧，根据各视频帧的原始图像特征和各词的原始文本特征，采用自注意力加权的方式，确定该视频帧的图像特征。通过自注意力机制，从各视频帧的原始图像特征和各词的原始文本特征中提取出一定权重的特征，并加权得到视频帧的图像特征。
86.s104：针对每个视频片段，将该视频片段中包含的所有视频帧的图像特征的序列作为该视频片段的视频特征。
87.对于划分出的每一个视频片段，将该视频片段中从起始位置到结束位置包含的所有视频帧的图片特征的序列作为该视频片段的视频特征。需要注意的是，序列中视频帧的图片特征是按照视频帧在视频片段中出现的先后顺序排序的。
88.s106：根据该视频片段的视频特征确定该视频片段与所述目标文本之间的相关值，以及该视频片段的划分质量。
89.针对每一个视频片段，根据该视频片段的视频特征可分别确定出该视频片段与目标文本之间的相关值，和该视频片段的划分质量。
90.其中，一个视频片段和目标文本之间的相关值用于表征该视频片段的内容与目标文本所表达的含义的相关程度的大小，一个视频片段和目标文本之间的相关值越高，该视频片段的内容和目标文本所表达的含义的相关程度就越大。
91.一个视频片段的划分质量用于表征将该视频片段划分为一个视频片段的合理程度，一个视频片段的划分质量越高，该视频片段本身作为一个视频片段的合理程度也就越高，即该视频片段越适合作为一个视频片段。
92.s108：根据各视频片段与所述目标文本之间的相关值以及各视频片段的划分质量确定各视频片段与所述目标文本之间的匹配值。
93.根据一个视频片段与目标文本之间的相关值，以及该视频片段的划分质量，即可确定出该视频片段与目标文本之间的匹配值。
94.其中，确定视频片段与目标文本之间的方法可以有多种，包括但不限于求平均值、加权求和等方法。
95.s110：根据各视频片段与所述目标文本之间的匹配值确定与所述目标文本匹配的视频片段。
96.一个视频片段与目标文本之间的匹配值用于表征该视频片段与目标文本匹配的可能性的大小，该视频片段与目标文本之间的匹配值越高，该视频片段和目标文本匹配的可能性就越大。通常情况下，可在各视频片段中，选择与目标文本之间的匹配值最高的视频片段，作为与目标文本匹配的视频片段。
97.在采用本说明书提供的视频时序定位方法确定与目标文本匹配的视频片段时，可根据待定位视频的视频帧和目标文本共同确定出每个视频帧的图像特征，并将图像特征的序列作为视频片段的视频特征，根据视频特征确定出各视频片段与目标文本的相关值、划分质量，并以此确定出匹配值，最终根据匹配值确定和目标文本匹配的视频片段。与传统方法中计算视频特征和文本特征的匹配程度的方式不同，本方法在完成特征提取后，无需文本特征的参与，仅由视频特征即可确定出与目标文本匹配的视频片段，并且以视频帧的图像特征为基础，充分利用视频中的全部特征，有效提高了匹配的准确度。
98.在将待定位视频划分为视频片段时，为了能够尽量考虑全面，需要划分出尽可能多的视频片段，因此，可采用遍历式的划分方法来划分视频片段。具体的，可遍历各预设的窗口宽度和滑动步长的组合，采用下述方式将所述待定位视频划分为若干个视频片段：针对指定窗口宽度和指定滑动步长，针对指定窗口宽度和指定滑动步长，采用指定窗口宽度的窗口在所述待定位视频的时间轴上以所述指定滑动步长滑动，将每次滑动后窗口中包含的视频作为一个视频片段。
99.在多轮遍历的过程中，窗口的窗口宽度和滑动步长均可根据具体需求进行调整。
在每一轮遍历后，可将所述指定窗口宽度和预设增量的和值重新确定为指定窗口宽度，再次采用窗口对待定位视频进行划分，直到所述指定窗口宽度与所述待定位视频的视频长度相同。
100.例如，划分过程可如图2所示，其中，每一轮遍历中，水平的长线段表示待定位视频的总长度，竖直的实线表示每个视频片段的起始位置，竖直的虚线表示每个视频片段的结束位置，p表示一个视频片段的长度。在第一轮遍历中，窗口宽度为预设的最小的指定窗口宽度，窗口每次滑动后，窗口中包含的视频便被划分为一个视频片段。每两个相邻的竖直实线或竖直虚线之间的距离相同，即为窗口的滑动步长，当窗口滑动到待定位视频的结束位置时，一轮遍历结束。在下一轮遍历中，窗口的窗口宽度增加，增加量为δp，其它量不变，继续采用相同的方式滑动窗口来划分视频片段，直到最后一轮遍历，在图2中表示为第n轮遍历，此时窗口宽度与待定位视频的长度相同，将待定位视频本身划分为最后一个视频片段，所有遍历结束，划分完成。
101.在步骤s106中，确定视频片段的划分质量时，可通过划分出的视频片段的语义表达是否完整、统一来判断划分出的视频片段是否合理，进而确定出视频片段的划分质量。具体的，可根据该视频片段的起始帧的图像特征和结束帧的图像特征，确定该视频片段的起始帧和结束帧是所述待定位视频的语义分割点的概率；根据该视频片段的起始帧和结束帧是语义分割点的概率，确定该视频片段的划分质量。
102.其中，语义分割点可理解为，在待定位视频的语义分割点之前的视频内容和在语义分割点之后的视频内容所表达的语义发生了改变，其中，语义可理解为视频的内容所表达的含义。换句话说，在一个视频中的两个相邻的语义分割点之间的视频内容，所表达出的语义相同。因此，如果划分出的视频片段的起始帧和结束帧是语义分割点的概率越大，就表明该视频片段的语义连贯的可能性就越大，该视频片段的划分就越合理，划分质量也就越高。
103.在本说明书提供的视频时序定位方法中，采用了预先训练完成的时序定位模型，而训练该模型的方式有很多，本说明书在此提供一种示例以作参考。在训练时序定位模型时，可采用多任务模型进行训练，具体的，时序定位模型可包括：特征提取层、第一任务输出层、第二任务输出层；在训练时，可获取样本文本和样本视频；将所述样本视频划分为若干个样本视频片段，并将所述样本文本和所述样本视频输入待训练的时序定位模型中，以通过所述时序定位模型中的特征提取层确定所述样本视频中每一视频帧的待优化图像特征，其中，一个视频帧的待优化图像特征是根据各视频帧和所述样本文本得到的；针对每个样本视频片段，将该样本视频片段中包含的所有视频帧的图像特征的序列作为该样本视频片段的待优化视频特征；将该样本视频片段的视频特征分别输入第一任务输出层和第二任务输出层，得到第一任务输出层输出的该样本视频片段与所述样本文本之间的待优化相关值，以及第二任务输出层输出的该样本视频片段的待优化划分质量；以所述样本视频片段与所述样本文本之间的所述待优化相关值和所述标注相关值之间的差异最小为优化目标，调整所述特征提取层和所述第一任务输出层的模型参数，以所述样本视频片段的待优化划分质量和所述标注划分质量之间的差异最小为优化目标，调整所述特征提取层和所述第二任务输出层的模型参数，其中，所述标注相关值是根据该样本视频片段的视频内容标注的，所述标注划分质量是根据所述样本视频的时间轴标注的。
104.训练时，时序定位模型的模型结构可如图3所示，时序定位模型中包括特征提取层、第一任务输出层、第二任务输出层。
105.此时，模型训练的过程与实际应用的过程相似，在获取到样本文本和样本视频后，采用和实际应用时相同的划分方式将样本视频划分为若干个样本视频片段，同时，通过特征提取层，根据样本视频中的各视频帧和样本文本得到各视频帧的待优化图像特征，并将待优化图像特征的序列作为样本视频片段的待优化视频特征。将待优化视频特征分别输入第一任务输出层和第二任务输出层，分别得到第一任务输出层确定的样本视频片段与样本文本之间的待优化相关值和第二任务输出层确定的样本视频片段的待优化划分质量。
106.最终，将第一任务输出层和第二任务输出层确定出的待优化相关值和待优化划分质量和预先确定的标注去比较，并以样本视频片段与样本文本之间的待优化相关值和标注相关值之间的差异最小为优化目标，调整特征提取层和第一任务输出层的模型参数，以样本视频片段的待优化划分质量和标注划分质量之间的差异最小为优化目标，调整特征提取层和第二任务输出层的模型参数。
107.正如之前提到过的，视频中存在的镜头切换、场景转换等变化经常能够很好的反映出视频中较为关键的部分。因此，作为一种优选的方案，在训练时可将不同的视频拼接起来，模拟镜头与场景的变换，对模型进行训练。具体的，在获取样本文本和样本视频时，可获取第一文本、第二文本，以及与第一文本匹配的第一视频和与第二文本匹配的第二视频；将所述第一文本、第二本文作为样本文本；在所述第二视频中截取指定长度的视频片段；采用在所述第二视频中截取的视频片段替换第一视频中指定长度的视频片段，将被替换后的第一视频作为样本视频。此时，可得到如图4所示的经过拼接的样本视频，其中，水平的长线段表示样本视频，竖直的实线表示样本视频的起始位置和结束位置，竖直的虚线表示样本视频的拼接位置，a表示该部分视频来自于与第一文本匹配的第一视频，b表示该部分视频来自于与第二文本匹配的第二视频。
108.在样本视频为与样本文本匹配的视频拼接出的视频的情况下，可按下述方式标注样本视频片段与样本文本之间的标注相关值。具体的，可根据该样本视频片段中与所述样本文本匹配的视频在所述样本视频片段中的占比，标注该样本视频片段与所述样本文本之间的标注相关值。此时，可采用正负标注的方式来确定出标注相关值。当一个样本视频片段中与样本文本匹配的视频在样本视频片段中的占比大于指定阈值时，则该样本视频片段与该样本文本之间的标注相关值为1，否则标注相关值为0。
109.具体标注过程可如图5所示，图5沿用图4中的样本视频，p1、p2、p3为随机三个样本视频片段，假设指定阈值为0.7，那么图5中三个样本视频片段与样本文本之间的标注相关值可入下表1所示：
[0110] 第一文本第二文本p110p201p300
[0111]
表1
[0112]
对于视频片段p1，第一视频中的内容在p1中的占比为1，大于0.7，因此p1与第一文本之间的标注相关值为1，与第二文本之间的标注相关值为0；对于视频片段p2，第一视频中
的内容在p2中的占比为0.2，小于0.7，第二视频中的内容在p2中的占比为0.8，大于0.7，因此p2与第一文本之间的标注相关值为0，与第二文本之间的标注相关值为1；对于视频片段p3，第一视频中的内容在p3中的占比为0.5，小于0.7，第二视频中的内容在p3中的占比为0.5，小于0.7，因此p3与第一文本之间的标注相关值为0，与第二文本之间的标注相关值也为0。
[0113]
另一方面，在样本视频为与样本文本匹配的视频拼接出的视频的情况下，可按下述方式标注样本视频片段的标注划分质量。具体的，可将所述第一视频中被替换的视频片段的起始位置和结束位置作为所述样本视频的拼接位置；将所述样本视频的起始位置、拼接位置、结束位置作为所述样本视频的语义分割点；根据所述样本拼接视频的语义分割点对标注划分质量进行标注。其中，样本视频的起始位置、拼接位置、结束位置可以是与时间相关的起始时刻、拼接时刻、结束时刻，也可以是起始帧、拼接帧、结束帧。
[0114]
在具体标注时，可按图6所示的方法进行标注，图6依然沿用图4中的拼接视频。在图6中，在样本视频的时间轴中的语义分割点处，采用高斯分布的形式对标注划分质量进行标注。距离语义分割点越近的视频帧，该视频帧的标注划分质量越大，其中，高斯部分函数中的参数可根据具体需求进行设定。
[0115]
额外的，为了获得更好的训练效果，可利用本说明书中的时序定位模型为多任务模型的特性，继续增加更多的任务进行辅助训练。此时，模型结构可如图7所示，模型中包括特征提取层、第一任务输出层、第二任务输出层、第三任务输出层。具体的，可在确定所述样本视频中每一视频帧与所述样本文本相关的待优化图像特征之后，将与所述样本文本匹配的视频在所述样本视频中的占比，作为所述样本文本对所述样本视频的标注占比；将所述样本视频中各视频帧的待优化图像特征输入所述第三任务输出层，得到第三任务输出层输出的所述样本文本匹配的视频的视频内容在所述样本视频的视频内容中的待优化占比；以所述待优化占比和所述标注占比之间的差异最小为优化目标，调整所述特征提取层的模型参数。
[0116]
除此之外，还可通过对样本文本进行加扰，训练模型的抗干扰能力。此时，模型的结构可如图8所示，模型中包含特征提取层、第一任务输出层、第二任务输出层、第四任务输出层。具体的，可在获取样本文本和样本视频之后，对所述样本文本进行加扰，得到加扰文本，并确定所述样本文本中被加扰的原始词；确定所述加扰文本的待优化文本特征，所述待优化文本特征是根据所述加扰文本和所述样本视频得到的；将所述待优化文本特征输入所述第四任务输出层，得到第四任务输出层输出的所述加扰文本中被加扰的词；以确定出的所述加扰文本中被加扰的词和所述样本文本中被加扰的原始词之间的差异最小为优化目标，调整所述特征提取层的模型参数。
[0117]
值得一提的是，本说明书中涉及到的所有标注过程均可由电子设备自动完成。另外，在本说明书中的时序定位模型进行训练的过程中，可同时采用上述提到的四个任务输出层进行训练，即模型中可同时存在特征提取层、第一任务输出层、第二任务输出层、第三任务输出层、第四任务输出层；但需要说明的是，第三任务输出层和第四任务输出层仅在训练时辅助使用，在实际应用时，仅使用特征提取层、第一任务输出层和第二任务输出层进行预测。
[0118]
以上是本说明书提供的时序定位方法，基于同样的思路，本说明书还提供了相应
的时序定位装置，如图9所示。
[0119]
图9为本说明书提供的一种视频时序定位装置示意图，具体包括：
[0120]
获取模块200，获取待定位视频和目标文本；
[0121]
输入模块202，将所述待定位视频划分为若干个视频片段；并，将所述待定位视频和所述目标文本输入预先训练的时序定位模型中，以通过所述时序定位模型确定所述待定位视频中每一视频帧的图像特征，其中，一个视频帧的图像特征是根据该视频帧和所述目标文本得到的；
[0122]
片段模块204，针对每个视频片段，将该视频片段中包含的所有视频帧的图像特征的序列作为该视频片段的视频特征；
[0123]
第一确定模块206，根据该视频片段的视频特征确定该视频片段与所述目标文本之间的相关值，以及该视频片段的划分质量；
[0124]
第二确定模块208，根据各视频片段与所述目标文本之间的相关值以及各视频片段的划分质量确定各视频片段与所述目标文本的匹配值；
[0125]
匹配模块210，根据各视频片段与所述目标文本的匹配值确定与所述目标文本匹配的视频片段。
[0126]
在一可选的实施例：
[0127]
所述输入模块202，具体用于遍历各预设的窗口宽度和滑动步长的组合，采用下述方式将所述待定位视频划分为若干个视频片段：针对指定窗口宽度和指定滑动步长，针对指定窗口宽度和指定滑动步长，采用指定窗口宽度的窗口在所述待定位视频的时间轴上以所述指定滑动步长滑动，将每次滑动后窗口中包含的视频作为一个视频片段。
[0128]
在一可选的实施例：
[0129]
所述第一确定模块206，具体用于根据该视频片段的起始帧的图像特征和结束帧的图像特征，确定该视频片段的起始帧和结束帧是所述待定位视频的语义分割点的概率；根据该视频片段的起始帧和结束帧是语义分割点的概率，确定该视频片段的划分质量。
[0130]
在一可选的实施例：
[0131]
所述时序定位模型为多任务模型；所述时序定位模型包括：特征提取层、第一任务输出层、第二任务输出层；
[0132]
所述装置还包括，训练模块212，具体用于获取样本文本和样本视频；
[0133]
将所述样本视频划分为若干个样本视频片段，并将所述样本文本和所述样本视频输入待训练的时序定位模型中，以通过所述时序定位模型中的特征提取层确定所述样本视频中每一视频帧的待优化图像特征，其中，一个视频帧的待优化图像特征是根据各视频帧和所述样本文本得到的；针对每个样本视频片段，将该样本视频片段中包含的所有视频帧的图像特征的序列作为该样本视频片段的待优化视频特征；将该样本视频片段的视频特征分别输入第一任务输出层和第二任务输出层，得到第一任务输出层输出的该样本视频片段与所述样本文本之间的待优化相关值，以及第二任务输出层输出的该样本视频片段的待优化划分质量；以所述样本视频片段与所述样本文本之间的所述待优化相关值和标注相关值之间的差异最小为优化目标，调整所述特征提取层和所述第一任务输出层的模型参数，以所述样本视频片段的待优化划分质量和标注划分质量之间的差异最小为优化目标，调整所述特征提取层和所述第二任务输出层的模型参数，其中，所述标注相关值是根据该样本视
频片段的视频内容标注的，所述标注划分质量是根据所述样本视频的时间轴标注的。
[0134]
在一可选的实施例：
[0135]
所述训练模块212，具体用于获取第一文本、第二文本，以及与第一文本匹配的第一视频和与第二文本匹配的第二视频；将所述第一文本、第二本文作为样本文本；在所述第二视频中截取指定长度的视频片段；采用在所述第二视频中截取的视频片段替换第一视频中指定长度的视频片段，将被替换后的第一视频作为样本视频。
[0136]
在一可选的实施例：
[0137]
所述训练模块212，具体用于根据该样本视频片段中与所述样本文本匹配的视频在所述样本视频片段中的占比，标注该样本视频片段与所述样本文本之间的标注相关值。
[0138]
在一可选的实施例：
[0139]
所述训练模块212，具体用于将所述第一视频中被替换的视频片段的起始位置和结束位置作为所述样本视频的拼接位置；将所述样本视频的起始位置、拼接位置、结束位置作为所述样本视频的语义分割点；根据所述样本拼接视频的语义分割点对标注划分质量进行标注。
[0140]
在一可选的实施例：
[0141]
所述模型还包括第三任务输出层；
[0142]
所述训练模块212，具体用于将与所述样本文本匹配的视频在所述样本视频中的占比，作为所述样本文本对所述样本视频的标注占比；将所述样本视频中各视频帧的待优化图像特征输入所述第三任务输出层，得到第三任务输出层输出的所述样本文本匹配的视频的视频内容在所述样本视频的视频内容中的待优化占比；以所述待优化占比和所述标注占比之间的差异最小为优化目标，调整所述特征提取层的模型参数。
[0143]
在一可选的实施例：
[0144]
所述模型还包括第四任务输出层；
[0145]
所述训练模块212，具体用于对所述样本文本进行加扰，得到加扰文本，并确定所述样本文本中被加扰的原始词；确定所述加扰文本的待优化文本特征，所述待优化文本特征是根据所述加扰文本和所述样本视频得到的；将所述待优化文本特征输入所述第四任务输出层，得到第四任务输出层输出的所述加扰文本中被加扰的词；以确定出的所述加扰文本中被加扰的词和所述样本文本中被加扰的原始词之间的差异最小为优化目标，调整所述特征提取层的模型参数。
[0146]
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的视频时序定位方法。
[0147]
本说明书还提供了图10所示的电子设备的示意结构图。如图10所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的视频时序定位方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
[0148]
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然
而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
[0149]
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0150]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0151]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0152]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产
品的形式。
[0153]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0154]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0155]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0156]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0157]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0158]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0159]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0160]
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0161]
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程
序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0162]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0163]
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。