一种视频样例比对的方法、系统、设备及存储介质与流程

1.本发明涉及计算机机器视觉技术领域，特别涉及基于视觉有效特征提取的视频样例比对的方法、系统、设备及存储介质。


背景技术：

2.视频样例比对，又被称为视频同源比对，是指一个视频通过缩放、压缩、部分旋转、颜色变换、格式转换、部分裁剪、马赛克、模糊、贴标、弹幕遮挡等处理的视频或视频片段仍然与原视频来自同一个视频源头。
3.目前视频样例比对的方法基本分为两大类。
4.(1)基于原始时空域的方法，包括直接从时空域进行关键帧提取，局部敏感哈希(lsh)建立索引，或者提取颜色分布特征，hog、sift等梯度特征来进行比对的方法，或者是时空域向频域转换之后提取的频率分布的方法，这类方法容易受到噪声的干扰，无法适应视频的各种变换操作，比如基于颜色分布特征的方法无法适应颜色变换的场景，hog、sift等梯度特征的方法以及频率分布的方法无法有效适应弹幕、部分裁剪、马赛克、一定程度的模糊等场景，在实际算法应用中，往往会造成非常高的漏检率。
5.(2)基于视频高层语义特征提取的方法，其基本方法是不在原始的时空域进行特征提取，而是通过将原始的视频转换为较高语义层次的特征描述，然后在高层语义特征空间做比对。这类方法的好处是通过高层语义特征的提取，减少了原始空域噪声的影响，但是如果处理不当，很容易将视频样例比对任务扩大为视频主题检索任务。后者是检索同样场景的视频，而非同源的视频，这样造成的后果是比对过程中误检率大大提高。
6.非常常见的，视频中包含一些固定的片头片尾、或者由于场景转换造成的黑、白或纯文字画面，如果没有有效的筛选机制，样例比对效果也会大打折扣。视频可以看成是一系列前后顺序的视频帧序列，目前已有的技术方法都是在原始的时空域对这些视频帧进行筛选，这类方法降低了部分误检率，但是也遇到前面在时空域提取特征比对那样同样的问题，即对一些噪声和变换的适应性较差。为了提高特征提取和比对的效率，往往不是视频的每一帧都拿来做分析，那样计算要求过高，无法快速应对样例比对任务，而是基于原始视频前后帧的信息关联关系提取“关键帧”(视频解码中的i帧)，然后以i帧为基础去提取有效的视频帧子集完成后续的特征提取和样例比对任务。目前提取候选视频帧子集的方法，往往是基于前后帧差，或者在图像的空域建立特征，然后基于空域特征的相似度计算来完成候选视频帧子集的筛选，这样仍然没有摆脱空域处理的方法，而正如前面论述的那样，空域的方法对噪声比较敏感，提取候选视频帧子集也不够紧凑，无法更好地提高处理效率。


技术实现要素：

7.本发明提供了一种视频样例比对的方法、系统、设备及存储介质，用以解决现有空域的方法对噪声比较敏感，误检率、漏检率较高的问题。
8.为达到上述目的，本发明提供以下技术方案：
9.第一部分，本发明实施例的一种视频样例比对的方法，包括下列步骤：s1、构建特征提取网络模型，对原视频样例进行特征提取，得到原视频特征集；s2、构建通用无效特征底库，对所述的原视频特征集进行筛选，得到有效视频特征集，并生成视频样例特征底库；s3、与新视频样例比对时，提取所述新视频样例的新视频样例特征；s4、将所述新视频样例特征与所述视频样例特征底库中的各有效视频特征逐一进行比对，并输出比对结果。
10.优选的，步骤s1中所述的特征提取网络模型是具有跨层连接结构的网络。
11.优选的，步骤s1中所述的对原视频样例进行特征提取，具体是将原视频样例转化为原视频帧图像，对各所述的原视频帧图像进行图像增强，以及对所述的原视频帧图像和各增强视频帧图像进行特征提取；所述的图像增强包括：上下加黑边、上下翻转、左右翻转、上下左右同时翻转、行列变换、视频帧压缩、视频帧切片、灰度变换、尺度变换、运动模糊、高斯模糊、仿射变换、中值模糊、亮度扰动、色度扰动、饱和度扰动、对比度增强、锐化，或/和浮雕。
12.进一步的，同一原视频帧图像及其增强后得到的各增强视频帧图像两两之间互为相似视频帧对；以及，非同一原视频帧图像及其增强后得到的各增强视频帧图像两两之间互为不相似视频帧对。
13.进一步的，所述的将原视频样例转化为原视频帧图像，具体是对原视频样例进行解码，形成原视频帧图像序列。
14.优选的，步骤s2中还包括：构建通用无效图像库，具体是获取单色图像、纯文字图像、全局模糊图像、单一纹理图像，或者单一场景图像。
15.进一步的，步骤s2中所述的构建通用无效特征底库，具体是通过所述的特征提取网络模型提取所述通用无效图像库中各图像的特征，并录入所述的通用无效特征底库。
16.优选的，步骤s2中所述的对原视频特征集进行筛选得到有效视频特征集，具体是将所述原视频特征集中的各个特征与通用无效特征底库中的各个特征逐一进行相似度比对，如相似度小于相似度第一阈值，则将当前比对的原视频特征集的特征列为有效视频特征，各所述有效视频特征的集合为所述有效视频特征集。
17.进一步的，步骤s2中所述的生成视频样例特征底库之前，还包括从所述有效视频特征集中筛除视频冗余特征，得到有效关键特征集，再以所述有效关键特征集生成视频样例特征底库；得到有效关键特征集具体包括：s21、将有效视频特征集中当前特征与其后一时序的特征进行相似度比对；s22、如比对结果小于相似度第二阈值，则将当前特征标注为有效关键特征并加入有效关键特征集，以及将其后一时序特征赋值为当前特征，返回s21；否则，转入s23；s23、如比对结果大于等于相似度第二阈值，则筛除其后一时序特征，并返回s21。
18.优选的，对所述的视频样例特征底库进行特征压缩和空间划分，建立比对特征的索引。
19.优选的，步骤s3中所述的提取新视频样例特征，具体包括：s31、通过所述的特征提取网络模型提取新视频样例的特征；s32、将步骤s31提取的所述特征与通用无效特征底库中的各个特征逐一进行相似度比对，如相似度小于相似度第一阈值，则将当前比对的特征列为有效视频特征；s33、从步骤s32得到的有效视频特征中筛除视频冗余特征；s34、将步骤s33筛除后的特征作为所述的新视频样例特征。
20.优选的，步骤s4中所述的将新视频样例特征与视频样例特征底库中的各有效视频特征逐一进行比对，并输出比对结果，具体是将所述的新视频样例特征与视频样例特征底库中的各有效视频特征逐一进行相似度检索计算，得到匹配的候选视频结果集，通过视频去重对所述的候选视频结果集进行筛选，得到所述的比对结果并输出。
21.进一步的，所述的将新视频样例特征与视频样例特征底库中的各有效视频特征逐一进行相似度检索计算，得到匹配的候选视频结果集，具体包括：s41、新视频样例特征与视频样例特征底库中的各有效视频特征逐一进行相似度比对，如相似度大于等于相似度第三阈值，则记录当前新视频样例特征对应的视频id和帧序号，直至所有的所述新视频样例特征全部比对完毕，得到所述的候选视频结果集。
22.进一步的，所述的通过视频去重对候选视频结果集进行筛选，具体包括：s42、如果视频样例特征底库中的任一视频对应了不止一个新视频样例特征，则只记录相似度最高的新视频样例特征对应的视频id和帧序号。
23.进一步的，所述的得到比对结果并输出，具体包括：s43、对于所述视频去重后的候选视频结果集，如果其中的视频对应的新视频样例特征的数量大于等于第四阈值，则计算该视频对应的新视频样例特征相似度的均值，作为该视频的比对相似度；s44、将对应的新视频样例特征数量大于等于第四阈值的视频的id及其视频比对相似度列表作为所述的比对结果并输出。
24.第二部分，本发明实施例的一种视频样例比对的系统，包括：特征提取网络模型构建单元，用以构建特征提取网络模型；原视频特征集获取单元，用于对原视频样例进行特征提取，得到原视频特征集；通用无效特征底库构建单元，用于构建通用无效特征底库；有效视频特征集获取单元，用于对所述的原视频特征集进行筛选，得到有效视频特征集；视频样例特征底库生成单元，用于生成视频样例特征底库；新视频样例特征获取单元，用于与新视频样例比对时，提取所述新视频样例的新视频样例特征；比对单元，用于将所述新视频样例特征与所述视频样例特征底库中的各有效视频特征逐一进行比对；比对结果单元，用于输出比对结果。
25.优选的，还包括：筛除视频冗余特征单元，用于从所述有效视频特征集中筛除视频冗余特征，得到有效关键特征集，再以所述有效关键特征集输出给所述视频样例特征底库生成单元。
26.优选的，还包括：特征压缩单元，用于对所述的视频样例特征底库进行特征压缩和空间划分，建立比对特征的索引。
27.第三部分，本发明实施例的一种计算机设备，包括：存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明任意实施例所述的视频样例比对的方法。
28.第四部分，本发明实施例的一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所述的视频样例比对的方法。
29.本发明的一种视频样例比对的方法、系统、设备及存储介质，方案中所有的特征筛选、比对过程都是在提取的高层语义特征空间完成，避免了底层图像空域特征易受噪声的影响，使得相较图像原始的时空域特征提取方案更加鲁棒，降低了漏检率。
附图说明
30.此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
31.图1为本发明实施例1的视频样例比对的方法流程图；
32.图2为本发明实施例2的视频样例比对的方法流程图；
33.图3为本发明实施例2中生成视频样例特征底库的过程图；
34.图4为本发明实施例2中新视频样例比对的过程图；
35.图5为本发明实施例3的视频样例比对的系统结构示意图；
36.图6为本发明实施例4的视频样例比对的系统结构示意图；
37.图7为本发明实施例5的计算机设备的结构示意图。
具体实施方式
38.发明人经过研究发现，目前模型的构建都是与领域知识密切相关的，对领域理解越清晰，构建的模型就越有针对性，效果也会越好。在构建视频样例特征提取模型之前，首先要明确应的场景。本发明实施例中，视频样例比对是指比对的视频是否同源，其应用场景是来自于视频来源追溯，主要应用于版权保护等领域。视频检索往往关注视觉表观，比如两个完全不同的拍摄地点、只要场景类似，视频检索往往也会返回较高的相似度，比如从北京颐和园和苏州拙政园拍摄的两段视频，两个完全不同的地点，但是都因为有假山、有湖水，有杨柳等，在视频检索关注视觉表观看来具有比较高的相似度，视频检索对空间特征往往具有很高的适应性，空间的改变对视频检索的效果并不明显；与人脸比对也不同，人脸比对强调的哪怕随着个人装扮和年龄的变化，人脸比对对同一个人脸也会返回较高的相似度，时间改变对人脸比对的效果应该鲁棒。而样例比对模型式比对是否同源，在时间和空间上都有比较严格的要求，要求必须是同一段视频经过缩放、压缩、部分旋转、颜色变换、格式转换、部分裁剪、马赛克、模糊、贴标、弹幕遮挡等处理的视频仍然与原视频具有很高的相似度。
39.这样的变换操作要求使得进行数据集收集和预处理的流程、同时也表明本发明中的模型与之前的诸多基于视觉表观特征提取的模型会有一些差异。最大的不同在于，本发明的模型构建是基于自监督对比学习模型而构建的。所谓自监督学习，是指学习模型的流程跟传统的有监督学习需要大量人工标注数据集的方法不同，它通过数据的一部分去预测另一部分从而产生标签预测的过程。其经典应用场景包括图像修复与上色等。以下通过实施例具体详述。
40.实施例1、本实施例的视频样例比对的方法，参见图1所示，包括下列主要步骤：
41.110、构建特征提取网络模型，对原视频样例进行特征提取，得到原视频特征集。
42.具体的，特征提取网络模型的主干网络以resnet50网络作为基础，经过归一化提取特征。主干网络也可以采用resnet网络的densenet网络或者se
‑
net网络等具有跨层连接结构的网络代替。一方面这类网络模型由于加了跨层连接，使得训练过程的梯度变化更加平滑，不容易出现梯度消失的问题，从而有利于网络向更深的更具变大的结构迈进，而深度学习的观点也普遍认为更深的网络学习到的特征越具有表现力，降低数据噪声对模型的影响；另一方面，resnet50作为经典的网络结构，很多硬件平台都做了充分的优化，能够保证
模型在实际进行特征提取过程中的效率。
43.对原视频样例进行特征提取时，首先将原视频样例解码成原视频帧图像序列。为了使本实施例的效果更加鲁棒，对各原视频帧图像进行图像增强，增强操作包括但不限于：上下加黑边、上下翻转、左右翻转、上下左右同时翻转、行列变换、视频帧压缩、视频帧切片、灰度变换、尺度变换、运动模糊、高斯模糊、仿射变换、中值模糊、亮度扰动、色度扰动、饱和度扰动、对比度增强、锐化，或/和浮雕。之后，对于原视频帧图像和各增强视频帧图像，每一帧或者每隔几帧选一帧图像经过上述特征提取网络模型进行特征提取，得到原视频特征集。
44.通过上述图像增强操作，自然而然标注了图像对的标签，无须人工标注，即同一原视频帧图像及其增强后得到的各增强视频帧图像两两之间互为相似视频帧对，例如标签为1；非同一原视频帧图像及其增强后得到的各增强视频帧图像两两之间互为不相似视频帧对，例如标签为0。
45.120、构建通用无效特征底库，对原视频特征集进行筛选，得到有效视频特征集，并生成视频样例特征底库。
46.具体在构建通用无效特征底库之前，先构建通用无效图像库，通用无效图像库选择的无效图像包括但不限于：单色图像、纯文字图像、全局模糊图像、单一纹理图像，或者单一场景图像。其中，单色图像，比如白色、黑色、灰色以及其他颜色，不表示任何含义，可能仅仅在视频镜头过渡的时候采用；纯文字图像，比如视频的纯字幕场景图像，或者视频中被弹幕文字完全覆盖的图像；单一场景图像，比如视频中某些繁星、灯光等场景非常单一的图像，或者视频平台的片头、片尾图像等。然后通过特征提取网络模型提取通用无效图像库中各图像的特征，并录入通用无效特征底库。
47.目前基于深度网络学习得到的图像特征提取方法无法有效处理纹理信息缺失的图像特征提取，这些通用无效图像会造成视频中某些帧在比对过程中具有很高的相似度，造成大量的视频误检率，所以有必要进行有效特征的筛选，与传统的在时空域进行筛选受时空噪声影响的方案不同，本实施例中基于特征层面的筛选采用了对噪声鲁棒的特征提取网络模型(在训练阶段就考虑了噪声的影响)，所以筛选的过程也更能适应噪声的变化，从而降低误检率。
48.具体的，利用构建的通用无效特征底库，从原视频特征集中筛选出有效视频特征集。其筛选过程如下，假定原视频特征集为：{f
i
：i＝1，2...，n}，通用无效特征底库可以用如下特征集合表示为：{v
j
：j＝1，2...，m}，原视频特征集中特征与通用无效特征底库的相似度表示为两者之间的点乘：s
ij
＝f
i
·
v
j
。
49.定义无效特征比对的相似度第一阈值为s1，如果s
i
j≥s1，那么就表明原视频特征集中存在通用无效特征，需要将其筛除；如果s
ij
＜s1，则将当前比对的原视频特征集的特征列为有效视频特征，各有效视频特征的集合为有效视频特征集。再以有效视频特征集生成(作为)视频样例特征底库。
50.上述步骤中，构建特征提取网络模型，对原视频样例进行特征提取，得到原视频特征集的过程，以及构建通用无效特征底库的过程，二者之间没有特定的前后时序关系，本实施例中仅举例说明，如构建通用无效特征底库的过程在前，或者上述两过程并行处理等，均应在本专利保护范围之内。
51.130、与新视频样例比对时，提取新视频样例的新视频样例特征。
52.具体的，通过特征提取网络模型提取新视频样例的特征，将提取特征与通用无效特征底库中的各个特征逐一进行相似度比对，如相似度小于相似度第一阈值，则将当前比对的特征列为新视频样例特征。
53.140、将新视频样例特征与视频样例特征底库中的各有效视频特征逐一进行比对，并输出比对结果。
54.具体的，计算新视频样例特征与视频样例特征底库中每一条特征的相似度，如果相似度大于等于设定的相似度第三阈值，那么记录该新视频样例特征对应的视频id和帧序号，直到所有新视频样例特征全部计算完毕，得到候选视频结果集。
55.进一步需要对候选视频结果集去重，候选视频结果集中的某一个特征可能匹配到视频样例特征底库中的多个视频的多个特征，如果对应匹配的每一个视频中有多个特征匹配上，只提取匹配相似度最大的那一个特征，丢弃其他匹配结果，并记录该特征对应的视频id和帧序号，直到候选视频结果集中所有的特征全部去重完毕。
56.对于视频去重后的候选视频结果集，如果其中的视频对应的新视频样例特征的数量大于等于第四阈值，则计算该视频对应的新视频样例特征相似度的均值，作为该视频的比对相似度；将对应的新视频样例特征数量大于等于第四阈值的视频的id及其视频比对相似度列表作为比对结果并输出。
57.综上，本实施例的方法中对视频样例的特征进行提取。提取的过程涉及到特征提取模型的构建，训练数据的准备以及模型训练和部署的过程，模型在构建的过程会充分利用可能的变换方法对视频帧数据进行数据增强，以便帮助模型能够学习到适应各种噪声的能力，提高模型的鲁棒性，从而降低漏检率。对提取的样例特征筛选掉无效的特征，防止这些特征在后续比对过程中造成误匹配提高误检率。对筛选过的视频特征入库，对于新来视频，按照前面流程，跟入库的视频特征进行比对，基于比对结果进行去重，返回匹配的视频id。可见，所有的特征筛选、比对过程都是在提取的高层语义特征空间完成的，避免了底层图像空域特征易受噪声的影响，使得本实施例较图像原始的时空域特征提取方法更加鲁棒，降低了漏检率。通过构建无效特征底库和有效特征的筛选机制，一方面能够提高比对库的质量，同时又能按照需求定制不同的比对场景，适应性更好，此外通过特征层面的筛选，也提高了比对库的构建效率和比对效率，降低了误检率。基于候选视频的去重、融合策略，能够进一步降低误检的可能性。
58.实施例2、本实施例的视频样例比对的方法，参见图2所示，包括下列主要步骤：
59.210、构建特征提取网络模型，对原视频样例进行特征提取，得到原视频特征集。
60.具体的，特征提取网络模型的主干网络以resnet50网络作为基础，经过归一化提取特征。主干网络也可以采用resnet网络的densenet网络或者se
‑
net网络等具有跨层连接结构的网络代替。一方面这类网络模型由于加了跨层连接，使得训练过程的梯度变化更加平滑，不容易出现梯度消失的问题，从而有利于网络向更深的更具变大的结构迈进，而深度学习的观点也普遍认为更深的网络学习到的特征越具有表现力，降低数据噪声对模型的影响；另一方面，resnet50作为经典的网络结构，很多硬件平台都做了充分的优化，能够保证模型在实际进行特征提取过程中的效率。
61.对原视频样例进行特征提取时，首先将原视频样例解码成原视频帧图像序列。为
了使本实施例的效果更加鲁棒，对各原视频帧图像进行图像增强，增强操作包括但不限于：上下加黑边、上下翻转、左右翻转、上下左右同时翻转、行列变换、视频帧压缩、视频帧切片、灰度变换、尺度变换、运动模糊、高斯模糊、仿射变换、中值模糊、亮度扰动、色度扰动、饱和度扰动、对比度增强、锐化，或/和浮雕。之后，对于原视频帧图像和各增强视频帧图像，每一帧或者每隔几帧选一帧图像经过上述特征提取网络模型进行特征提取，得到原视频特征集。
62.通过上述图像增强操作，自然而然标注了图像对的标签，无须人工标注，即同一原视频帧图像及其增强后得到的各增强视频帧图像两两之间互为相似视频帧对，例如标签为1；非同一原视频帧图像及其增强后得到的各增强视频帧图像两两之间互为不相似视频帧对，例如标签为0。
63.220、构建通用无效特征底库，对原视频特征集进行筛选，得到有效视频特征集，并生成视频样例特征底库。
64.生成视频样例特征底库的过程参见图3所示。
65.具体在构建通用无效特征底库之前，先构建通用无效图像库，通用无效图像库选择的无效图像包括但不限于：单色图像、纯文字图像、全局模糊图像、单一纹理图像，或者单一场景图像。其中，单色图像，比如白色、黑色、灰色以及其他颜色，不表示任何含义，可能仅仅在视频镜头过渡的时候采用；纯文字图像，比如视频的纯字幕场景图像，或者视频中被弹幕文字完全覆盖的图像；单一场景图像，比如视频中某些繁星、灯光等场景非常单一的图像，或者视频平台的片头、片尾图像等。然后通过特征提取网络模型提取通用无效图像库中各图像的特征，并录入通用无效特征底库。
66.目前基于深度网络学习得到的图像特征提取方法无法有效处理纹理信息缺失的图像特征提取，这些通用无效图像会造成视频中某些帧在比对过程中具有很高的相似度，造成大量的视频误检率，所以有必要进行有效特征的筛选，与传统的在时空域进行筛选受时空噪声影响的方案不同，本实施例中基于特征层面的筛选采用了对噪声鲁棒的特征提取网络模型(在训练阶段就考虑了噪声的影响)，所以筛选的过程也更能适应噪声的变化，从而降低误检率。
67.具体的，利用构建的通用无效特征底库，从原视频特征集中筛选出有效视频特征集。其筛选过程如下，假定原视频特征集为：{f
i
：i＝1，2...，n}，通用无效特征底库可以用如下特征集合表示为：{v
j
∶j＝1，2...，m}，原视频特征集中特征与通用无效特征底库的相似度表示为两者之间的点乘：s
ij
＝f
i
·
v
j
。
68.定义无效特征比对的相似度第一阈值为s1，如果s
ij
≥s1，那么就表明原视频特征集中存在通用无效特征，需要将其筛除；如果s
ij
＜s1，则将当前比对的原视频特征集的特征列为有效视频特征，各有效视频特征的集合为有效视频特征集。
69.本实施例中，为了筛除包含冗余信息的特征，提高后续比对的效率，进一步从有效视频特征集中筛除视频冗余特征，得到有效关键特征集，再以有效关键特征集生成视频样例特征底库。具体的，假定经过通用无效特征底库筛选的视频特征集变为{f
t
：t＝1，2...，t}，其中下标t表示时序序号，基于视频帧间特征相似度计算的冗余特征筛选过程如下：计算s
pq
＝f
p
·
f
q
，其中p＝1，...，t，q＝p+1，...，t，定义帧间特征相似度阈值为相似度第二阈值s2，如果s
pq
≥s2，表明时序为p与其后时序为q的特征相似度较高，时序为q的特征与前面
时序为p的特征存在冗余，剔除掉后面冗余的帧特征，q
←
q+1；否则将时序为p的特征标记为包含关键信息的特征，同时将当前后面的q赋值给p，即p
←
q，重新执行上述操作，直到p达到时序的末尾t。
70.由于视频样例特征底库的规模较大，无论是存储还是比对，消耗的资源都比较大，检索的时间也比较长。因此，本实施例中通过特征压缩的技术和空间划分，建立比对特征的索引，可以降低比对过程中内存的占用，检索效率也会大大提高。在具体实现中，通常输出的特征是float32类型，如果一个向量的维度是l，那么占用的字节数就是4l，矢量量化就是将float32类型的数据压缩到float16、int8甚至是int4，这样占用的字节数分别依次减半以此变为2l、l、l/2，通过量化和矫正两个手段，每条特征的占用明显降低。在具体实现中，将比对的向量空间进行类似于b树的分桶划分，通过空间换时间的方式，将线性时间查找变为基于b树的对时间查找，查找效率显著提高，甚至通过近似最近邻搜索的方法进一步在适当降低召回率的情况下提高检索效率。经过特征压缩和空间提前划分建立索引的方式，可以得到一个内存占用更小、检索更高效的视频样例特征底库。
71.上述步骤中，构建特征提取网络模型，对原视频样例进行特征提取，得到原视频特征集的过程，以及构建通用无效特征底库的过程，二者之间没有特定的前后时序关系，本实施例中仅举例说明，如构建通用无效特征底库的过程在前，或者上述两过程并行处理等，均应在本专利保护范围之内。
72.230、与新视频样例比对时，提取新视频样例的新视频样例特征。
73.新视频样例比对的过程，参见图4所示，包括本实施例的步骤230和步骤240部分。
74.具体的，通过特征提取网络模型提取新视频样例的特征，将提取特征与通用无效特征底库中的各个特征逐一进行相似度比对，如相似度小于相似度第一阈值，则将当前比对的特征列为新视频样例特征。本实施例中进一步从上述新视频样例特征中筛除视频冗余特征，具体方式同步骤220中相关内容，不再赘述。将筛除冗余特征后的特征作为新视频样例特征。
75.在具体实现中，为了降低漏检率，提高召回率，步骤220的视频样例特征底库生成过程中仅进行通用无效特征的筛选流程即可，而在新视频样例比对过程中，新视频样例则应该通过以上两个筛选过程，以便尽量消除冗余的帧间信息，对于视频画面内容变化小或固定画面场景能大大提高比对的效率。
76.240、将新视频样例特征与视频样例特征底库中的各有效视频特征逐一进行比对，并输出比对结果。
77.具体的，计算新视频样例特征与视频样例特征底库中每一条特征的相似度，如果相似度大于等于设定的相似度第三阈值，那么记录该新视频样例特征对应的视频id和帧序号，直到所有新视频样例特征全部计算完毕，得到候选视频结果集。
78.进一步需要对候选视频结果集去重，候选视频结果集中的某一个特征可能匹配到视频样例特征底库中的多个视频的多个特征，如果对应匹配的每一个视频中有多个特征匹配上，只提取匹配相似度最大的那一个特征，丢弃其他匹配结果，并记录该特征对应的视频id和帧序号，直到候选视频结果集中所有的特征全部去重完毕。
79.对于视频去重后的候选视频结果集，如果其中的视频对应的新视频样例特征的数量大于等于第四阈值，则计算该视频对应的新视频样例特征相似度的均值，作为该视频的
比对相似度；将对应的新视频样例特征数量大于等于第四阈值的视频的id及其视频比对相似度列表作为比对结果并输出。
80.综上，本实施例的方法中对视频样例的特征进行提取。提取的过程涉及到特征提取模型的构建，训练数据的准备以及模型训练和部署的过程，模型在构建的过程会充分利用可能的变换方法对视频帧数据进行数据增强，以便帮助模型能够学习到适应各种噪声的能力，提高模型的鲁棒性，从而降低漏检率。对提取的样例特征进行筛选，一是筛选掉无效的特征，防止这些特征在后续比对过程中造成误匹配提高误检率，二是筛选掉包含冗余信息的特征，提高后续比对的效率；对筛选过的视频特征入库，对于新来视频，按照前面流程，跟入库的视频特征进行比对，基于比对结果进行融合，返回匹配的视频id。可见，一是所有的特征筛选、比对过程都是在提取的高层语义特征空间完成的，避免了底层图像空域特征易受噪声的影响，使得本实施例较图像原始的时空域特征提取方法更加鲁棒，降低了漏检率；二是通过构建通用无效特征底库和通过关键特征的筛选机制，一方面能够提高比对库的质量，同时又能按照需求定制不同的比对场景，适应性更好，此外通过特征层面的筛选，也提高了比对库的构建效率和比对效率，降低了误检率；三是基于候选视频的去重、融合策略能够进一步降低误检的可能性。
81.实施例3、本实施例的视频样例比对的系统，参见图5所示，包括：特征提取网络模型构建单元301、原视频特征集获取单元302、通用无效特征底库构建单元303、有效视频特征集获取单元304、视频样例特征底库生成单元305、新视频样例特征获取单元306、比对单元307和比对结果单元308。
82.特征提取网络模型构建单元301，用以构建特征提取网络模型。具体的，特征提取网络模型的主干网络以resnet50网络作为基础，经过归一化提取特征。主干网络也可以采用resnet网络的densenet网络或者se
‑
net网络等具有跨层连接结构的网络代替。一方面这类网络模型由于加了跨层连接，使得训练过程的梯度变化更加平滑，不容易出现梯度消失的问题，从而有利于网络向更深的更具变大的结构迈进，而深度学习的观点也普遍认为更深的网络学习到的特征越具有表现力，降低数据噪声对模型的影响；另一方面，resnet50作为经典的网络结构，很多硬件平台都做了充分的优化，能够保证模型在实际进行特征提取过程中的效率。
83.原视频特征集获取单元302，用于对原视频样例进行特征提取，得到原视频特征集。具体的，对原视频样例进行特征提取时，首先将原视频样例解码成原视频帧图像序列。为了使本实施例的效果更加鲁棒，对各原视频帧图像进行图像增强，增强操作包括但不限于：上下加黑边、上下翻转、左右翻转、上下左右同时翻转、行列变换、视频帧压缩、视频帧切片、灰度变换、尺度变换、运动模糊、高斯模糊、仿射变换、中值模糊、亮度扰动、色度扰动、饱和度扰动、对比度增强、锐化，或/和浮雕。之后，对于原视频帧图像和各增强视频帧图像，每一帧或者每隔几帧选一帧图像经过上述特征提取网络模型进行特征提取，得到原视频特征集。通过上述图像增强操作，自然而然标注了图像对的标签，无须人工标注，即同一原视频帧图像及其增强后得到的各增强视频帧图像两两之间互为相似视频帧对，例如标签为1；非同一原视频帧图像及其增强后得到的各增强视频帧图像两两之间互为不相似视频帧对，例如标签为0。
84.通用无效特征底库构建单元303，用于构建通用无效特征底库。具体的，在构建通
用无效特征底库之前，先构建通用无效图像库，通用无效图像库选择的无效图像包括但不限于：单色图像、纯文字图像、全局模糊图像、单一纹理图像，或者单一场景图像。其中，单色图像，比如白色、黑色、灰色以及其他颜色，不表示任何含义，可能仅仅在视频镜头过渡的时候采用；纯文字图像，比如视频的纯字幕场景图像，或者视频中被弹幕文字完全覆盖的图像；单一场景图像，比如视频中某些繁星、灯光等场景非常单一的图像，或者视频平台的片头、片尾图像等。然后通过特征提取网络模型提取通用无效图像库中各图像的特征，并录入通用无效特征底库。
85.有效视频特征集获取单元304，用于对所述的原视频特征集进行筛选，得到有效视频特征集。目前基于深度网络学习得到的图像特征提取方法无法有效处理纹理信息缺失的图像特征提取，这些通用无效图像会造成视频中某些帧在比对过程中具有很高的相似度，造成大量的视频误检率，所以有必要进行有效特征的筛选，与传统的在时空域进行筛选受时空噪声影响的方案不同，本实施例中基于特征层面的筛选采用了对噪声鲁棒的特征提取网络模型(在训练阶段就考虑了噪声的影响)，所以筛选的过程也更能适应噪声的变化，从而降低误检率。具体的，利用构建的通用无效特征底库，从原视频特征集中筛选出有效视频特征集。其筛选过程如下，假定原视频特征集为：{f
i
：i＝1，2...，n}，通用无效特征底库可以用如下特征集合表示为：{v
j
：j＝1，2...，m}，原视频特征集中特征与通用无效特征底库的相似度表示为两者之间的点乘：s
ij
＝f
i
·
v
j
。定义无效特征比对的相似度第一阈值为s1，如果s
ij
≥s1，那么就表明原视频特征集中存在通用无效特征，需要将其筛除；如果s
ij
＜s1，则将当前比对的原视频特征集的特征列为有效视频特征，各有效视频特征的集合为有效视频特征集。
86.视频样例特征底库生成单元305，用于以有效视频特征集生成视频样例特征底库。
87.新视频样例特征获取单元306，用于与新视频样例比对时，提取新视频样例的新视频样例特征。具体的，通过特征提取网络模型提取新视频样例的特征，将提取特征与通用无效特征底库中的各个特征逐一进行相似度比对，如相似度小于相似度第一阈值，则将当前比对的特征列为新视频样例特征。
88.比对单元307，用于将所述新视频样例特征与所述视频样例特征底库中的各有效视频特征逐一进行比对。具体的，计算新视频样例特征与视频样例特征底库中每一条特征的相似度，如果相似度大于等于设定的相似度第三阈值，那么记录该新视频样例特征对应的视频id和帧序号，直到所有新视频样例特征全部计算完毕，得到候选视频结果集。进一步需要对候选视频结果集去重，候选视频结果集中的某一个特征可能匹配到视频样例特征底库中的多个视频的多个特征，如果对应匹配的每一个视频中有多个特征匹配上，只提取匹配相似度最大的那一个特征，丢弃其他匹配结果，并记录该特征对应的视频id和帧序号，直到候选视频结果集中所有的特征全部去重完毕。
89.比对结果单元308，用于输出比对结果。具体的，对于视频去重后的候选视频结果集，如果其中的视频对应的新视频样例特征的数量大于等于第四阈值，则计算该视频对应的新视频样例特征相似度的均值，作为该视频的比对相似度；将对应的新视频样例特征数量大于等于第四阈值的视频的id及其视频比对相似度列表作为比对结果并输出。
90.综上，本实施例的系统中对视频样例的特征进行提取。提取的过程涉及到特征提取模型的构建，训练数据的准备以及模型训练和部署的过程，模型在构建的过程会充分利
用可能的变换，对视频帧数据进行数据增强，以便帮助模型能够学习到适应各种噪声的能力，提高模型的鲁棒性，从而降低漏检率。对提取的样例特征筛选掉无效的特征，防止这些特征在后续比对过程中造成误匹配提高误检率。对筛选过的视频特征入库，对于新来视频，按照前面流程，跟入库的视频特征进行比对，基于比对结果进行去重，返回匹配的视频id。可见，所有的特征筛选、比对过程都是在提取的高层语义特征空间完成的，避免了底层图像空域特征易受噪声的影响，使得本实施例较图像原始的时空域特征提取系统更加鲁棒，降低了漏检率。通过构建无效特征底库和有效特征的筛选机制，一方面能够提高比对库的质量，同时又能按照需求定制不同的比对场景，适应性更好，此外通过特征层面的筛选，也提高了比对库的构建效率和比对效率，降低了误检率。基于候选视频的去重、融合策略，能够进一步降低误检的可能性。
91.实施例4、本实施例的视频样例比对的系统，参见图6所示，包括：特征提取网络模型构建单元401、原视频特征集获取单元402、通用无效特征底库构建单元403、有效视频特征集获取单元404、视频样例特征底库生成单元405、新视频样例特征获取单元406、比对单元407、比对结果单元408、筛除视频冗余特征单元409和特征压缩单元410。
92.特征提取网络模型构建单元401，用以构建特征提取网络模型。具体的，特征提取网络模型的主干网络以resnet50网络作为基础，经过归一化提取特征。主干网络也可以采用resnet网络的densenet网络或者se
‑
net网络等具有跨层连接结构的网络代替。一方面这类网络模型由于加了跨层连接，使得训练过程的梯度变化更加平滑，不容易出现梯度消失的问题，从而有利于网络向更深的更具变大的结构迈进，而深度学习的观点也普遍认为更深的网络学习到的特征越具有表现力，降低数据噪声对模型的影响；另一方面，resnet50作为经典的网络结构，很多硬件平台都做了充分的优化，能够保证模型在实际进行特征提取过程中的效率。
93.原视频特征集获取单元402，用于对原视频样例进行特征提取，得到原视频特征集。具体的，对原视频样例进行特征提取时，首先将原视频样例解码成原视频帧图像序列。为了使本实施例的效果更加鲁棒，对各原视频帧图像进行图像增强，增强操作包括但不限于：上下加黑边、上下翻转、左右翻转、上下左右同时翻转、行列变换、视频帧压缩、视频帧切片、灰度变换、尺度变换、运动模糊、高斯模糊、仿射变换、中值模糊、亮度扰动、色度扰动、饱和度扰动、对比度增强、锐化，或/和浮雕。之后，对于原视频帧图像和各增强视频帧图像，每一帧或者每隔几帧选一帧图像经过上述特征提取网络模型进行特征提取，得到原视频特征集。通过上述图像增强操作，自然而然标注了图像对的标签，无须人工标注，即同一原视频帧图像及其增强后得到的各增强视频帧图像两两之间互为相似视频帧对，例如标签为1；非同一原视频帧图像及其增强后得到的各增强视频帧图像两两之间互为不相似视频帧对，例如标签为0。
94.通用无效特征底库构建单元403，用于构建通用无效特征底库。具体的，在构建通用无效特征底库之前，先构建通用无效图像库，通用无效图像库选择的无效图像包括但不限于：单色图像、纯文字图像、全局模糊图像、单一纹理图像，或者单一场景图像。其中，单色图像，比如白色、黑色、灰色以及其他颜色，不表示任何含义，可能仅仅在视频镜头过渡的时候采用；纯文字图像，比如视频的纯字幕场景图像，或者视频中被弹幕文字完全覆盖的图像；单一场景图像，比如视频中某些繁星、灯光等场景非常单一的图像，或者视频平台的片
头、片尾图像等。然后通过特征提取网络模型提取通用无效图像库中各图像的特征，并录入通用无效特征底库。
95.有效视频特征集获取单元404，用于对所述的原视频特征集进行筛选，得到有效视频特征集。目前基于深度网络学习得到的图像特征提取方法无法有效处理纹理信息缺失的图像特征提取，这些通用无效图像会造成视频中某些帧在比对过程中具有很高的相似度，造成大量的视频误检率，所以有必要进行有效特征的筛选，与传统的在时空域进行筛选受时空噪声影响的方案不同，本实施例中基于特征层面的筛选采用了对噪声鲁棒的特征提取网络模型(在训练阶段就考虑了噪声的影响)，所以筛选的过程也更能适应噪声的变化，从而降低误检率。具体的，利用构建的通用无效特征底库，从原视频特征集中筛选出有效视频特征集。其筛选过程如下，假定原视频特征集为：{f
i
：i＝1，2...，n}，通用无效特征底库可以用如下特征集合表示为：{v
j
：j＝1，2...，m}，原视频特征集中特征与通用无效特征底库的相似度表示为两者之间的点乘：s
ij
＝f
i
·
v
j
。定义无效特征比对的相似度第一阈值为s1，如果s
ij
≥s1，那么就表明原视频特征集中存在通用无效特征，需要将其筛除；如果s
ij
＜s1，则将当前比对的原视频特征集的特征列为有效视频特征，各有效视频特征的集合为有效视频特征集。
96.筛除视频冗余特征单元409，用于从有效视频特征集中筛除视频冗余特征，得到有效关键特征集，再以有效关键特征集输出给所述视频样例特征底库生成单元。具体的，为了筛除包含冗余信息的特征，提高后续比对的效率，假定经过通用无效特征底库筛选的视频特征集变为{f
t
：t＝1，2...，t}，其中下标t表示时序序号，基于视频帧间特征相似度计算的冗余特征筛选过程如下：计算s
pq
＝f
p
·
f
q
，其中p＝1，...，t，q＝p+1，...，t，定义帧间特征相似度阈值为相似度第二阈值s2，如果s
pq
≥s2，表明时序为p与其后时序为q的特征相似度较高，时序为q的特征与前面时序为p的特征存在冗余，剔除掉后面冗余的帧特征，q
←
q+1；否则将时序为p的特征标记为包含关键信息的特征，同时将当前后面的q赋值给p，即p
←
q，重新执行上述操作，直到p达到时序的末尾t。
97.视频样例特征底库生成单元405，用于生成视频样例特征底库。
98.特征压缩单元410，用于对视频样例特征底库进行特征压缩和空间划分，建立比对特征的索引。由于视频样例特征底库的规模较大，无论是存储还是比对，消耗的资源都比较大，检索的时间也比较长。因此，本实施例中通过特征压缩的技术和空间划分，建立比对特征的索引，可以降低比对过程中内存的占用，检索效率也会大大提高。在具体实现中，通常输出的特征是float32类型，如果一个向量的维度是l，那么占用的字节数就是4l，矢量量化就是将float32类型的数据压缩到float16、int8甚至是int4，这样占用的字节数分别依次减半以此变为2l、l、l/2，通过量化和矫正两个手段，每条特征的占用明显降低。在具体实现中，将比对的向量空间进行类似于b树的分桶划分，通过空间换时间的方式，将线性时间查找变为基于b树的对时间查找，查找效率显著提高，甚至通过近似最近邻搜索的方法进一步在适当降低召回率的情况下提高检索效率。经过特征压缩和空间提前划分建立索引的方式，可以得到一个内存占用更小、检索更高效的视频样例特征底库。
99.新视频样例特征获取单元406，用于与新视频样例比对时，提取新视频样例的新视频样例特征。具体的，通过特征提取网络模型提取新视频样例的特征，将提取特征与通用无效特征底库中的各个特征逐一进行相似度比对，如相似度小于相似度第一阈值，则将当前
比对的特征列为新视频样例特征。本实施例中还调用筛除视频冗余特征单元409，从上述新视频样例特征中筛除视频冗余特征，具体方式不再赘述。将筛除冗余特征后的特征作为新视频样例特征。在具体实现中，为了降低漏检率，提高召回率，在新视频样例比对过程中，新视频样例则应该通过上述通用无效特征底库和筛除视频冗余特征单元409两次筛选，以便尽量消除冗余的帧间信息，对于视频画面内容变化小或固定画面场景能大大提高比对的效率。
100.比对单元407，用于将所述新视频样例特征与所述视频样例特征底库中的各有效视频特征逐一进行比对。具体的，计算新视频样例特征与视频样例特征底库中每一条特征的相似度，如果相似度大于等于设定的相似度第三阈值，那么记录该新视频样例特征对应的视频id和帧序号，直到所有新视频样例特征全部计算完毕，得到候选视频结果集。进一步需要对候选视频结果集去重，候选视频结果集中的某一个特征可能匹配到视频样例特征底库中的多个视频的多个特征，如果对应匹配的每一个视频中有多个特征匹配上，只提取匹配相似度最大的那一个特征，丢弃其他匹配结果，并记录该特征对应的视频id和帧序号，直到候选视频结果集中所有的特征全部去重完毕。
101.比对结果单元408，用于输出比对结果。具体的，对于视频去重后的候选视频结果集，如果其中的视频对应的新视频样例特征的数量大于等于第四阈值，则计算该视频对应的新视频样例特征相似度的均值，作为该视频的比对相似度；将对应的新视频样例特征数量大于等于第四阈值的视频的id及其视频比对相似度列表作为比对结果并输出。
102.综上，本实施例的系统中对视频样例的特征进行提取。提取的过程涉及到特征提取模型的构建，训练数据的准备以及模型训练和部署的过程，模型在构建的过程会充分利用可能的变换，对视频帧数据进行数据增强，以便帮助模型能够学习到适应各种噪声的能力，提高模型的鲁棒性，从而降低漏检率。对提取的样例特征进行筛选，一是筛选掉无效的特征，防止这些特征在后续比对过程中造成误匹配提高误检率，二是筛选掉包含冗余信息的特征，提高后续比对的效率；对筛选过的视频特征入库，对于新来视频，按照前面流程，跟入库的视频特征进行比对，基于比对结果进行融合，返回匹配的视频id。可见，一是所有的特征筛选、比对过程都是在提取的高层语义特征空间完成的，避免了底层图像空域特征易受噪声的影响，使得本实施例较图像原始的时空域特征提取系统更加鲁棒，降低了漏检率；二是通过构建通用无效特征底库和通过关键特征的筛选机制，一方面能够提高比对库的质量，同时又能按照需求定制不同的比对场景，适应性更好，此外通过特征层面的筛选，也提高了比对库的构建效率和比对效率，降低了误检率；三是基于候选视频的去重、融合策略能够进一步降低误检的可能性。
103.实施例5、本实施例的计算机设备，参见图7所示，显示的计算机设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
104.如图7所示，计算机设备500以通用计算设备的形式表现。计算机设备500的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件(包括系统存储器502和处理单元501)的总线503。
105.总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)
总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
106.计算机设备500典型的包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
107.系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)504和/或高速缓存505。计算机设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统506可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd
‑
rom,dvd
‑
rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。系统存储器502可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
108.具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如系统存储器502中，这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例中的功能和/或方法。
109.计算机设备500也可以与一个显示器510或多个外部设备509(例如键盘、指向设备、等)通信，还可与一个或者多个使得用户能与该计算机设备500交互的设备通信，和/或与使得该计算机设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口511进行。并且，计算机设备500还可以通过网络适配器512与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网通信。如图7所示，网络适配器512通过总线503与计算机设备500的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
110.处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种视频样例比对的方法，包括下列主要步骤：构建特征提取网络模型，对原视频样例进行特征提取，得到原视频特征集；构建通用无效特征底库，对所述的原视频特征集进行筛选，得到有效视频特征集，并生成视频样例特征底库；与新视频样例比对时，提取所述新视频样例的新视频样例特征；将所述新视频样例特征与所述视频样例特征底库中的各有效视频特征逐一进行比对，并输出比对结果。
111.实施例6、本实施例的包含计算机可执行指令的存储介质，其内部存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的一种视频样例比对的方法，包括下列主要步骤：构建特征提取网络模型，对原视频样例进行特征提取，得到原视频特征集；构建通用无效特征底库，对所述的原视频特征集进行筛选，得到有效视频特征集，并生成视频样例特征底库；与新视频样例比对时，提取所述新视频样例的新视频样例特征；将所述新视频样例特征与所述视频样例特征底库中的各有效视频特征逐一进行比对，并输出比对结果。
112.本实施例的包含计算机可执行指令的存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
113.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
114.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。