视频场景分类模型的训练样本生成方法、装置及设备与流程

1.本技术涉及人工智能技术领域，特别涉及一种视频场景分类模型的训练样本生成方法、装置及设备。


背景技术：

2.在用户上传视频之后，可以基于视频所属的场景将视频投放至不同的分区。
3.在相关技术中，在获取用户上传的视频之后，人工对该视频进行审核，确定视频是否符合视频投放平台的规范，并根据视频的具体内容，确定视频所属的场景，进而将视频投放至合适的场景分区。
4.然而，在上述相关技术中，由人工确定视频所属的场景，受人工主观意识影响，场景分类结果不准确。


技术实现要素：

5.本技术实施例提供了一种视频场景分类模型的训练样本生成方法、装置及设备，能够提高场景分类结果的准确性，提高视频场景分类的效率。所述技术方案如下。
6.根据本技术实施例的一个方面，提供了一种视频场景分类模型的训练样本生成方法，所述方法包括以下步骤：
7.获取样本视频，所述样本视频包括多个连续的样本图像帧；
8.对各个所述样本图像帧分别进行视频特征提取，得到各个所述样本图像帧分别对应的视频特征，所述视频特征用于描述所述样本图像帧包含的特征，以及所述样本图像帧与关联样本图像帧之间的变化特征；其中，所述关联样本图像帧是指在所述样本视频中与所述样本图像帧具有关联关系的图像帧；
9.对各个所述样本图像帧分别进行场景特征提取，得到各个所述样本图像帧分别对应的图像场景特征；其中，所述图像场景特征用于描述所述样本图像帧所属的场景；
10.根据各个所述样本图像帧分别对应的视频特征，以及各个所述样本图像帧分别对应的图像场景特征，生成所述样本视频对应的训练样本；其中，所述训练样本用于对视频场景分类模型进行训练，所述视频场景分类模型用于识别视频所属的场景。
11.根据本技术实施例的一个方面，提供了一种视频场景的分类方法，所述方法包括以下步骤：
12.获取待处理的视频，所述视频包括多个连续的图像帧；
13.对各个所述图像帧分别进行视频特征提取，得到各个所述图像帧分别对应的视频特征，所述视频特征用于描述所述图像帧包含的特征，以及所述图像帧与关联图像帧之间的变化特征；其中，所述关联图像帧是指在所述视频中与所述图像帧具有关联关系的图像帧；
14.对各个所述图像帧分别进行场景特征提取，得到各个所述图像帧分别对应的图像场景特征；其中，所述图像场景特征用于描述所述图像帧所属的场景；
15.根据各个所述图像帧分别对应的视频特征，以及各个所述图像帧分别对应的图像场景特征，确定所述视频所属的场景。
16.根据本技术实施例的一个方面，提供了一种视频场景分类模型的训练样本生成装置，所述装置包括以下模块：
17.样本获取模块，用于获取样本视频，所述样本视频包括多个连续的样本图像帧；
18.视频提取模块，用于对各个所述样本图像帧分别进行视频特征提取，得到各个所述样本图像帧分别对应的视频特征，所述视频特征用于描述所述样本图像帧包含的特征，以及所述样本图像帧与关联样本图像帧之间的变化特征；其中，所述关联样本图像帧是指在所述样本视频中与所述样本图像帧具有关联关系的图像帧；
19.场景提取模块，用于对各个所述样本图像帧分别进行场景特征提取，得到各个所述样本图像帧分别对应的图像场景特征；其中，所述图像场景特征用于描述所述样本图像帧所属的场景；
20.样本生成模块，用于根据各个所述样本图像帧分别对应的视频特征，以及各个所述样本图像帧分别对应的图像场景特征，生成所述样本视频对应的训练样本；其中，所述训练样本用于对视频场景分类模型进行训练，所述视频场景分类模型用于识别视频所属的场景。
21.根据本技术实施例的一个方面，提供了一种视频场景的分类装置，所述装置包括以下模块：
22.视频获取模块，用于获取待处理的视频，所述视频包括多个连续的图像帧；
23.视频处理模块，用于对各个所述图像帧分别进行视频特征提取，得到各个所述图像帧分别对应的视频特征，所述视频特征用于描述所述图像帧包含的特征，以及所述图像帧与关联图像帧之间的变化特征；其中，所述关联图像帧是指在所述视频中与所述图像帧具有关联关系的图像帧；
24.图像处理模块，用于对各个所述图像帧分别进行场景特征提取，得到各个所述图像帧分别对应的图像场景特征；其中，所述图像场景特征用于描述所述图像帧所属的场景；
25.场景确定模块，用于根据各个所述图像帧分别对应的视频特征，以及各个所述图像帧分别对应的图像场景特征，确定所述视频所属的场景。
26.根据本技术实施例的一个方面，本技术实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述视频场景分类模型的训练样本生成方法，或实现上述视频场景的分类方法。
27.根据本技术实施例的一个方面，本技术实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述视频场景分类模型的训练样本生成方法，或实现上述视频场景的分类方法。
28.根据本技术实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机
指令，使得该计算机设备执行上述视频场景分类模型的训练样本生成方法，或实现上述视频场景的分类方法。
29.本技术实施例提供的技术方案可以带来如下有益效果：
30.通过各个样本图像帧分别对应的视频特征，以及各个样本图像帧分别对应的图像场景特征，生成针对视频场景分类模型的训练样本，且视频场景分类模型用于识别视频所属的场景，提供了一种针对视频的自动化场景分类模式，提高场景分类结果的准确性，避免人工主观意识对视频场景分类的影响，减少场景分类的人工约束，提高视频场景分类的效率；而且，基于样本图像帧在样本视频中的关联关系，对样本图像帧进行视频特征提取，得到样本图像帧对应的视频特征，并且，对样本图像帧进行场景特征提取，得到样本图像帧对应的图像场景特征，在视频特征的基础上结合图像场景特征，以生成针对视频场景分类模型的训练样本，使得视频场景分类模型在训练过程中既能够以样本视频为单位学习视频特征，又能够以单独的样本图像帧为单位学习图像场景特征，提高视频场景分类模型的准确性。
附图说明
31.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1是本技术一个实施例提供的视频场景分类模型的训练系统的示意图；
33.图2示例性示出了一种视频场景分类模型的训练系统的示意图；
34.图3是本技术一个实施例提供的视频场景的分类系统的示意图；
35.图4示例性示出了一种视频场景的分类系统的示意图；
36.图5是本技术一个实施例提供的视频场景分类模型的训练样本生成方法的流程图；
37.图6示例性示出了一种输入数据的获取方式的示意图；
38.图7示例性示出了一种场景分类标签的获取方式的示意图；
39.图8示例性示出了另一种场景分类标签的获取方式的示意图；
40.图9示例性示出了一种视频场景识别模型的训练过程的示意图；
41.图10示例性示出了一种图像场景识别模型的训练过程的示意图；
42.图11是本技术另一个实施例提供的视频场景分类模型的训练样本生成方法的流程图；
43.图12是本技术一个实施例提供的视频场景的分类方法的流程图；
44.图13示例性示出了一种视频主要场景和次要场景的示意图；
45.图14示例性示出了一种视频场景分类系统的示意图；
46.图15是本技术一个实施例提供的视频场景分类模型的训练样本生成装置的框图；
47.图16是本技术另一个实施例提供的视频场景分类模型的训练样本生成装置的框图；
48.图17是本技术一个实施例提供的视频场景的分类装置的框图；
49.图18是本技术另一个实施例提供的视频场景的分类装置的框图；
50.图19是本技术一个实施例提供的计算机设备的结构框图。
具体实施方式
51.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
52.本技术中视频场景分类模型的训练样本生成方法、视频场景的分类方法涉及以下技术：
53.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
54.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
55.计算机视觉技术(computer vision，cv)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr(optical character recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d(3-dimension，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
56.机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
57.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
58.本技术实施例提供的方案涉及人工智能的机器学习等技术，下面，结合几个实施例对本技术技术方案进行介绍说明。
59.请参考图1，其示出了本技术一个实施例提供的视频场景分类模型的训练系统的示意图。该视频场景分类模型的训练系统可以包括：第一设备10和第二设备20。
60.第一设备10用于提供模型训练所需的数据。可选地，第一设备10为任意具有数据收集和数据上传功能的设备，如手机、平板电脑、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备、pc(personal computer，个人计算机)、智能语音交互设备、智能家电、车载终端、客户端后台服务器等电子设备，本技术实施例对此不作限定。
61.第二设备20用于训练模型。可选地，第二设备20可以是服务器、计算机设备、pc等电子设备，本技术实施例对此不作限定。其中，上述服务器可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。
62.上述第一设备10与上述第二设备20之间通过网络进行数据传输。
63.可选地，在本技术实施例中，上述模型是指视频场景分类模型。其中，该视频场景分类模型用于识别视频所属的场景。需要说明的一点是，在本技术实施例中，该场景可以为实际场景，如教师、办公室、书房等；或者，该场景也可以为虚拟场景，如虚拟环境、虚拟战场、虚拟餐厅等。
64.示例性地，如图2所示，第一设备10从视频数据库中对候选样本视频进行筛选，将播放次数大于门限值的候选样本视频确定为样本视频，并向第二设备20提供该样本视频。其中，样本视频中包括多个连续的样本图像帧。对应地，第二设备20在获取样本视频之后，基于多个样本图像帧在样本视频中的关联关系，对各个样本图像帧分别进行视频特征提取，得到各个样本图像帧分别对应的视频特征。其中，该视频特征用于描述样本图像帧包含的特征，以及样本图像帧与关联样本图像帧之间的变化特征；关联样本图像帧是指在样本视频中与样本图像帧具有关联关系的图像帧。而且，第二设备20在获取上述样本视频之后，对样本视频中的各个样本图像帧分别进行场景特征提取，得到各个样本图像帧分别对应的图像场景特征。其中，该图像场景特征用于描述样本图像帧所属的场景。之后，对样本图像帧对应的视频特征，以及样本图像帧对应的图像场景特征进行拼接，得到样本图像帧对应的拼接特征，且各个样本图像帧分别对应的拼接特征组成样本视频针对视频场景分类模型的输入数据。而且，第二设备20在获取上述视频特征和上述图像场景特征之后，基于各个样本图像帧分别对应的视频特征，确定样本视频的第一场景标签，该第一场景标签用于指示样本视频所属的候选场景；基于各个样本图像帧分别对应的图像场景特征，确定各个样本图像帧分别对应的第二场景标签，第二场景标签用于指示样本图像帧所属的场景；之后，基于第一场景标签和各个样本图像帧分别对应的第二场景标签，确定样本视频的场景分类标签。之后，由一个样本视频对应的输入数据和场景分类标签组成一个训练样本，采样该训练样本对视频场景分类模型进行训练。
65.可选地，上述第一设备10和上述第二设备20可以为同一设备，也可以为不同的设备，本技术实施例对此不作限定。
66.需要说明的一点是，上述图2的介绍只是示例性和解释性的，在示例性实施例，可以对第一设备10和第二设备20的功能进行灵活设置和调整，本技术实施例对此不作限定。
67.请参考图3，其示出了本技术一个实施例提供的视频场景的分类系统的示意图。该视频场景的分类系统可以包括：终端30和服务器40。
68.终端30包括但不限定于手机、平板电脑、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备、pc、智能语音交互设备、智能家电、车载终端等电子设备。终端30中可以包括应用程序的客户端。可选地，该应用程序可以是任意具有视频播放功能的应用程序。其
中，该应用程序可以是需要下载安装的应用程序，也可以是即点即用的应用程序，本技术实施例对此不作限定。
69.服务器40用于为终端30提供后台服务。服务器40可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。可选地，服务器40可以是上述应用程序的客户端的后台服务器。在示例性实施例中，服务器40为多个终端30提供后台服务。
70.上述终端30和上述服务器40通过网络进行互相通信。
71.可选地，在本技术实施例中，服务器40为终端30提供视频场景分类功能。示例性地，如图4所示，终端30获取用户上传的视频之后，将该视频发送至服务器40。进一步地，服务器40通过视频场景分类模型对该视频进行处理，获取该视频所属的场景，并向终端30发送该视频所属的场景。之后，终端30根据该视频所属的场景确定视频所属的分区。其中，上述视频场景分类模型包括视频特征提取版块、图像特征提取版块、特征拼接版块和场景确定版块。可选地，服务器40在采用视频场景分类模型对视频进行处理时，基于视频特征提取版块获取视频中各个图像帧分别对应的视频特征；基于图像特征提取版块获取视频中各个图像帧分别对应的图像场景特征；基于特征拼接版块对视频特征和图像场景特征进行拼接，得到各个图像帧分别对应的拼接场景特征；基于场景确定版块，根据各个图像帧分别对应的拼接场景特征确定视频所属的场景。
72.可选地，上述服务器40与图1实施例中的第二设备20可以为相同的设备，本技术实施例对此不作限定。
73.需要说明的一点是，上述图4的介绍只是示例性和解释性的，在示例性实施例，可以对终端30和服务器40的功能进行灵活设置和调整，本技术实施例对此不作限定。
74.请参考图5，其示出了本技术一个实施例提供的视频场景分类模型的训练样本生成方法的流程图。该方法可应用于图1所示的视频场景分类模型的训练系统的第二设备20，如各步骤的执行主体可以是第二设备20(以下称为“计算机设备”)。该方法可以包括以下几个步骤(501～504)中的至少一个步骤：
75.步骤501，获取样本视频。
76.样本视频是指用于生成训练样本的视频。可选地，一个样本视频对应一个训练样本。其中，样本视频包括多个连续的样本图像帧。在本技术实施例中，计算机设备在生成针对视频场景分类模型的训练样本之前，获取样本视频。
77.可选地，该样本视频可以为任意视频；或者，该样本视频也可以为满足筛选条件的视频。其中，该筛选条件包括但不限于以下至少一项：播放次数大于第一门限值、点击率大于第二门限值、具有场景标签、总播放时长大于第三门限值等，本技术实施例对此不作限定。
78.步骤502，对各个样本图像帧分别进行视频特征提取，得到各个样本图像帧分别对应的视频特征。
79.在本技术实施例中，计算机设备在获取上述样本视频之后，对该样本视频中的各个样本图像帧分别进行视频特征提取，得到各个样本图像帧分别对应的视频特征。其中，该视频特征用于描述样本图像帧包含的特征，以及样本图像帧与关联样本图像帧之间的变化特征；该关联样本图像帧是指在样本视频中与样本图像帧具有关联关系的图像帧。
80.可选地，上述关联关系的判定依据包括但不限于以下至少一项：播放顺序、图像相似度、实体信息等。
81.在一种可能的实施方式中，以上述播放顺序对关联关系进行判定。可选地，计算机设备在获取上述样本视频之后，获取各个样本图像帧在样本视频中的播放顺序，将播放顺序相邻的样本图像帧确定为具有关联关系的样本图像帧。其中，播放顺序相邻的样本图像帧可以为固定数量的样本图像帧；或者，播放顺序相邻的样本图像帧可以为固定时长内的样本图像帧，该固定时长可以基于样本视频的总播放时长确定。
82.在另一种可能的实施方式中，以上述图像相似度对关联关系进行判定。可选地，计算机设备在获取上述样本视频之后，获取样本图像帧与其它图像帧之间的图像相似度，将图像相似度小于第一阈值的样本图像帧确定为具有关联关系的样本图像帧。当然，在示例性实施例中，也可以将图像相似度小于第二阈值且大于第三阈值的样本图像帧，确定为具有关联关系的样本图像帧，使得具有关联关系的样本图像帧为相似图像帧的同时，各个样本图像帧之间具有一定的差异性，以保证视频特征提取的可靠性。其中，上述其它样本图像帧是指样本视频中除样本图像帧之外的图像帧。
83.在再一种可能的实施方式中，以上述实体信息对关联关系进行判定。可选地，计算机设备在获取上述样本视频之后，获取各个样本图像帧包含的实体信息，将包含有相同实体信息的样本图像帧确定为具有关联关系的样本图像帧，使得在视频特征提取的过程中，基于多个样本图像帧在样本视频中的关联关系，能够获取较为完整的实体运动轨迹，提高视频特征提取的可靠性。
84.可选地，上述样本图像帧包含的特征可以理解为样本图像帧包含的基础特征。示例性地，基础特征包括但不限于以下至少一项：纹理特征、边缘特征、像素特征等，本技术实施例对此不作限定。
85.可选地，上述各个样本图像帧可以为样本视频中的全部样本图像帧，也可以为样本视频中的部分样本图像帧，本技术实施例对此不作限定。
86.步骤503，对各个样本图像帧分别进行场景特征提取，得到各个样本图像帧分别对应的图像场景特征。
87.在本技术实施例中，计算机设备在获取上述样本视频之后，对该样本视频中的各个样本图像帧分别进行图像特征提取，得到各个样本图像帧分别对应的图像场景特征。其中，图像场景特征用于描述样本图像帧所属的场景。
88.可选地，上述各个样本图像帧可以为样本视频中的全部样本图像帧，也可以为样本视频中的部分样本图像帧。
89.在一种可能的实施方式中，上述各个样本图像帧为样本视频中的全部样本图像帧。可选地，计算机设备在获取上述样本视频之后，对该样本视频进行分帧处理，得到样本视频包含的全部样本图像帧，进而对该全部样本图像帧中的各个样本图像帧分别进行场景特征提取，以得到各个样本图像帧分别对应的图像场景特征。需要说明的一点是，在这种情况下，上述视频特征提取时所采用的各个样本图像帧即为样本视频中的全部样本图像帧。
90.在另一种可能的实施方式中，上述各个样本图像帧为样本视频中的部分样本图像帧。可选地，计算机设备在获取上述样本视频之后，对该样本视频进行分帧处理，得到样本视频包含的全部样本图像帧，进而对该全部样本图像帧进行采样获取部分样本图像帧，并
对该部分样本图像帧中的各个样本图像帧分别进行场景特征提取，以得到各个样本图像帧分别对应的图像场景特征。需要说明的一点是，在这种情况下，上述视频特征提取时所采用的各个样本图像帧即为样本视频中的部分样本图像帧。
91.可选地，在本技术实施例中，上述图像场景特征包括样本图像帧针对各个场景的特征。
92.需要说明的一点是，本技术实施例对上述步骤502和上述步骤503的执行顺序不作限定。示例性地，计算机设备可以同时执行步骤502和步骤503；或者，计算机设备可以先执行步骤502，再执行步骤503；或者，计算机设备可以先执行步骤503，再执行步骤502。
93.步骤504，根据各个样本图像帧分别对应的视频特征，以及各个样本图像帧分别对应的图像场景特征，生成样本视频对应的训练样本。
94.在本技术实施例中，计算机设备在获取上述视频特征和上述图像场景特征之后，根据各个样本图像帧分别对应的视频特征，以及各个样本图像帧分别对应的图像场景特征，生成样本视频对应的训练样本。其中，该训练样本用于对视频场景分类模型进行训练，视频场景分类模型用于识别视频所属的场景。
95.训练样本的生成方式的详细介绍见下文，在此不作赘述。
96.综上所述，本技术实施例提供的技术方案中，通过各个样本图像帧分别对应的视频特征，以及各个样本图像帧分别对应的图像场景特征，生成针对视频场景分类模型的训练样本，且视频场景分类模型用于识别视频所属的场景，提供了一种针对视频的自动化场景分类模式，提高场景分类结果的准确性，避免人工主观意识对视频场景分类的影响，减少场景分类的人工约束，提高视频场景分类的效率；而且，基于样本图像帧在样本视频中的关联关系，对样本图像帧进行视频特征提取，得到样本图像帧对应的视频特征，并且，对样本图像帧进行场景特征提取，得到样本图像帧对应的图像场景特征，在视频特征的基础上结合图像场景特征，以生成针对视频场景分类模型的训练样本，使得视频场景分类模型在训练过程中既能够以样本视频为单位学习视频特征，又能够以单独的样本图像帧为单位学习图像场景特征，提高视频场景分类模型的准确性。
97.下面，对上述训练样本的生成方式进行介绍。
98.可选地，上述训练样本包括上述样本视频针对视频场景分类模型的输入数据。在示例性实施例中，计算机设备在获取上述视频特征之后，对样本图像帧对应的视频特征，以及样本图像帧对应的图像场景特征进行拼接，得到样本图像帧对应的拼接场景特征。其中，上述输入数据包括各个样本图像帧分别对应的拼接场景特征。可选地，对于各个样本图像帧中的目标样本图像帧，对目标样本图像帧对应的视频特征，以及目标样本图像帧对应的图像场景特征进行拼接，得到目标样本图像帧对应的拼接场景特征。
99.示例性地，如图6所示，对上述输入数据的获取进行完整介绍。假设样本视频中包括n帧连续的样本图像帧，在获取各个样本图像帧分别对应的视频特征61，以及各个样本图像帧分别对应的图像场景特征62之后，对样本图像帧对应的视频特征，以及样本图像帧对应的图像场景特征进行拼接，以获取样本图像帧对应的拼接场景特征，进而由各个样本图像帧分别对应的拼接场景特征组成样本视频针对视频场景分类模型的输入数据63。其中，上述n为大于1的整数。
100.可选地，上述训练样本包括上述样本视频针对视频场景分类模型的场景分类标
签，场景分类标签用于指示样本视频所属的场景。在示例性实施例中，上述步骤504包括以下至少一个步骤：
101.1、根据各个样本图像帧分别对应的视频特征，确定样本视频的第一场景标签。
102.在本技术实施例中，计算机设备在获取上述视频特征之后，根据各个样本图像帧分别对应的视频特征，确定样本视频的第一场景标签。其中，该第一场景标签用于指示样本视频所属的候选场景。
103.可选地，在本技术实施例中，计算机设备在获取上述视频特征之后，根据各个样本图像帧分别对应的视频特征，确定样本视频的场景特征；进一步地，基于该样本视频的场景特征，确定样本视频的第一场景标签。其中，上述样本视频的场景特征用于描述样本视频属于的场景。
104.可选地，上述第一场景标签中包括一个或多个场景标签，本技术实施例对此不作限定。
105.2、根据至少一个样本图像帧分别对应的图像场景特征，获取至少一个样本图像帧分别对应的第二场景标签。
106.在本技术实施例中，计算机设备在获取上述图像场景特征之后，根据至少一个样本图像帧分别对应的图像场景特征，获取至少一个样本图像帧分别对应的第二场景标签。其中，该第二场景标签用于指示样本图像帧所属的场景。可选地，一个样本图像帧对应一个场景，即一个第二场景标签中包括一个场景标签。
107.可选地，上述至少一个样本图像帧可以是样本视频中的全部样本图像帧，也可以是样本视频中的部分样本图像帧。
108.在一种可能的实施方式中，上述至少一个样本图像帧是样本视频中的全部样本图像帧。可选地，计算机设备在获取上述图像场景特征之后，从样本图像帧对应的图像场景特征中，获取样本图像帧针对各个场景的特征，并获取样本图像帧属于各个场景的概率，进而根据样本图像帧针对各个场景的特征，以及样本图像帧属于各个场景的概率，确定样本图像帧的场景特征，并基于样本图像帧的场景特征，确定样本图像帧对应的第二场景标签。
109.在另一种可能的实施方式中，由于在样本视频中播放顺序相邻的样本图像帧之间的场景变化较小，为了减少计算机设备的计算量，上述至少一个样本图像帧是样本视频中的部分样本图像帧。可选地，计算机设备在获取上述图像场景特征之后，根据采样时间，对样本视频中的多个样本图像帧进行采样，得到至少一个采样样本图像帧。其中，该采样时间可以根据实际情况进行灵活设置和调整，本技术实施例对此不作限定。之后，计算机设备从采样样本图像帧对应的图像场景特征中，获取采样样本图像帧针对各个场景的特征，并获取采样样本图像帧属于各个场景的概率，进而根据采样样本图像帧针对各个场景的特征，以及采样样本图像帧属于各个场景的概率，确定采样样本图像帧的场景特征，并基于采样样本图像帧的场景特征，确定采样样本图像帧对应的第二场景标签。
110.可选地，计算机设备在获取上述采样样本图像帧的场景特征时，基于采样样本图像帧属于各个场景的概率，从采样样本图像帧针对各个场景的特征中，选择至少一个概率满足第一条件的目标场景的特征。进一步地，对各个目标场景的特征进行融合，得到采样样本图像帧的场景特征。
111.可选地，上述第一条件为概率大于或等于第一目标值；或者，上述第一条件为概率
排序靠前。
112.在一种可能的实施方式中，上述第一条件为概率大于或等于第一目标值。可选地，计算机设备在获取采样样本图像帧属于各个场景的概率之后，将采样样本图像帧属于各个场景的概率与上述第一目标值进行比较。若采样样本图像帧属于某个场景的概率大于或等于第一目标值，则确定该场景为上述目标场景；若采样样本图像帧属于某个场景的概率小于第一目标值，则确定该场景不为目标场景。
113.在另一种可能的实施方式中，上述第一条件为概率排序靠前。可选地，计算机设备在获取采样样本图像帧属于各个场景的概率之后，基于该采样样本图像帧属于各个场景的概率由高到低的顺序，对各个场景进行排序，进而将排序在前的m个场景确定为上述目标场景。其中，m为正整数。
114.可选地，上述针对各个目标场景的特征的融合方式可以为平均融合或加权平均融合。
115.在一种可能的实施方式中，上述针对各个目标场景的特征的融合方式为平均融合。可选地，计算机设备在获取上述各个目标场景的特征之后，对各个目标场景的特征进行求平均处理，以获取上述采样样本图像帧的场景特征。
116.在另一种可能的实施方式中，上述针对各个目标场景的特征的融合方式为加权平均融合。可选地，计算机设备在获取上述各个目标场景的特征之后，获取各个目标场景分别对应的权重，进而基于各个目标场景分别对应的权重，对各个目标场景的特征进行加权平均处理，以获取上述采样样本图像帧的场景特征。可选地，目标场景的权重与采样样本图像帧属于目标场景的概率呈正相关关系。
117.3、基于第一场景标签，以及至少一个样本图像帧分别对应的第二场景标签，确定样本视频的场景分类标签。
118.在本技术实施例中，计算机设备在获取上述第一场景标签和上述第二场景标签之后，基于该第一场景标签，以及至少一个样本图像帧分别对应的第二场景标签，确定样本视频的场景分类标签。可选地，计算机设备根据第一场景标签，以及至少一个样本图像帧分别对应的第二场景标签之间的交集，确定样本视频的场景分类标签。
119.可选地，上述第一场景标签中包括多个场景标签。在本技术实施例中，计算机设备在获取上述场景分类标签时，根据第一场景标签，以及至少一个样本图像帧分别对应的第二场景标签之间的交集，确定样本视频的至少一个候选分类标签；进一步地，获取各个候选分类标签在各个第二场景标签中的重要程度。之后，计算机设备将重要程度满足第二条件的候选分类标签确定为主要分类标签；以及，将至少一个候选分类标签中除主要分类标签之外的其它分类标签，确定为次要分类标签。其中，上述场景分类标签包括上述主要分类标签和上述次要分类标签。
120.可选地，上述重要程度的判断依据包括但不限定于以下至少一项：出现次数、出现频率等。示例性地，计算机设备在获取上述候选分类标签之后，以各个样本图像帧对应的第二场景标签为标签集合，获取各个候选分类标签在该标签集合中的出现次数，进而确定各个候选分类标签的重要程度，其中，上述重要程度与上述出现次数呈正相关关系；或者，计算机设备在获取上述候选分类标签之后，以各个样本图像帧对应的第二场景标签为标签集合，获取各个候选分类标签在该标签集合中的出现频率，进而确定各个候选分类标签的重
要程度，其中，上述重要程度与上述出现频率呈正相关关系。
121.可选地，上述第二条件可以为重要程度大于或等于第二目标值；或者，上述第二条件也可以为重要程度排序靠前。
122.在一种可能的实施方式中，上述第二条件为重要程度大于或等于第二目标值。可选地，计算机设备在获取上述各个候选分类标签的重要程度之后，将该重要程度与上述第二目标值进行比较。若某个候选分类标签的重要程度大于或等于第二目标值，则确定该候选分类标签为主要分类标签；若某个候选分类标签的重要程度小于第二目标值，则确定该候选分类标签为次要分类标签。
123.在另一种可能的实施方式中，上述第二条件为重要程度排序靠前。可选地，计算机设备在获取上述各个候选分类标签的重要程度之后，基于重要程度由高到低的顺序，对各个候选分类标签进行排序，进而将排序在前的k个候选分类标签确定为主要分类标签，其它分类标签为次要分类标签。其中，上述k为正整数。
124.示例性地，如图7所示，对上述场景分类标签的获取进行介绍。在获取第一场景标签71，以及至少一个样本图像帧分别对应的第二场景标签72之后，获取第一场景标签71，以及至少一个样本图像帧分别对应的第二场景标签72之间的交集，以确定样本视频的至少一个候选分类标签73，进而根据各个候选分类标签73在至少一个样本图像帧分别对应的第二场景标签72中的重要程度，将最重要的候选分类标签73确定为主要分类标签74，将上述至少一个候选分类标签73中除主要分类标签74之外的其它候选分类标签确定为次要分类标签75。其中，样本视频的场景分类标签中包括主要分类标签74和次要分类标签75。
125.需要说明的一点是，上文对场景分类标签的获取方式的介绍只是示例性和解释性的，在示例性实施例中，可以采样已经训练好的其它模型来获取上述场景分类标签。
126.可选地，计算机设备采用视频场景识别模型获取上述第一场景标签，并采用图像场景识别模型获取上述第二场景标签。示例性地，如图8所示，计算机设备在获取上述样本视频之后，分别采用视频场景识别模型81和图像场景识别模型82对该样本视频进行处理。在视频场景识别模型81中，基于视频特征提取版块对样本视频中的各个样本图像帧进行处理，获取各个样本图像帧分别对应的视频特征；基于视频特征处理版块对各个样本图像帧对应的视频特征进行处理，获取样本视频的场景特征；基于场景确定版块对样本视频的场景特征进行处理，以输出样本视频的第一场景标签。在图像场景识别模型82中，基于图像采样版块对样本视频进行采样处理，采样获取至少一个采样样本图像帧；基于图像特征提取版块对采样样本图像帧进行处理，获取采样样本图像帧对应的图像场景特征；基于图像特征处理版块对采样样本图像帧对应的图像场景特征进行处理，得到采样样本图像帧的场景特征；基于场景确定版块对采样样本图像帧的场景特征进行处理，以输出采样样本图像帧对应的第二场景标签。之后，计算机设备基于第一场景标签，以及至少一个样本图像帧分别对应的第二场景标签，通过交集获取、重要程度判断等步骤，确定样本视频的场景分类标签。
127.另外，上述视频场景识别模型的训练过程如图9所示，获取多个视频样本91，以及各个视频样本91分别对应的场景标签92。其中，场景标签92包括视频样本91的主要场景标签和次要场景标签。之后，将视频样本91输入至视频场景识别模型，得到视频场景识别模型输出的视频场景识别结果93。其中，视频场景识别结果93用于指示视频样本所属的场景，以
及属于该场景的概率。可选地，视频场景识别结果93包括主要场景和次要场景，且主要场景的概率大于或等于某个数值，次要场景的概率小于该数值。进一步地，根据多个视频样本91的视频场景识别结果93，以及多个视频样本91分别对应的场景标签92，确定视频场景识别模型针对主要场景标签的召回率和准确率，以及视频场景识别模型针对次要场景标签的准确率，并基于视频场景识别模型针对主要场景标签的召回率和准确率，以及视频场景识别模型针对次要场景标签的准确率，对视频场景识别模型进行参数调整。
128.另外，上述图像场景识别模型的训练过程如图10所示，对场景标签库101中的多个候选标签进行语义合并，得到至少一个场景标签102，并采用网络爬虫技术获取各个场景标签102分别对应的至少一个图像帧样本103。之后，将图像帧样本103输入至图像场景识别模型，得到图像场景识别模型输出的图像场景识别结果104。其中，图像场景识别结果104用于指示图像帧样本所属的场景。之后，根据多个图像帧样本103分别对应的图像场景识别结果104，以及多个图像帧样本103分别对应的场景标签102，确定图像场景识别模型的损失，并基于该损失对图像场景识别模型进行参数调整。可选地，在获取上述图像帧样本时，对于至少一个场景标签中的目标场景标签，将目标场景标签翻译为多种不同的语种，并采用该多种不同的语种分别进行搜索，以获取搜索排名靠前的多个图像帧作为上述图像帧样本。示例性地，候选标签的语义合并前后对比如下表一所示：
129.表一候选标签的语义合并前后对比
130.合并前合并后街头，城市道路，人行道街道多功能厅，会议厅会议厅天空，天际线天空演播室，直播间演播室花园，花园建筑花园
131.请参考图11，其示出了本技术另一个实施例提供的视频场景分类模型的训练样本生成方法的流程图。该方法可应用于图1所示的视频场景分类模型的训练系统的第二设备20，如各步骤的执行主体可以是第二设备20(以下称为“计算机设备”)。该方法可以包括以下几个步骤(1101～1106)中的至少一个步骤：
132.步骤1101，获取样本视频。
133.步骤1102，对各个样本图像帧分别进行视频特征提取，得到各个样本图像帧分别对应的视频特征。
134.步骤1103，对各个样本图像帧分别进行场景特征提取，得到各个样本图像帧分别对应的图像场景特征。
135.步骤1104，根据各个样本图像帧分别对应的视频特征，以及各个样本图像帧分别对应的图像场景特征，生成样本视频对应的训练样本。
136.上述步骤1101-1104与图5实施例中的步骤501-504相同，具体参见图5实施例，在此不作赘述。
137.步骤1105，将训练样本中的输入数据输入至视频场景分类模型，得到视频场景分类模型输出的针对样本视频的场景分类结果。
138.在本技术实施例中，计算机设备在获取上述训练样本之后，将训练样本中的输入
数据输入至视频场景分类模型，得到视频场景分类模型输出的针对样本视频的场景分类结果。
139.可选地，上述场景分类结果包括样本视频所属的至少一个场景类别，以及样本视频属于各个场景类别的概率。其中，概率最大的场景可以称为主要场景，除该主要场景之外的其它场景可以为称为次要场景。
140.步骤1106，基于各个样本视频的场景分类结果，以及各个样本视频分别对应的训练样本中的场景分类标签，对视频场景分类模型进行参数调整。
141.在本技术实施例中，计算机设备在获取上述场景分类结果之后，基于各个样本视频的场景分类结果，以及各个样本视频分别对应的训练样本中的场景分类标签，对视频场景分类模型进行参数调整，并继续将训练样本输入至参数调整后的视频场景分类模型，以继续进行参数调整，直至视频场景分类模型训练完成。
142.可选地，上述场景分类结果包括样本视频所属的至少一个场景类别，以及样本视频属于各个场景类别的概率；上述场景分类标签包括主要分类标签和次要分类标签。在本技术实施例中，计算机设备在获取上述场景分类结果之后，根据样本视频属于各个场景类别的概率由大到小的顺序，对各个场景类别进行排序。之后，将排序位于第一位的场景类别确定为样本视频的主要场景；以及，将至少一个场景类别中除主要场景之外的其它场景确定为次要场景。进一步地，计算机设备基于各个样本视频的主要场景、次要场景、主要分类标签和次要分类标签，确定视频场景分类模型针对主要分类标签的召回率和准确率，以及视频场景分类模型针对次要分类标签的准确率，并根据视频场景分类模型针对主要分类标签的召回率和准确率，以及视频场景分类模型针对次要分类标签的准确率，对视频场景分类模型进行参数调整。
143.综上所述，本技术实施例提供的技术方案中，通过训练样本对视频场景分类模型进行训练，且视频场景分类模型用于识别视频所属的场景，提供了一种针对视频的自动化场景分类模式，且训练样本是基于视频特征和图像场景特征获取的，使得视频场景分类模型在训练过程中既能够以样本视频为单位学习视频特征，又能够以单独的样本图像帧为单位学习图像场景特征，提高视频场景分类模型的准确性。
144.请参考图12，其示出了本技术一个实施例提供的视频场景的分类方法的流程图。该方法可应用于图3所示的视频场景的分类系统的服务器40，如各步骤的执行主体可以是服务器40(以下称为“计算机设备”)。该方法可以包括以下几个步骤(1201～1204)中的至少一个步骤：
145.步骤1201，获取待处理的视频。
146.待处理的视频即为未进行场景分类的视频。可选地，该视频为用户帐号上传的视频。在本技术实施例中，计算机设备对视频进行场景分类之前，获取该待处理的视频。其中，该视频包括多个连续的图像帧。
147.步骤1202，对各个图像帧分别进行视频特征提取，得到各个图像帧分别对应的视频特征。
148.在本技术实施例中，计算机设备在获取上述视频之后，对该视频中的各个图像帧分别进行视频特征提取，得到各个图像帧分别对应的视频特征。其中，视频特征用于描述图像帧包含的特征，以及图像帧与关联图像帧之间的变化特征；关联图像帧是指在视频中与
图像帧具有关联关系的图像帧。可选地，上述图像帧包含的特征可以理解为图像帧包含的基础特征。示例性地，该基础特征包括但不限于以下至少一项：纹理特征、边缘特征、与像素特征等，本技术实施例对此不作限定。
149.可选地，上述关联关系的判定依据包括但不限于以下至少一项：播放顺序、图像相似度、实体信息等。
150.在一种可能的实施方式中，以上述播放顺序对关联关系进行判定。可选地，计算机设备在获取上述视频之后，获取各个图像帧在视频中的播放顺序，将播放顺序相邻的图像帧确定为具有关联关系的图像帧。其中，播放顺序相邻的图像帧可以为固定数量的图像帧；或者，播放顺序相邻的图像帧可以为固定时长内的图像帧，该固定时长可以基于视频的总播放时长确定。
151.在另一种可能的实施方式中，以上述图像相似度对关联关系进行判定。可选地，计算机设备在获取上述视频之后，获取图像帧与其它图像帧之间的图像相似度，将图像相似度小于第一阈值的图像帧确定为具有关联关系的图像帧。当然，在示例性实施例中，也可以将图像相似度小于第二阈值且大于第三阈值的图像帧，确定为具有关联关系的图像帧，使得具有关联关系的图像帧为相似图像帧的同时，各个图像帧之间具有一定的差异性，以保证视频特征提取的可靠性。其中，上述其它图像帧是指视频中除图像帧之外的图像帧。
152.在再一种可能的实施方式中，以上述实体信息对关联关系进行判定。可选地，计算机设备在获取上述视频之后，获取各个图像帧包含的实体信息，将包含有相同实体信息的图像帧确定为具有关联关系的图像帧，使得在视频特征提取的过程中，基于多个图像帧在视频中的关联关系，能够获取较为完整的实体运动轨迹，提高视频特征提取的可靠性。
153.步骤1203，对各个图像帧分别进行场景特征提取，得到各个图像帧分别对应的图像场景特征。
154.在本技术实施例中，计算机设备在获取上述视频之后，对该视频中的各个图像帧分别进行场景特征提取，得到各个图像帧分别对应的图像场景特征。其中，图像场景特征用于描述图像帧所属的场景。
155.可选地，上述各个图像帧可以为视频中的全部图像帧，也可以为视频中的部分图像帧。
156.在一种可能的实施方式中，上述各个图像帧为视频中的全部图像帧。可选地，计算机设备在获取上述视频之后，对该视频进行分帧处理，得到视频包含的全部图像帧，进而对该全部图像帧中的各个图像帧分别进行场景特征提取，以得到各个图像帧分别对应的图像场景特征。需要说明的一点是，在这种情况下，视频特征提取时所采用的各个图像帧即为视频中的全部图像帧。
157.在另一种可能的实施方式中，上述各个图像帧为视频中的部分图像帧。可选地，计算机设备在获取上述视频之后，对该视频进行分帧处理，得到视频包含的全部图像帧，进而对该全部图像帧进行采样获取部分图像帧，并对该部分图像帧中的各个图像帧分别进行场景特征提取，以得到各个图像帧分别对应的图像场景特征。需要说明的一点是，在这种情况下，上述视频特征提取时所采用的各个图像帧即为视频中的部分图像帧。
158.可选地，在本技术实施例中，上述图像场景特征包括图像帧针对各个场景的特征。
159.步骤1204，根据各个图像帧分别对应的视频特征，以及各个图像帧分别对应的图
像场景特征，确定视频所属的场景。
160.在本技术实施例中，计算机设备在获取上述视频特征和上述图像场景特征之后，根据各个图像帧分别对应的视频特征，以及各个图像帧分别对应的图像场景特征，确定视频所属的场景。
161.视频所属的场景的确定方式的详细介绍见下文，在此不作赘述。
162.综上所述，本技术实施例提供的技术方案中，通过视频特征，结合图像场景特征确定视频所属的场景，提高场景分类结果的准确性；而且，自动化地确定视频所属的场景，避免人工主观意识对视频场景分类的影响，减少场景分类的人工约束，提高视频场景分类的效率。
163.下面，对视频所属场景的确定方式进行介绍。
164.在一种可能的实施方式中，计算机设备基于各个图像帧分别对应的拼接场景特征，确定视频所属的场景。在示例性实施例中，计算机设备在上述步骤1204包括以下至少一个步骤：
165.1、对于各个图像帧中的目标图像帧，对目标图像帧对应的视频特征，以及目标图像帧对应的图像场景特征进行拼接，得到目标图像帧对应的拼接场景特征。
166.在本技术实施例中，计算机设备在获取上述视频特征之后，对图像帧对应的视频特征，以及图像帧对应的图像场景特征进行拼接，得到图像帧对应的拼接场景特征。可选地，对于各个图像帧中的目标图像帧，对目标图像帧对应的视频特征，以及目标图像帧对应的图像场景特征进行拼接，得到目标图像帧对应的拼接场景特征。
167.2、基于各个图像帧分别对应的拼接场景特征，确定视频所属的场景。
168.在本技术实施例中，计算机设备在获取上述拼接场景特征之后，基于各个图像帧分别对应的拼接场景特征，确定视频所属的场景。
169.可选地，视频所属的场景中包括主要场景和次要场景。其中，该主要场景可以理解为视频中具有明确特征且占据足够时长的场景，次要场景可以理解为占据时长较短、模棱两可、难以区分的场景。示例性地，如图13所示，在视频130中包括10张图像帧。其中，该10张图像帧中7张图像帧的场景为餐厅，3张图像帧的场景为客厅，则视频130的主要场景为餐厅，次要场景为客厅。
170.在另一种可能的实施方式中，计算机设备基于第一候选场景，以及各个图像帧分别所属的场景，确定视频所属的场景。在示例性实施例中，上述步骤1204包括以下至少一个步骤：
171.1、根据各个图像帧分别对应的视频特征，确定视频所属的至少一个第一候选场景。
172.在本技术实施例中，计算机设备在获取上述视频特征之后，根据各个图像帧分别对应的视频特征，确定视频的场景特征；进一步地，基于该视频的场景特征，确定视频所属的至少一个第一候选场景。
173.2、根据各个图像帧分别对应的图像场景特征，分别获取各个图像帧所属的场景。
174.在本技术实施例中，计算机设备在获取上述图像场景特征之后，根据各个图像帧分别对应的图像场景特征，分别获取各个图像帧所属的场景。
175.可选地，上述各个图像帧可以是视频中的全部图像帧，也可以是视频中的部分图
像帧。
176.在一种可能的实施方式中，上述各个图像帧是视频中的全部图像帧。可选地，计算机设备在获取上述图像场景特征之后，从图像帧对应的图像场景特征中，获取图像帧针对各个场景的特征，并获取图像帧属于各个场景的概率，进而根据图像帧针对各个场景的特征，以及图像帧属于各个场景的概率，确定图像帧的场景特征，并基于图像帧的场景特征，确定图像帧所属的场景。
177.在另一种可能的实施方式中，由于在视频中播放顺序相邻的图像帧之间的场景变化较小，为了减少计算机设备的计算量，上述各个图像帧是视频中的部分图像帧。可选地，计算机设备在获取上述图像场景特征之后，根据采样时间，对视频中的多个图像帧进行采样，得到至少一个采样图像帧。其中，该采样时间可以根据实际情况进行灵活设置和调整，本技术实施例对此不作限定。之后，计算机设备从采样图像帧对应的图像场景特征中，获取采样图像帧针对各个场景的特征，并获取采样图像帧属于各个场景的概率，进而根据采样图像帧针对各个场景的特征，以及采样图像帧属于各个场景的概率，确定采样图像帧的场景特征，并基于采样图像帧的场景特征，确定采样图像帧所属的场景。
178.3、基于各个第一候选场景，以及各个图像帧分别所属的场景，确定视频所属的场景。
179.在本技术实施例中，计算机设备在获取上述第一候选场景，以及各个图像帧分别所属的场景之后，基于各个第一候选场景，以及各个图像帧分别所属的场景，确定视频所属的场景。
180.可选地，上述视频所属的场景中包括主要场景和次要场景。在本技术实施例中，计算机设备根据各个第一候选场景，以及各个图像帧分别所属的场景之间的交集，确定视频的至少一个第二候选场景；进一步地，获取各个第二候选场景，在各个图像帧分别所属的场景中的出现频率。之后，将出现频率满足第三条件的第二候选场景，确定为视频所属的主要场景；以及，将至少一个第二候选场景中除主要场景之外的其它场景，确定为视频的次要场景。
181.可选地，上述第三条件可以为出现频率大于或等于第三目标值；或者，上述第三条件也可以为出现频率排序靠前。
182.另外，在本技术实施例中，上述视频场景的分类方法可以由视频场景分类模型执行。可选地，视频场景分类模型包括视频特征提取版块、图像特征提取版块、特征拼接版块和场景确定版块。其中，视频特征提取版块，用于对各个图像帧分别进行视频特征提取，得到各个图像帧分别对应的视频特征；图像特征提取版块，用于对视频中的各个图像帧分别进行场景特征提取，得到各个图像帧分别对应的图像场景特征；特征拼接版块，用于对图像帧对应的视频特征，以及图像帧对应的图像场景特征进行拼接，以得到各个图像帧分别对应的拼接场景特征；场景确定版块，用于基于各个图像帧分别对应的拼接场景特征，确定视频所属的场景。
183.在一种可能的实施方式中，上述视频特征提取版块即为上述图8中视频场景识别模型中的视频特征提取版块，上述图像特征提取版块即为上述图8中图像场景识别模型中的图像特征提取版块。
184.在另一种可能的实施方式中，上述视频特征提取版块与上述图8中视频场景识别
模型中的视频特征提取版块不同，上述图像特征提取版块与上述图8中图像场景识别模型中的图像特征提取版块不同。需要说明的一点是，在这种情况下，视频场景分类模型在训练过程中的输入数据为上述样本视频。
185.需要说明的一点是，上述图12实施例介绍的方法，与图5至图11实施例介绍的方法相对应，图12中未详细介绍的细节部分可参考上述图5至图11。
186.另外，结合参考图14，对视频场景分类系统进行完整介绍。该视频场景分类系统包括视频上传版块141、视频存储版块142、视频处理版块143、视频场景分类模型144、人工审核版块145、视频分发版块146和视频数据记载版块147、索引建立版块148、视频下载版块149。其中，视频上传版块141用于获取用户帐号上传的视频；视频存储版块142用于存储视频的元数据；视频处理版块143用于将视频转换为应用程序对应的统一视频模式；视频场景分类模型用于识别视频所属的场景；人工审核版块145用于人工对视频进行审核，其中，该审核内容可以包括视频的合法性；视频分发版块146用于基于视频所属的场景确定视频所属的分区；视频数据记载版块147用于记录多个用户帐号针对视频的浏览信息；索引建立版块148用于根据视频所包含的内容，以及视频所属的场景，建立该视频对应的索引；视频下载版块149用于在视频下载时，根据当前网络环境确定视频下载速率，以及所下载的视频的格式。
187.可选地，上述视频场景分类模型144对视频进行处理时，基于视频特征提取版块获取视频中各个图像帧分别对应的视频特征；基于图像特征提取版块获取视频中各个图像帧分别对应的图像场景特征；基于特征拼接版块对视频特征和图像场景特征进行拼接，得到各个图像帧分别对应的拼接场景特征；基于场景确定版块，根据各个图像帧分别对应的拼接场景特征确定视频所属的场景。
188.当然，在示例性实施例中，若上述视频场景分类模型144所确定的视频所属的场景包括多个场景，在人工审核版块145中，由人工对该多个场景进行判断，进而从该多个场景中确定合适的场景，人工只需进行选择操作，不需要基于视频内容确定合适的场景，降低人工负担。
189.需要说明的一点是，本技术中所涉及的各种数值和数值范围，在未特殊说明的情况下，可以根据实际情况设定为任意数值，本技术对此不作限定。
190.还需要说明的一点是，上文中通过实施例对本技术的介绍，仅仅是示例性和解释性的，将上述实施例中的步骤进行任意组合形成的新的实施例，也在本技术的保护范围内。
191.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
192.请参考图15，其示出了本技术一个实施例提供的视频场景分类模型的训练样本生成装置的框图。该装置具有实现上述视频场景分类模型的训练样本生成方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置计算机设备中。该装置1500可以包括：样本获取模块1510、视频提取模块1520、场景提取模块1530和样本生成模块1540。
193.样本获取模块1510，用于获取样本视频，所述样本视频包括多个连续的样本图像帧。
194.视频提取模块1520，用于对各个所述样本图像帧分别进行视频特征提取，得到各
个所述样本图像帧分别对应的视频特征，所述视频特征用于描述所述样本图像帧包含的特征，以及所述样本图像帧与关联样本图像帧之间的变化特征；其中，所述关联样本图像帧是指在所述样本视频中与所述样本图像帧具有关联关系的图像帧。
195.场景提取模块1530，用于对各个所述样本图像帧分别进行场景特征提取，得到各个所述样本图像帧分别对应的图像场景特征；其中，所述图像场景特征用于描述所述样本图像帧所属的场景。
196.样本生成模块1540，用于根据各个所述样本图像帧分别对应的视频特征，以及各个所述样本图像帧分别对应的图像场景特征，生成所述样本视频对应的训练样本；其中，所述训练样本用于对视频场景分类模型进行训练，所述视频场景分类模型用于识别视频所属的场景。
197.在示例性实施例中，所述训练样本包括所述样本视频针对所述视频场景分类模型的输入数据；如图16所示，所述样本生成模块1540，包括：数据生成单元1541。
198.数据生成单元1541，用于对于对于各个所述样本图像帧中的目标样本图像帧，对所述目标样本图像帧对应的视频特征，以及所述目标样本图像帧对应的图像场景特征进行拼接，得到所述目标样本图像帧对应的拼接场景特征；其中，所述输入数据包括各个所述样本图像帧分别对应的拼接场景特征。
199.在示例性实施例中，所述训练样本包括所述样本视频针对所述视频场景分类模型的场景分类标签，所述场景分类标签用于指示所述样本视频所属的场景；如图16所示，所述样本生成模块1540，包括：第一确定单元1542、第二确定单元1543和标签确定单元1544。
200.第一确定单元1542，用于根据各个所述样本图像帧分别对应的视频特征，确定所述样本视频的第一场景标签；其中，所述第一场景标签用于指示所述样本视频所属的候选场景。
201.第二确定单元1543，用于根据至少一个所述样本图像帧分别对应的图像场景特征，获取至少一个所述样本图像帧分别对应的第二场景标签；其中，所述第二场景标签用于指示所述样本图像帧所属的场景。
202.标签确定单元1544，用于基于所述第一场景标签，以及至少一个所述样本图像帧分别对应的第二场景标签，确定所述样本视频的场景分类标签。
203.在示例性实施例中，所述第一确定单元1542，用于根据各个所述样本图像帧分别对应的视频特征，确定所述样本视频的场景特征；基于所述样本视频的场景特征，确定所述样本视频的第一场景标签。
204.在示例性实施例中，所述第二确定单元1543，用于根据采样时间，对所述样本视频中的多个所述样本图像帧进行采样，得到至少一个采样样本图像帧；从所述采样样本图像帧对应的图像场景特征中，获取所述采样样本图像帧针对各个场景的特征；获取所述采样样本图像帧属于各个场景的概率；根据所述采样样本图像帧针对各个场景的特征，以及所述采样样本图像帧属于各个场景的概率，确定所述采样样本图像帧的场景特征；基于所述采样样本图像帧的场景特征，确定所述采样样本图像帧对应的第二场景标签。
205.在示例性实施例中，所述第二确定单元1543，用于基于所述采样样本图像帧属于各个场景的概率，从所述采样样本图像帧针对各个场景的特征中，选择至少一个概率满足第一条件的目标场景的特征；对各个所述目标场景的特征进行融合，得到所述采样样本图
像帧的场景特征。
206.在示例性实施例中，所述标签确定单元1544，用于根据所述第一场景标签，以及至少一个所述样本图像帧分别对应的第二场景标签之间的交集，确定所述样本视频的场景分类标签。
207.在示例性实施例中，所述场景分类标签包括主要分类标签和次要分类标签；所述标签确定单元1544，用于根据所述第一场景标签，以及至少一个所述样本图像帧分别对应的第二场景标签之间的交集，确定所述样本视频的至少一个候选分类标签；获取各个所述候选分类标签在各个所述第二场景标签中的重要程度；将所述重要程度满足第二条件的候选分类标签确定为所述主要分类标签；以及，将所述至少一个候选分类标签中除所述主要分类标签之外的其它分类标签，确定为所述次要分类标签。
208.在示例性实施例中，如图16所示，所述装置1500还包括：模型训练模块1550。
209.模型训练模块1550，用于将所述训练样本中的输入数据输入至所述视频场景分类模型，得到所述视频场景分类模型输出的针对所述样本视频的场景分类结果；基于各个所述样本视频的场景分类结果，以及各个所述样本视频分别对应的训练样本中的场景分类标签，对所述视频场景分类模型进行参数调整。
210.在示例性实施例中，所述场景分类结果包括所述样本视频所属的至少一个场景类别，以及所述样本视频属于各个所述场景类别的概率；所述场景分类标签包括主要分类标签和次要分类标签；所述模型训练模块1550，用于根据所述样本视频属于各个所述场景类别的概率由大到小的顺序，对各个所述场景类别进行排序；将排序位于第一位的场景类别确定为所述样本视频的主要场景；以及，将所述至少一个场景类别中除所述主要场景之外的其它场景确定为次要场景；基于各个所述样本视频的主要场景、次要场景、主要分类标签和次要分类标签，确定所述视频场景分类模型针对主要分类标签的召回率和准确率，以及所述视频场景分类模型针对次要分类标签的准确率；根据所述视频场景分类模型针对主要分类标签的召回率和准确率，以及所述视频场景分类模型针对次要分类标签的准确率，对所述视频场景分类模型进行参数调整。
211.综上所述，本技术实施例提供的技术方案中，通过各个样本图像帧分别对应的视频特征，以及各个样本图像帧分别对应的图像场景特征，生成针对视频场景分类模型的训练样本，且视频场景分类模型用于识别视频所属的场景，提供了一种针对视频的自动化场景分类模式，提高场景分类结果的准确性，避免人工主观意识对视频场景分类的影响，减少场景分类的人工约束，提高视频场景分类的效率；而且，基于样本图像帧在样本视频中的关联关系，对样本图像帧进行视频特征提取，得到样本图像帧对应的视频特征，并且，对样本图像帧进行场景特征提取，得到样本图像帧对应的图像场景特征，在视频特征的基础上结合图像场景特征，以生成针对视频场景分类模型的训练样本，使得视频场景分类模型在训练过程中既能够以样本视频为单位学习视频特征，又能够以单独的样本图像帧为单位学习图像场景特征，提高视频场景分类模型的准确性。
212.请参考图17，其示出了本技术一个实施例提供的视频场景的分类装置的框图。该装置具有实现上述视频场景的分类方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置计算机设备中。该装置1700可以包括：视频获取模块1710、视频处理模块1720、图像处理模块1730和场景确定模块1740。
213.视频获取模块1710，用于获取待处理的视频，所述视频包括多个连续的图像帧。
214.视频处理模块1720，用于对各个所述图像帧分别进行视频特征提取，得到各个所述图像帧分别对应的视频特征，所述视频特征用于描述所述图像帧包含的特征，以及所述图像帧与关联图像帧之间的变化特征；其中，所述关联图像帧是指在所述视频中与所述图像帧具有关联关系的图像帧。
215.图像处理模块1730，用于对各个所述图像帧分别进行场景特征提取，得到各个所述图像帧分别对应的图像场景特征；其中，所述图像场景特征用于描述所述图像帧所属的场景。
216.场景确定模块1740，用于根据各个所述图像帧分别对应的视频特征，以及各个所述图像帧分别对应的图像场景特征，确定所述视频所属的场景。
217.在示例性实施例中，如图18所示，所述场景确定模块1740，包括：特征拼接单元1741和场景确定单元1742。
218.特征拼接单元1741，用于对于各个所述图像帧中的目标图像帧，对所述目标图像帧对应的视频特征，以及所述目标图像帧对应的图像场景特征进行拼接，得到所述目标图像帧对应的拼接场景特征。
219.场景确定单元1742，用于基于各个所述图像帧分别对应的拼接场景特征，确定所述视频所属的场景。
220.在示例性实施例中，如图18所示，所述场景确定模块1740，包括：第一获取单元1743和第二获取单元1744。
221.第一获取单元1743，用于根据各个所述图像帧分别对应的视频特征，确定所述视频所属的至少一个第一候选场景。
222.第二获取单元1744，用于根据各个所述图像帧分别对应的图像场景特征，分别获取各个所述图像帧所属的场景。
223.所述场景确定单元1742，用于基于各个所述第一候选场景，以及各个所述图像帧分别所属的场景，确定所述视频所属的场景。
224.在示例性实施例中，所述视频所属的场景中包括主要场景和次要场景；所述场景确定单元1743，用于根据各个所述第一候选场景，以及各个所述图像帧分别所属的场景之间的交集，确定所述视频的至少一个第二候选场景；获取各个所述第二候选场景，在各个所述图像帧分别所属的场景中的出现频率；将所述出现频率满足第三条件的第二候选场景，确定为所述视频所属的主要场景；以及，将所述至少一个第二候选场景中除所述主要场景之外的其它场景，确定为所述视频的次要场景。
225.在示例性实施例中，所述方法由视频场景分类模型执行；其中，所述视频场景分类模型包括视频特征提取版块、图像特征提取版块、特征拼接版块和场景确定版块；所述视频特征提取版块，用于对各个所述图像帧分别进行视频特征提取，得到各个所述图像帧分别对应的视频特征；所述图像特征提取版块，用于对所述视频中的各个所述图像帧分别进行场景特征提取，得到各个所述图像帧分别对应的图像场景特征；所述特征拼接版块，用于对所述图像帧对应的视频特征，以及所述图像帧对应的图像场景特征进行拼接，以得到各个所述图像帧分别对应的拼接场景特征；所述场景确定版块，用于基于各个所述图像帧分别对应的拼接场景特征，确定所述视频所属的场景。
226.综上所述，本技术实施例提供的技术方案中，通过视频特征，结合图像场景特征确定视频所属的场景，提高场景分类结果的准确性；而且，自动化地确定视频所属的场景，避免人工主观意识对视频场景分类的影响，减少场景分类的人工约束，提高视频场景分类的效率。
227.需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
228.请参考图19，其示出了本技术一个实施例提供的计算机设备的结构框图。该计算机设备可用于实现上述视频场景分类模型的训练样本生成方法或视频场景的分类方法的功能。具体来讲：
229.计算机设备1900包括中央处理单元(central processing unit，cpu)1901、包括随机存取存储器(random access memory，ram)1902和只读存储器(read only memory，rom)1903的系统存储器1904，以及连接系统存储器1904和中央处理单元1901的系统总线1905。计算机设备1900还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(input/output，i/o系统)1906，和用于存储操作系统1913、应用程序1914和其他程序模块1915的大容量存储设备1907。
230.基本输入/输出系统1906包括有用于显示信息的显示器1908和用于用户输入信息的诸如鼠标、键盘之类的输入设备1909。其中显示器1908和输入设备1909都通过连接到系统总线1905的输入输出控制器1910连接到中央处理单元1901。基本输入/输出系统1906还可以包括输入输出控制器1910以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1910还提供输出到显示屏、打印机或其他类型的输出设备。
231.大容量存储设备1907通过连接到系统总线1905的大容量存储控制器(未示出)连接到中央处理单元1901。大容量存储设备1907及其相关联的计算机可读介质为计算机设备1900提供非易失性存储。也就是说，大容量存储设备1907可以包括诸如硬盘或者cd-rom(compact disc read-only memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
232.不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom(erasable programmable read only memory，可擦除可编程只读存储器)、eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、闪存或其他固态存储设备，cd-rom、dvd(digital video disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1904和大容量存储设备1907可以统称为存储器。
233.根据本技术的各种实施例，计算机设备1900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1900可以通过连接在系统总线1905上的网络接
口单元1911连接到网络1912，或者说，也可以使用网络接口单元1911来连接到其他类型的网络或远程计算机系统(未示出)。
234.所述存储器还包括计算机程序，该计算机程序存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述视频场景分类模型的训练样本生成方法，或实现上述视频场景的分类方法。
235.在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时以实现上述视频场景分类模型的训练样本生成方法，或实现上述视频场景的分类方法。
236.可选地，该计算机可读存储介质可以包括：rom(read only memory，只读存储器)、ram(random access memory，随机存取记忆体)、ssd(solid state drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括reram(resistance random access memory，电阻式随机存取记忆体)和dram(dynamic random access memory，动态随机存取存储器)。
237.在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述视频场景分类模型的训练样本生成方法，或执行上述视频场景的分类方法。
238.应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本技术实施例对此不作限定。
239.以上所述仅为本技术的示例性实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。