教学类视频的切分确定方法和装置与流程

1.本申请涉及视频处理技术领域，具体涉及一种教学类视频的切分确定方法装置。


背景技术：

2.为了能够快速定位视频中特定内容区域，满足快速查找和特定内容提取的需求，目前已有根据视频内容对影视类、记录片类视频进行内容识别，而确定切分的方法。
3.对影视类、记录片类视频进行识别而确定索引点的方法，主要是基于此类视频具有场景变换特性，变换前后场景具有显著区别特征的特点，利用图像帧的大尺度变化而确定切分索引。
4.因为教学类视频具有场景特性基本无变化特点，采用前述适用于影视类、记录片类的切分确定方法并不适用于教学类视频。目前仍然需要由人工标引的方法，确定教育视频的索引。


技术实现要素：

5.为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供一种教学类视频的切分方法和切分装置。
6.一方面，本申请提供一种教学类视频的切分方法，包括：按照第一周期提取教学类视频的帧图像，形成有序图像集；比较所述有序图像集中相邻的所述帧图像，确定临时切分点；比较所述第一帧图像和所述第二帧图像的板书区域，确定第一相似度；所述第一帧图像为所述临时切分点前的帧图像，所述第二帧图像为所述临时切分点后的帧图像；根据所述第一相似度删减对应的所述临时切分点；采用剩余的所述临时切分点作为所述教学类视频的实际切分点。
7.可选地，比较所述第一帧图像和所述第二帧图像的板书区域，确定第一相似度，包括：采用ssim算法比较所述第一帧图像和所述第二帧图像的板书区域，确定所述第一相似度；和/或，采用余弦距离方法比较所述第一帧图像和所述第二帧图像的板书区域，确定所述第一相似度；和/或，对所述第一帧图像和所述第二帧图像的板书区域进行文本内容识别，得到两个识别文本；根据两个所述识别文本，确定所述第一相似度。
8.可选地，比较两个所述识别文本，确定所述第一相似度，包括：比较两个识别文本，得到编辑距离；根据所述编辑距离和一个所述识别文本的长度，确定所述第一相似度。
9.可选地，在所述教学类视频具有人物影像的情况下，
比较所述有序图像集中相邻的所述帧图像，确定临时切分点，包括：比较所述帧图像中不包括所述人物影像的区域，确定所述临时切分点。
10.可选地，比较所述有序图像集的相邻帧图像，确定临时切分点，包括：采用ssim算法比较所述相邻帧图像，得到第二相似度；在第二相似度小于第二阈值的情况下，确定在所述相邻帧图像间设置所述临时切分点。
11.可选地，还包括：采用余弦距离法比较所述第一帧图像和第二帧图像，得到第三相似度；在所述第三相似度大于第三阈值的情况下，删除所述第三相似度对应的所述临时切分点；和/或，根据所述第一帧图像和所述第二帧图像得到残差图像；根据所述残差图像、所述第一帧图像和所述第二帧图像，确定是否删除对应的所述临时切分点。
12.可选地，根据所述第一帧图像和所述第二帧图像得到残差图像，包括：计算第一残差图像和第二残差图像；所述第一残差图像为所述第一帧图像与第二帧图像的差值图像，所述第二残差图像为所述第二帧图像与所述第一帧图像的差值图像；根据所述残差图像、所述第一帧图像和所述第二帧图像，确定是否删除对应的所述临时切分点，包括：根据所述第一残差图像和所述第一帧图像计算第四相似度，根据所述第二残差图像和所述第二帧图像计算第五相似度；确定第四相似度和所述第五相似度的较大值和较小值；在所述较大值小于第四阈值或者所述较小值第五阈值的情况下，删除对应的所述临时切分点。
13.可选地，还包括：确定所述教学类视频中各个第二周期中的声音强度；在所述声音强度小于预设强度阈值的情况下，将对应的所述第二周期的音频标识设为静音标识；或者，在所述声音强度大于预设强度阈值的情况下，将对应的所述第二周期的音频标识设为有声标识；根据各个所述第二周期对应的所述音频标识的变化特性，确定音频切分点；采用剩余的所述临时切分点作为所述教学类视频的实际切分点，包括：采用所述临时切分点和所述音频切分点作为所述实际切分点。
14.可选地，根据各个所述第二周期对应的所述音频标识的变化特性，确定音频切分点，包括：判断连续特定数量的所述第二周期的音频标识是否均为静音标识；若是，维持连续特定数量的所述第二周期的音频标识不变；若否，将连续特定数量的所述第二周期中音频标识中的静音标识修改为有声标识；在音频标识发生改变的位置设置所述音频切分点。
15.可选地，还包括：提取所述教学类视频位于相邻的两个所述实际切分点之间的视频片段，作为提取片段。
16.可选地，在所述教学类视频具有人物影像的情况下，提取所述教学类视频位于相邻的两个所述实际切分点之间的视频片段，包括：确定所述有序图像集中的各个帧图像中的人物数量；统计有序图像集中位于相邻的两个所述实际切分点确定的时间段内，并且包含超过预设人数的帧图像的数量；在所述帧图像数量小于预设数量的情况下，提取位于相邻的两个所述实际切分点之间的视频片段。
17.可选地，还包括：处理所述提取片段，或者处理所述有序图像集中对应所述提取片段的帧图像，确定片段主题；采用所述片段主题标引所述提取片段。
18.另一方面，本申请提供一种教学类视频的切分装置，包括：提取单元，用于按照第一周期提取教学类视频的帧图像，形成有序图像集；切分点初选单元，用于比较所述有序图像集中相邻的所述帧图像，确定临时切分点；切分点删减单元，用于根据所述临时切分点确定第一帧图像和第二帧图像；比较所述第一帧图像和所述第二帧图像的板书区域，确定第一相似度；以及，根据所述第一相似度删减对应的所述临时切分点；所述第一帧图像为所述临时切分点前的帧图像，所述第二帧图像为所述临时切分点后的帧图像；实际切分点确定单元，用于采用剩余的所述临时切分点作为所述教学类视频的实际切分点。
19.可选地，所述切分点删减单元，采用ssim算法比较所述第一帧图像和所述第二帧图像的板书区域，确定所述第一相似度；和/或，采用余弦距离方法比较所述第一帧图像和所述第二帧图像的板书区域，确定所述第一相似度；和/或，对所述第一帧图像和所述第二帧图像的板书区域进行文本内容识别，得到两个识别文本；以及，根据两个所述识别文本，确定所述第一相似度。
20.可选地，切分点删减单元还用于：采用余弦距离法比较所述第一帧图像和第二帧图像，得到第三相似度；以及，在所述第三相似度大于第三阈值的情况下，删除所述第三相似度对应的所述临时切分点；和/或，根据所述第一帧图像和所述第二帧图像得到残差图像；根据所述残差图像、所述第一帧图像和所述第二帧图像，确定是否删除对应的所述临时切分点。
21.可选地，还包括：声音强度确定单元，用于确定所述教学类视频中各个第二周期中的声音强度；声音标识确定单元，用于在所述声音强度小于预设强度阈值的情况下，将对应的所述第二周期的音频标识设为静音标识；或者，在所述声音强度大于预设强度阈值的情况下，将对应的所述第二周期的音频标识设为有声标识；音频切分点确定单元，用于根据各个所述第二周期对应的所述音频标识的变化特性，确定音频切分点；
所述实际切分点确定单元采用所述临时切分点和所述音频切分点作为所述实际切分点。
22.可选地，还包括：提取单元，用于提取所述教学类视频位于相邻的两个所述实际切分点之间的视频片段，作为提取片段。
23.可选地，还包括：主题确定单元，用于处理所述提取片段，或者处理所述有序图像集中对应所述提取片段的帧图像，确定片段主题；以及，采用所述片段主题标引所述提取片段。
24.本申请提供的教学类视频切分方法和装置，利用一些教学类视频具有板书区域，并且板书区域内容短时间具有极大相似性的方法，在确定临时切分点后，利用相邻帧板书区域内容的临时切分点进行删除操作，以根据板书区域内容排除并不适合作为实际切分点的临时切分点。板书区域的内容和教学主题具有直接关系，因此采用前述方法能够较为准确地根据教学类视频的内容特性实现对教学视频的切分。
附图说明
25.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
26.为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；图1是本申请一个实施例提供的教学类视频的切分方法流程图；图2是本申请一实施例提供确定音频切分点的流程图；图3是本申请一实施例提供的教学类视频切分装置的结构示意图；图4是本申请实施例提供的电子设备的结构示意图；其中：11
‑
提取单元，12
‑
切分点初选单元，13
‑
切分点删减单元，14
‑
实际切分点确定单元，21
‑
处理器，22
‑
存储器，23
‑
通信接口，24
‑
总线系统。
具体实施方式
27.为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
28.在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。
29.本申请实施例提供一种教学类视频的切分方法，基于教学类视频的特点选用特定的切分策略，实现教育视频的切分点自动确定，以及后续可能的标签添加和片段截取。
30.应当注意的是，本申请实施例中的教学类视频是一种具有特定的视频，其特点在于教育视频中具有一定的板书区域。此处所述的板书区域并不能狭义地理解为手写内容区域，而应当理解为为了向学员展示教学内容，而通过文字、图形或者图画向学员展示内容的区域，其可以为手写内容区域，也可以是采用显示器显示或者投影显示的区域。
31.应当注意的是，板书区域的内容随着教学内容的推进逐渐地变化，包括：（1）在某一特定教学内容对应的时间内，板书内容可能逐渐地增加，直至将此教学内容完全展示；（2）在由某一教学内容切换到下一教学内容时，板书区域中的展示内容被清除。
32.图1是本申请一个实施例提供的教学类视频的切分方法流程图。如图1所示，本申请实施例中教学类视频的切分方法包括步骤s101
‑
s105。
33.s101：按照第一周期提取教学类视频的帧图像，形成有序图像集。
34.为了能够保证形成流畅的视频内容，教学类视频的帧频率多在24帧/秒（实际应用中的教学类视频可能为30帧/秒、50帧/秒、60帧/秒）以上；因为相邻图像帧的时间间隔很小，相邻的两个视频帧图像内容变化率并不大（可能某一设定周期内的视频帧图像内容变化也不大），并不容易确定相邻的两个视频帧图像确定是否作为切分点。
35.为了克服前段提及的内容，本申请实施例中，按照定期抽样的方法，根据第一周期提取教学类的帧图像，形成用于后续处理的有序图像集。
36.本申请实施例中，第一周期可以根据教学类视频的长度、教学类视频的视频内容类型、用于执行后续处理的计算机处理能力确定。实际应用中，第一周期多设置为1s；当然，如果教学类视频的教学进度较慢，或者用于后续处理的计算机处理能力限制，也可以将第一周期设置为2s或者5s等其他数值。
37.还应注意的是，有序图像集可能是仅包括两个帧图像的图像集，也可能是包括更多帧图像的图像集，本申请实施例并不做特别地限定。
38.s102：比较有序图像集中相邻的帧图像，确定临时切分点。
39.有序图像集中的相邻帧图像，也就是步骤s101中相邻的第一周期分别提取的图像。
40.临时切分点是可能用于对教学类视频进行切分的时间点。实际应用中，临时切分点确定后，其被用于将两个相邻的第一周期划分到两个不同的教学类视频片段中。
41.步骤s102中比较相邻帧图像，而确定临时切分点的方法可以有多种；为了方便起见，步骤s102的具体执行方法在后文中再做叙述。此处仅需要理解的是，步骤s102确定的临时切分点是采用较低的判断标准确定的、可能用于对教学类视频进行切分的切分点；基于前述需求，临时切分点的数量相较于实际切分点的数量较多。
42.s103：根据临时切分点确定第一帧图像和第二帧图像，比较第一帧图像和第二帧图像的板书区域，确定第一相似度。
43.第一帧图像是有序图像集中对应临时切分点前的第一周期的帧图像，第二帧图像是有序图像集中对应临时切分点后的第一周期的帧图像。
44.如前所述，本申请实施例提供的教学类视频具有板书区域。步骤s103中，首先需要识别提取第一帧图像和第二帧图像中的识别板书区域，随后再对板书区域进行处理，得到第一相似度。
45.本申请实施例具体应用中，对第一帧图形和第二帧图像识别提取板书区域的方法有如下多种。
46.（1）采用深度学习或者自适应识别的方法采用深度学习或者自适应识别的方法优选在板书区域与帧图像中的其他区域具有明显反差，或者板书区域边缘特征明显的情况下使用。这一方法优选地在拍摄教学类视
频的摄像机可能改变取景范围的情况下使用。
47.在此情况下，如果第一帧图像或者第二帧图像中并没有板书区域的情况下，则可能并不会得到相应的板书区域，而得到一空值区域；实际中比较板书区域而确定第一相似度，可能为比较一个板书区域和一个空值区域，或者比较两个空值区域。
48.（2）采用提取特定位置区域的方法采用提取特定区域的方法，多用于拍摄教学类视频的摄像机取景范围固定的场景中。采用这一方法的前提是在对教学类视频进行处理前，确定板书区域在帧图像中的位置区域，随后对各个帧图像进行处理时，将此位置区域作为板书区域。
49.应当注意的是，在提取特定区域的情况下，即使板书区域被其他障碍物遮挡（例如被学员或者老师遮挡），仍然将此区域作为板书区域。
50.本申请实施例中，在确定板书区域后，根据第一帧图像和第二帧图像的板书区域，确定第一相似度的方法可以选择如下一种。
51.（1）采用ssim算法比较第一帧图像和第二帧图像的板书区域，确定第一相似度。本申请实施例中，ssim算法是结构相似法（structuralsimilarity）的简称。
52.（2）采用余弦距离比较第一帧图像和第二帧图像的板书区域，确定第一相似度。例如，第一帧图像板书区域的像素灰度为x1，x2，
……
x
n
，第二帧图像板书区域的像素灰度为y1，y2，
……
y
n
，则余弦距离为。
53.（3）采用文本比对的方法，确定第一相似度。具体包括步骤s1031
‑
s1032。
54.s1031：对第一帧图像和第二帧图像的板书区域进行文本内容识别，得到两个文本。
55.本申请实施例具体应用中，可以采用本领域已知的各种方法对板书内容进行文本内容识别而得到识别文本，此处不再就文本识别方法（optical character reorganization，ocr）方法做叙述，具体可以相关技术文献或者工程实践。
56.在本申请实施例的其他应用中，也可以采用其他的方法确定第一相似度。
57.s1032：根据两个识别文本的长度确定第一相似度。
58.本申请实施例具体应用中，根据两个识别文本的长度确定第一相似度包括：比较两个识别文本，得到编辑距离，根据编辑距离和一个所述识别文本长度的比值作为第一相似度。
59.例如，第一帧图像中板书区域的文本内容长度为sm，第二帧图像中板书区域的文本内容为sn，编辑距离为l，则第一相似度可以为l/sm或者l/sn。
60.在步骤s103完成执行后，可以继续执行步骤s104
‑
s105。
61.s104：根据第一相似度删减第一相似度对应的临时切分点。
62.步骤s104中，根据第一相似度删减对应的临时切分点，需要根据步骤s103中采用的文本长度确定方法具体地选定。
63.例如，在采用ssim算法计算第一相似度的情况下，如果第一相似度大于对应的阈值，则删除对应的临时切分点；而在采用余弦距离方法和文本比对的方法的情况下，如果第一相似度小于对应的阈值，则删除对应的临时切分点。在采用识别文本的方法计算第一相
似度的情况下，如果第一相似度小于对应的阈值，则删除对应的临时切分点。
64.s105：采用剩余的临时切分点作为教学类视频的实际切分点。
65.在步骤s104完成对某些并不适合作为实际切分点的临时切分点的删除操作后，步骤s105将没有被删减的临时切分点作为教学类视频的真实切分点，用于后续对教学类视频进行切分提取或者添加标签添加。
66.本申请实施例提供的教学类视频切分方法，利用一些教学类视频具有板书区域，并且板书区域内容短时间具有极大相似性的方法，在确定临时切分点后，利用相邻帧板书区域内容的临时切分点进行删除操作，以根据板书内容排除并不适合作为实际切分点的临时切分点。板书内容和教学主题具有直接关系，因此采用前述方法能够较为准确地根据教学类视频的内容特性实现对教学视频的切分。
67.在本申请一些实施例具体处理的教学类视频中，可能有诸如教员、学员等人物的影像，其中尤其以包括教员的影像为普遍。而在教学进程中，教员会根据教学内容的开展表现出各种肢体动作，例如查看教案、面向学员（面向镜头）、面向板书区域等。此时，教员动作可能影响使得步骤s102中的确定临时切分点数量过多。
68.为解决前述的文本，在本申请一些实施例中，步骤s102在具体执行时，可以为：比较帧图像中不包括人物影像的区域，确定临时切分点。也就是说，在执行步骤s102中，首先对相邻帧图像进行识别，去除其中的人物影像部分，随后再对去除人物影像部分的内容进行特征识别。
69.本申请实施例中，在执行步骤s102时确定临时切分点的方法可以包括如下的方法：采用ssim方法比较相邻帧图像，得到第二相似度；随后判断第二相似度是否小于第二阈值；如果第二相似度小于第二阈值，则在相邻帧图像之间设置临时切分点；如果第二相似度大于第二阈值，则不在相邻帧图像之间设置临时切分点。
70.实际应用中，因为ssim是基于统计学方法的图像相似度识别方法，具有快速识别图像相似度，并且具有全局对比的优点，因此优选采用这一方法作为确定临时切分点的方法。实际应用中，通过设定第二阈值的大小，可以调整确定的临时切分点的数量。
71.当然，在本申请的其他实施例中，也可以采用其他的处理方法确定临时切分点。
72.本申请实施例的一些应用中，除了采用步骤s103和s104删减临时切分点外，还可以设置其他步骤用于删减临时切分点，其可以采用的方法包括如下。
73.（1）采用余弦距离的方法采用余弦距离比较的方法包括步骤s106
‑ꢀ
s108。
74.s106：采用余弦距离法比较第一帧图像和第二帧图像，得到第三相似度；s107：判断第三相似度是否小于第三阈值；若是，执行s108。
75.s108：删除第三相似度对应的临时切分点。
76.步骤s106中提及的余弦距离计算方法如前文描述，此处不再复述。应当注意的是，根据前文中余弦距离的计算公式可知，余弦距离法是一种对应像素比较的方法，如果两个图像对应像素的灰度变化不大，则二者的余弦距离较大，据此能够方便地确定是否可以删除某些临时切分点。
77.（2）采用残差比较的方法采用残差比较的方法包括步骤s108
‑
s109。
78.s108：根据第一帧图像和第二帧图像得到残差图像。
79.具体应用中，步骤 108计算的残差图像包括第一残差图像和第二残差图像；第一残差图像为第一帧图像和第二帧图像的差值图像，第二残差图像为第二帧图像和第一帧图像的差值图像。
80.s109：根据残差图像、第一帧图像和第二帧图像确定是否删除对应的临时切分点。
81.本申请一些实施例的具体应用中，步骤s109可以细分为s1091
‑
s1093。
82.s1091：根据第一残差图像和第一帧图像计算第四相似度，根据第二残差图像和第二帧图像计算第五相似度。
83.具体实施例中，第四相似度和第五相似度的计算均可以采用ssim方法计算得到，或者采用其他图像处理领域中已知的算法得到。
84.s1092：确定第四相似度和第五相似度中的较大值和较小值。
85.s1093：在较大值小于第四阈值或者较小值小于第五阈值的情况下，删除对应的临时切分点。
86.应当注意的是，本申请实施例具体应用中，可以采用前述的多种删减临时切分点，而得到实际切分点。
87.实际应用中，教学类视频除了包括图像内容外，还包括音频内容，并且音频内容和教学内容具有强相关关系，不同的教学主题间大概率具有较强的时间间隔。基于前述分析，在本申请实施例中，除了根据帧图像内容确定实际切分点外，还可以根据声音特征确定音频切分点，并将音频切分点作为实际切分点。
88.图2是本申请一实施例提供确定音频切分点的流程图。如图2所示，确定音频切分点步骤包括s201
‑
s205。
89.s201：确定教学类视频中各个第二周期中的声音强度。
90.本申请书实施例中，第二周期是根据教学类视频的内容进度等因素确定的一个时间周期；实际应用中，第二周期可以与前文中的第一周期相同，也可能与第一周期不同。
91.s202：判断声音强度是否小于预设强度阈值；若是，执行s203；若否，执行s204。
92.s203：将对应的第二周期的音频标识设为静音标识。
93.s204：将对应的第二周期的音频标识设为有声标识。
94.s205：根据各个所述第二周期对应的所述音频标识的变化特性，确定音频切分点。
95.采用前述的步骤s201
‑
s205，在采用强度阈值确定各个第二周期的音频标识后，能够根据音频标识的分布特性确定教学类视频中的声音变化特性。根据前述分析，不同的教学主题间大概率具有较强的时间间隔，因此可以根据音频标识的辩护特性确定音频切分点。
96.在本申请实施例中，步骤s205可以细分为步骤s2051
‑
s2054。
97.s2051：判断连续特定数量的第二周期的音频标识是否均为静音标识；若是，执行s2052；若否，执行s2053。
98.本申请实施例中，特定数量根据教学类视频的教学速度设定；在一个具体应用中，可以将特定数量设置为5
‑
10。
99.s2052：维持连续特定数量的第二周期的音频标识不变。
100.s2053：将连续特定数量的第二周期中音频标识中的静音标识修改为有声标识。
101.s2054：在音频标识发生改变的位置设置音频切分点。
102.通过步骤s2053后，教学类视频的音频标识序列中包括连续的有声标识和连续的无声标识；其中无声标识表征了静音时间较大的区域，其可能表征了从一教学主题切换至另一教学主题的间隔区域，因此将音频标识发生改变的位置设置为音频切分点。
103.基于前述的步骤s201
‑
s205，本申请一些实施例中的步骤s105具体为：采用临时切分点和音频切分点作为实际切分点。
104.在本申请实施例的一些应用中，在确定实际切分点后，即可以在教学类视频中对应的位置添加切分点作为索引点，以使得后续学员能够快速地通过索引点查找到想观看的内容。在本申请实施例另外一些应用中，在确定实际切分点后，还可能需要截取位于相邻的两个实际切分点之间的视频片段，作为提取片段。
105.在本申请实施例中，获取提取片段的方法中，需要删除一些并不是教学内容的片段。为了去除并不包括教学内容的片段，本申请实施例提供的方法可以包括步骤s301
‑
s305。
106.s301：确定有序图像集中各个帧图像中的人物数量。
107.s302：统计有序图像集中，位于相邻的两个实际切分点确定时间段内，并且包含超过预设人数的帧图像的数量。
108.s303：判断包含超过预设人数的帧图像的数量是否大于预设数量；若是，执行s304；若否，执行s305。
109.s304：丢弃两个实际切分点之间的片段。
110.s305：提取相邻的两个实际切分点之间的视频片段，作为提取片段。
111.在本申请实施例一些应用处理的教学类视频中，在正常授课过程中，一般只有教员出现在镜头场景内；尽在学员可能回答问题时，在镜头场景内的人数才多于两个，并且镜头场景内人数多于两个的情况并不多；如果镜头场景内出现长时间的人数多于设定人数的情况，则大概率并不是处在正常授课中。基于此，在本申请一些实施例中通过步骤s301
‑
s305丢弃一些视频片段，仅将另外的一些视频片段作为提取片段。
112.除了前述的方法外，在本申请实施例的一些应用中，还可以利用如下方法去除一些不能作为提取片段的视频片段。
113.（1）丢弃声音标识全部为静音标识的两个相邻实际切分点之间的视频片段。
114.（2）丢弃两个相邻实际切分点之间的视频长度小于特定长度的视频片段；其中特定长度根据教学培训内容确定。
115.（3）在两个相邻实际切分点之间的视频片段之间的视频帧内容具有特定的标识非教学时间的图像内容或者音频内容的情况下，丢弃此两个相邻实际切分点之间的视频片段。
116.本申请实施例中，在确定提取片段后，本申请实施例提供的方法还可能包括为提取片段添加主题标引，以便于后续快速查找到对应的教学提取片段。
117.本申请实施例中，添加主题标引的过程可以包括步骤s401
‑
s402。
118.s401：处理提取片段，或者处理有序图像集中对应提取片段的帧图像，确定片段主题。
119.本申请实施例中，可以针对提取片段中的或者对应的有序图像集中的某些特定帧
图像，对特定帧图像进行内容提取而确定片段主题。例如，在本申请实施例一个应用中，可以针对提取片段的起始帧图像、1/4处帧图像、1/2处帧图像、3/4处帧图像进行处理，得到片段主题。
120.s402：采用片段主题标引提取片段。
121.步骤s402是将片段主题作为标题或者属性内容添加至提取片段中。
122.另外，本申请的一些实施例中，在并不获得提取片段的情况下，也可以根据教学类视频对应实际切分点内的帧图像确定片段主题，并将此片段主题作为教学类视频相应片段的标签。
123.除了提供前述的教学类视频的切分方法外，本申请实施例还提供与前述教学类视频的切分方法具有相同发明构思的教学类视频的切分装置。
124.图3是本申请一实施例提供的教学类视频切分装置的结构示意图；如图3所示，在一些实施例中，教学类视频的切分装置包括提取单元11、切分点初选单元12、切分点删减单元13和实际切分点确定单元14。
125.提取单元11，用于按照第一周期提取教学类视频的帧图像，形成有序图像集；为了能够保证形成流畅的视频内容，教学类视频的帧频率多在24帧/秒；因为相邻图像帧的时间间隔很小，相邻的两个视频帧图像内容变化率并不大。为了克服此问题，本申请实施例中提取单元11按照定期抽样的方法，根据第一周期提取教学类的帧图像，形成用于后续处理的有序图像集。
126.切分点初选单元12用于比较有序图像集中相邻的帧图像，确定临时切分点。
127.本申请实施例中，临时切分点确定单元可以采用ssim方法比较相邻帧图像得到第二相似度；随后判断第二相似度是否小于第二阈值；如果第二相似度小于第二阈值，则在相邻帧图像之间设置临时切分点；如果第二相似度大于第二阈值，则不在相邻帧图像之间设置临时切分点。
128.切分点删减单元13，用于根据临时切分点确定第一帧图像和第二帧图像；比较第一帧图像和第二帧图像的板书区域，确定第一相似度；以及，根据第一相似度删减对应的临时切分点。
129.第一帧图像为临时切分点前的帧图像，第二帧图像为临时切分点后的帧图像。
130.本申请实施例中，可以采用ssim算法、余弦距离算法或者文本距离算法中的一种或者多种处理第一帧图像和第二帧图像中的板书区域，确定第一相似度；在根据第一相似度确定是否删减对应的临时切分点。
131.其中采用文本距离方法包括：对第一帧图像和第二帧图像的板书区域进行文本内容识别，得到两个识别文本；比较两个识别文本，得到编辑距离；随后根据编辑距离和一个识别文本的长度，确定第一相似度。
132.实际切分点确定单元14，用于采用剩余的临时切分点作为教学类视频的实际切分点。
133.本申请实施例提供的教学类视频切分装置，利用一些教学类视频具有板书区域，并且板书区域内容短时间具有极大相似性的方法，在确定临时切分点后，利用相邻帧板书区域内容的临时切分点进行删除操作，以根据板书内容排除并不适合作为实际切分点的临时切分点。因为板书内容和教学主题具有直接关系，因此采用前述装置能够较为准确地根
据教学类视频的内容特性实现对教学视频的切分。
134.在本申请实施例一些应用中，为了排除教学类视频中的人物动作造成的图像差异，避免确定过多的临时切分点，可以通过比较帧图像中不包括人物影像的区域，确定临时切分点。
135.本申请实施例中，临时切分点确定单元可以采用ssim算法比较相邻帧图像，得到第二相似度；以及，在第二相似度小于第二阈值的情况下，确定在相邻帧图像间设置临时切分点。
136.在本申请实施例中，切分点删减单元13除了通过比较板书区域而删减临时切分点外，还可以采用如下的方法删减临时切分点。
137.（1）采用余弦距离法比较第一帧图像和第二帧图像，得到第三相似度；以及，在第三相似度大于第三阈值的情况下，删除第三相似度对应的临时切分点。
138.（2）根据第一帧图像和第二帧图像得到残差图像；根据残差图像、第一帧图像和第二帧图像，确定是否删除对应的临时切分点。
139.具体的应用中，残差图像可以包括第一残差图像和第二残差图像。第一残差图像为第一帧图像与第二帧图像的差值图像，第二残差图像为第二帧图像与第一帧图像的差值图像。
140.前述根据残差图像、第一帧图像和第二帧图像确定是否删除对应临时切分点的步骤包括：根据第一残差图像和第一帧图像计算第四相似度，根据第二残差图像和第二帧图像计算第五相似度；确定第四相似度和第五相似度的较大值和较小值；在较大值小于第四阈值或者较小值第五阈值的情况下，删除对应的临时切分点。
141.本申请一些实施例中，教学类视频的切分装置还可以包括声音强度确定单元、声音标识确定单元、音频切分点确定单元。
142.声音强度确定单元用于确定教学类视频中各个第二周期中的声音强度。
143.声音标识确定单元用于在声音强度小于预设强度阈值的情况下，将对应的第二周期的音频标识设为静音标识；或者，在声音强度大于预设强度阈值的情况下，将对应的第二周期的音频标识设为有声标识。
144.音频切分点确定单元用于根据各个第二周期对应的音频标识的变化特性，确定音频切分点。
145.在包括前述声音强度确定单元、声音标识确定单元和音频切分点确定单元的情况下，实际切分点确定单元14采用临时切分点和音频切分点作为实际切分点。
146.在本申请实施例的一些应用中，音频切分点确定单元采用下述方法确定音频切分点：（1）判断连续特定数量的第二周期的音频标识是否均为静音标识；（2）若是，维持连续特定数量的第二周期的音频标识不变；若否，将连续特定数量的第二周期中音频标识中的静音标识修改为有声标识；（3）在音频标识发生改变的位置设置音频切分点。
147.在本申请实施例的一些应用中，还包括提取单元11。提取单元11用于提取教学类视频位于相邻的两个实际切分点之间的视频片段作为提取片段。在一个具体应用中，获得提取片段的方法包括：（1）确定有序图像集中的各个帧图像中的人物数量；（2）统计有序图像集中位于相邻的两个实际切分点确定的时间段内，并且包含超过预设人数的帧图像的数量；（3）在帧图像数量小于预设数量的情况下，提取位于相邻的两个实际切分点之间的视频
片段，作为提取片段。
148.本申请的一些应用中，教学类视频的切分装置还包括主体确定单元；主题确定单元，用于处理提取片段，或者处理有序图像集中对应提取片段的帧图像，确定片段主题；以及，采用片段主题标引提取片段。
149.基于前述的发明构思，本申请还提供一种电子设备。图4是本申请实施例提供的电子设备的结构示意图。如图4所示，第一服务器包括至少一个处理器21、至少一个存储器22和至少一个通信接口23。通信接口23，用于与外部设备之间的信息传输。
150.第一服务器中的各个组件通过总线系统24耦合在一起。可理解地，总线系统24用于实现这些组件之间的连接通信。总线系统24除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图4中将各种总线都标为总线系统24。
151.可以理解，本实施例中的存储器22可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。在一些实施方式中，存储器22存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
152.其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器（mediaplayer）、浏览器（browser）等，用于实现各种应用任务。实现本公开实施例提供的教学类视频的切分方法的程序可以包含在应用程序中。
153.在本公开实施例中，处理器21通过调用存储器22存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器21用于执行本公开实施例提供的教学类视频的切分方法的各个步骤。
154.本公开实施例提供的教学类视频的切分方法可以应用于处理器21中，或者由处理器21实现。处理器21可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器21中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器21可以是通用处理器、数字信号处理器（digitalsignalprocessor，dsp）、专用集成电路（applicationspecific integratedcircuit，asic）、现成可编程门阵列（fieldprogrammablegatearray，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
155.本公开实施例提供的教学类视频的切分方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器22，处理器21读取存储器22中的信息，结合其硬件完成方法的步骤。
156.本公开实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行教学类视频的切分方法的步骤各实施例的步骤，为避免重复描述，在此不再赘述。
157.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在
涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
158.以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。