插帧方法和装置、设备、介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种插帧方法和装置、设备、介质。


背景技术：

2.目前，大多数的视频包括电影和电视剧等，都是30fps(每秒传输帧数，frames per second)及以下的低帧率视频，而目前显示端的屏幕规格已经达到的60fps，甚至120fps。表明传统帧率的视频已经跟不上屏幕刷新率的发展。由此，视频插帧技术应运而生，通过预测中间帧的方式进行插帧操作，以便将低帧率的视频转换为高帧率的视频。
3.现有的视频插帧技术会给所有视频帧之间都进行插帧，但是这么做可能会导致插帧之后的视频所呈现出的效果反而没有插帧前的效果好，即无效插帧较多。


技术实现要素：

4.本技术至少提供一种插帧方法和装置、设备、介质。
5.本技术提供了一种插帧方法，包括：获取连续的两帧视频帧图像，其中，两帧视频帧图像用于先后播放；检测两帧视频帧图像是否满足插帧条件；响应于两帧视频帧图像满足插帧条件，预测两帧视频帧图像之间的中间帧；利用中间帧对两帧视频帧图像进行插帧处理。
6.因此，通过在预测两帧视频帧图像之间的中间帧之前，先检测两帧视频帧图像是否满足插帧条件，使得在两帧视频帧图像满足条件的情况下，再进行中间帧的预测，能够实现对中间帧的筛选，从而提高插帧效果。并且，在两帧视频帧图像满足插帧条件的情况下，才进行中间帧的预测，并非盲目进行中间帧预测之后，再对中间帧进行筛选，能够减少对中间帧预测的资源消耗。
7.其中，插帧条件包括以下至少一者：两帧视频帧图像的场景状态不为预设状态、两帧视频帧图像中的画面运动类别不处于预设运动类别，其中，预设状态为静止场景状态或场景切换状态；和/或，预设运动类别的运动程度大于预设运动程度。
8.因此，在两帧视频帧图像的场景状态为静止场景状态或场景切换状态的情况下，继续对两帧视频帧图像的中间帧进行预测并插帧，并不会提高插帧效果，反而会造成资源的浪费，因此，在两帧视频帧图像的场景状态不属于静止场景状态或场景切换状态的情况下，才进行中间帧的预测，能够减少资源浪费。另外，在两帧视频帧图像的画面运动类别处于预设运动类别时，因为运动程度较大，可能会造成中间帧的质量不佳，反而会降低插帧效果，因此，在两帧视频帧图像帧的画面运动程度小于等于预设运动程度的情况下，才进行中间帧的预测，能够提高插帧效果。
9.其中，在插帧条件包括两帧视频帧图像的场景状态不为预设状态的情况下，检测两帧视频帧图像是否满足插帧条件，包括：利用两帧视频帧图像的视差和/或匹配特征点对的数量，判断两帧视频帧图像的场景状态是否为预设状态；若两帧视频帧图像的场景状态不为预设状态，确定两帧视频帧图像满足插帧条件；在插帧条件包括两帧视频帧图像中的
画面运动类别不处于预设运动类别的情况下，检测两帧视频帧图像是否满足插帧条件，包括：基于两帧视频帧图像之间的光流信息，确定两帧视频帧图像的画面运动类别；响应于画面运动类别不属于预设运动类别，确定两帧视频帧图像满足插帧条件。
10.因此，通过两帧视频帧图像的视差和匹配特征点对的数量，确定两帧视频帧图像的场景状态，能够提高确定的场景状态的准确度。另外，通过两帧视频帧图像之间的光流信息，能够实现确定两帧视频帧图像的画面运动类别。
11.其中，预设状态为静止场景状态或场景切换状态，利用两帧视频帧图像的视差和/或匹配特征点对的数量，判断两帧视频帧图像的场景状态是否为预设状态，包括：响应于匹配特征点对的数量大于或等于第一预设数量，确定两帧视频帧图像的场景状态为静止场景状态；或，响应于视差小于或等于第一预设视差，确定两帧视频帧图像的场景状态为静止场景状态；或，响应于匹配特征点对的数量小于或等于第二预设数量，确定两帧视频帧图像的场景状态为场景切换状态；或，响应于视差大于或等于第二预设视差，确定两帧视频帧图像的场景状态为场景切换状态；其中，第一预设数量大于第二预设数量，第一预设视差小于第二预设视差。
12.因此，通过匹配特征点对和视差的结合，确定两帧视频帧图像的场景状态，能够提高确定的场景状态的准确度。
13.其中，基于两帧视频帧图像之间的光流信息，确定两帧视频帧图像的画面运动类别，包括：获取两帧视频帧图像之间的至少一种光流信息，其中，至少一种光流信息包括关于前景的光流信息、关于背景的光流信息、前景和背景间的光流信息差异中的一者或多者；基于每种光流信息对应的运动类别，确定两帧视频帧图像的画面运动类别。
14.因此，通过前景的光流信息、关于背景的光流信息、前景和背景间的光流信息差异确定对应的画面运动类别，使得确定的画面运动类别更准确。
15.其中，插帧条件包括两帧视频帧图像的场景状态不为预设状态、两帧视频帧图像中的画面运动类别不处于预设运动类别；检测两帧视频帧图像是否满足插帧条件，包括：检测两帧视频帧图像的场景状态是否为预设状态；响应于场景状态不为预设状态，检测两帧视频帧图像中的画面运动类别是否处于预设运动类别；响应于画面运动类别不处于预设运动类别，确定两帧视频帧图像满足插帧条件。
16.因此，通过先后进行两次检测，能够提高最终的插帧效果。
17.其中，插帧条件包括两帧视频帧图像中的画面运动类别不处于预设运动类别，在检测两帧视频帧图像中的画面运动类别不处于预设运动类别之前，方法还包括：查询第(i
‑
1)次插帧中所使用的两帧历史视频帧图像是否满足插帧条件，其中，第(i
‑
1)次插帧表示为当前第i次插帧的前一次插帧，i为大于1的正整数；响应于第(i
‑
1)次插帧中所使用的两帧历史视频帧图像满足插帧条件，执行检测两帧视频帧图像中的画面运动类别不处于预设运动类别的步骤。
18.因此，通过结合历史信息，能够提高检测两帧视频帧图像帧是否满足插帧条件的效率。
19.其中，查询第(i
‑
1)次插帧中所使用的两帧历史视频帧图像是否满足插帧条件，包括：查询场景更改标志的状态是否为第一预设状态；若场景更改标志的状态为第一预设状态，则确定两帧历史视频帧图像不满足插帧条件；方法还包括：响应于两帧历史视频帧图像
不满足插帧条件，将场景更改标志的状态切换为第二预设状态，其中，第二预设状态于第一预设状态不同；以及，响应于两帧历史视频帧图像不满足插帧条件，获取第(i+1)次插帧中需要使用的两帧视频帧图像。
20.因此，通过结合历史信息，能够提高检测两帧视频帧图像帧是否满足插帧条件的效率。
21.其中，方法还包括：响应于两帧历史视频帧图像不满足插帧条件，利用两帧历史视频帧图像之间的光流信息，确定并保存当前第i次插帧中两帧视频帧图像之间的光流信息，其中，两帧视频帧图像之间的光流信息用于确定第(i+1)次插帧所使用的两帧视频帧图像之间的光流信息。
22.因此，通过将此次的光流信息进行保存，以便下次插帧过程中可以结合此次插帧过程中使用的两帧视频帧图像帧之间到的光流信息进行光流信息的确定。
23.其中，在利用中间帧对两帧视频帧图像进行插帧处理之前，方法还包括：获取中间帧的图像质量信息；响应于图像质量信息满足质量要求，执行利用中间帧对两帧视频帧图像进行插帧处理的步骤。
24.因此，在中间帧的图像质量信息满足质量要求时，才进行插帧处理，能够提高插帧效果。
25.其中，两帧视频帧图像包括第一视频帧图像和第二视频帧图像，两帧视频帧图像之间的中间帧包括基于第一视频帧图像得到的第一中间帧以及基于第二视频帧图像得到的第二中间帧；获取中间帧的图像质量信息，包括：获取第一中间帧和第二中间帧之间的第一匹配误差；判断图像质量信息是否满足质量要求，包括：判断第一匹配误差是否小于或等于预设误差阈值；若第一匹配误差小于或等于预设误差阈值，则确定图像质量信息满足质量要求。
26.因此，通过第一视频帧图像和第二视频帧图像分别与光流信息结合，得到第一中间帧和第二中间帧，若第一中间帧和第二中间帧的匹配误差较小，可以认为两个中间帧的质量满足要求。
27.其中，获取第一中间帧和第二中间帧之间的第一匹配误差，包括：按照预设划分方式，将第一中间帧划分为第三预设数量的第一区域、以及将第二中间帧划分为第三预设数量的第二区域；计算第一区域与第二区域之间的第二匹配误差；基于第三预设数量的第二匹配误差，确定第一匹配误差。
28.因此，通过将第一中间帧和第二中间帧划分为多个区域进行匹配误差的获取，从而获取两个中间帧的第一匹配误差，能够提高获取得到的第一匹配误差的准确度。
29.其中，方法还包括，包括：基于第一视频帧图像和两帧视频帧图像之间的光流信息，预测得到第一中间帧，以及基于第二视频帧图像和两帧视频帧图像之间的光流信息，预测得到第二中间帧；利用中间帧对两帧视频帧图像进行插帧处理，包括：基于第一中间帧和第二中间帧，获取最终中间帧，并将最终中间帧插入至两帧视频帧图像之间。
30.因此，通过光流信息以及两个视频帧图像帧获取两个中间帧，再利用两个中间帧获取最终的中间帧，能够提高最终中间帧的准确度。
31.本技术提供了一种显著性检测装置，包括：图像获取模块，用于获取连续的两帧视频帧图像；检测模块，用于检测两帧视频帧图像是否满足插帧条件；预测模块，用于响应于
两帧视频帧图像满足插帧条件，预测两帧视频帧图像之间的中间帧；插帧模块，用于利用中间帧对两帧视频帧图像进行插帧处理。
32.本技术提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述插帧方法。
33.本技术提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述插帧方法。
34.上述方案，通过在预测两帧视频帧图像之间的中间帧之前，先检测两帧视频帧图像是否满足插帧条件，使得在两帧视频帧图像满足条件的情况下，再进行中间帧的预测，能够实现对中间帧的筛选，从而提高插帧效果。并且，在两帧视频帧图像满足插帧条件的情况下，才进行中间帧的预测，并非盲目进行中间帧预测之后，再对中间帧进行筛选，能够减少对中间帧预测的资源消耗。
35.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。
附图说明
36.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
37.图1是本技术插帧方法一实施例的流程示意图；
38.图2是本技术插帧方法一实施例中示出步骤s12的流程示意图；
39.图3是本技术插帧方法一实施例的另一流程示意图；
40.图4是本技术插帧装置一实施例的结构示意图；
41.图5是本技术电子设备一实施例的结构示意图；
42.图6是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
43.下面结合说明书附图，对本技术实施例的方案进行详细说明。
44.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
45.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
46.请参阅图1，图1是本技术插帧方法一实施例的流程示意图。具体而言，可以包括如下步骤：
47.步骤s11：获取连续的两帧视频帧图像。
48.两帧视频帧图像可以是经摄像组件拍摄得到的图像，也可以是经绘图软件、视频制作软件等绘制而成。即，本公开实施例提供的插帧方法可以针对经由拍摄得到的视频进
行插帧，也可以针对动漫等视频进行插帧。因此，关于视频帧图像的具体形式，此处不做具体规定。
49.连续指的是两帧视频帧图像可以是一段视频中相邻的两帧图像，例如一段视频中的第一帧和第二帧。
50.步骤s12：检测两帧视频帧图像是否满足插帧条件。
51.其中，可以根据两帧视频帧图像对应的图像信息进行检测。具体地，可以是分别检测两帧视频帧图像的图像信息是否均满足插帧条件，还可以是检测两帧视频帧图像之间的图像信息是否满足插帧条件。
52.步骤s13：响应于两帧视频帧图像满足插帧条件，预测两帧视频帧图像之间的中间帧。
53.其中，响应于视频帧图像不满足插帧条件时，则不再预测两帧视频帧图像之间的中间帧。在这种情况下，不再对这两帧视频帧图像进行插帧处理。其中，预测两帧视频帧图像之间的中间帧的方式有多种，例如，可以是根据视频插帧模型获取该中间帧。具体如何根据两帧图像获取中间帧的方式可参见一般的技术，此处不做过多叙述。
54.步骤s14：利用中间帧对两帧视频帧图像进行插帧处理。
55.具体地，将中间帧插入两帧视频帧图像之间得到新的视频。进而可以按照对应的放映关系进行放映，从而提高视频的帧率。
56.上述方案，通过在预测两帧视频帧图像之间的中间帧之前，先检测两帧视频帧图像是否满足插帧条件，使得在两帧视频帧图像满足条件的情况下，再进行中间帧的预测，能够实现对中间帧的筛选，从而提高插帧效果。并且，在两帧视频帧图像满足插帧条件的情况下，才进行中间帧的预测，并非盲目进行中间帧预测之后，再对中间帧进行筛选，能够减少对中间帧预测的资源消耗。
57.一些公开实施例中，获取两帧视频帧图像的方式可以是：
58.从目标视频中分别获取相邻两帧图像作为两帧视频帧图像帧。其中，可以从目标视频的放映方向进行插帧，也可以从目标视频放映方向的反方向进行插帧。通过获取相邻两帧图像作为两帧视频帧图像，相比于通过任意两个视频帧进行中间帧预测并进行插帧而言，前者能够对中间帧的进行筛选，从而提高插帧效果。
59.在检测两帧视频帧图像是否满足插帧条件之前，还包括以下步骤：将两帧视频帧图像的分辨率调整为一致。一般情况下，使用相同摄像组件拍摄得到的图像的分辨率相同。具体调整的方式可以是将高分辨率的视频帧图像的分辨率降低至另一视频帧图像的分辨率，或将低分辨率的视频帧图像升高至另一视频帧图像的分辨率，还可以是将两帧视频帧图像的分辨率同时调整为第三分辨率，关于分辨率的调整方式此处不做具体规定。通过将两帧视频帧图像的分辨率调整为一致，能够提高中间帧的质量，从而提高插帧效果。
60.一些公开实施例中，插帧条件包括以下至少一者：
61.第一种插帧条件可以是两帧视频帧图像的场景状态不为预设状态。其中，场景状态是基于两帧视频帧图像的场景之间的变化确定的。其中，两帧视频帧图像的场景之间的变化可以根据两帧视频帧图像之间的图像信息确定的。通过两帧视频帧图像的场景状态以及画面的运动类别这两个方面进行插帧条件的判断，实现能够基于视频帧图像的场景和/或运动类别确定是否插帧。
62.具体地，预设状态为静止场景状态或场景切换状态。其中，静止场景状态可以认为是两帧视频帧图像的场景之间的变化小于第一预设变化，场景切换状态可以认为是两帧视频帧图像的场景之间的变化大于第二预设变化。其中，第一预设变化小于第二预设变化。例如，静止场景可以是两帧视频帧图像帧所包含的图像信息一致，场景切换状态可以认为是两帧视频帧图像所包含的图像信息完全不一致。在两帧视频帧图像的场景状态为静止场景状态或场景切换状态的情况下，继续对两帧视频帧图像的中间帧进行预测并插帧，并不会提高插帧效果，反而会造成资源的浪费，因此，在两帧视频帧图像的场景状态不属于静止场景状态或场景切换状态的情况下，才进行中间帧的预测，能够减少资源浪费。
63.可选地，在插帧条件包括两帧视频帧图像的场景状态不为预设状态的情况下，检测两帧视频帧图像是否满足插帧条件的方式可以是：利用两帧视频帧图像的视差和/或匹配特征点对的数量，判断两帧视频帧图像的场景状态是否为预设状态。具体地，一些应用场景中，利用两帧视频帧图像的视差，判断两帧视频帧图像的场景状态是否为预设状态，另一些场景中，利用两帧视频帧图像的匹配特征点对的数量，判断两帧视频帧图像的场景状态是否为预设状态。还有一些应用场景中，利用两帧视频帧图像的视差以及匹配特征点对的数量，判断两帧视频帧图像的场景状态是否为预设状态。在两帧视频帧图像的画面处于预设运动类别时，因为运动程度较大，可能会造成中间帧的质量不佳，反而会降低插帧效果，因此，在两帧视频帧图像帧的画面运动程度小于等于预设运动程度的情况下，才进行中间帧的预测，能够提高插帧效果。
64.具体地，利用两帧视频帧图像的匹配特征点对的数量，判断两帧视频帧图像的场景状态是否为预设状态的方式可以是：
65.响应于匹配特征点对的数量大于或等于第一预设数量，确定两帧视频帧图像的场景状态为静止场景状态。或，响应于匹配特征点对的数量小于或等于第二预设数量，确定两帧视频帧图像的场景状态为场景切换状态。其中，第一预设数量大于第二预设数量。其中，第一预设数量和第二预设数量可根据具体需要进行设置，若认为需要严格静止场景状态或场景切换状态的确定，则可以将第一预设数量设置的稍微大一点，将第二预设数量设置得稍微小一点，例如，第一预设数量可设置为30以上等，第二预设数量可设置为3以下等。因此，关于第一预设数量和第二预设数量的具体确定此处不做过限定。
66.具体地检测过程包括：对两帧视频帧图像进行特征点检测，得到两组特征点集合。然后再将两组特征点集合进行特征匹配，得到若干组匹配特征点对。
67.一些应用场景中，利用两帧视频帧图像的视差，判断两帧视频帧图像的场景状态是否为预设状态的方式可以是：
68.响应于视差小于或等于第一预设视差，确定两帧视频帧图像中的场景状态为静止场景状态。或响应于视差大于或等于第二预设视差，确定两帧视频帧图像中的场景状态为场景切换状态。其中，第一预设视差小于第二预设视差。其中，第一预设视差和第二预设视差的具体数值可根据实际需求具体设置。其中，视差的确定方式可以是获取各个匹配特征点对之间的视差，将所有匹配特征点对的视差取平均得到最终的视差，或获取各匹配特征点对的视差的中位数，将该中位数作为最终视差，亦或者将最大值对应的视差作为最终两帧视频帧图像对应的视差。当然，在其他实施例中，获取视差的方式还可以根据光流信息确定等，因此，关于视差的获取方式此处不做具体规定。
69.一些应用场景中，利用两帧视频帧图像的视差以及匹配特征点对的数量，判断两帧视频帧图像的场景状态是否为预设状态的方式可以是：
70.响应于匹配特征点对的数量大于或等于第一预设数量和/或视差小于或等于第一预设视差，确定两帧视频帧图像中的场景状态为静止场景状态。或，响应于匹配特征点对的数量小于或等于第二预设数量和/或视差大于或等于第二预设视差，确定两帧视频帧图像中的场景状态为场景切换状态。也就是，当两帧视频帧图像的匹配特征点对的数量大于或等于第一预设数量，或满足两帧视频帧图像之间的视差小于或等于第一预设视差时，则认为两帧视频帧图像的场景状态为静止场景状态。或者，当两帧视频帧图像的匹配特征点对的数量大于或等于第一预设数量，且两帧视频帧图像之间的视差小于或等于第一预设视差时，则认为两帧视频帧图像的场景状态为静止场景状态。以及，两帧视频帧图像的匹配特征点对的数量小于或等于第二预设数量，或两帧视频帧图像之间的视差大于或等于第二预设视差，确定两帧视频帧图像中的场景状态为场景切换状态。或者，两帧视频帧图像的匹配特征点对的数量小于或等于第二预设数量，且两帧视频帧图像之间的视差大于或等于第二预设视差，确定两帧视频帧图像中的场景状态为场景切换状态。
71.一些应用场景中，在检测到匹配特征点对数量大于或等于第一预设数量的情况下，再获取二者之间的视差，若视差小于或等于第一预设视差，则确定两帧视频帧图像的场景状态属于静止场景状态。或，在检测到匹配特征点对的数量小于或等于第二预设数量的情况下，再获取二者之间的视差，若视差大于或等于第二预设视差，则确定两帧视频帧图像的场景状态为场景切换状态。通过匹配特征点对和视差的结合，确定两帧视频帧图像的场景状态，能够提高确定的场景状态的准确度。
72.第二种插帧条件可以是，两帧视频帧图像的画面运动类别不处于预设运动类别。具体地，基于两帧视频帧图像之间的光流信息，确定两帧视频帧图像的画面运动类别。响应于画面运动类别不属于预设运动类别，确定两帧视频帧图像满足插帧条件。具体地，获取两帧视频帧图像之间的至少一种光流信息。其中，至少一种光流信息包括关于前景的光流信息、关于背景的光流信息以及前景和背景间的光流信息差异中的一者或多者。其中，获取光流信息的方式可以是将两帧视频帧图像输入光流预测网络模型，得到二者之间的至少一种光流信息。其中，光流预测网络模型可参见一般的模型，此处不做过多叙述。然后，基于每种光流信息对应的运动类别，确定两帧视频帧图像的画面运动类别。
73.一些应用场景中，根据背景的光流信息确定对应的运动类别。其中，背景和前景的划分可以根据光流信息进行划分。具体地，背景的光流代表的运动剧烈程度小于前景的光流代表的运动剧烈程度。若背景的光流信息代表的运动剧烈程度大于第一预设剧烈程度，则可以认为前景的运动剧烈程度肯定也大于第一预设距离程度，因此，可根据背景的光流信息对画面运动类别进行分类。
74.另一些应用场景中，可以仅关注前景的运动剧烈程度，例如，我们在观看一段视频中，对于前景的注意力一般高于对背景的注意力，若两帧视频帧图像对应的前景对应的光流信息表示的剧烈程度大于第二预设剧烈程度，则可以认为我们关注的对象发生的剧烈变化，此时，可以认为两帧视频帧图像中的画面运动类别处于预设运动类别。其中，第二预设剧烈程度大于或等于第一预设剧烈程度。
75.另一些应用场景中，可根据前景和背景间的光流信息差异，确定光流信息对应的
运动类别，并由此确定两帧视频帧图像的画面运动类别。另一些应用场景中，可根据前景的光流信息、背景的光流信息以及二者之间的光流信息差异，综合确定两帧视频帧图像的画面运动类别。通过前景的光流信息、关于背景的光流信息、前景和背景间的光流信息差异确定对应的画面运动类别，使得确定的画面运动类别更准确。
76.本公开实施例中，插帧条件同时包括两帧视频帧图像的场景状态不为预设状态、两帧视频帧图像中的画面运动类别不处于预设运动类别。通过两帧视频帧图像的视差和匹配特征点对的数量，确定两帧视频帧图像的场景状态，能够提高确定的场景状态的准确度。另外，通过两帧视频帧图像之间的光流信息，能够实现确定两帧视频帧图像的画面运动类别。
77.请参见图2，图2是本技术插帧方法一实施例中示出步骤s12的流程示意图。如图2所示，本公开实施例中，上述步骤s12包括如下子步骤：
78.步骤s121：检测两帧视频帧图像的场景状态是否为预设状态。
79.其中，预设状态同样为静止场景状态或场景切换状态。检测两帧视频帧图像的场景状态是否为预设状态的方式请参见上述，此处不再赘述。
80.步骤s122：响应于场景状态不为预设状态，检测两帧视频帧图像中的画面运动类别是否处于预设运动类别。
81.也就是，若场景状态为预设状态则直接认为两帧视频帧图像不满足插帧条件。若确定两帧视频帧图像不满足插帧条件，则不再执行预测两帧视频帧图像之间的中间帧的步骤。其中，检测两帧视频帧图像中的画面运动类别处于预设运动类别的方式如上述此处不再赘述。
82.步骤s123：响应于画面运动类别不处于预设运动类别，确定两帧视频帧图像满足插帧条件。
83.也就是，本公开实施例中，需要两帧视频帧图像的场景状态不为预设状态，且画面运动类别不处于预设运动类别。若，画面运动类别处于预设运动类别，则认为两帧视频帧图像不满足插帧条件，则不再执行预测两帧视频帧图像之间的中间帧的步骤。通过先后进行两次检测，能够提高最终的插帧效果。
84.一些公开实施例中，插帧条件包括两帧视频帧图像中的画面运动类别不处于预设运动类别。其中，在检测两帧视频帧图像中的画面运动类别不处于预设运动类别之前，还包括以下步骤：
85.查询第(i
‑
1)次插帧中所使用的两帧历史视频帧图像是否满足插帧条件。第(i
‑
1)次插帧表示为当前第i次插帧的前一次插帧，i为大于1的正整数。例如，本次插帧过程使用的两帧视频帧图像是一段视频中的第二帧视频帧和第三帧视频帧，则两帧历史视频帧图像可以是同一段视频中的第一帧视频帧和第二帧视频帧。也就是本次插帧使用的两帧视频帧图像中在先放映的一帧为上一次插帧使用的两帧视频帧图像中在后放映的一帧。其中，查询第(i
‑
1)次插帧中所使用的两帧历史视频帧图像是否满足插帧条件的方式可以是查询场景更改标志的状态是否为第一预设状态。若场景更改标志的状态为第一预设状态，则确定两帧历史视频帧图像不满足插帧条件。否则，确定两帧历史视频帧图像满足插帧条件。其中，第一预设状态可以是“真”。例如，若场景更改标志的状态为真，则认为两帧历史视频帧图像不满足插帧条件，否则，认为两帧历史视频帧图像满足插帧条件。在上一次插帧过程
中，若两帧历史视频帧图像不满足上述两种插帧条件中的一种或两种，则上一次插帧过程还包括将场景更改标志的状态修改为真。其中，查询第(i
‑
1)次插帧中所使用的两帧历史视频帧图像是否满足插帧条件过程中，插帧条件可以仅包括上述第一种插帧条件，也可仅包括上述第二种插帧条件，还可同时包括上述两种插帧条件。
86.响应于两帧历史视频帧图像满足插帧条件，则执行检测两帧视频帧图像中的画面运动类别不处于预设运动类别的步骤。以及，响应于两帧历史视频帧图像不满足插帧条件，则不执行检测两帧视频帧图像中的画面运动类别不处于预设运动类别的步骤。通过结合历史信息，能够提高检测两帧视频帧图像帧是否满足插帧条件的效率。
87.其中，响应于两帧视频帧图像不满足插帧条件，将场景更改标志的状态切换为第二预设状态。其中，第二预设状态与第一预设状态不同。例如，若第一预设状态为“真”，第二预设状态可以为“假”。
88.一些公开实施例中，响应于两帧历史视频帧图像不满足插帧条件，利用两帧历史视频帧图像之间的光流信息，确定并保存当前第i次插帧中两帧视频帧图像之间的光流信息。其中，两帧视频帧图像之间的光流信息用于确定第(i+1)次插帧所使用的两帧视频帧图像之间的光流信息。第(i+1)次插帧表示当前第i次插帧的后一次插帧。其中，确定两帧视频帧图像之间的光流信息的方式可以是将两帧历史视频帧图像之间的光流信息与两帧视频帧图像输入光流预测网络模型，得到两帧视频帧图像之间的光流信息。
89.通过将此次的光流信息进行保存，以便下次插帧过程中可以结合此次插帧过程中使用的两帧视频帧图像帧之间到的光流信息进行光流信息的确定。
90.响应于两帧历史视频图像不满足插帧条件，获取第(i+1)次插帧中需要使用的两帧视频帧图像。然后，再检测这两帧视频帧是否满足插帧条件。若第(i+1)次插帧中需要使用的两帧视频帧图像满足插帧条件，则预测这两帧视频帧图像之间的中间帧，然后利用中间帧对两帧视频帧图像进行插帧处理。具体第(i+1)次插帧的过程请参见当前第i次的插帧的过程，此处不再赘述。
91.一些公开实施例中，在预测两帧视频帧图像之间的中间帧之后，还包括以下步骤：
92.获取中间帧的图像质量信息。两帧视频帧图像包括第一视频帧图像和第二视频帧图像。两帧视频帧图像之间的中间帧包括基于第一视频帧图像得到的第一中间帧以及基于第二视频帧图像得到的第二中间帧。具体地，可以根据两帧视频帧图像之间的光流信息以及第一视频帧图像的图像信息，预测得到第一中间帧，以及根据两帧视频帧图像之间的光流信息以及第二视频帧图像的图像信息，预测得到第二中间帧。具体根据光流信息以及对应的图像信息获取中间帧的方式，可使用插帧预测网络模型进行预测。具体插帧预测网络模型可参照一般的模型，此处不做过多叙述。具体地，获取中间帧的图像质量信息的方式可以是：获取第一中间帧和第二中间帧之间的第一匹配误差。然后，判断第一匹配误差是否小于或等于预设误差阈值。若第一匹配误差小于或等于预设误差阈值，则确定图像质量信息满足质量要求。具体地，将第一中间帧和第二中间帧进行匹配，得到二者之间的匹配误差。其中，第一匹配误差作为中间帧的图像质量信息。其中，这里的第一匹配误差用于表示二者之间的匹配程度，第一匹配误差越小，则匹配程度越高，反之匹配程度越低。
93.其中，获取第一中间帧和第二中间帧之间的第一匹配误差的方式可以是：按照预设划分方式，将第一中间帧划分为第三预设数量的第一区域、以及将第二中间帧划分为第
三预设数量的第二区域。可选地，划分方式可以是分别将第一中间帧和第二中间帧均等分为若干个预设大小的区域。例如，分别将第一中间帧和第二中间帧均等分为若干个6*6大小的区域。然后，计算第一区域与第二区域之间的第二匹配误差。具体地，计算每组对应的第一区域和第二区域之间的第二匹配误差。其中，每组对应的第一区域和第二区域指的是位于第一中间帧和第二中间帧相同图像位置的区域。例如，第一区域为位于第一中间帧第一行第一列的区域，则与该第一区域对应的第二区域则为位于第二中间帧第一行第一列的区域。其中，可以使用滑窗的方式，获取各第一区域和对应第二区域之间的第二匹配误差。具体获取单个第一区域和第二区域之间的第二匹配误差的方式可以是，获取第一区域和第二区域之间的匹配特征点对，并基于匹配特征点对在各自区域中的位置差，基于各匹配特征点对之间的位置差，确定第一区域和第二区域之间的第二匹配误差。获取第二匹配误差的方式还可以是获取两个区域之间的光流信息，然后基于光流信息确定匹配误差。当然，其他任意能够获取图像匹配程度的方式均可以用于获取第二匹配误差，关于第二匹配误差的获取方式，此处不做具体规定。最后，基于第三预设数量的第二匹配误差，确定第一匹配误差。可选地，将所有第二匹配误差进行相加，得到第一匹配误差。通过将第一中间帧和第二中间帧划分为多个区域进行匹配误差的获取，从而获取两个中间帧的第一匹配误差，能够提高获取得到的第一匹配误差的准确度。
94.响应于图像质量信息满足质量要求，执行利用中间帧对两帧视频帧图像进行插帧处理的步骤。或，响应于图像质量信息不满足质量要求，不执行利用中间帧对两帧视频帧图像进行插帧处理的步骤。在中间帧的图像质量信息满足质量要求时，才进行插帧处理，能够提高插帧效果。
95.一些公开实施例中，预设误差阈值可以有多个。其中，预设误差阈值在本次插帧过程中的选择方式可以是根据两帧视频帧图像中画面运动类别所处的正常运动类别确定。本公开实施例中，正常运动类别可根据运动剧烈情况划分等级，例如，运动越剧烈，则运动类别的等级越高。正常运动类别不包括上述预设运动类别。每种正常运动类别对应有预设误差阈值。可选地，预设误差阈值的值与正常运动类别的等级呈正相关，即正常运动类别的等级越高，则预设误差阈值则越大。
96.另一些公开实施例中，在两帧视频帧图像满足插帧条件时，基于第一视频帧图像和两帧视频帧图像之间的光流信息，预测得到第一中间帧。以及，基于第二视频帧图像和两帧视频帧图像之间的光流信息，预测得到第二中间帧。然后执行上述步骤s14。
97.一些公开实施例中，在第一中间帧和第二中间帧满足质量要求时，再执行步骤s14。具体地，步骤s14包括：基于第一中间帧和第二中间帧，获取最终中间帧。然后将最终中间帧插入两帧视频帧图像之间。通过光流信息以及两个视频帧图像帧获取两个中间帧，再利用两个中间帧获取最终的中间帧，能够提高最终中间帧的准确度。
98.为更好地理解本公开实施例中所提出的技术方案，请参考下例。请同时参见图3，图3是本技术插帧方法一实施例的另一流程示意图。如图3所示，本公开实施例提供的插帧方法包括如下步骤：
99.步骤s21：获取连续的两帧视频帧图像。
100.其中，获取连续的两帧视频帧图像的方式如上述，此处不再赘述。
101.步骤s22：对两帧视频帧图像进行预处理。
102.对两帧视频帧图像进行预处理的方式可以是对两帧视频帧图像的分辨率进行统一，具体方式如上述，此处不再赘述。
103.步骤s23：检测两帧视频帧图像的场景状态是否为预设状态。
104.其中，检测两帧视频帧图像的场景状态是否为预设状态的方式如上述，此处不再赘述。
105.步骤s24：检测场景更改标志的状态是否为真。
106.具体检测场景更改标志的状态是否为真的方式请参见上述，此处不再赘述。
107.步骤s25：确定两帧视频帧图像之间的光流信息，以及将场景更改标志的状态设置为假。
108.其中，确定两帧视频帧图像之间的光流信息的方式如上述，此处不再赘述。以及，将场景更改标志的状态设置为假的方式如上述，此处不再赘述。
109.步骤s26：确定两帧视频帧图像之间的光流信息。
110.具体确定两帧视频帧图像之间的光流信息的方式此处不再赘述。
111.步骤s27：检测两帧视频帧图像的画面运动类别是否处于预设运动类别。
112.其中，检测两帧视频帧图像的画面运动类别是否处于预设运动类别的方式如上述，此处不再赘述。
113.步骤s28：预测两帧视频帧图像之间的中间帧。
114.其中，预测两帧视频帧图像之间的中间帧的方式如上述，此处不再赘述。
115.步骤s29：判断中间帧的图像质量信息是否满足质量要求。
116.其中，判断中间帧的图像质量信息是否满足质量要求的方式如上述，此处不再赘述。
117.步骤s30：获取最终中间帧。
118.其中，获取最终中间帧的方式如上述，此处不再赘述。
119.步骤s31：利用最终中间帧对两帧视频帧图像进行插帧处理。
120.其中，利用最终中间帧对两帧视频帧图像进行插帧处理的方式如上述，此处不再赘述。
121.上述方案，通过在预测两帧视频帧图像之间的中间帧之前，先检测两帧视频帧图像是否满足插帧条件，使得在两帧视频帧图像满足条件的情况下，再进行中间帧的预测，能够实现对中间帧的筛选，从而提高插帧效果。并且，在两帧视频帧图像满足插帧条件的情况下，才进行中间帧的预测，并非盲目进行中间帧预测之后，再对中间帧进行筛选，能够减少对中间帧预测的资源消耗。
122.其中，显著性检测方法的执行主体可以是显著性检测装置，例如，显著性检测方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该显著性检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
123.请参阅图4，图4是本技术插帧装置一实施例的结构示意图。插帧装置40包括图像获取模块41、检测模块42、预测模块43以及插帧模块。图像获取模块41，用于获取连续的两
帧视频帧图像；检测模块42，用于检测两帧视频帧图像是否满足插帧条件；预测模块43，用于响应于两帧视频帧图像满足插帧条件，预测两帧视频帧图像之间的中间帧；插帧模块，用于利用中间帧对两帧视频帧图像进行插帧处理。
124.上述方案，通过在预测两帧视频帧图像之间的中间帧之前，先检测两帧视频帧图像是否满足插帧条件，使得在两帧视频帧图像满足条件的情况下，再进行中间帧的预测，能够实现对中间帧的筛选，从而提高插帧效果。并且，在两帧视频帧图像满足插帧条件的情况下，才进行中间帧的预测，并非盲目进行中间帧预测之后，再对中间帧进行筛选，能够减少对中间帧预测的资源消耗。
125.一些公开实施例中，插帧条件包括以下至少一者：两帧视频帧图像的场景状态不为预设状态、两帧视频帧图像中的画面运动类别不处于预设运动类别，其中，预设状态为静止场景状态或场景切换状态；和/或，预设运动类别的运动程度大于预设运动程度。
126.上述方案，在两帧视频帧图像的场景状态为静止场景状态或场景切换状态的情况下，继续对两帧视频帧图像的中间帧进行预测并插帧，并不会提高插帧效果，反而会造成资源的浪费，因此，在两帧视频帧图像的场景状态不属于静止场景状态或场景切换状态的情况下，才进行中间帧的预测，能够减少资源浪费。另外，在两帧视频帧图像的画面运动类别处于预设运动类别时，因为运动程度较大，可能会造成中间帧的质量不佳，反而会降低插帧效果，因此，在两帧视频帧图像帧的画面运动类别运动程度小于等于预设运动程度的情况下，才进行中间帧的预测，能够提高插帧效果。
127.一些公开实施例中，在插帧条件包括两帧视频帧图像的场景状态不为预设状态的情况下，检测模块42检测两帧视频帧图像是否满足插帧条件，包括：利用两帧视频帧图像的视差和/或匹配特征点对的数量，确定两帧视频帧图像的场景状态是否为预设状态；若两帧视频帧图像的场景状态不为预设状态，确定两帧视频帧图像满足插帧条件；在插帧条件包括两帧视频帧图像中的画面运动类别不处于预设运动类别的情况下，检测两帧视频帧图像是否满足插帧条件，包括：基于两帧视频帧图像之间的光流信息，确定两帧视频帧图像的画面运动类别；响应于画面运动类别不属于预设运动类别，确定两帧视频帧图像满足插帧条件。
128.上述方案，通过两帧视频帧图像的视差和匹配特征点对的数量，确定两帧视频帧图像的场景状态，能够提高确定的场景状态的准确度。另外，通过两帧视频帧图像之间的光流信息，能够实现确定两帧视频帧图像的画面运动类别。
129.一些公开实施例中，预设状态为静止场景状态或场景切换状态，检测模块42利用两帧视频帧图像的视差和/或匹配特征点对的数量，判断两帧视频帧图像的场景状态是否为预设状态，包括：响应于匹配特征点对的数量大于或等于第一预设数量，确定两帧视频帧图像的场景状态为静止场景状态；或，响应于视差小于或等于第一预设视差，确定两帧视频帧图像的场景状态为静止场景状态；或，响应于匹配特征点对的数量小于或等于第二预设数量，确定两帧视频帧图像的场景状态为场景切换状态；或，响应于视差大于或等于第二预设视差，确定两帧视频帧图像的场景状态为场景切换状态；其中，第一预设数量大于第二预设数量，第一预设视差小于第二预设视差。
130.上述方案，通过匹配特征点对和视差的结合，确定两帧视频帧图像的场景状态，能够提高确定的场景状态的准确度。
131.一些公开实施例中，检测模块42基于两帧视频帧图像之间的光流信息，确定两帧视频帧图像的画面运动类别，包括：获取两帧视频帧图像之间的至少一种光流信息，其中，至少一种光流信息包括关于前景的光流信息、关于背景的光流信息、前景和背景间的光流信息差异中的一者或多者；基于每种光流信息对应的运动类别，确定两帧视频帧图像的画面运动类别。
132.上述方案，通过前景的光流信息、关于背景的光流信息、前景和背景间的光流信息差异确定对应的画面运动类别，使得确定的画面运动类别更准确。
133.一些公开实施例中，插帧条件包括两帧视频帧图像的场景状态不为预设状态、两帧视频帧图像中的画面运动类别不处于预设运动类别；检测模块42检测两帧视频帧图像是否满足插帧条件，包括：检测两帧视频帧图像的场景状态是否为预设状态；响应于场景状态不为预设状态，检测两帧视频帧图像中的画面运动类别是否处于预设运动类别；响应于画面运动类别不处于预设运动类别，确定两帧视频帧图像满足插帧条件。
134.上述方案，通过先后进行两次检测，能够提高最终的插帧效果。
135.一些公开实施例中，插帧条件包括两帧视频帧图像中的画面运动类别不处于预设运动类别，在检测两帧视频帧图像中的画面运动类别不处于预设运动类别之前，检测模块42还用于：查询第(i
‑
1)次插帧中所使用的两帧历史视频帧图像是否满足插帧条件，其中，第(i
‑
1)次插帧表示为当前第i次插帧的前一次插帧，i为大于1的正整数；响应于第(i
‑
1)次插帧中所使用的两帧历史视频帧图像满足插帧条件，执行检测两帧视频帧图像中的画面运动类别不处于预设运动类别的步骤。
136.上述方案，通过结合历史信息，能够提高检测两帧视频帧图像帧是否满足插帧条件的效率。
137.其中，检测模块42查询第(i
‑
1)次插帧中所使用的两帧历史视频帧图像是否满足插帧条件，包括：查询场景更改标志的状态是否为第一预设状态；若场景更改标志的状态为第一预设状态，则确定两帧历史视频帧图像不满足插帧条件；方法还包括：响应于两帧历史视频帧图像不满足插帧条件，将场景更改标志的状态切换为第二预设状态，其中，第二预设状态于第一预设状态不同；以及，响应于两帧历史视频帧图像不满足插帧条件，获取第(i+1)次插帧中需要使用的两帧视频帧图像。
138.因此，通过结合历史信息，能够提高检测两帧视频帧图像帧是否满足插帧条件的效率。
139.一些公开实施例中，检测模块42还用于：响应于两帧历史视频帧图像不满足插帧条件，利用两帧历史视频帧图像之间的光流信息，确定并保存当前第i次插帧中两帧视频帧图像之间的光流信息，其中，两帧视频帧图像之间的光流信息用于确定第(i+1)次插帧所使用的两帧视频帧图像之间的光流信息。
140.上述方案，通过将此次的光流信息进行保存，以便下次插帧过程中可以结合此次插帧过程中使用的两帧视频帧图像帧之间到的光流信息进行光流信息的确定。
141.一些公开实施例中，在利用中间帧对两帧视频帧图像进行插帧处理之前，插帧模块还用于：获取中间帧的图像质量信息；响应于图像质量信息满足质量要求，执行利用中间帧对两帧视频帧图像进行插帧处理的步骤。
142.上述方案，在中间帧的图像质量信息满足质量要求时，才进行插帧处理，能够提高
插帧效果。
143.一些公开实施例中，两帧视频帧图像包括第一视频帧图像和第二视频帧图像，两帧视频帧图像之间的中间帧包括基于第一视频帧图像得到的第一中间帧以及基于第二视频帧图像得到的第二中间帧；获取中间帧的图像质量信息，包括：获取第一中间帧和第二中间帧之间的第一匹配误差；判断图像质量信息是否满足质量要求，包括：判断第一匹配误差是否小于或等于预设误差阈值；若第一匹配误差小于或等于预设误差阈值，则确定图像质量信息满足质量要求。
144.上述方案，通过第一视频帧图像和第二视频帧图像分别与光流信息结合，得到第一中间帧和第二中间帧，若第一中间帧和第二中间帧的匹配误差较小，可以认为两个中间帧的质量满足要求。
145.一些公开实施例中，插帧模块获取第一中间帧和第二中间帧之间的第一匹配误差，包括：按照预设划分方式，将第一中间帧划分为第三预设数量的第一区域、以及将第二中间帧划分为第三预设数量的第二区域；计算第一区域与第二区域之间的第二匹配误差；基于第三预设数量的第二匹配误差，确定第一匹配误差。
146.上述方案，通过将第一中间帧和第二中间帧划分为多个区域进行匹配误差的获取，从而获取两个中间帧的第一匹配误差，能够提高获取得到的第一匹配误差的准确度。
147.一些公开实施例中，预测模块43还用于：基于第一视频帧图像和两帧视频帧图像之间的光流信息，预测得到第一中间帧，以及插帧模块基于第二视频帧图像和两帧视频帧图像之间的光流信息，预测得到第二中间帧；利用中间帧对两帧视频帧图像进行插帧处理，包括：基于第一中间帧和第二中间帧，获取最终中间帧，并将最终中间帧插入至两帧视频帧图像之间。
148.上述方案，通过光流信息以及两个视频帧图像帧获取两个中间帧，再利用两个中间帧获取最终的中间帧，能够提高最终中间帧的准确度。
149.上述方案，通过在预测两帧视频帧图像之间的中间帧之前，先检测两帧视频帧图像是否满足插帧条件，使得在两帧视频帧图像满足条件的情况下，再进行中间帧的预测，能够实现对中间帧的筛选，从而提高插帧效果。并且，在两帧视频帧图像满足插帧条件的情况下，才进行中间帧的预测，并非盲目进行中间帧预测之后，再对中间帧进行筛选，能够减少对中间帧预测的资源消耗。
150.请参阅图5，图5是本技术电子设备一实施例的结构示意图。电子设备50包括存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述插帧方法实施例中的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：医疗设备、微型计算机、台式电脑、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
151.具体而言，处理器52用于控制其自身以及存储器51以实现上述任一显著性检测模型的训练方法实施例中的步骤。处理器52还可以称为cpu(central processing unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field
‑
programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、
分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
152.上述方案，通过在预测两帧视频帧图像之间的中间帧之前，先检测两帧视频帧图像是否满足插帧条件，使得在两帧视频帧图像满足条件的情况下，再进行中间帧的预测，能够实现对中间帧的筛选，从而提高插帧效果。并且，在两帧视频帧图像满足插帧条件的情况下，才进行中间帧的预测，并非盲目进行中间帧预测之后，再对中间帧进行筛选，能够减少对中间帧预测的资源消耗。
153.请参阅图6，图6是本技术计算机可读存储介质一实施例的结构示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令61，程序指令61用于实现上述插帧方法实施例中的步骤。
154.上述方案，通过在预测两帧视频帧图像之间的中间帧之前，先检测两帧视频帧图像是否满足插帧条件，使得在两帧视频帧图像满足条件的情况下，再进行中间帧的预测，能够实现对中间帧的筛选，从而提高插帧效果。并且，在两帧视频帧图像满足插帧条件的情况下，才进行中间帧的预测，并非盲目进行中间帧预测之后，再对中间帧进行筛选，能够减少对中间帧预测的资源消耗。
155.在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
156.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
157.在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
158.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。