一种关键帧提取方法、装置、电子设备及存储介质与流程

本发明涉及视频处理，特别是涉及一种关键帧提取方法、装置、电子设备及存储介质。

背景技术：

1、视频由连续变化的视频帧组成，人们将这段连续的视频帧中能够有效地代表视频主要内容的帧称为关键帧。关键帧提取技术在视频处理领域中发挥着重要作用，通过对视频关键帧的提取，能有效地减少冗余信息，提高视频处理效率，便于后续人脸识别、目标检测等工作的开展。

2、现有的关键帧提取方法一般按照固定帧率从视频中提取关键帧，例如：每间隔30s提取2个视频帧，这2个视频帧即为关键帧。然而，视频的语义内容变化变化并不是均衡的，该方式未能考虑视频语义内容变化和前后视频帧语义内容变化，因此会存在关键帧提取不准确的问题。

技术实现思路

1、有鉴于此，本发明旨在提出一种关键帧提取方法、装置、电子设备及存储介质，通过使用预设的一维卷积核进行卷积的方式，加权融合了当前视频帧和当前视频帧前后的视频帧的语义内容，并将融合后视频语义内容的梯度变化点对应的视频帧作为关键帧，将当前视频帧语义内容以及当前视频帧前后的视频帧语义内容变化考虑了进去，解决了关键帧提取不准确的技术问题。

2、依据本发明的第一方面，提供了一种关键帧提取方法，该方法包括：

3、基于预设的一维卷积核和目标视频中相邻两个连续视频帧的差异性，对视频帧前后的视频语义内容进行加权融合，得到融合后的视频语义内容；

4、基于所述融合后的视频语义内容获取融合后视频语义内容的梯度变化；

5、根据预设的梯度变化点提取规则对所述融合后视频语义内容的梯度变化进行梯度变化点提取，得到目标梯度变化点；

6、将所述目标梯度变化点对应的视频帧作为所述目标视频的关键帧。

7、可选地，在所述基于预先设置的一维卷积核和目标视频中相邻两个连续视频帧的差异性，对视频帧前后的视频语义内容进行加权融合，得到融合后的视频语义内容的步骤之前，还包括：

8、依次获取目标视频中的相邻两个连续视频帧；

9、根据结构相似性算法获取所述相邻两个连续视频帧的结构相似性指数，并将所述结构相似性指数存储至结构相似性指数数组；

10、依次分别对所述结构相似性指数进行归一化处理，得到所述相邻两个连续视频帧的差异性指数，并将所述差异性指数存储至差异性指数数组。

11、可选地，所述基于预先设置的一维卷积核和目标视频中相邻两个连续视频帧的差异性，对视频帧前后的视频语义内容进行加权融合，得到融合后的视频语义内容，包括：

12、预先设置一维卷积核，以及，预先分别在所述差异性指数数组的首部和尾部进行数据填充，得到待卷积差异性指数数组；

13、所述一维卷积核基于预设的步长对所述待卷积差异性指数数组进行卷积运算，得到卷积数组。

14、可选地，所述基于所述融合后的视频语义内容获取融合后视频语义内容的梯度变化，包括：

15、依次分别对所述卷积数组中的相邻两个连续数据进行求导运算，得到所述相邻两个连续数据的变化率数值，并将所述变化率数值存储至变化率数组。

16、可选地，所述梯度变化点提取规则为相邻两个连续变化率数值中前一项的变化率数值大于0且后一项的变化率数值小于0；或者，

17、所述相邻两个连续变化率数值中前一项的变化率数值小于0且后一项的变化率数值大于0。

18、可选地，所述一维卷积核内的数值个数为奇数；和，

19、所述一维卷积核内的数值累加等于1；和，

20、所述一维卷积核内的数值由中间向两侧递减，呈正态分布。

21、依据本发明的第二方面，提供了一种关键帧提取装置，该装置包括：

22、数据融合模块，用于基于预设的一维卷积核和目标视频中相邻两个连续视频帧的差异性，对视频帧前后的视频语义内容进行加权融合，得到融合后的视频语义内容；

23、数据梯度变化确定模块，用于基于所述融合后的视频语义内容获取融合后视频语义内容的梯度变化；

24、梯度变化点提取模块，用于根据预设的梯度变化点提取规则对所述融合后视频语义内容的梯度变化进行梯度变化点提取，得到目标梯度变化点；

25、关键帧提取模块，用于将所述目标梯度变化点对应的视频帧作为所述目标视频的关键帧。

26、可选地，所述装置还包括：

27、视频帧获取模块，用于依次获取目标视频中的相邻两个连续视频帧；

28、结构相似性指数获取模块，用于根据结构相似性算法获取所述相邻两个连续视频帧的结构相似性指数，并将所述结构相似性指数存储至结构相似性指数数组；

29、差异性指数获取模块，用于依次分别对所述结构相似性指数进行归一化处理，得到所述相邻两个连续视频帧的差异性指数，并将所述差异性指数存储至差异性指数数组。

30、可选地，所述数据融合模块，包括：

31、数据填充子模块，用于预先设置一维卷积核，以及，预先分别在所述差异性指数数组的首部和尾部进行数据填充，得到待卷积差异性指数数组；

32、数据卷积子模块，用于所述一维卷积核基于预设的步长对所述待卷积差异性指数数组进行卷积运算，得到卷积数组。

33、可选地，所述数据梯度变化确定模块，包括：

34、变化率数值确定子模块，用于依次分别对所述卷积数组中的相邻两个连续数据进行求导运算，得到所述相邻两个连续数据的变化率数值，并将所述变化率数值存储至变化率数组。

35、可选地，所述梯度变化点提取规则为相邻两个连续变化率数值中前一项的变化率数值大于0且后一项的变化率数值小于0；或者，

36、所述相邻两个连续变化率数值中前一项的变化率数值小于0且后一项的变化率数值大于0。

37、可选地，所述一维卷积核内的数值个数为奇数；和，

38、所述一维卷积核内的数值累加等于1；和，

39、所述一维卷积核内的数值由中间向两侧递减，呈正态分布。

40、根据本发明的第三方面，提供一种电子设备，包括：

41、处理器；

42、用于存储所述处理器可执行指令的存储器；

43、其中，所述处理器被配置为执行所述指令，以实现所述一种关键帧提取方法。

44、根据本发明的第四方面，提供一种存储介质，所述存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的一种关键帧提取方法的步骤。

45、本发明实施例提供的一种关键帧提取方法、装置、电子设备及存储介质，通过基于预设的一维卷积核和目标视频中相邻两个连续视频帧的差异性，对视频帧前后的视频语义内容进行加权融合，得到融合后的视频语义内容；基于融合后的视频语义内容获取融合后视频语义内容的梯度变化；根据预设的梯度变化点提取规则对融合后视频语义内容的梯度变化进行梯度变化点提取，得到目标梯度变化点；将目标梯度变化点对应的视频帧作为目标视频的关键帧。本发明通过使用预设的一维卷积核进行卷积的方式，加权融合了当前视频帧和当前视频帧前后的视频帧的语义内容，并将融合后视频语义内容的梯度变化点对应的视频帧作为关键帧，极大程度地将当前视频帧语义内容以及当前视频帧前后的视频帧语义内容变化考虑了进去，避免了现有技术中未能考虑视频语义内容变化和前后视频帧语义内容变化的情况，进而解决了关键帧提取不准确的技术问题。

46、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。