超分辨率视频融合重建方法、装置及计算机设备与流程

本发明涉及视频处理，具体涉及一种超分辨率视频融合重建方法、装置及计算机设备。

背景技术：

1、图像超分辨率重构(super resolution,sr)是指利用计算机将一幅低分辨率图像(low resolution,lr)或图像序列进行处理，恢复出高分辨率图像(high resolution，hr)的一种图像处理技术。hr意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。

2、现有技术在视频超分辨重建时，利用对原始视频帧的图像特征提取，获取空间信息和时间信息，再对空间信息和时间信息进行重建得到超分辨率视频，原始视频帧具有固定的某一聚焦区域，只能确保聚焦区域中的图像信息清晰度高，而非聚焦区域的图像信息清晰度低，由此可知超分辨率重建仅依赖于原始视频帧，原始视频帧能够用于重建的高清晰信息量少，难以确保超分辨率重建效果达到最佳。

技术实现思路

1、本发明的目的在于提供一种超分辨率视频融合重建方法、装置及计算机设备，以解决现有技术中超分辨率重建仅依赖于原始视频帧，原始视频帧能够用于重建的高清晰信息量少，难以确保超分辨率重建效果达到最佳的技术问题。

2、为解决上述技术问题，本发明具体提供下述技术方案：

3、在本发明的第一个方面，一种超分辨率视频融合重建方法，包括以下步骤：

4、获取流媒体视频，所述流媒体视频中包含有多个第一视频帧；

5、对第一视频帧，进行视频帧完整性评价，得到第二视频帧和第三视频帧，其中，第二视频帧对应于画面完整度高的第一视频帧，第三视频帧对应于画面完整度低的第一视频帧；

6、对第二视频帧，通过预测视觉模型，得到第四视频帧，所述预测视觉模型为神经网络，所述第四视频帧对应于神经网络对第二视频帧的预测结果；

7、根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，所述第五视频帧对应于第四视频帧和第二视频帧的特征融合结果；

8、对第五视频帧，通过超分辨率处理，得到超分辨率第五视频帧；

9、根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧；

10、将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频。

11、作为本发明的一种优选方案，所述视频帧完整性评价，包括：

12、依次将各个第一视频帧输入至视频帧分类模型，由所述视频帧分类模型输出对第一视频帧的分类标签，所述分类标签包括高完整性和低完整性；

13、将具有高完整性标签的第一视频帧标记为第二视频帧；

14、将具有低完整性标签的第一视频帧标记为第三视频帧；

15、所述视频帧分类模型由神经网络对第一视频帧进行大数据训练得到。

16、作为本发明的一种优选方案，所述预测视觉模型的构建，包括：

17、在流媒体视频的第一视频帧的序列顺序中，提取处于相邻第三视频帧之间的所有第二视频帧作为第二视频帧序列；

18、将第二视频帧序列，通过基于lstm网络学习训练，得到预测视觉模型；

19、所述预测视觉模型的模型表达式为：k2p i=lstm(k21,k22,…,k2 i-1)；式中，k2p i为第二视频帧序列中第 i个第二视频帧的预测值，k21,k22,…,k2 i-1分别为第二视频帧序列中第1个，第2个，…，第 i-1个真实值，lstm为lstm神经网络， i为计数变量， i>1。作为本发明的一种优选方案，所述第四视频帧的得到，包括：

20、将第二视频帧序列中任一第二视频帧的序列前端的所有第二视频帧真实值，输入至预测视觉模型中，由预测视觉模型输出所述任一第二视频帧的预测值；

21、将任一第二视频帧的预测值标记为第四视频帧。

22、作为本发明的一种优选方案，所述根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，包括：

23、在第二视频帧序列中将同一序列位置处的第四视频帧和第二视频帧，分别通过cnn神经网络进行图像特征提取，得到同一序列位置处的第四视频帧的图像特征和第二视频帧的图像特征图；

24、将同一序列位置处的第四视频帧的图像特征图和第二视频帧的图像特征图，进行sofmax网络分类，得到新图像特征图；

25、将所述新图像特征图作为所述第五视频帧，所述第五视频帧具有第二视频帧的序列位置。

26、作为本发明的一种优选方案，所述根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧，包括：

27、在流媒体视频的第一视频帧的序列顺序中，获取第三视频帧相邻两端的超分辨率第五视频帧；

28、将第三视频帧相邻两端的超分辨率第五视频帧进行特征融合，得到超分辨率第三视频帧。

29、作为本发明的一种优选方案，所述第三视频帧相邻两端的超分辨率第五视频帧进行特征融合，包括：

30、在第三视频帧相邻两端的超分辨率第五视频帧，分别通过cnn神经网络进行图像特征提取，得到第三视频帧相邻两端的超分辨率第五视频帧的图像特征图；

31、将第三视频帧相邻两端的超分辨率第五视频帧的图像特征图，进行sofmax网络分类，得到第二新图像特征图；

32、将所述第二新图像特征图作为超分辨第三视频帧，所述超分辨率第三视频帧具有第三视频帧的序列位置。

33、作为本发明的一种优选方案，所述将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频，包括：

34、将超分辨率第五视频帧和超分辨率第三视频帧，分别依据第二视频帧的序列位置和第三视频帧的序列位置，对相应序列位置处的第二视频帧和第三视频帧进行替换，得到所述流媒体超分辨率视频。

35、在本发明的第二个方面，一种超分辨率视频融合重建装置，包括：

36、数据获取模块，用于获取流媒体视频，所述流媒体视频中包含有多个第一视频帧；

37、数据处理模块，用于进行视频帧完整性评价，得到第二视频帧和第三视频帧，其中，第二视频帧对应于画面完整度高的第一视频帧，第三视频帧对应于画面完整度低的第一视频帧；

38、用于对第二视频帧，通过预测视觉模型，得到第四视频帧，所述预测视觉模型为神经网络，所述第四视频帧对应于神经网络对第二视频帧的预测结果；

39、用于根据第四视频帧和第二视频帧，通过特征融合，得到第五视频帧，所述第五视频帧对应于第四视频帧和第二视频帧的特征融合结果；

40、用于对第五视频帧，通过超分辨率处理，得到超分辨率第五视频帧；

41、用于根据超分辨率第五视频帧，对第三视频帧进行视频帧完整度补偿，得到超分辨率第三视频帧；以及

42、用于将超分辨率第五视频帧和超分辨率第三视频帧，替换至流媒体视频中，得到流媒体超分辨率视频；

43、数据存储模块，用于存储视频帧分类模型、预测视觉模型、cnn神经网络和sofmax网络，以及流媒体视频帧的序列顺序。

44、在本发明的第三个方面，本发明提提供了一种计算机设备，

45、至少一个处理器；以及

46、与所述至少一个处理器通信连接的存储器；

47、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行超分辨率视频融合重建方法。

48、在本发明的第四个方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现超分辨率视频融合重建方法。

49、本发明与现有技术相比较具有如下有益效果：

50、本发明通过预测视觉模型，对视频帧在序列上变化趋势进行学习，实现对视频帧进行模型预测值，视频帧的模型预测值提供了不同于原始视频帧的图形聚焦区域，利用视频帧的模型预测值和视频帧的真实值进行超分辨率重建，增加了高清晰信息量，提升超分辨率重建效果。