一种视频流解码方法、系统、设备及介质与流程

本技术涉及数据处理，尤其是涉及一种视频流解码方法、系统、设备及介质。

背景技术：

1、随着互联网和移动设备的普及，从社交媒体平台到在线教育，从娱乐内容到企业培训，视频内容的生产、分享和消费几乎渗透到了各行各业，视频流数据已经成为人们日常生活中的重要组成部分，随着视频分辨率的提高以及多种编码标准的应用，视频流数据的解析和解码工作变得愈加复杂。

2、视频流解码技术可分为硬件解码和软件解码两类。硬件解码通过专用硬件来处理视频流解码任务，如gpu或专用解码芯片，具有更高的效率和较低的功耗，因此广泛应用于如高清视频播放、视频会议等需要高性能的视频处理场景。然而，并非所有数据形式都能在所有设备和应用场景中实现解码，此时需要用到软件解码。软件解码通过计算机的中央处理单元来实现视频流解码，相比硬件解码，其灵活性更强，能够支持更广泛的设备，但在高分辨率视频流解码时会面临较大的计算负担，可能导致性能瓶颈，影响播放流畅度和效率。

3、目前的解码场景中，通常是通过视频流的相关信息、类别等来判断能否执行硬件解码，在能够执行的情况下直接对视频流进行硬件解码，在不能够执行硬件解码的情况下选择执行软件解码，最后输出解码相关的图像进行渲染。这种方式在不满足硬件解码的情况下只能够占用大量系统资源进行软件解码，随着复杂形式的且高编码标准的视频流数据越来越普及，解码复杂度也在增加，采用单一的硬件解码或软件解码使得处理能力有限，导致解码过程中的精度损失，影响解码准确性，上述问题有待解决。

技术实现思路

1、为了减少解码过程中的精度损失，提升视频流数据解码的准确性从而提升图像渲染效果，本技术提供一种视频流解码方法、系统、设备及介质，采用如下技术方案：

2、第一方面，本技术提供一种视频流解码方法，包括：

3、获取视频流数据，将视频流数据进行拆分，分别对拆分结果进行硬件解码和软件解码，硬件解码得到第一普通纹理图像，软件解码得到第二普通纹理图像；

4、获取预选中的目标图像信息，提取目标图像信息的初始特征信息，将初始特征信息保存为标识信息；

5、根据初始特征信息对第一普通纹理图像和第二普通纹理图像进行图像识别处理，根据图像识别处理结果更新标识信息；

6、根据标识信息得到第一普通纹理图像和第二普通纹理图像中的目标纹理图像，对筛除目标纹理图像的第一普通纹理图像和第二普通纹理图像进行第一滤波处理，得到第一滤波纹理图像；

7、将第一滤波纹理图像和对应的第一普通纹理图像、对应的第二普通纹理图像按预设比例混合，得到第一混合图像；

8、对目标纹理图像进行第二滤波处理，得到第二滤波纹理图像；

9、将第二滤波纹理图像和目标纹理图像按预设比例混合，得到第二混合图像；

10、根据第一混合图像和第二混合图像进行图像渲染。

11、优选的，所述根据初始特征信息对第一普通纹理图像和第二普通纹理图像进行图像识别处理，根据图像识别处理结果更新标识信息的具体步骤为：

12、根据初始特征信息对第一普通纹理图像进行图像识别处理，在识别到第一普通纹理图像的第一识别信息与初始特征信息相同或相似的情况下，根据第一识别信息更新标识信息。

13、优选的，所述根据初始特征信息对第一普通纹理图像和第二普通纹理图像进行图像识别处理，根据图像识别处理结果更新标识信息的具体步骤为：

14、根据初始特征信息对第二普通纹理图像进行图像识别处理，在识别到第二普通纹理图像的第二识别信息与初始特征信息相同或相似的情况下，根据第二识别信息更新标识信息。

15、优选的，所述将视频流数据进行拆分的具体步骤为：

16、根据预设定的数据大小将视频流数据划分为若干份，提取每份视频流数据的编码格式信息、帧类型信息、分辨率信息和多层编码情况信息；

17、根据预构建的决策模型对编码格式信息、帧类型信息、分辨率信息和多层编码情况信息进行分析，得到适合硬件解码的第一拆分结果或适合软件解码的第二拆分结果。

18、优选的，所述硬件解码得到第一普通纹理图像的具体步骤为：

19、将第一拆分结果转换为oes纹理信息，采用硬件解码框架解码器对第一拆分结果进行解码，得到oes扩展纹理图像；

20、将oes扩展纹理图像转换为普通纹理，得到第一普通纹理图像。

21、优选的，所述软件解码得到第二普通纹理图像的具体步骤为：

22、将第二拆分结果转换为yuv纹理信息，采用软件解码框架解码器对第二拆分结果进行解码，得到yuv扩展纹理图像；

23、将yuv扩展纹理图像转换为普通纹理，得到第二普通纹理图像。

24、优选的，所述获取预选中的目标图像信息，提取目标图像信息的初始特征信息的具体步骤为：

25、确定目标图像信息的选中范围，对选中范围进行边缘检测，提取得到主要对象的特征，得到初始特征信息，主要对象包括占区域面积最大的对象、颜色和其他颜色色差区别最大的对象、清晰度最高的对象中的任意一种。

26、优选的，所述将第一滤波纹理图像和对应的第一普通纹理图像、对应的第二普通纹理图像按预设比例混合，得到第一混合图像的具体步骤为：

27、将第一滤波纹理图像和对应的第一普通纹理图像绑定opengl的帧缓冲，在帧缓冲中对第一滤波纹理图像和第一普通纹理图像按预设比例混合，得到第一混合图像；

28、将第一滤波纹理图像和对应的第二普通纹理图像绑定opengl的帧缓冲，在帧缓冲中对第一滤波纹理图像和第二普通纹理图像按预设比例混合，得到第一混合图像。

29、优选的，所述将第二滤波纹理图像和目标纹理图像按预设比例混合，得到第二混合图像的具体步骤为：

30、将第二滤波纹理图像和目标纹理图像绑定opengl的帧缓冲，在帧缓冲中对第二滤波纹理图像和目标纹理图像按预设比例混合，得到第二混合图像。

31、第二方面，本技术提供一种视频流解码系统，包括：

32、视频流获取模块，用于获取视频流数据，将视频流数据进行拆分，分别对拆分结果进行硬件解码和软件解码，硬件解码得到第一普通纹理图像，软件解码得到第二普通纹理图像；

33、目标图像获取模块，用于获取预选中的目标图像信息，提取目标图像信息的初始特征信息，将初始特征信息保存为标识信息；

34、标识更新模块，用于根据初始特征信息对第一普通纹理图像和第二普通纹理图像进行图像识别处理，根据图像识别处理结果更新标识信息；

35、第一滤波处理模块，用于根据标识信息得到第一普通纹理图像和第二普通纹理图像中的目标纹理图像，对筛除目标纹理图像的第一普通纹理图像和第二普通纹理图像进行第一滤波处理，得到第一滤波纹理图像；

36、第一图像混合模块，用于将第一滤波纹理图像和对应的第一普通纹理图像、对应的第二普通纹理图像按预设比例混合，得到第一混合图像；

37、第二滤波处理模块，用于对目标纹理图像进行第二滤波处理，得到第二滤波纹理图像；

38、第二图像混合模块，用于将第二滤波纹理图像和目标纹理图像按预设比例混合，得到第二混合图像；

39、图像渲染模块，用于根据第一混合图像和第二混合图像进行图像渲染。

40、优选的，所述标识更新模块根据初始特征信息对第一普通纹理图像和第二普通纹理图像进行图像识别处理，根据图像识别处理结果更新标识信息的具体步骤为：

41、根据初始特征信息对第一普通纹理图像进行图像识别处理，在识别到第一普通纹理图像的第一识别信息与初始特征信息相同或相似的情况下，根据第一识别信息更新标识信息。

42、优选的，所述标识更新模块根据初始特征信息对第一普通纹理图像和第二普通纹理图像进行图像识别处理，根据图像识别处理结果更新标识信息的具体步骤为：

43、根据初始特征信息对第二普通纹理图像进行图像识别处理，在识别到第二普通纹理图像的第二识别信息与初始特征信息相同或相似的情况下，根据第二识别信息更新标识信息。

44、优选的，所述视频流获取模块将视频流数据进行拆分的具体步骤为：

45、根据预设定的数据大小将视频流数据划分为若干份，提取每份视频流数据的编码格式信息、帧类型信息、分辨率信息和多层编码情况信息；

46、根据预构建的决策模型对编码格式信息、帧类型信息、分辨率信息和多层编码情况信息进行分析，得到适合硬件解码的第一拆分结果或适合软件解码的第二拆分结果。

47、优选的，所述视频流获取模块硬件解码得到第一普通纹理图像的具体步骤为：

48、将第一拆分结果转换为oes纹理信息，采用硬件解码框架解码器对第一拆分结果进行解码，得到oes扩展纹理图像；

49、将oes扩展纹理图像转换为普通纹理，得到第一普通纹理图像。

50、优选的，所述视频流获取模块软件解码得到第二普通纹理图像的具体步骤为：

51、将第二拆分结果转换为yuv纹理信息，采用软件解码框架解码器对第二拆分结果进行解码，得到yuv扩展纹理图像；

52、将yuv扩展纹理图像转换为普通纹理，得到第二普通纹理图像。

53、优选的，所述目标图像获取模块获取预选中的目标图像信息，提取目标图像信息的初始特征信息的具体步骤为：

54、确定目标图像信息的选中范围，对选中范围进行边缘检测，提取得到主要对象的特征，得到初始特征信息，主要对象包括占区域面积最大的对象、颜色和其他颜色色差区别最大的对象、清晰度最高的对象中的任意一种。

55、优选的，所述第一图像混合模块将第一滤波纹理图像和对应的第一普通纹理图像、对应的第二普通纹理图像按预设比例混合，得到第一混合图像的具体步骤为：

56、将第一滤波纹理图像和对应的第一普通纹理图像绑定opengl的帧缓冲，在帧缓冲中对第一滤波纹理图像和第一普通纹理图像按预设比例混合，得到第一混合图像；

57、将第一滤波纹理图像和对应的第二普通纹理图像绑定opengl的帧缓冲，在帧缓冲中对第一滤波纹理图像和第二普通纹理图像按预设比例混合，得到第一混合图像。

58、优选的，所述第二图像混合模块将第二滤波纹理图像和目标纹理图像按预设比例混合，得到第二混合图像的具体步骤为：

59、将第二滤波纹理图像和目标纹理图像绑定opengl的帧缓冲，在帧缓冲中对第二滤波纹理图像和目标纹理图像按预设比例混合，得到第二混合图像。

60、第三方面，本技术提供一种视频流解码设备，包括存储器和处理器，所述存储器存储计算机程序，所述处理器被设置为运行所述计算机程序以执行如前所述的视频流解码方法。

61、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行如前所述的视频流解码方法。

62、综上所述，与现有技术相比，本技术提供的技术方案带来的有益效果至少包括：

63、本技术通过对获取到的视频流数据进行拆分，对部分拆分结果进行硬件解码得到第一普通纹理图像，对部分拆分结果进行软件解码得到第二普通纹理图像，在拆分解码后根据目标图像信息提取到的初始特征信息作为参考信息，根据初始特征信息对第一普通纹理图像和第二普通纹理图像进行图像识别处理，提取识别结果更新标识信息，根据标识信息提取目标纹理图像，对筛除目标纹理图像的第一普通纹理图像和第二普通纹理图像进行第一滤波处理，滤波得到的第一滤波纹理图像与第一普通纹理图像和第二普通纹理图像进行混合，得到第一混合图像，对目标纹理图像采用更高质量的渲染方式进行渲染，即对目标纹理图像进行第二滤波处理，得到第二滤波纹理图像，随后将第二滤波纹理图像和目标纹理图像按预设比例混合，得到第二混合图像，本技术能够采用更有针对性的解码处理方式处理一个视频流数据中不同类型的数据，减少解码过程中的精度损失，提升视频流数据解码的准确性从而提升图像渲染效果。