视频与图形处理系统及方法与流程

1.本发明属于视频编解码领域，尤其涉及视频与图形处理系统及方法。


背景技术：

2.编解码器（codec）指的是一个能够对一个信号或者一个数据流进行变换的设备或者程序。这里指的变换既包括将信号或者数据流进行编码或者提取得到一个编码流的操作，也包括为了观察或者处理从这个编码流中恢复适合观察或操作的形式的操作，编解码器经常用在视频会议和流媒体等应用中。
3.视频编解码标准，通常只定义上述的解码过程。例如 h.264 / avc 标准，它定义了什么是符合标准的视频流，对每一个比特的顺序和意义都进行了严格地定义，对如何使用每个比特或者几个比特表达的信息也有精确的定义。正是这样的严格和精确，保证了不同厂商的视频相关服务，可以很方便地兼容在一起，例如用 iphone、android phone 或者 windows pc 都可以观看同一在线视频网站的同一视频。世界上有多个组织进行视频编码标准的制定工作，国际标准组织 iso 的 mpeg 小组、国际电信联盟 itu-t 的 vceg 小组、中国的 avs 工作组、google 及各大厂商组成的开放媒体联盟等。
4.视频编解码技术的主要作用，是在可用的计算资源内，追求尽可能高的视频重建质量和尽可能高的压缩比，以达到带宽和存储容量的要求。与编码相对应的是解码或者解压缩过程，是将接收到的或者已经存储在介质上的压缩码流重建成视频信号，然后在各种设备上进行显示。因为视频编码是个有损的过程，用户只能从收到的视频流中解析出“重建”画面，它与原始的画面已经不同，例如观看低质量视频时经常会碰到的“块”效应。如何在一定的带宽占用下，尽可能地保持视频的质量，或者在保持质量情况下，尽可能地减少带宽利用率，是视频编码的目标。


技术实现要素：

5.本发明实施例的目的在于提供视频与图形处理系统及方法，旨在解决背景技术中提出的问题。
6.为实现上述目的，本发明实施例提供如下技术方案：视频与图形处理方法，所述方法具体包括以下步骤：进行神经网络推理训练，构建图形修复神经网络模型；获取目标视频，对所述目标视频进行缓存与逐帧化处理，实时生成缓存视频段和对应的多个逐帧图形；对多个所述逐帧图形进行缺陷判断，标记缺陷图形和对应的缺陷位置；将所述缺陷图形导入所述图形修复神经网络模型中，对所述缺陷位置进行修复处理，生成修复图形；通过所述修复图形，对所述缓存视频段中对应的缺陷图形进行替换，生成并播放缓存修复视频段。
7.作为本发明实施例技术方案进一步的限定，所述进行神经网络推理训练，构建图形修复神经网络模型具体包括以下步骤：获取多个训练图形；对多个所述训练图形进行缺陷标记，得到多个对应的训练缺陷；对多个所述训练缺陷进行修复处理，生成多个对应的处理图形；按照多个所述训练缺陷和对应的处理图形，对预设的基础模型进行训练、评估和优化，得到图形修复神经网络模型。
8.作为本发明实施例技术方案进一步的限定，所述获取目标视频，对所述目标视频进行缓存与逐帧化处理，实时生成缓存视频段和对应的多个逐帧图形具体包括以下步骤：获取需要进行修复处理的目标视频；按照预设的缓存需求，对所述目标视频进行缓存，实时生成缓存视频段；对所述缓存视频段进行逐帧化处理，实时生成多个逐帧图形。
9.作为本发明实施例技术方案进一步的限定，所述对多个所述逐帧图形进行缺陷判断，标记缺陷图形和对应的缺陷位置具体包括以下步骤：对多个所述逐帧图形分别进行缺陷判断，生成缺陷判断信息；根据所述缺陷判断信息，标记缺陷图形；根据所述缺陷判断信息，确定所述缺陷图形中的缺陷位置。
10.作为本发明实施例技术方案进一步的限定，所述将所述缺陷图形导入所述图形修复神经网络模型中，对所述缺陷位置进行修复处理，生成修复图形具体包括以下步骤：将所述缺陷图形导入所述图形修复神经网络模型中；生成并发送修复指令；按照所述修复指令，对所述缺陷位置进行修复处理，导出修复图形。
11.作为本发明实施例技术方案进一步的限定，所述通过所述修复图形，对所述缓存视频段中对应的缺陷图形进行替换，生成并播放缓存修复视频段具体包括以下步骤：删除所述缓存视频段中的缺陷图形；在所述缓存视频段中替换所述缺陷图形对应的修复图形，生成缓存修复视频段；播放所述缓存修复视频段。
12.视频与图形处理系统，所述系统包括修复模型构建单元、逐帧图形生成单元、缺陷判断标记单元、缺陷修复处理单元和修复视频生成单元，其中：修复模型构建单元，用于进行神经网络推理训练，构建图形修复神经网络模型；逐帧图形生成单元，用于获取目标视频，对所述目标视频进行缓存与逐帧化处理，实时生成缓存视频段和对应的多个逐帧图形；缺陷判断标记单元，用于对多个所述逐帧图形进行缺陷判断，标记缺陷图形和对应的缺陷位置；缺陷修复处理单元，用于将所述缺陷图形导入所述图形修复神经网络模型中，对所述缺陷位置进行修复处理，生成修复图形；修复视频生成单元，用于通过所述修复图形，对所述缓存视频段中对应的缺陷图形进行替换，生成并播放缓存修复视频段。
13.作为本发明实施例技术方案进一步的限定，所述修复模型构建单元具体包括：
图形获取模块，用于获取多个训练图形；缺陷标记模块，用于对多个所述训练图形进行缺陷标记，得到多个对应的训练缺陷；修复处理模块，用于对多个所述训练缺陷进行修复处理，生成多个对应的处理图形；模型构建模块，用于按照多个所述训练缺陷和对应的处理图形，对预设的基础模型进行训练、评估和优化，得到图形修复神经网络模型。
14.作为本发明实施例技术方案进一步的限定，所述逐帧图形生成单元具体包括：视频获取模块，用于获取需要进行修复处理的目标视频；视频缓存模块，用于按照预设的缓存需求，对所述目标视频进行缓存，实时生成缓存视频段；逐帧处理模块，用于对所述缓存视频段进行逐帧化处理，实时生成多个逐帧图形。
15.作为本发明实施例技术方案进一步的限定，所述缺陷判断标记单元具体包括：缺陷判断模块，用于对多个所述逐帧图形分别进行缺陷判断，生成缺陷判断信息；图形标记模块，用于根据所述缺陷判断信息，标记缺陷图形；位置确定模块，用于根据所述缺陷判断信息，确定所述缺陷图形中的缺陷位置。
16.与现有技术相比，本发明的有益效果是：本发明实施例通过构建图形修复神经网络模型；对目标视频进行缓存与逐帧化处理，实时生成缓存视频段和对应的多个逐帧图形；标记缺陷图形和对应的缺陷位置；将缺陷图形导入图形修复神经网络模型中，对缺陷位置进行修复处理；对缓存视频段中对应的缺陷图形进行替换，生成并播放缓存修复视频。能够构建图形修复神经网络模型，在进行目标视频播放时，提前进行缓存与逐帧化处理，对多个逐帧图形进行缺陷识别，通过图形修复神经网络模型进行修复处理，并将修复图形对缓存视频段中对应的缺陷图形进行替换，生成并播放缓存修复视频，从而提供了高性能、优异图像质量的视频播放。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
18.图1示出了本发明实施例提供的方法的流程图。
19.图2示出了本发明实施例提供的方法中构建图形修复模型的流程图。
20.图3示出了本发明实施例提供的方法中视频缓存逐帧化处理的流程图。
21.图4示出了本发明实施例提供的方法中缺陷判断图形标记的流程图。
22.图5示出了本发明实施例提供的方法中缺陷位置修复处理的流程图。
23.图6示出了本发明实施例提供的方法中生成播放修复视频的流程图。
24.图7示出了本发明实施例提供的系统的应用架构图。
25.图8示出了本发明实施例提供的系统中修复模型构建单元的结构框图。
26.图9示出了本发明实施例提供的系统中逐帧图形生成单元的结构框图。
27.图10示出了本发明实施例提供的系统中缺陷判断标记单元的结构框图。
具体实施方式
28.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
29.可以理解的是，因为视频编码是个有损的过程，用户只能从收到的视频流中解析出“重建”画面，它与原始的画面已经不同，例如观看低质量视频时经常会碰到的“块”效应，包括平铺、锯齿、马赛克、像素化、拼布和棋盘格。因此，如何在一定的带宽占用下，尽可能地保持视频的质量，或者在保持质量情况下，尽可能地减少带宽利用率，是视频编码的目标。
30.为解决上述问题，本发明实施例通过进行神经网络推理训练，构建图形修复神经网络模型；对目标视频进行缓存与逐帧化处理，实时生成缓存视频段和对应的多个逐帧图形；标记缺陷图形和对应的缺陷位置；将缺陷图形导入图形修复神经网络模型中，对缺陷位置进行修复处理；对缓存视频段中对应的缺陷图形进行替换，生成并播放缓存修复视频。能够构建图形修复神经网络模型，在进行目标视频播放时，提前进行缓存与逐帧化处理，对多个逐帧图形进行缺陷识别，通过图形修复神经网络模型进行修复处理，并将修复图形对缓存视频段中对应的缺陷图形进行替换，生成并播放缓存修复视频，从而提供了高性能、优异图像质量的视频播放。
31.图1示出了本发明实施例提供的方法的流程图。
32.具体的，视频与图形处理方法，所述方法具体包括以下步骤：步骤s101，进行神经网络推理训练，构建图形修复神经网络模型。
33.在本发明实施例中，通过获取多个进行训练准备的训练图形，在对多个训练图形进行人工缺陷标记与修复处理的过程进行记录，得到与多个训练图形相对应的训练缺陷和处理图形，并将多个训练缺陷和处理图形进行划分，取80%的训练缺陷和处理图形为训练集，取20%的训练缺陷和处理图形为测试集，通过训练集和测试集对预设的基础模型进行训练、评估，构建图形修复神经网络模型，并在图形修复神经网络模型使用过程中，对图形修复神经网络模型进行持续优化。
34.具体的，图2示出了本发明实施例提供的方法中构建图形修复模型的流程图。
35.其中，在本发明提供的优选实施方式中，所述进行神经网络推理训练，构建图形修复神经网络模型具体包括以下步骤：步骤s1011，获取多个训练图形。
36.步骤s1012，对多个所述训练图形进行缺陷标记，得到多个对应的训练缺陷。
37.步骤s1013，对多个所述训练缺陷进行修复处理，生成多个对应的处理图形。
38.步骤s1014，按照多个所述训练缺陷和对应的处理图形，对预设的基础模型进行训练、评估和优化，得到图形修复神经网络模型。
39.进一步的，所述视频与图形处理方法还包括以下步骤：步骤s102，获取目标视频，对所述目标视频进行缓存与逐帧化处理，实时生成缓存视频段和对应的多个逐帧图形。
40.在本发明实施例中，可以将需要进行修复处理的目标视频导入，通过获取导入的目标视频，按照预设的缓存需求，在目标视频中进行预设大小的视频段实时缓存，实时生成缓存视频段，进而通过对缓存视频段进行逐帧化处理，实时更新并生成多个逐帧图形。
41.可以理解的是，逐帧化处理，是按照相关视频的帧率，将缓存视频段中的视频进行图片化分解，从而生成与视频帧率相关的多个逐帧图形。
42.具体的，图3示出了本发明实施例提供的方法中视频缓存逐帧化处理的流程图。
43.其中，在本发明提供的优选实施方式中，所述获取目标视频，对所述目标视频进行缓存与逐帧化处理，实时生成缓存视频段和对应的多个逐帧图形具体包括以下步骤：步骤s1021，获取需要进行修复处理的目标视频。
44.步骤s1022，按照预设的缓存需求，对所述目标视频进行缓存，实时生成缓存视频段。
45.步骤s1023，对所述缓存视频段进行逐帧化处理，实时生成多个逐帧图形。
46.进一步的，所述视频与图形处理方法还包括以下步骤：步骤s103，对多个所述逐帧图形进行缺陷判断，标记缺陷图形和对应的缺陷位置。
47.在本发明实施例中，通过对多个逐帧图形分别进行缺陷判断，生成与每个逐帧图形相关的缺陷判断信息，并按照缺陷判断信息判断该逐帧图形是否存在“块”效应的缺陷，并将存在“块”效应的逐帧图形标记为缺陷图形，将缺陷图形中存在“块”效应的位置标记为缺陷位置。
48.可以理解的是，“块”效应的缺陷，具体包括平铺、锯齿、马赛克、像素化、拼布和棋盘格等。
49.具体的，图4示出了本发明实施例提供的方法中缺陷判断图形标记的流程图。
50.其中，在本发明提供的优选实施方式中，所述对多个所述逐帧图形进行缺陷判断，标记缺陷图形和对应的缺陷位置具体包括以下步骤：步骤s1031，对多个所述逐帧图形分别进行缺陷判断，生成缺陷判断信息。
51.步骤s1032，根据所述缺陷判断信息，标记缺陷图形。
52.步骤s1033，根据所述缺陷判断信息，确定所述缺陷图形中的缺陷位置。
53.进一步的，所述视频与图形处理方法还包括以下步骤：步骤s104，将所述缺陷图形导入所述图形修复神经网络模型中，对所述缺陷位置进行修复处理，生成修复图形。
54.在本发明实施例中，通过将存在“块”效应缺陷的缺陷图形导入构建的图形修复神经网络模型中，通过图形修复神经网络模型对缺陷图形中相应的缺陷位置进行修复处理，生成并导出与缺陷图形相对应的修复图形。
55.具体的，图5示出了本发明实施例提供的方法中缺陷位置修复处理的流程图。
56.其中，在本发明提供的优选实施方式中，所述将所述缺陷图形导入所述图形修复神经网络模型中，对所述缺陷位置进行修复处理，生成修复图形具体包括以下步骤：步骤s1041，将所述缺陷图形导入所述图形修复神经网络模型中。
57.步骤s1042，生成并发送修复指令。
58.步骤s1043，按照所述修复指令，对所述缺陷位置进行修复处理，导出修复图形。
59.进一步的，所述视频与图形处理方法还包括以下步骤：步骤s105，通过所述修复图形，对所述缓存视频段中对应的缺陷图形进行替换，生成并播放缓存修复视频段。
60.在本发明实施例中，将缓存视频段中的缺陷图形删除，并在删除位置处，替换成与
删除的缺陷图形相对应的修复图形，从而实现对缓存视频段的修复，生成缓存修复视频段，并在到达对应的播放时间时，对缓存修复视频段进行实时播放。
61.具体的，图6示出了本发明实施例提供的方法中生成播放修复视频的流程图。
62.其中，在本发明提供的优选实施方式中，所述通过所述修复图形，对所述缓存视频段中对应的缺陷图形进行替换，生成并播放缓存修复视频段具体包括以下步骤：步骤s1051，删除所述缓存视频段中的缺陷图形。
63.步骤s1052，在所述缓存视频段中替换所述缺陷图形对应的修复图形，生成缓存修复视频段。
64.步骤s1053，播放所述缓存修复视频段。
65.进一步的，图7示出了本发明实施例提供的系统的应用架构图。
66.其中，在本发明提供的又一个优选实施方式中，视频与图形处理系统，所述系统包括修复模型构建单元101、逐帧图形生成单元102、缺陷判断标记单元103、缺陷修复处理单元104和修复视频生成单元105，具体的：修复模型构建单元101，用于进行神经网络推理训练，构建图形修复神经网络模型。
67.在本发明实施例中，修复模型构建单元101通过获取多个进行训练准备的训练图形，再对多个训练图形进行人工缺陷标记与修复处理的过程进行记录，得到与多个训练图形相对应的训练缺陷和处理图形，并将多个训练缺陷和处理图形进行划分，取80%的训练缺陷和处理图形为训练集，取20%的训练缺陷和处理图形为测试集，通过训练集和测试集对预设的基础模型进行训练、评估，构建图形修复神经网络模型，并在图形修复神经网络模型使用过程中，对图形修复神经网络模型进行持续优化。
68.具体的，图8示出了本发明实施例提供的系统中修复模型构建单元101的结构框图。
69.其中，在本发明提供的优选实施方式中，所述修复模型构建单元101具体包括：图形获取模块1011，用于获取多个训练图形。
70.缺陷标记模块1012，用于对多个所述训练图形进行缺陷标记，得到多个对应的训练缺陷。
71.修复处理模块1013，用于对多个所述训练缺陷进行修复处理，生成多个对应的处理图形。
72.模型构建模块1014，用于按照多个所述训练缺陷和对应的处理图形，对预设的基础模型进行训练、评估和优化，得到图形修复神经网络模型。
73.进一步的，所述视频与图形处理系统还包括：逐帧图形生成单元102，用于获取目标视频，对所述目标视频进行缓存与逐帧化处理，实时生成缓存视频段和对应的多个逐帧图形。
74.在本发明实施例中，可以将需要进行修复处理的目标视频导入，逐帧图形生成单元102通过获取导入的目标视频，按照预设的缓存需求，在目标视频中进行预设大小的视频段实时缓存，实时生成缓存视频段，进而通过对缓存视频段进行逐帧化处理，实时更新并生成多个逐帧图形。
75.具体的，图9示出了本发明实施例提供的系统中逐帧图形生成单元102的结构框
图。
76.其中，在本发明提供的优选实施方式中，所述逐帧图形生成单元102具体包括：视频获取模块1021，用于获取需要进行修复处理的目标视频。
77.视频缓存模块1022，用于按照预设的缓存需求，对所述目标视频进行缓存，实时生成缓存视频段。
78.逐帧处理模块1023，用于对所述缓存视频段进行逐帧化处理，实时生成多个逐帧图形。
79.进一步的，所述视频与图形处理系统还包括：缺陷判断标记单元103，用于对多个所述逐帧图形进行缺陷判断，标记缺陷图形和对应的缺陷位置。
80.在本发明实施例中，缺陷判断标记单元103通过对多个逐帧图形分别进行缺陷判断，生成与每个逐帧图形相关的缺陷判断信息，并按照缺陷判断信息判断该逐帧图形是否存在“块”效应的缺陷，并将存在“块”效应的逐帧图形标记为缺陷图形，将缺陷图形中存在“块”效应的位置标记为缺陷位置。
81.具体的，图10示出了本发明实施例提供的系统中缺陷判断标记单元103的结构框图。
82.其中，在本发明提供的优选实施方式中，所述缺陷判断标记单元103具体包括：缺陷判断模块1031，用于对多个所述逐帧图形分别进行缺陷判断，生成缺陷判断信息。
83.图形标记模块1032，用于根据所述缺陷判断信息，标记缺陷图形。
84.位置确定模块1033，用于根据所述缺陷判断信息，确定所述缺陷图形中的缺陷位置。
85.进一步的，所述视频与图形处理系统还包括：缺陷修复处理单元104，用于将所述缺陷图形导入所述图形修复神经网络模型中，对所述缺陷位置进行修复处理，生成修复图形。
86.在本发明实施例中，缺陷修复处理单元104通过将存在“块”效应缺陷的缺陷图形导入构建的图形修复神经网络模型中，通过图形修复神经网络模型对缺陷图形中相应的缺陷位置进行修复处理，生成并导出与缺陷图形相对应的修复图形。
87.修复视频生成单元105，用于通过所述修复图形，对所述缓存视频段中对应的缺陷图形进行替换，生成并播放缓存修复视频段。
88.在本发明实施例中，修复视频生成单元105将缓存视频段中的缺陷图形删除，并在删除位置处，替换成与删除的缺陷图形相对应的修复图形，从而实现对缓存视频段的修复，生成缓存修复视频段，并在到达对应的播放时间时，对缓存修复视频段进行实时播放。
89.综上所述，本发明实施例能够构建图形修复神经网络模型，在进行目标视频播放时，提前进行缓存与逐帧化处理，对多个逐帧图形进行缺陷识别，通过图形修复神经网络模型进行修复处理，并将修复图形对缓存视频段中对应的缺陷图形进行替换，生成并播放缓存修复视频，从而提供了高性能、优异图像质量的视频播放。
90.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，
这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
91.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
92.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
93.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
94.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。