一种图像处理方法、装置及电子设备与流程

本发明涉及图像处理，特别是涉及一种图像处理方法、装置及电子设备。

背景技术：

1、在对影视剧或综艺进行二次创作时，通常需要对原始视频中所包括的字幕、标志性图标等目标所处区域进行图像处理，以得到不存在上述目标的原始视频。

2、相关技术中，通常是在对包括有上述目标的视频帧进行遮罩后，得到该视频帧对应的遮罩视频帧，从而，基于上述遮罩视频帧，利用视频修复模型对上述目标所在区域进行修复。由于不同目标所在区域的区域尺寸可能不同，而上述视频修复模型只能对一定的尺寸范围内的区域进行修复。因此，若目标所处区域的区域尺寸超过上述视频修复模型所对应的尺寸范围时，上述视频修复模型不能对该目标所在区域进行修复。

技术实现思路

1、本技术实施例的目的在于提供一种图像处理方法、装置及电子设备，以实现在待遮盖区域的区域尺寸超过视频修复模型的最大输入尺寸时，上述视频修复模型可以对该待遮盖区域进行修复，从而，提高修复后原始视频的画面质量。具体技术方案如下：

2、在本技术实施例的第一方面，首先提供了一种图像处理方法，所述方法包括：

3、获取待处理视频中的各个指定视频帧；其中，每个指定视频帧所包括的待遮盖区域的区域尺寸大于用于进行图像修复的预设修复模型的最大输入尺寸；

4、将每个指定视频帧中的待遮盖区域划分为尺寸相同且不大于所述最大输入尺寸的多个子区域；其中，每两个相邻的子区域间存在重叠区域；

5、针对每个指定视频帧对应的遮罩视频帧，确定该遮罩视频帧中所包括的每个子区域的位置信息，并基于该遮罩视频帧和每个子区域的位置信息，利用所述预设修复模型对每个子区域进行修复，得到该指定视频帧的目标视频帧；

6、其中，所述遮罩视频帧为：利用该指定视频帧对应的遮罩图像对该指定视频中的待遮盖区域进行遮盖所得到的视频帧；所述遮罩图像是基于该指定视频帧中的待遮盖区域的图像位置信息生成的图像。

7、可选的，一种具体实现方式中，所述针对每个指定视频帧对应的遮罩视频帧，确定该遮罩视频帧中所包括的每个子区域的位置信息，并基于该遮罩视频帧和每个子区域的位置信息，利用所述预设修复模型对每个子区域进行修复，得到该指定视频帧的目标视频帧，包括：

8、针对每个指定视频帧，从所述多个子区域中选取初始子区域，并基于该指定视频帧的遮罩视频帧和所述初始子区域的位置信息，利用所述预设修复模型，对所述初始子区域进行修复；

9、针对每个指定视频帧，选取与已修复的目标子区域存在目标重叠区域的未修复的子区域，作为当前子区域，并基于所述当前子区域的位置信息，确定所述当前子区域的当前遮罩视频帧；基于所述当前遮罩视频帧和所述当前子区域的遮罩部分的位置信息，利用所述预设修复模型，对所述遮罩部分进行修复；返回所述选取与已修复的目标子区域存在目标重叠区域的未修复的子区域的步骤，直至不存在未修复的子区域，得到该指定视频帧的目标视频帧；

10、其中，所述遮罩部分是指所述当前子区域中所包括的待遮盖区域对应的遮罩图像；所述当前遮罩视频帧为：利用所述遮罩图像对所述当前子区域中的指定区域和除所述当前子区域之外的未修复的子区域进行遮盖所得到的视频帧；所述指定区域在第一方向上的长度与所述目标重叠区域的长度相同，且在平行于所述第一方向上的长度不小于第一指定长度；所述第一方向为垂直于由所述当前子区域指向所述目标子区域的方向；所述指定区域包括所述目标重叠区域中所述目标子区域的边界；所述第一指定长度为所述目标子区域中存在预设修复目标的区域的长度；所述预设修复目标为在对所述目标子区域进行修复时，基于所述目标子区域对应的遮罩图像所生成的雾状图像。

11、可选的，一种具体实现方式中，所述将每个指定视频帧中的待遮盖区域划分为区域尺寸不大于所述最大输入尺寸的多个子区域，包括：

12、在每个指定视频帧中的待遮盖区域的外部区域，确定第一划分点，并以所述第一划分点为起始顶点，在所述待遮盖区域中确定尺寸为所述最大输入尺寸，且包括所述待遮盖区域的部分区域的第一子区域，作为基准子区域；其中，所述基准子区域在竖直方向上的长度大于所述待遮盖区域在所述竖直方向上的长度，或者，所述基准子区域在水平方向上的长度大于所述待遮盖区域在所述水平方向上的长度；

13、按照预设子区域划分规则，在所述待遮盖区域中未被确定为子区域的区域中，确定尺寸为所述最大输入尺寸，且包括所述待遮盖区域的部分区域和所述基准子区域的部分区域的第二子区域；

14、若所述待遮盖区域存在未被确定为子区域的区域，则将所述第二子区域确定为基准子区域，并返回所述按照预设子区域划分规则，在所述待遮盖区域中未被确定为子区域的区域中，确定尺寸为所述最大输入尺寸，且包括所述待遮盖区域的部分区域和所述基准子区域的部分区域的第二子区域的步骤，直至所述待遮盖区域的全部区域被确定为子区域，得到各个子区域。

15、可选的，一种具体实现方式中，所述所述重叠区域的区域尺寸符合指定尺寸；所述指定尺寸在每两个相邻的子区域的延伸方向上的长度为下一子区域中所包括的待遮盖区域的第二指定长度，且在与所述延伸方向互相垂直的垂直方向上的长度为所述最大输入尺寸对应的长度；

16、所述在每个指定视频帧中的待遮盖区域的外部区域，确定第一划分点，并以所述第一划分点为起始顶点，在所述待遮盖区域中确定尺寸为所述最大输入尺寸，且包括所述待遮盖区域的部分区域的第一子区域，作为基准子区域，包括：

17、在每个指定视频帧中，确定该指定视频帧所包括的待遮盖区域的第一指定顶点，并将所述第一指定顶点沿指定方向，向所述待遮盖区域的外部移动第一指定距离，得到所述待遮盖区域的第一划分点；

18、以所述第一划分点为起始顶点，分别沿所述水平方向和竖直方向，按照所述最大输入尺寸中的水平长度和竖直长度，确定与所述起始顶点关联的其余三个顶点，并将所述起始顶点和所述其余三个顶点组成的区域，确定为包括所述待遮盖区域的部分区域的第一子区域；将所述第一子区域，作为基准子区域。

19、可选的，一种具体实现方式中，所述按照预设子区域划分规则，在所述待遮盖区域中未被确定为子区域的区域中，确定尺寸为所述最大输入尺寸，且包括所述待遮盖区域的部分区域和所述基准子区域的部分区域的第二子区域，包括：

20、以所述基准子区域的指定边上的指定顶点为起点，按照所述指定尺寸，在所述指定边上确定第二划分点；其中，所述指定边为：与所述待遮盖区域的内容分布方向平行的边，所述指定顶点为：所述指定边上靠近所述待遮盖区域中未被划分为子区域的部分区域的顶点；

21、以所述第二划分点为起始顶点，分别沿所述水平方向和所述竖直方向，按照所述最大输入尺寸中的水平长度和竖直长度，确定与所述起始顶点关联的其余三个顶点，并将所述起始顶点和所述其余三个顶点组成的区域，确定为包括所述待遮盖区域的部分区域的第二子区域。

22、可选的，一种具体实现方式中，所述针对每个指定视频帧，基于该指定视频帧的遮罩视频帧和所述初始子区域的位置信息，利用所述预设修复模型，对所述初始子区域进行修复，包括：

23、根据所确定的各个指定视频帧，对所述待处理视频进行切片处理，得到所述待处理视频中各个指定视频片段；其中，每个指定视频片段包括：所述待遮盖区域的图像位置信息相同且连续的多个指定视频帧；

24、针对每个指定视频片段，在所述待处理视频中，确定该指定视频片段的第一参考视频帧和第二参考视频帧；其中，所述第一参考视频帧为：位于该指定视频片段的第一帧视频帧之前的第一指定时长内，且不存在所述待遮盖区域的视频帧，所述第二参考视频帧为：位于该指定视频片段的最后一帧视频帧之后的第二指定时长内，且不存在所述待遮盖区域的视频帧；

25、针对每个指定视频片段，将该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，输入至所述预设修复模型，并基于所述初始子区域的位置信息，对所述初始子区域进行修复；其中，每个指定视频片段对应的遮罩视频片段为：利用该指定视频片段中，针对每个指定视频帧所生成的遮罩图像，对该指定视频帧中的所述待遮盖区域进行遮罩所得到的视频片段。

26、可选的，一种具体实现方式中，所述根据所确定的各个指定视频帧，对所述待处理视频进行切片处理，得到所述待处理视频中各个指定视频片段，包括：

27、遍历所述待处理视频中的各个视频帧，在遍历到每个视频帧时，将该视频帧确定为当前帧，并判断所述当前帧和所述当前帧的下一帧是否为指定视频帧；

28、如果所述当前帧是所述指定视频帧，且所述下一帧不是指定视频帧，则将所述当前帧确定为当前指定视频片段的结束帧，并遍历下一帧，直至遍历到所述待处理视频中的最后一个视频帧的前一视频帧时，得到各个指定视频片段；

29、如果所述当前帧和所述下一帧均不是所述指定视频帧，则返回所述遍历下一帧的步骤；

30、如果所述当前帧不是所述指定视频帧，且所述下一帧是所述指定视频帧，则将所述下一帧确定为所述下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤；

31、如果所述当前帧和所述下一帧均是指定视频帧，则判断所述当前帧所包括的所述待遮盖区域的第一图像位置信息与所述下一帧所包括的所述待遮盖区域的第二图像位置信息是否相同；

32、若所述第一图像位置信息与所述第二图像位置信息相同，则确定所述当前帧和所述下一帧属于同一指定视频片段，并返回所述遍历下一帧的步骤；

33、若所述第一图像位置信息与所述第二图像位置信息不同，则将所述当前帧确定为所述当前指定视频片段的结束帧，并将所述下一帧确定为下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤。

34、可选的，一种具体实现方式中，所述获取待处理视频中的各个指定视频帧，包括：

35、按照预设时间间隔，从待处理视频中抽取多个待处理视频帧，并对每个待处理视频帧进行目标对象检测，得到存在待遮盖区域，且该待遮盖区域的区域尺寸大于预设的最大输入尺寸的各个第一视频帧；

36、针对每个第一视频帧，在所述待处理视频中，确定播放时刻位于该第一视频帧对应的目标时间范围内的各个视频帧，作为该第一视频帧的待追踪视频帧；其中，所述目标时间范围的起始时刻为：位于该第一视频帧的播放时刻之前且与所述播放时刻间隔第一时长的时刻，所述目标时间范围的终止时刻为：位于所述播放时刻之后且与所述播放时刻间隔第二时长的时刻，所述第一时长和所述第二时长均大于所述预设时间间隔；

37、针对每个第一视频帧，对该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的指定图像区域是否存在所述待遮盖区域，且所述区域尺寸大于所述最大输入尺寸的追踪结果；并将追踪结果表征存在的待追踪视频帧和该第一视频帧确定为指定视频帧；

38、其中，每个第一视频帧的各个待追踪视频帧的指定图像区域的图像位置信息，与该第一视频帧中所包括的所述待遮盖区域的图像位置信息相同。

39、可选的，一种具体实现方式中，所述方法还包括：

40、针对每个指定视频帧，利用该指定视频帧的目标视频帧，在所述待处理视频中替换所述指定视频帧，得到不存在所述待遮盖区域的目标视频。

41、在本技术实施例的第二方面，还提供了一种图像处理装置，所述装置包括：

42、指定视频帧获取模块，用于获取待处理视频中的各个指定视频帧；其中，每个指定视频帧所包括的待遮盖区域的区域尺寸大于用于进行图像修复的预设修复模型的最大输入尺寸；

43、子区域划分模块，用于将每个指定视频帧中的待遮盖区域划分为尺寸相同且不大于所述最大输入尺寸的多个子区域；其中，每两个相邻的子区域间存在重叠区域；

44、子区域修复模块，用于针对每个指定视频帧对应的遮罩视频帧，确定该遮罩视频帧中所包括的每个子区域的位置信息，并基于该遮罩视频帧和每个子区域的位置信息，利用所述预设修复模型对每个子区域进行修复，得到该指定视频帧的目标视频帧；其中，所述遮罩视频帧为：利用该指定视频帧对应的遮罩图像对该指定视频帧中的待遮盖区域进行遮盖所得到的视频帧；所述遮罩图像是基于该指定视频帧中的待遮盖区域的图像位置信息生成的图像。

45、可选的，一种具体实现方式中，所述子区域修复模块包括：

46、子区域修复子模块，用于针对每个指定视频帧，从所述多个子区域中选取初始子区域，并基于该指定视频帧的遮罩视频帧和所述初始子区域的位置信息，利用所述预设修复模型，对所述初始子区域进行修复；

47、目标视频帧获取子模块，用于针对每个指定视频帧，选取与已修复的目标子区域存在目标重叠区域的未修复的子区域，作为当前子区域，并基于所述当前子区域的位置信息，确定所述当前子区域的当前遮罩视频帧；基于所述当前遮罩视频帧和所述当前子区域的遮罩部分的位置信息，利用所述预设修复模型，对所述遮罩部分进行修复；返回所述选取与已修复的目标子区域存在目标重叠区域的未修复的子区域的步骤，直至不存在未修复的子区域，得到该指定视频帧的目标视频帧；

48、其中，所述遮罩部分是指所述当前子区域中所包括的待遮盖区域对应的遮罩图像；所述当前遮罩视频帧为：利用所述遮罩图像对所述当前子区域中的指定区域和除所述当前子区域之外的未修复的子区域进行遮盖所得到的视频帧；所述指定区域在第一方向上的长度与所述目标重叠区域的长度相同，且在平行于所述第一方向上的长度不小于第一指定长度；所述第一方向为垂直于由所述当前子区域指向所述目标子区域的方向；所述指定区域包括所述目标重叠区域中所述目标子区域的边界；所述第一指定长度为所述目标子区域中存在预设修复目标的区域的长度；所述预设修复目标为在对所述目标子区域进行修复时，基于所述目标子区域对应的遮罩图像所生成的雾状图像。

49、可选的，一种具体实现方式中，所述子区域划分模块包括：

50、基准子区域确定子模块，用于在每个指定视频帧中的待遮盖区域的外部区域，确定第一划分点，并以所述第一划分点为起始顶点，在所述待遮盖区域中确定尺寸为所述最大输入尺寸，且包括所述待遮盖区域的部分区域的第一子区域，作为基准子区域；其中，所述基准子区域在竖直方向上的长度大于所述待遮盖区域在所述竖直方向上的长度，或者，所述基准子区域在水平方向上的长度大于所述待遮盖区域在所述水平方向上的长度；

51、第二子区域确定子模块，用于按照预设子区域划分规则，在所述待遮盖区域中未被确定为子区域的区域中，确定尺寸为所述最大输入尺寸，且包括所述待遮盖区域的部分区域和所述基准子区域的部分区域的第二子区域；

52、区域确定子模块，用于若所述待遮盖区域存在未被确定为子区域的区域，则将所述第二子区域确定为基准子区域，并触发所述第二子区域确定子模块，直至所述待遮盖区域的全部区域被确定为子区域，得到各个子区域。

53、可选的，一种具体实现方式中，所述重叠区域的区域尺寸符合指定尺寸；所述指定尺寸在每两个相邻的子区域的延伸方向上的长度为下一子区域中所包括的待遮盖区域的第二指定长度，且在与所述延伸方向互相垂直的垂直方向上的长度为所述最大输入尺寸对应的长度；

54、所述基准子区域确定子模块，具体用于：

55、在每个指定视频帧中，确定该指定视频帧所包括的待遮盖区域的第一指定顶点，并将所述第一指定顶点沿指定方向，向所述待遮盖区域的外部移动第一指定距离，得到所述待遮盖区域的第一划分点；

56、以所述第一划分点为起始顶点，分别沿所述水平方向和垂直方向，按照所述最大输入尺寸中的水平长度和垂直长度，确定与所述起始顶点关联的其余三个顶点，并将所述起始顶点和所述其余三个顶点组成的区域，确定为包括所述待遮盖区域的部分区域的第一子区域；将所述第一子区域，作为基准子区域。

57、可选的，一种具体实现方式中，所述第二子区域确定子模块，具体用于：

58、以所述基准子区域的指定边上的指定顶点为起点，按照所述指定尺寸，在所述指定边上确定第二划分点；其中，所述指定边为：与所述待遮盖区域的内容分布方向平行的边，所述指定顶点为：所述指定边上靠近所述待遮盖区域中未被划分为子区域的部分区域的顶点；

59、以所述第二划分点为起始顶点，分别沿所述水平方向和所述竖直方向，按照所述最大输入尺寸中的水平长度和竖直长度，确定与所述起始顶点关联的其余三个顶点，并将所述起始顶点和所述其余三个顶点组成的区域，确定为包括所述待遮盖区域的部分区域的第二子区域。

60、可选的，一种具体实现方式中，所述子区域修复子模块包括：

61、切片单元，用于根据所确定的各个指定视频帧，对所述待处理视频进行切片处理，得到所述待处理视频中各个指定视频片段；其中，每个指定视频片段包括：所述待遮盖区域的图像位置信息相同且连续的多个指定视频帧；

62、参考视频帧确定单元，用于针对每个指定视频片段，在所述待处理视频中，确定该指定视频片段的第一参考视频帧和第二参考视频帧；其中，所述第一参考视频帧为：位于该指定视频片段的第一帧视频帧之前的第一指定时长内，且不存在所述待遮盖区域的视频帧，所述第二参考视频帧为：位于该指定视频片段的最后一帧视频帧之后的第二指定时长内，且不存在所述待遮盖区域的视频帧；

63、子区域修复单元，用于针对每个指定视频片段，将该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，输入至所述预设修复模型，并基于所述初始子区域的位置信息，对所述初始子区域进行修复；其中，每个指定视频片段对应的遮罩视频片段为：利用该指定视频片段中，针对每个指定视频帧所生成的遮罩图像，对该指定视频帧中的所述待遮盖区域进行遮罩所得到的视频片段。

64、可选的，一种具体实现方式中，所述切片单元，具体用于：

65、遍历所述待处理视频中的各个视频帧，在遍历到每个视频帧时，将该视频帧确定为当前帧，并判断所述当前帧和所述当前帧的下一帧是否为指定视频帧；

66、如果所述当前帧是所述指定视频帧，且所述下一帧不是指定视频帧，则将所述当前帧确定为当前指定视频片段的结束帧，并遍历下一帧，直至遍历到所述待处理视频中的最后一个视频帧的前一视频帧时，得到各个指定视频片段；

67、如果所述当前帧和所述下一帧均不是所述指定视频帧，则返回所述遍历下一帧的步骤；

68、如果所述当前帧不是所述指定视频帧，且所述下一帧是所述指定视频帧，则将所述下一帧确定为所述下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤；

69、如果所述当前帧和所述下一帧均是指定视频帧，则判断所述当前帧所包括的所述待遮盖区域的第一图像位置信息与所述下一帧所包括的所述待遮盖区域的第二图像位置信息是否相同；

70、若所述第一图像位置信息与所述第二图像位置信息相同，则确定所述当前帧和所述下一帧属于同一指定视频片段，并返回所述遍历下一帧的步骤；

71、若所述第一图像位置信息与所述第二图像位置信息不同，则将所述当前帧确定为所述当前指定视频片段的结束帧，并将所述下一帧确定为下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤。

72、可选的，一种具体实现方式中，所述指定视频帧获取模块，具体用于：

73、按照预设时间间隔，从待处理视频中抽取多个待处理视频帧，并对每个待处理视频帧进行目标对象检测，得到存在待遮盖区域，且该待遮盖区域的区域尺寸大于预设的最大输入尺寸的各个第一视频帧；

74、针对每个第一视频帧，在所述待处理视频中，确定播放时刻位于该第一视频帧对应的目标时间范围内的各个视频帧，作为该第一视频帧的待追踪视频帧；其中，所述目标时间范围的起始时刻为：位于该第一视频帧的播放时刻之前且与所述播放时刻间隔第一时长的时刻，所述目标时间范围的终止时刻为：位于所述播放时刻之后且与所述播放时刻间隔第二时长的时刻，所述第一时长和所述第二时长均大于所述预设时间间隔；

75、针对每个第一视频帧，对该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的指定图像区域是否存在所述待遮盖区域，且所述区域尺寸大于所述最大输入尺寸的追踪结果；并将追踪结果表征存在的待追踪视频帧和该第一视频帧确定为指定视频帧；

76、其中，每个第一视频帧的各个待追踪视频帧的指定图像区域的图像位置信息，与该第一视频帧中所包括的所述待遮盖区域的图像位置信息相同。

77、可选的，一种具体实现方式中，所述装置还包括：

78、替换模块，用于针对每个指定视频帧，利用该指定视频帧的目标视频帧，在所述待处理视频中替换所述指定视频帧，得到不存在所述待遮盖区域的目标视频。

79、在本技术实施例提供的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述第一方面提供的任一图像处理方法。

80、在本技术实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的任一图像处理方法。

81、在本技术实施例的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面提供的任一图像处理方法。

82、应用本技术实施例提供的方案，首先，获取待处理视频中所包括的待遮盖区域的区域尺寸大于用于进行图像修复的预设修复模型的最大输入尺寸的各个视频帧，作为各个指定视频帧。再将每个指定视频帧中的待遮盖区域划分为为尺寸相同且不大于最大输入尺寸的多个子区域。其中，每两个相邻的子区域间存在重叠区域。然后，针对每个指定视频帧，便可以利用该指定视频帧对应的遮罩图像对该指定视频帧中的待遮盖区域进行遮盖所得到的视频帧，作为该指定视频帧对应的遮罩视频帧。其中，上述遮罩图像是基于该指定视频帧中的待遮盖区域的图像位置信息生成的图像。这样，便可以针对每个指定视频帧对应的遮罩视频帧，确定该遮罩视频帧中所包括的每个子区域的位置信息，并基于该遮罩视频帧和每个子区域的位置信息，利用上述预设修复模型对每个子区域进行修复，得到该指定视频帧的目标视频帧。

83、基于此，应用本技术实施例提供的方案，在待遮盖区域的尺寸大于预设修复模型的最大输入尺寸时，通过将该待遮盖区域划分为尺寸相同且不大于最大输入尺寸的多个子区域后，便可以针对每个子区域进行图像修复，从而，实现对尺寸大于上述最大输入尺寸的待遮盖区域的修复。并且，由于在对子区域中的待遮盖区域进行修复时所需的图像信息是该待遮盖区域的周边图像信息，然而，在对每个子区域进行修复时，若与其相邻的子区域未被修复完成，则表征该相邻的子区域仍然被遮罩图像所遮盖。因此，在对该子区域进行修复时所使用的图像信息为遮罩图像对应的图像信息，导致该子区域修复完成后，两个相邻子区域之间存在较为明显的修复痕迹，该修复痕迹的图像信息与上述遮罩图像的图像信息相同。因此，为了提高修复后原始视频的画面质量，所划分得到的每两个相邻子区域间存在重叠区域。这样，在针对每个子区域进行图像修复时，通过对与该子区域相邻的子区域间的重叠区域进行二次修复，进一步，提高图像处理效果。