一种图像处理方法、装置及电子设备与流程

本技术涉及图像处理，特别是涉及一种图像处理方法、装置及电子设备。

背景技术：

1、在对影视剧或综艺进行二次创作时，通常需要对原始视频进行截取、添加新的台词或者图标等操作，然而，在上述操作中，视频中原始台词或者图标会对二次编辑后原始视频的画面质量造成影响。例如，在视频画面中添加新的台词时，需要将新的台词添加至原始台词的指定位置，或者，直接利用新的台词替换原始台词等情况中，均需要针对原始视频中的原始台词进行遮盖。

2、相关技术中，预先针对视频中存在待遮盖对象的每个视频帧，生成并存储适应于该待遮盖对象的目标遮罩图像。这样，在处理到每个视频帧时，便可以利用预先生成的对应的目标遮罩图像，对该视频帧中的待遮盖对象进行遮盖。然而，随着存在上述待遮盖对象的视频帧的数量不断增加，所需预先生成的遮罩图像数量也在不断增加，从而，导致遮罩图像的生成效率降低。

3、示例性的，如图1(a)所示，为本技术实施例提供的一种存在原始台词的视频画面的示意图，相应的，图1(b)为对图1(a)的原始台词进行马赛克处理后的视频画面的示意图，其中，图1(b)中的区域101即为对原始台词进行马赛克处理后所留下的马赛克痕迹。

技术实现思路

1、本技术实施例的目的在于提供一种图像处理方法、装置及电子设备，以实现在生成适应于待遮盖对象的遮罩图像的基础上，提高遮罩图像的生成效率。具体技术方案如下：

2、在本技术实施例的第一方面，首先提供了一种图像处理方法，所述方法包括：

3、获取待处理视频中包括待遮盖对象的各个指定视频帧；

4、根据所确定的各个指定视频帧，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段；其中，每个指定视频片段包括：所述待遮盖对象的图像位置信息相同且连续的多个指定视频帧；

5、基于每个指定视频片段中的指定视频帧所包括的所述待遮盖对象的图像位置信息，生成该指定视频片段对应的遮罩图像，并利用所述遮罩图像对该指定视频片段中的各个指定视频帧所包括的所述待遮盖对象进行遮盖，得到该指定视频片段对应的遮罩视频片段；

6、针对每个指定视频片段，在所述待处理视频中，确定该指定视频片段的第一参考视频帧和第二参考视频帧；其中，所述第一参考视频帧为：位于该指定视频片段的第一帧视频帧之前的第一指定时长内，且不存在所述待遮盖对象的视频帧，所述第二参考视频帧为：位于该指定视频片段的最后一帧视频帧之后的第二指定时长内，且不存在所述待遮盖对象的视频帧；

7、针对每个指定视频片段，利用该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，对该指定视频片段所包括的所述待遮盖对象进行遮盖修复，得到指定视频片段对应的目标视频片段。

8、可选的，一种具体实现方式中，所述方法还包括：

9、针对每个指定视频片段，在所述待处理视频中确定该指定视频片段第一帧的前一帧，以及该指定视频片段最后一帧的后一帧；

10、将该指定视频片段对应的目标视频片段的第一帧与该指定视频片段第一帧的前一帧进行拼接，并将该指定视频片段对应的目标视频片段的最后一帧与该指定视频片段最后一帧的后一帧进行拼接，得到不存在所述待遮盖对象的目标视频。

11、可选的，一种具体实现方式中，所述根据所确定的各个指定视频帧，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段，包括：

12、遍历所述待处理视频中的各个视频帧，在遍历到每个视频帧时，将该视频帧确定为当前帧，并判断所述当前帧和所述当前帧的下一帧是否为指定视频帧；

13、如果所述当前帧是所述指定视频帧，且所述下一帧不是所述指定视频帧，则将所述当前帧确定为当前指定视频片段的结束帧，并遍历下一帧，直至遍历到所述待处理视频中的最后一个视频帧的前一视频帧时，得到各个指定视频片段；

14、如果所述当前帧和所述下一帧均不是所述指定视频帧，则返回所述遍历下一帧的步骤；

15、如果所述当前帧不是所述指定视频帧，且所述下一帧是所述指定视频帧，则将所述下一帧确定为所述下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤；

16、如果所述当前帧和所述下一帧均是所述指定视频帧，则判断所述当前帧所包括的所述待遮盖对象的第一图像位置信息与所述下一帧所包括的所述待遮盖对象的第二图像位置信息是否相同；

17、若所述第一图像位置信息与所述第二图像位置信息相同，则确定所述当前帧和所述下一帧属于同一指定视频片段，并返回所述遍历下一帧的步骤；

18、若所述第一图像位置信息与所述第二图像位置信息不同，则将所述当前帧确定为所述当前指定视频片段的结束帧，并将所述下一帧确定为下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤。

19、可选的，一种具体实现方式中，所述获取待处理视频中包括待遮盖对象的各个指定视频帧，包括：

20、按照预设时间间隔，从待处理视频中抽取多个待处理视频帧，并对每个待处理视频帧进行目标对象检测，得到存在待遮盖对象的各个第一视频帧；

21、针对每个第一视频帧，在所述待处理视频中，确定播放时刻位于该第一视频帧对应的目标时间范围内的各个视频帧，作为该第一视频帧的待追踪视频帧；其中，所述目标时间范围的起始时刻为：位于该第一视频帧的播放时刻之前且与所述播放时刻间隔第一时长的时刻，所述目标时间范围的终止时刻为：位于所述播放时刻之后且与所述播放时刻间隔第二时长的时刻，所述第一时长和所述第二时长均大于所述预设时间间隔；

22、针对每个第一视频帧，对该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的指定图像区域是否存在所述待遮盖对象的追踪结果；并将追踪结果表征存在的待追踪视频帧和该第一视频帧确定为指定视频帧；其中，每个第一视频帧的各个待追踪视频帧的指定图像区域的图像位置信息，与该第一视频帧中所包括的所述待遮盖对象的图像位置信息相同。

23、可选的，一种具体实现方式中，所述第一视频帧中存在多个待遮盖对象；

24、所述对该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的指定图像区域是否存在所述待遮盖对象的追踪结果，包括：

25、遍历该第一视频帧中的多个待遮盖对象；在遍历到每个待遮盖对象时，该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的第一图像区域是否存在该待遮盖对象的追踪结果；在最后一个追踪结果表征不存在时，遍历下一待遮盖对象，直至遍历完该第一视频帧中的全部待遮盖对象。

26、可选的，一种具体实现方式中，所述针对每个指定视频片段，利用该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，对该指定视频片段所包括的所述待遮盖对象进行遮盖修复，得到该指定视频片段对应的目标视频片段，包括：

27、针对每个指定视频片段，将该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，输入至预设修复模型，对该指定视频片段所包括的所述待遮盖对象进行遮盖修复，并将所述预设修复模型的输出结果，确定为该指定视频片段对应的目标视频片段；

28、其中，所述预设修复模型是基于多个训练样本训练得到的，每个训练样本包括：指定样本视频片段对应的遮罩样本视频片段和所述指定样本视频片段对应的目标样本视频片段。

29、在本技术实施例的第二方面，还提供了一种图像处理装置，所述装置包括：

30、视频帧获取模块，用于获取待处理视频中包括待遮盖对象的各个指定视频帧；

31、视频片段划分模块，用于根据所确定的各个指定视频帧，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段；其中，每个指定视频片段包括：所述待遮盖对象的图像位置信息相同且连续的多个指定视频帧；

32、遮罩片段获取模块，用于基于每个指定视频片段中的指定视频帧所包括的所述待遮盖对象的图像位置信息，生成该指定视频片段对应的遮罩图像，并利用所述遮罩图像对该指定视频片段中的各个指定视频帧所包括的所述待遮盖对象进行遮盖，得到该指定视频片段对应的遮罩视频片段；

33、视频集合确定模块，用于针对每个指定视频片段，在所述待处理视频中，确定该指定视频片段的第一参考视频帧和第二参考视频帧；其中，所述第一参考视频帧为：位于该指定视频片段的第一帧视频帧之前的第一指定时长内，且不存在所述待遮盖对象的视频帧，所述第二参考视频帧为：位于该指定视频片段的最后一帧视频帧之后的第二指定时长内，且不存在所述待遮盖对象的视频帧；

34、视频片段修复模块，用于针对每个指定视频片段，利用该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，对该指定视频片段所包括的所述待遮盖对象进行遮盖修复，得到该指定视频片段对应的目标视频片段。

35、可选的，一种具体实现方式中，所述装置还包括：

36、视频片段替换模块，用于针对每个指定视频片段，在所述待处理视频中确定该指定视频片段第一帧的前一帧，以及该指定视频片段最后一帧的后一帧；将该指定视频片段对应的目标视频片段的第一帧与该指定视频片段第一帧的前一帧进行拼接，并将该指定视频片段对应的目标视频片段的最后一帧与该指定视频片段最后一帧的后一帧进行拼接，得到不存在所述待遮盖对象的目标视频。

37、可选的，一种具体实现方式中，所述视频片段划分模块，具体用于：

38、遍历所述待处理视频中的各个视频帧，在遍历到每个视频帧时，将该视频帧确定为当前帧，并判断所述当前帧和所述当前帧的下一帧是否为指定视频帧；

39、如果所述当前帧是所述指定视频帧，且所述下一帧不是所述指定视频帧，则将所述当前帧确定为当前指定视频片段的结束帧，并遍历下一帧，直至遍历到所述待处理视频中的最后一个视频帧的前一视频帧时，得到各个指定视频片段；

40、如果所述当前帧和所述下一帧均不是所述指定视频帧，则返回所述遍历下一帧的步骤；

41、如果所述当前帧不是所述指定视频帧，且所述下一帧是所述指定视频帧，则将所述下一帧确定为所述下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤；

42、如果所述当前帧和所述下一帧均是所述指定视频帧，则判断所述当前帧所包括的所述待遮盖对象的第一图像位置信息与所述下一帧所包括的所述待遮盖对象的第二图像位置信息是否相同；

43、若所述第一图像位置信息与所述第二图像位置信息相同，则确定所述当前帧和所述下一帧属于同一指定视频片段，并返回所述遍历下一帧的步骤；

44、若所述第一图像位置信息与所述第二图像位置信息不同，则将所述当前帧确定为所述当前指定视频片段的结束帧，并将所述下一帧确定为下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤。

45、可选的，一种具体实现方式中，所述视频帧获取模块包括：

46、第一视频帧获取子模块，用于按照预设时间间隔，从待处理视频中抽取多个待处理视频帧，并对每个待处理视频帧进行目标对象检测，得到存在待遮盖对象的各个第一视频帧；

47、待追踪视频帧确定子模块，用于针对每个第一视频帧，在所述待处理视频中，确定播放时刻位于该第一视频帧对应的目标时间范围内的各个视频帧，作为该第一视频帧的待追踪视频帧；其中，所述目标时间范围的起始时刻为：位于该第一视频帧的播放时刻之前且与所述播放时刻间隔第一时长的时刻，所述目标时间范围的终止时刻为：位于所述播放时刻之后且与所述播放时刻间隔第二时长的时刻，所述第一时长和所述第二时长均大于所述预设时间间隔；

48、指定视频帧确定子模块，用于对该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的指定图像区域是否存在所述待遮盖对象的追踪结果；并将追踪结果表征存在的待追踪视频帧和该第一视频帧确定为指定视频帧；其中，每个第一视频帧的各个待追踪视频帧的指定图像区域的图像位置信息，与该第一视频帧中所包括的所述待遮盖对象的图像位置信息相同。可选的，一种具体实现方式中，所述第一视频帧中存在多个待遮盖对象；

49、所述指定视频帧确定子模块，具体用于：

50、遍历该第一视频帧中的多个待遮盖对象；在遍历到每个待遮盖对象时，该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的第一图像区域是否存在该待遮盖对象的追踪结果；在最后一个追踪结果表征不存在时，遍历下一待遮盖对象，直至遍历完该第一视频帧中的全部待遮盖对象。

51、可选的，一种具体实现方式中，所述视频片段划分模块具体用于：

52、针对每个指定视频片段，将该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，输入至预设修复模型，对该指定视频片段所包括的所述待遮盖对象进行遮盖修复，并将所述预设修复模型的输出结果，确定为该指定视频片段对应的目标视频片段；

53、其中，所述预设修复模型是基于多个训练样本训练得到的，每个训练样本包括：指定样本视频片段对应的遮罩样本视频片段和所述指定样本视频片段对应的目标样本视频片段。

54、在本技术实施例提供的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述第一方面提供的任一图像处理方法。

55、在本技术实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的任一图像处理方法。

56、在本技术实施例的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面提供的任一图像处理方法。

57、应用本技术实施例提供的方案，对待处理视频中的待遮盖对象进行遮盖时，首先，获取待处理视频中包括待遮盖对象的各个指定视频帧。然后，根据所确定的各个指定视频帧，对上述待处理视频进行切片处理，从而，将上述待处理视频中，所包括的待遮盖对象的图像位置信息相同且连续的多个指定视频帧，作为一个指定视频片段。这样，便可以基于每个指定视频片段中的指定视频帧所包括的待遮盖对象的图像位置信息，生成该指定视频片段对应的遮罩图像，并利用所生成的遮罩图像对该指定视频片段中的各个指定视频帧所包括的待遮盖对象进行遮盖，从而，得到该指定视频片段对应的遮罩视频片段。并且，为了提高对指定视频片段中待遮盖对象所处区域的修复效果，需要利用不存在待遮盖对象的视频帧中的图像信息。因此，针对每个指定视频片段，在上述待处理视频中，确定与该指定视频片段相邻且不存在待遮盖对象的第一参考视频帧和第二参考视频帧。这样，便可以针对每个指定视频片段，利用该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，对该指定视频片段所包括的待遮盖对象进行遮盖修复，得到该指定视频片段对应的目标视频片段。

58、基于此，应用本技术实施例提供的方案，在将所得到的各个指定视频帧，按照所包括的待遮盖对象的图像位置信息相同且连续的划分条件，分别划分为各个指定视频片段后，所得到的每个指定视频片段中的各个指定视频帧中的待遮盖对象所处区域的位置和尺寸是相同的。因此，针对每个指定视频片段，利用该指定视频片段中指定视频帧所包括的待遮盖对象的图像位置信息所生成的遮罩图像，可以适用于该指定视频片段中的全部指定视频帧，从而，降低所需生成的遮罩图像的数量，进而，提高遮罩图像的生成效率，进一步的，提高电子设备对存在待遮盖对象的视频的遮盖效率。