视频处理方法、装置、电子设备及介质与流程

本公开涉及视频，尤其涉及一种视频处理方法、装置、电子设备及介质。

背景技术：

1、随着视频技术以及各个视频平台的发展，用户对视频在编辑或播放过程中的要求越来越高，越来越多的用户希望能够提供追踪视频中的目标物体的功能。

2、现有技术中，往往是通过给定初始帧中的目标物体信息，与后续帧进行相似度匹配，得到后续帧中的目标物体信息，然而在实际应用过程中，目标物体在不同帧中的尺寸往往不同，在这种尺度变化情况下所得到的匹配结果的准确性较低。

技术实现思路

1、本公开提供一种视频处理方法、装置、电子设备及介质，以至少解决相关技术中准确性较低的问题。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供了一种视频处理方法，包括：

3、根据待处理视频的参考帧与当前帧的第一相似度信息以及所述参考帧的掩膜表征特征，获取所述当前帧对应的第一掩膜特征；所述第一相似度信息基于所述参考帧的视觉语义特征以及所述当前帧的视觉语义特征获得，所述第一相似度信息用于表征所述参考帧与尺度为第一尺度的当前帧之间的相似度；所述参考帧的掩膜表征特征用于表征所述参考帧中待分割对象的掩膜信息；

4、获取所述参考帧与所述当前帧的至少一个第二相似度信息；一个所述第二相似度信息用于表征所述参考帧与一个尺度为第二尺度的当前帧之间的相似度；

5、基于所述第二相似度信息以及所述掩膜表征特征，获取所述当前帧对应的第二掩膜特征；

6、基于所述第一掩膜特征、所述第二掩膜特征以及所述当前帧的内容信息特征，获取所述待分割对象在所述当前帧中的掩膜信息。

7、可选的，所述获取所述参考帧与所述当前帧的至少一个第二相似度信息，包括：

8、对于至少一个尺度系数中的任一尺度系数，按照所述任一尺度系数，对所述第一相似度信息中与所述当前帧对应的信息进行第一采样操作，以获取所述参考帧与所述当前帧的第二相似度信息；所述第一采样操作的采样系数为所述任一尺度系数，所述第二尺度是与所述任一尺度系数对应的尺度；

9、或者，对于任一所述尺度系数，按照所述任一尺度系数对所述当前帧的视觉语义特征进行第一采样操作，得到所述当前帧与第二尺度对应的当前视觉语义特征；

10、基于所述当前视觉语义特征以及所述参考帧的视觉语义特征，获取所述参考帧与所述当前帧的第二相似度信息。

11、可选的，所述基于所述第二相似度信息以及所述掩膜表征特征，获取所述当前帧对应的第二掩膜特征，包括：

12、基于所述第二相似度信息以及所述掩膜表征特征，获取所述当前帧对应的中间掩膜特征；

13、对所述中间掩膜特征进行第二采样操作；所述第二采样操作的采样系数与所述第一采样操作的采样系数为同一尺度系数；在所述第一采样操作为上采样操作的情况下，所述第二采样操作为下采样操作；在所述第一采样操作为下采样操作的情况下，所述第二采样操作为上采样操作；

14、基于经过所述第二采样操作后的中间掩膜特征获取所述第二掩膜特征。

15、可选的，所述基于经过所述第二采样操作后的中间掩膜特征获取所述第二掩膜特征，包括：

16、获取所述第一采样操作与第二采样操作中的目标采样操作的残差信息；所述目标采样操作为上采样操作；

17、将所述残差信息与经过所述第二采样操作后的中间掩膜特征进行融合，得到所述第二掩膜特征。

18、可选的，所述基于所述第二相似度信息以及所述掩膜表征特征，获取所述当前帧对应的中间掩膜特征，包括：

19、将所述第二相似度信息中包含的各元素的数值转换至预设范围内，得到归一化后的第二相似度信息；

20、基于所述归一化后的第二相似度信息以及所述掩膜表征特征，确定所述中间掩膜特征。

21、可选的，所述方法还包括：

22、获取所述参考帧的视觉语义特征以及所述当前帧的视觉语义特征；

23、基于所述参考帧的视觉语义特征以及所述当前帧的视觉语义特征，获取所述参考帧与所述当前帧的第一相似度信息；

24、所述根据待处理视频的参考帧与当前帧的第一相似度信息以及所述参考帧的掩膜表征特征，获取所述当前帧对应的第一掩膜特征，包括：

25、将所述第一相似度信息中包含的各元素的数值转换至预设范围内，得到归一化后的第一相似度信息；

26、基于所述归一化后的第一相似度信息以及所述掩膜表征特征，获取所述第一掩膜特征。

27、可选的，所述基于所述第一掩膜特征、所述第二掩膜特征以及所述当前帧的内容信息特征，获取所述待分割对象在所述当前帧中的掩膜信息，包括：

28、基于所述第一掩膜特征、所述第二掩膜特征以及所述内容信息特征，获取融合特征；

29、对所述融合特征进行解码，得到解码特征，并基于所述解码特征获取所述待分割对象在所述当前帧中的掩膜信息。

30、根据本公开实施例的第二方面，提供了一种视频处理装置，包括：

31、第一特征获取模块，被配置为执行根据待处理视频的参考帧与当前帧的第一相似度信息以及所述参考帧的掩膜表征特征，获取所述当前帧对应的第一掩膜特征；所述第一相似度信息基于所述参考帧的视觉语义特征以及所述当前帧的视觉语义特征获得，所述第一相似度信息用于表征所述参考帧与尺度为第一尺度的当前帧之间的相似度；所述参考帧的掩膜表征特征用于表征所述参考帧中待分割对象的掩膜信息；

32、第一相似度获取模块，被配置为执行获取所述参考帧与所述当前帧的至少一个第二相似度信息；一个所述第二相似度信息用于表征所述参考帧与一个尺度为第二尺度的当前帧之间的相似度；

33、第二特征获取模块，被配置为执行基于所述第二相似度信息以及所述掩膜表征特征，获取所述当前帧对应的第二掩膜特征；

34、掩膜获取模块，被配置为执行基于所述第一掩膜特征、所述第二掩膜特征以及所述当前帧的内容信息特征，获取所述待分割对象在所述当前帧中的掩膜信息。

35、可选的，所述第一相似度获取模块，具体被配置为执行：对于至少一个尺度系数中的任一尺度系数，按照所述任一尺度系数，对所述第一相似度信息中与所述当前帧对应的信息进行第一采样操作，以获取所述参考帧与所述当前帧的第二相似度信息；所述第一采样操作的采样系数为所述任一尺度系数，所述第二尺度是与所述任一尺度系数对应的尺度；

36、或者，所述第一相似度获取模块，包括：

37、第一采样子模块，被配置为执行对于任一所述尺度系数，按照所述任一尺度系数对所述当前帧的视觉语义特征进行第一采样操作，得到所述当前帧与第二尺度对应的当前视觉语义特征；

38、所述第一相似度获取模块，具体被配置为执行：基于所述当前视觉语义特征以及所述参考帧的视觉语义特征，获取所述参考帧与所述当前帧的第二相似度信息。

39、可选的，所述第二特征获取模块，包括：

40、中间特征获取子模块，被配置为执行基于所述第二相似度信息以及所述掩膜表征特征，获取所述当前帧对应的中间掩膜特征；

41、第二采样子模块，被配置为执行对所述中间掩膜特征进行第二采样操作；所述第二采样操作的采样系数与所述第一采样操作的采样系数为同一尺度系数；在所述第一采样操作为上采样操作的情况下，所述第二采样操作为下采样操作；在所述第一采样操作为下采样操作的情况下，所述第二采样操作为上采样操作；

42、特征获取子模块，被配置为执行基于经过所述第二采样操作后的中间掩膜特征获取所述第二掩膜特征。

43、可选的，所述特征获取子模块，包括：

44、残差信息获取单元，被配置为执行获取所述第一采样操作与第二采样操作中的目标采样操作的残差信息；所述目标采样操作为上采样操作；

45、第一融合单元，被配置为执行将所述残差信息与经过所述第二采样操作后的中间掩膜特征进行融合，得到所述第二掩膜特征。

46、可选的，所述中间特征获取子模块，包括：

47、第一归一化单元，被配置为执行将所述第二相似度信息中包含的各元素的数值转换至预设范围内，得到归一化后的第二相似度信息；

48、中间特征确定单元，被配置为执行基于所述归一化后的第二相似度信息以及所述掩膜表征特征，确定所述中间掩膜特征。

49、可选的，所述装置，还包括：

50、语义特征获取模块，被配置为执行获取所述参考帧的视觉语义特征以及所述当前帧的视觉语义特征；

51、第二相似度获取模块，被配置为执行基于所述参考帧的视觉语义特征以及所述当前帧的视觉语义特征，获取所述参考帧与所述当前帧的第一相似度信息；

52、所述第一特征获取模块，包括：

53、第二归一化子模块，被配置为执行将所述第一相似度信息中包含的各元素的数值转换至预设范围内，得到归一化后的第一相似度信息；

54、所述第一特征获取模块，具体被配置为执行基于所述归一化后的第一相似度信息以及所述掩膜表征特征，获取所述第一掩膜特征。

55、可选的，所述掩膜获取模块，包括：

56、第二融合子模块，被配置为执行基于所述第一掩膜特征、所述第二掩膜特征以及所述内容信息特征，获取融合特征；

57、所述掩膜获取模块，具体被配置为执行：对所述融合特征进行解码，得到解码特征，并基于所述解码特征获取所述待分割对象在所述当前帧中的掩膜信息。

58、根据本公开实施例的第三方面，提供了一种电子设备，包括：

59、处理器；

60、用于存储所述处理器可执行指令的存储器；

61、其中，所述处理器被配置为执行所述指令，以实现如第一方面中任一项所述的方法。

62、根据本公开实施例的第四方面，提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备执行如第一方面中任一项所述的方法。

63、根据本公开实施例的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括可读性程序指令，所述可读性程序指令由电子设备的处理器执行时，使得所述电子设备执行如第一方面中任一项所述的方法。

64、本公开的实施例提供的技术方案至少带来以下有益效果：在本公开实施例中，通过根据待处理视频的参考帧与当前帧的第一相似度信息以及所述参考帧的掩膜表征特征，获取所述当前帧对应的第一掩膜特征；所述第一相似度信息基于所述参考帧的视觉语义特征以及所述当前帧的视觉语义特征获得，所述第一相似度信息用于表征所述参考帧与尺度为第一尺度的当前帧之间的相似度；所述参考帧的掩膜表征特征用于表征所述参考帧中待分割对象的掩膜信息；获取所述参考帧与所述当前帧的至少一个第二相似度信息；一个所述第二相似度信息用于表征所述参考帧与一个尺度为第二尺度的当前帧之间的相似度；基于所述第二相似度信息以及所述掩膜表征特征，获取所述当前帧对应的第二掩膜特征；基于所述第一掩膜特征、所述第二掩膜特征以及所述当前帧的内容信息特征，获取所述待分割对象在所述当前帧中的掩膜信息。这样，分别通过第一相似度信息和第二相似度信息，可以得到当前帧与参考帧在第一尺度和第二尺度下的匹配结果，进而一定程度上可以提高匹配的精确度。同时，通过不同尺度下的相似度信息所获取的第一、第二掩膜特征，可以在不同尺度下获取当前帧中待分割对象的详细信息，从而提高获取当前帧中的掩膜信息的准确性，进一步提高视频目标分割的准确性。

65、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。