图像处理方法、装置、电子设备、介质及程序产品与流程

1.本公开涉及图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备、介质及程序产品。


背景技术：

2.随着互联网和通信技术的快速发展，视频成为信息传递的重要手段之一。但是，视频中通常会含有很多对象，例如人、动物、其他物体，等等，而并不是所有对象都是需要的。有些视频会存在一些多余的对象，从而干扰整个视频的信息转递。为了解决该问题，通常会采用技术手段对视频进行处理，擦除其中不需要的对象，并将被擦除对象所在的部分用周围的信息补齐，得到擦除目标对象后的干净视频，以减少后期处理的时间。然而，目前使用的擦除方法包括人工目标擦除、基于分割算法进行擦除等，这些方法都非常复杂与耗时。


技术实现要素：

3.为了解决相关技术中的问题，本公开实施例提供一种图像处理方法、装置、电子设备、介质及程序产品。
4.第一方面，本公开实施例中提供了一种图像处理方法，包括：
5.从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像；
6.确定所述第一中间图像与参考目标对象图像的关联度；
7.获取所述待处理图像的估计掩模(mask)；
8.根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，所述掩模用于从所述待处理图像中分割出所述目标对象。
9.结合第一方面，本公开在第一方面的第一种实现方式中，所述从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像，包括：
10.确定所述待处理图像中的目标区域，所述目标区域包括所述目标对象；
11.将所述待处理图像位于目标区域中的部分作为所述第一中间图像；
12.将所述待处理图像位于所述目标区域中的部分和围绕所述目标区域的部分作为所述第二中间图像。
13.结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中：
14.所述待处理图像是视频图像序列中的图像；
15.所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述参考目标对象图像，使用目标跟踪算法得到的。
16.结合第一方面的第一种实现方式，本公开在第一方面的第三种实现方式中其中：
17.所述待处理图像是视频图像序列中的图像；
18.所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述目标对象图像，使用目标跟踪算法并使用所述前一帧图像的掩模对目标跟踪结果进行校正
得到的。
19.结合第一方面，本公开在第一方面的第四种实现方式中，所述确定所述第一中间图像与参考目标对象图像的关联度，包括：
20.提取所述第一中间图像的图像特征和所述参考目标对象图像的图像特征；
21.计算所述第一中间图像的图像特征和所述参考目标对象图像的图像特征的互相关值作为所述关联度。
22.结合第一方面，本公开在第一方面的第五种实现方式中，所述获取所述待处理图像的估计掩模，包括：
23.将图像-掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，其中，所述图像-掩模对包括视频图像序列中所述待处理图像之前的先前图像和所述先前图像的掩模，所述先前图像的掩模的置信度高于预设置信度。
24.结合第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，所述将图像-掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，包括：
25.对图像-掩模对集合中的每个图像-掩模对进行特征编码；
26.对所述待处理图像进行特征编码；
27.将所述每个图像-掩模对的特征编码和所述待处理图像的特征编码进行特征匹配，将特征匹配结果和所述待处理图像的特征编码输入第一解码器，获取所述估计掩模。
28.结合第一方面的第六种实现方式，本公开在第一方面的第七种实现方式中，所述参考目标对象图像是预先设置的目标对象图像或使用所述图像-掩模对中的掩模对相应图像进行分割得到的目标对象图像。
29.结合第一方面，本公开在第一方面的第八种实现方式中，所述根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，包括：
30.将所述关联度、所述估计掩模和所述第二中间图像的特征编码输入第二解码器，获取所述掩模。
31.结合第一方面，本公开在第一方面的第九种实现方式中，所述方法还包括：
32.基于所述掩模擦除所述待处理图像中的所述目标对象；
33.使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全。
34.结合第一方面的第九种实现方式，本公开在第一方面的第十种实现方式中，所述待处理图像是视频图像序列中的图像，所述使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全，包括：
35.基于所述视频图像序列中所述待处理图像之前的指定图像的补全结果、所述待处理图像之后的指定图像的补全结果，使用图像修补算法处理擦除所述目标对象后的所述待处理图像，以对擦除所述目标对象后的所述待处理图像进行补全。
36.第二方面，本公开实施例提供了一种图像处理方法，包括：
37.显示参考图像；
38.根据用户对所述参考图像的操作，从所述参考图像中确定参考目标对象图像，所述参考目标对象图像包含目标对象；
39.显示输出图像，所述输出图像是从待处理图像去除所述目标对象后的图像。
40.结合第二方面，本公开在第二方面的第一种实现方式中，所述输出图像是使用根
据本公开第一方面所述的方法获得的掩模从所述待处理图像擦除所述目标对象，并使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全得到的。
41.第三方面，本公开实施例中提供了一种图像处理装置，包括：
42.第一获取模块，被配置为从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像；
43.第一确定模块，被配置为确定所述第一中间图像与参考目标对象图像的关联度；
44.第二获取模块，被配置为获取所述待处理图像的估计掩模；
45.第三获取模块，被配置为根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，所述掩模用于从所述待处理图像中分割出所述目标对象。
46.结合第三方面，本公开在第三方面的第一种实现方式中，所述从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像，包括：
47.确定所述待处理图像中的目标区域，所述目标区域包括所述目标对象；
48.将所述待处理图像位于目标区域中的部分作为所述第一中间图像；
49.将所述待处理图像位于所述目标区域中的部分和围绕所述目标区域的部分作为所述第二中间图像。
50.结合第三方面的第一种实现方式，本公开在第三方面的第二种实现方式中：
51.所述待处理图像是视频图像序列中的图像；
52.所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述参考目标对象图像，使用目标跟踪算法得到的。
53.结合第三方面的第一种实现方式，本公开在第三方面的第三种实现方式中其中：
54.所述待处理图像是视频图像序列中的图像；
55.所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述目标对象图像，使用目标跟踪算法并使用所述前一帧图像的掩模对目标跟踪结果进行校正得到的。
56.结合第三方面，本公开在第三方面的第四种实现方式中，所述确定所述第一中间图像与参考目标对象图像的关联度，包括：
57.提取所述第一中间图像的图像特征和所述参考目标对象图像的图像特征；
58.计算所述第一中间图像的图像特征和所述参考目标对象图像的图像特征的互相关值作为所述关联度。
59.结合第三方面，本公开在第三方面的第五种实现方式中，所述获取所述待处理图像的估计掩模，包括：
60.将图像-掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，其中，所述图像-掩模对包括视频图像序列中所述待处理图像之前的先前图像和所述先前图像的掩模，所述先前图像的掩模的置信度高于预设置信度。
61.结合第三方面的第五种实现方式，本公开在第三方面的第六种实现方式中，所述将图像-掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，包括：
62.对图像-掩模对集合中的每个图像-掩模对进行特征编码；
63.对所述待处理图像进行特征编码；
64.将所述每个图像-掩模对的特征编码和所述待处理图像的特征编码进行特征匹
配，将特征匹配结果和所述待处理图像的特征编码输入第一解码器，获取所述估计掩模。
65.结合第三方面的第六种实现方式，本公开在第三方面的第七种实现方式中，所述参考目标对象图像是预先设置的目标对象图像或使用所述图像-掩模对中的掩模对相应图像进行分割得到的目标对象图像。
66.结合第三方面，本公开在第三方面的第八种实现方式中，所述根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，包括：
67.将所述关联度、所述估计掩模和所述第二中间图像的特征编码输入第二解码器，获取所述掩模。
68.结合第三方面，本公开在第三方面的第九种实现方式中，所述装置还包括：
69.擦除模块，被配置为基于所述掩模擦除所述待处理图像中的所述目标对象；
70.补全模块，被配置为使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全。
71.结合第三方面的第九种实现方式，本公开在第三方面的第十种实现方式中，所述待处理图像是视频图像序列中的图像，所述使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全，包括：
72.基于所述视频图像序列中所述待处理图像之前的指定图像的补全结果、所述待处理图像之后的指定图像的补全结果，使用图像修补算法处理擦除所述目标对象后的所述待处理图像，以对擦除所述目标对象后的所述待处理图像进行补全。
73.第四方面，本公开实施例提供了一种图像处理装置，包括：
74.第一显示模块，被配置为显示参考图像；
75.第二确定模块，被配置为根据用户对所述参考图像的操作，从所述参考图像中确定参考目标对象图像，所述参考目标对象图像包含目标对象；
76.第二显示模块，被配置为显示输出图像，所述输出图像是从待处理图像去除所述目标对象后的图像。
77.结合第四方面，本公开在第四方面的第一种实现方式中，所述输出图像是使用根据第一方面所述的方法获得的掩模从所述待处理图像擦除所述目标对象，并使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全得到的。
78.第五方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面至第二方面的第一种实现方式任一项所述的方法。
79.第六方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面至第二方面的第一种实现方式所述的方法。
80.第七方面，本公开实施例中提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如第一方面至第二方面的第一种实现方式所述的方法步骤。
81.根据本公开实施例提供的技术方案，基于第一中间图像与参考目标对象图像的关联度、估计掩模和第二中间图像获取待处理图像的掩模，相比于现有的人工目标擦除方案耗时更短，人力成本显著降低。同时，由于在生成掩模过程中引入两个参考量(即，关联度和估计掩模)，获得的掩模能够实现更加准确的图像分割结果。
82.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
83.结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
84.图1示出根据本公开的实施例的图像处理方法的流程图。
85.图2a示出了根据本公开实施例的图像处理方法的整体流程图。
86.图2b示出了根据本公开实施例的目标区域示意图。
87.图2c示出了根据本公开实施例的掩模估计模型的原理示意图。
88.图2d示出根据本公开实施例的图像处理方法的流程图。
89.图3a示出了使用根据本公开实施例的图像处理方法处理视频图像序列的效果示意图。
90.图3b示出了使用根据本公开实施例的图像处理方法处理视频图像序列得到的其中一帧图像的效果示意图。
91.图4a示出根据本公开的实施例的图像处理装置的结构框图。
92.图4b示出根据本公开的实施例的图像处理装置的结构框图。
93.图5示出根据本公开的实施例的电子设备的结构框图。
94.图6示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
具体实施方式
95.下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
96.在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
97.另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
98.在本公开中，对用户信息或用户数据的获取均为经用户授权、确认，或由用户主动选择的操作。
99.如上所述，当视频中存在不需要的对象时，如能有算法将其自动擦除，得到干净的视频，则可以大大减少后期的视频处理时间。本公开实施例可以应用于例如交互式视频目标自动擦除、广告自动过滤产品等领域。
100.本公开实施例提供了一种图像处理方法，包括：从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像；确定所述第一中间图像与参考目标对象图像的关联度；获取所述待处理图像的估计掩模；根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，所述掩模用于从所述待处理图像中分割出所述目标对象。
101.根据本公开的实施例，基于第一中间图像与参考目标对象图像的关联度、估计掩
模和第二中间图像获取待处理图像的掩模，相比于现有的人工目标擦除方案耗时更短，人力成本显著降低。同时，由于在生成掩模过程中引入两个参考量(即，关联度和估计掩模)，获得的掩模能够实现更加准确的图像分割结果。
102.图1示出根据本公开的实施例的图像处理方法的流程图。如图1所示，所述图像处理方法包括以下步骤s101-s104：
103.在步骤s101中，从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像；
104.在步骤s102中，确定所述第一中间图像与参考目标对象图像的关联度；
105.在步骤s103中，获取所述待处理图像的估计掩模；
106.在步骤s104中，根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，所述掩模用于从所述待处理图像中分割出所述目标对象。
107.图2a示出了根据本公开实施例的图像处理方法的整体流程图。
108.图2b示出了根据本公开实施例的目标区域示意图。
109.下面参考图2a和2b对根据本公开实施例的图像处理方法进行说明。在下文中以待处理图像是视频图像序列中的图像进行说明，但是可以理解，本公开实施例不限于处理视频图像序列。
110.如图2a所示，在获取待处理图像之后，使用目标区域bbox对待处理图像进行剪切，获取第一中间图像和第二中间图像。目标区域bbox包括要擦除的目标对象，例如图中穿白色上衣的人。将所述待处理图像位于目标区域中的部分作为所述第一中间图像；将所述待处理图像位于所述目标区域中的部分和围绕所述目标区域的部分作为所述第二中间图像。
111.根据本公开的实施例，所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述参考目标对象图像，使用目标跟踪算法得到的。例如，如图2a的跟踪模块所示，基于所述视频图像序列中所述待处理图像的前一帧图像和参考目标对象图像，使用目标跟踪算法(例如siamfc++算法)得到目标框，所述目标框是目标对象的外切矩形，如图2b所示。根据本公开的实施例，也可以使用已知的其他目标跟踪算法确定目标框。
112.根据本公开的实施例，所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述目标对象图像，使用目标跟踪算法并使用所述前一帧图像的掩模对目标跟踪结果进行校正得到的。如图2a的跟踪模块所示，在基于所述视频图像序列中所述待处理图像的前一帧图像和所述目标对象图像，使用目标跟踪算法得到目标框之后，可以使用前一帧图像的掩模对目标框进行校正。由于前一帧图像的掩模包含目标对象的位置信息，所以可以使用前一帧图像的掩模对目标框的位置进行校正。例如，可以对目标框位置和根据前一帧图像的掩模确定的目标对象的外接矩形的位置坐标取均值，作为校正后的目标框位置。
113.在获得目标框之后，扩大该目标框的范围以使其包含部分背景图像，从而得到目标区域，将所述待处理图像位于目标区域中的部分作为第一中间图像。将所述待处理图像中围绕所述目标区域的部分作为所述第二中间图像。第二中间图像可以包括比第一中间图像更多的背景图像。
114.根据本公开的实施例，由于在计算第一中间图像与参考目标对象图像的关联度时，目标对象的图像和背景图像均包含可用于计算该关联度的信息，因此，通过使第一中间
图像包含目标对象图像和部分背景图像，可以获得能较好反映二者关联度的计算结果。通过使第二中间图像包含比第一中间图像更多的背景图像，可以在生成掩模时提供待处理图像的更多信息，获得更加准确的掩模。根据本公开的实施例，第一中间图像也可以与第二中间图像是相同图像。
115.根据本公开的实施例，参考目标对象图像是预先设置的目标对象图像。例如，可以选择视频图像序列中的一帧图像，例如视频图像序列中包含目标对象的第一帧图像，并在所选图像中手工选择包含目标对象并且可选地包含部分背景图像的部分作为参考目标对象图像。或者，也可以使用现有的目标检测和分割算法从所选图像中分割出包含目标对象并且可选地包含部分背景图像的部分作为参考目标对象图像。
116.根据本公开的实施例，所述确定所述第一中间图像与参考目标对象图像的关联度，包括：提取所述第一中间图像的图像特征和所述参考目标对象图像的图像特征；计算所述第一中间图像的图像特征和所述参考目标对象图像的图像特征的互相关值作为所述关联度。
117.如图2a的跟踪模块所示，分别提取所述第一中间图像的图像特征和所述参考目标对象图像的图像特征，然后计算所述第一中间图像的图像特征和所述参考目标对象图像的图像特征的互相关值作为所述关联度并输出所述关联度。
118.根据本公开的实施例，当使用siamfc++算法实现跟踪模块时，可以同时获得目标框bbox和关联度。
119.根据本公开的实施例，可以将所述待处理图像输入训练好的掩模估计模型，以获取所述待处理图像的估计掩模。
120.根据本公开的实施例，可以使用现有的多种掩模生成方法实现所述掩模估计模型，以获取待处理图像的估计掩模，例如实例分割算法、语义分割算法、目标检测算法结合实例或语义分割算法、目标跟踪算法结合实例或语义分割算法等。
121.或者，可以采用光流法对视频图像序列中所述待处理图像的前一帧图像的掩模进行warp(扭曲)变换，得到所述待处理图像的估计掩模。
122.或者，所述获取所述待处理图像的估计掩模，包括：将图像-掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，其中，所述图像-掩模对包括视频图像序列中所述待处理图像之前的先前图像和所述先前图像的掩模，所述先前图像的掩模的置信度高于预设置信度。
123.通过基于先前图像及其掩模得到待处理图像的目标掩模，由于先前图像的掩模的置信度高于预设置信度，即掩模准确度较高，因此可以获得更加准确的估计掩模。
124.根据本公开的实施例，所述将图像-掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，包括：对图像-掩模对集合中的每个图像-掩模对进行特征编码；对所述待处理图像进行特征编码；将所述每个图像-掩模对的特征编码和所述待处理图像的特征编码进行特征匹配，将特征匹配结果和所述待处理图像的特征编码输入第一解码器，获取所述估计掩模。
125.例如，如图2a所示，根据本公开的实施例，估计模块实现所述掩模估计模型。在估计模块的存储器中存储图像-掩模对，将待处理图像调整为掩模估计模型所要求的大小，然后输入第一编码器进行特征编码得到待处理图像的特征编码。将所述每个图像-掩模对的
特征编码和所述待处理图像的特征编码进行特征匹配，将特征匹配结果和所述待处理图像的特征编码输入第一解码器，获取所述估计掩模。
126.图2c示出了根据本公开实施例的掩模估计模型的原理示意图。
127.根据本公开的实施例，通过空时记忆网络(space-time memory networks)实现掩模估计模型。
128.如图2c所示，对于图像-掩模对集合中的每个图像-掩模对，将图像和掩模进行特征编码，得到包括key(键)特征、value(值)特征和query(查询)特征的特征编码，对待处理图像进行特征编码，得到包括key(键)特征、value(值)特征和query(查询)特征的特征编码。
129.将每个图像-掩模对的特征编码进行拼接之后，与待处理图像的特征编码进行匹配运算，将特征匹配结果与待处理图像的特征编码一起输入第一解码器，得到待处理图像的估计掩模。
130.根据本公开的实施例，所述匹配运算包括根据待处理图像的query特征与每个图像-掩模对的key特征的匹配程度，对相应图像-掩模对的value特征赋予权重，并计算所有图像-掩模对的value特征的加权和作为特征匹配结果。该特征匹配结果中，图像-掩模对与待处理图像的匹配程度越高，其特征所占的比重越大。将该匹配结果与待处理图像的特征编码一起输出第一解码器，从而可以参照先前的与待处理图像匹配程度较高且较为准确的掩模生成待处理图像的估计掩模。
131.所述根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，包括：将所述关联度、所述估计掩模和所述第二中间图像的特征编码输入第二解码器，获取所述掩模。
132.例如，如图2a的分割模块所示，将第二中间图像输入第二编码器得到第二中间图像的特征编码，然后将所述关联度、所述估计掩模和所述第二中间图像的特征编码输入第二解码器，获取待处理图像的掩模。
133.根据本公开的实施例，第二解码器输出掩模的掩模矩阵，其中数值0代表背景像素，数值1代表目标对象的像素，根据该掩模矩阵可以获得待处理图像的掩模。
134.根据本公开的实施例，第二解码器还输出掩模的置信度，置信度越高，表示掩模的准确度越高。将置信度高于预设置信度的掩模及其对应的待处理图像作为图像-掩模对存储在估计模块的存储器中。
135.根据本公开的实施例，可以将上文所述的视频图像序列中包含目标对象的第一帧图像及其掩模也加入估计模块的存储器中。
136.根据本公开的实施例，可以使用置信度高于预设置信度的掩模对应的待处理图像更新参考目标对象图像。例如，每次获得置信度高于预设置信度的掩模时，可以根据掩模对相应的待处理图像进行分割，获得包括目标对象和部分背景图像的图像，作为更新的参考目标对象图像。这样，可以使得参考目标对象图像与待处理图像中的目标对象图像更加接近，进一步提升最终得到的掩模的准确度。
137.根据本公开的实施例，使用第一中间图像与参考目标对象图像的关联度和基于较为准确的在先图像的掩模生成的估计掩模，能够获得更加准确的掩模。
138.根据本公开的实施例，在确定待处理图像的掩模之后，可以擦除待处理图像中的
目标对象，并采用图像修补算法对擦除部分进行补全。
139.根据本公开的实施例，所述方法还包括：基于所述掩模擦除所述待处理图像中的所述目标对象；使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全。
140.根据本公开的实施例，可以采用基于深度学习的图像级修复方案，例如二阶段图片修补对抗算法edgeconnect，基于编码器解码器的vornet算法等，对擦除目标对象后的图像进行画面补全。
141.或者，也可以应用变分法、边界优先级的顺序填充算法等对擦除目标对象后的图像进行画面补全。
142.根据本公开的实施例，所述待处理图像是视频图像序列中的图像，所述使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全，包括：基于所述视频图像序列中所述待处理图像之前的指定图像的补全结果、所述待处理图像之后的指定图像的补全结果，使用图像修补算法处理擦除所述目标对象后的所述待处理图像，以对擦除所述目标对象后的所述待处理图像进行补全。
143.根据本公开的实施例，可以使用deep video inpainting算法，对擦除所述目标对象后的所述待处理图像进行补全。具体地，假设待处理图像是视频图像序列中的第k帧，则使用视频图像序列中的指定图像(例如，包括第k-6帧、第k-3帧、第k-1帧、第k+3帧、第k+6帧)的补全结果作为输入，通过光流方法使各帧图像的特征对齐，使用光流法得到第k-1帧和第k帧的运动信息估计，得到第k帧的参考结果，将此参考结果与第k帧的下采样结果叠加处理，将叠加结果输入卷积长短期记忆网络(conv-lstm)，得到第k帧的补全结果。
144.图2d示出根据本公开实施例的图像处理方法的流程图。如图2d所示，所述图像处理方法包括以下步骤s201
–
s203：
145.在步骤s201中，显示参考图像；
146.在步骤s202中，根据用户对所述参考图像的操作，从所述参考图像中确定参考目标对象图像，所述参考目标对象图像包含目标对象；
147.在步骤s203中，显示输出图像，所述输出图像是从待处理图像去除所述目标对象后的图像。
148.根据本公开的实施例，所述输出图像是使用上文所述的方法获得的掩模从所述待处理图像擦除所述目标对象，并使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全得到的。根据本公开的实施例，参考图像可以是视频图像序列中的图像，例如视频图像序列中包含目标对象的第一帧图像。用户可以手工选择包含目标对象并且可选地包含部分背景图像的部分作为参考目标对象图像。使用根据本公开实施例的图像处理方法，可以使得用户很方便地选取想要从视频图像中擦除的目标对象，并得到擦除目标对象后的视频图像序列，自动完成视频编辑。
149.根据本公开实施例的方法可以用于广告自动过滤产品、敏感信息自动过滤、违法信息自动过滤的场景，以及各种视频编辑领域，例如用户可以配置过滤对象的属性或者特征，从而自动完成视频编辑。
150.例如，在广告视频中可能存在不希望出现的产品，通过本公开的方法可以方便地擦除这些产品。或者，视频中可能包含敏感或违法的内容、物品等，通过本公开的方法可以方便地擦除这些敏感或违法的内容、物品的图像。或者，在进行视频编辑时，用户可以方便
地用选择框在参考图像上选择包含要擦除的目标对象的参考目标对象图像，或者，用户可以配置目标对象的属性或特征，例如颜色、形状等，通过图像智能识别的方式从参考图像确定参考目标对象图像，从而自动完成视频编辑。
151.图3a示出了使用根据本公开实施例的图像处理方法处理视频图像序列的效果示意图。
152.图3b示出了使用根据本公开实施例的图像处理方法处理视频图像序列得到的其中一帧图像的效果示意图。
153.如图3a和图3b所示，根据本公开实施例的图像处理方法实现了智能目标擦除，跟踪所需擦除的目标对象在视频图像中的像素位置，使用视频图像修复的算法对被擦除的目标处重新填补，使之与周围背景尽可能相近，实现目标对象的无痕去除，并且在生成掩模和图像修复时均考虑了帧间信息，减少了擦除目标对象时与周围背景的不适性。
154.图4a示出根据本公开的实施例的图像处理装置的结构框图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
155.如图4a所示，所述图像处理装置410包括第一获取模块411、第一确定模块412、第二获取模块413、第三获取模块414。
156.第一获取模块411被配置为从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像；
157.第一确定模块412被配置为确定所述第一中间图像与参考目标对象图像的关联度；
158.第二获取模块413被配置为获取所述待处理图像的估计掩模；
159.第三获取模块414被配置为根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，所述掩模用于从所述待处理图像中分割出所述目标对象。
160.根据本公开的实施例，所述从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像，包括：
161.确定所述待处理图像中的目标区域，所述目标区域包括所述目标对象；
162.将所述待处理图像位于目标区域中的部分作为所述第一中间图像；
163.将所述待处理图像位于所述目标区域中的部分和围绕所述目标区域的部分作为所述第二中间图像。
164.根据本公开的实施例，其中：
165.所述待处理图像是视频图像序列中的图像；
166.所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述参考目标对象图像，使用目标跟踪算法得到的。
167.根据本公开的实施例，其中：
168.所述待处理图像是视频图像序列中的图像；
169.所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述目标对象图像，使用目标跟踪算法并使用所述前一帧图像的掩模对目标跟踪结果进行校正得到的。
170.根据本公开的实施例，其中，所述确定所述第一中间图像与参考目标对象图像的关联度，包括：
171.提取所述第一中间图像的图像特征和所述参考目标对象图像的图像特征；
172.计算所述第一中间图像的图像特征和所述参考目标对象图像的图像特征的互相关值作为所述关联度。
173.根据本公开的实施例，其中，所述获取所述待处理图像的估计掩模，包括：
174.将图像-掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，其中，所述图像-掩模对包括视频图像序列中所述待处理图像之前的先前图像和所述先前图像的掩模，所述先前图像的掩模的置信度高于预设置信度。
175.根据本公开的实施例，其中，所述将图像-掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，包括：
176.对图像-掩模对集合中的每个图像-掩模对进行特征编码；
177.对所述待处理图像进行特征编码；
178.将所述每个图像-掩模对的特征编码和所述待处理图像的特征编码进行特征匹配，将特征匹配结果和所述待处理图像的特征编码输入第一解码器，获取所述估计掩模。
179.根据本公开的实施例，其中，所述参考目标对象图像是预先设置的目标对象图像或使用所述图像-掩模对中的掩模对相应图像进行分割得到的目标对象图像。
180.根据本公开的实施例，其中，所述根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，包括：
181.将所述关联度、所述估计掩模和所述第二中间图像的特征编码输入第二解码器，获取所述掩模。
182.根据本公开的实施例，所述装置410还包括：
183.擦除模块415，被配置为基于所述掩模擦除所述待处理图像中的所述目标对象；
184.补全模块416，被配置为使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全。
185.根据本公开的实施例，其中，所述待处理图像是视频图像序列中的图像，所述使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全，包括：
186.基于所述视频图像序列中所述待处理图像之前的指定图像的补全结果、所述待处理图像之后的指定图像的补全结果，使用图像修补算法处理擦除所述目标对象后的所述待处理图像，以对擦除所述目标对象后的所述待处理图像进行补全。
187.图4b示出根据本公开的实施例的图像处理装置的结构框图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
188.如图4b所示，所述图像处理装置420包括第一显示模块421、第二确定模块422、第二显示模块423。
189.第一显示模块421被配置为显示参考图像；
190.第二确定模块422被配置为根据用户对所述参考图像的操作，从所述参考图像中确定参考目标对象图像，所述参考目标对象图像包含目标对象；
191.第二显示模块423被配置为显示输出图像，所述输出图像是从待处理图像去除所述目标对象后的图像。
192.根据本公开的实施例，所述输出图像是使用根据上文所述的方法获得的掩模从所述待处理图像擦除所述目标对象，并使用图像修补算法对擦除所述目标对象后的所述待处
理图像进行补全得到的。
193.本公开还公开了一种电子设备，图5示出根据本公开的实施例的电子设备的结构框图。
194.如图5所示，所述电子设备500包括存储器501和处理器502，其中，存储器501用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器502执行以实现根据本公开的实施例的方法。
195.本公开实施例提供了一种图像处理方法，包括：
196.从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像；
197.确定所述第一中间图像与参考目标对象图像的关联度；
198.获取所述待处理图像的估计掩模；
199.根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，所述掩模用于从所述待处理图像中分割出所述目标对象。
200.根据本公开的实施例，所述从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像，包括：
201.确定所述待处理图像中的目标区域，所述目标区域包括所述目标对象；
202.将所述待处理图像位于目标区域中的部分作为所述第一中间图像；
203.将所述待处理图像位于所述目标区域中的部分和围绕所述目标区域的部分作为所述第二中间图像。
204.根据本公开的实施例，其中：
205.所述待处理图像是视频图像序列中的图像；
206.所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述参考目标对象图像，使用目标跟踪算法得到的。
207.根据本公开的实施例，其中：
208.所述待处理图像是视频图像序列中的图像；
209.所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述目标对象图像，使用目标跟踪算法并使用所述前一帧图像的掩模对目标跟踪结果进行校正得到的。
210.根据本公开的实施例，其中，所述确定所述第一中间图像与参考目标对象图像的关联度，包括：
211.提取所述第一中间图像的图像特征和所述参考目标对象图像的图像特征；
212.计算所述第一中间图像的图像特征和所述参考目标对象图像的图像特征的互相关值作为所述关联度。
213.根据本公开的实施例，其中，所述获取所述待处理图像的估计掩模，包括：
214.将图像-掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，其中，所述图像-掩模对包括视频图像序列中所述待处理图像之前的先前图像和所述先前图像的掩模，所述先前图像的掩模的置信度高于预设置信度。
215.根据本公开的实施例，其中，所述将图像-掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，包括：
216.对图像-掩模对集合中的每个图像-掩模对进行特征编码；
217.对所述待处理图像进行特征编码；
218.将所述每个图像-掩模对的特征编码和所述待处理图像的特征编码进行特征匹配，将特征匹配结果和所述待处理图像的特征编码输入第一解码器，获取所述估计掩模。
219.根据本公开的实施例，其中，所述参考目标对象图像是预先设置的目标对象图像或使用所述图像-掩模对中的掩模对相应图像进行分割得到的目标对象图像。
220.根据本公开的实施例，其中，所述根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，包括：
221.将所述关联度、所述估计掩模和所述第二中间图像的特征编码输入第二解码器，获取所述掩模。
222.根据本公开的实施例，所述方法还包括：
223.基于所述掩模擦除所述待处理图像中的所述目标对象；
224.使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全。
225.根据本公开的实施例，其中，所述待处理图像是视频图像序列中的图像，所述使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全，包括：
226.基于所述视频图像序列中所述待处理图像之前的指定图像的补全结果、所述待处理图像之后的指定图像的补全结果，使用图像修补算法处理擦除所述目标对象后的所述待处理图像，以对擦除所述目标对象后的所述待处理图像进行补全。
227.图6示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
228.如图6所示，计算机系统600包括处理单元601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行上述实施例中的各种处理。在ram 603中，还存储有系统600操作所需的各种程序和数据。处理单元601、rom602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
229.以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。其中，所述处理单元601可实现为cpu、gpu、tpu、fpga、npu等处理单元。
230.特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括计算机指令，该计算机指令被处理器执行时实现上文所述的方法步骤。在这样的实施例中，该计算机程序产品可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
231.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标
注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
232.描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
233.作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
234.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。