一种人像匹配方法、装置、设备及介质与流程

本技术涉及图像处理，尤其涉及一种人像匹配方法、装置、设备及介质。

背景技术：

1、相关技术中，在对视频中包含的每个图像中的人像进行人像匹配时，一般是针对视频中包含的每个图像，根据人像实例分割技术将该图像的中包含的人像与背景分离，并获得该图像中每个人像对应的掩膜图，同时将不同人像以不用的标签进行标识，并针对视频中包含的每个图像，将不同图像中相同的人像用相同的标签进行标识。其中，人像实例分割属于实例分割的一个小方向，因为其应用场景较窄，所以现有公开的人像实例分割技术一般是由现有的实例分割技术改进而来的，具体的，采用只保留类别为人的掩膜图的方式或者重新训练算法使之只输出人像的掩膜图的方式，获得改进后的人像实例分割技术。

2、基于现有的人像实例分割技术对图像进行实例分割时，往往是按照某种预设的顺序输出该图像中包含的各个人像对应的掩膜图，比如，按照从图像左上角到图像右下角的顺序依次输出该图像中包含的各个人像对应的掩膜图，然后根据该预设的顺序，依次给这些输出的掩膜图中包含的人像赋予对应的标签，其中，将一个视频中不同图像对应的掩膜图中输出顺序一致的掩膜图中包含的人像赋予同一个标签，比如，将视频中第一张图像对应的第三个输出的掩膜图中包含的人像与视频中其他图像对应的第三个输出的掩膜图中包含的人像赋予同一个标签，但是由于人是运动的，有可能会出现同一个人像在不同掩膜图中对应的输出顺序不一致的情况，因此若基于该预设的顺序，来确定各个人像的标签，可能会出现匹配错误的情况，导致人像匹配的准确率不高，影响用户的体验。

3、此外，有些应用场景下，在进行人像匹配后，还需要将图像中包含的人像赋予对应的颜色，其中，不同的标签的人像对应的颜色不同。若人像匹配的准确率不高，则可能会出现视频中相邻两张图像之间出现帧间颜色闪现的问题，即本应该为同一颜色的人像赋予了不同的颜色，因而无法捕捉特定的人像，场景使用也会受限。

技术实现思路

1、本技术提供了一种人像匹配方法、装置、设备及介质，用以解决现有技术中人像匹配结果不准确，影响用户的体验的问题。

2、本技术实施例提供了一种人像匹配方法，所述方法包括：

3、按照预设的顺序依次获得当前图像中每个人像对应的掩膜图；

4、针对每个掩膜图，确定该掩膜图中包含的人像对应的连通域；

5、针对每个人像，确定所述预设的顺序中与该人像对应的掩膜图相邻的第一目标掩膜图，根据该人像对应的连通域及所述第一目标掩膜图中包含的人像对应的连通域，确定该人像是否与所述第一目标掩膜图中包含的人像重叠；若是，则基于预设的特征提取方法，确定该人像在所述当前图像中对应的第一特征向量，以及采集时间在所述当前图像之前且与所述当前图像相邻的目标图像中包含的每个人像在所述目标图像中分别对应的第二特征向量，并根据所述第一特征向量分别与每个第二特征向量的相似度，确定该人像对应的标签。

6、进一步地，所述根据该人像对应的连通域及所述第一目标掩膜图对应的连通域，确定该人像是否与所述第一目标掩膜图中包含的人像重叠包括：

7、根据所述预设的顺序，确定该人像对应的连通域中与所述第一目标掩膜图的连通域距离最近的像素点；

8、根据所述像素点是否位于所述第一目标掩膜图的连通域中，确定该人像是否与所述第一目标掩膜图中包含的人像重叠。

9、进一步地，所述基于预设的特征提取方法，确定该人像在所述当前图像中对应的第一特征向量，以及采集时间在所述当前图像之前且与所述当前图像相邻的目标图像中包含的每个人像在所述目标图像中分别对应的第二特征向量包括：

10、基于多个预设的不同的特征提取算法，分别获得每个特征提取算法下对应的该人像在所述当前图像中对应的第一子特征向量，以及所述目标图像中包含的每个人像在所述目标图像中分别对应的第二子特征向量；

11、将每个特征提取算法下获得的第一子特征向量进行拼接，获得该人像在所述当前图像中对应的第一特征向量；并针对所述目标图像中的每个人像，将每个特征提取算法下获得该人像在所述目标图像中对应的第二子特征向量进行拼接，获得该人像在所述目标图像中分别对应的第二特征向量。

12、进一步地，所述方法还包括：

13、若该人像与所述第一目标掩膜图中包含的人像不重叠，则确定所述目标图像对应的多个掩膜中获得顺序与该人像对应的掩膜图像获得顺序相同的第二目标掩膜图像；将所述第二目标掩膜图像中包含的人像对应的标签确定为该人像对应的标签。

14、进一步地，所述根据所述第一特征向量分别与每个第二特征向量的相似度，确定该人像对应的标签包括：

15、确定所述第一特征向量分别与每个第二特征向量的相似度中的最大相似度；

16、将所述目标图像中所述最大相似度对应的人像的标签确定为该人像对应的标签。

17、本技术实施例还提供了一种人像匹配装置，所述装置包括：

18、获得模块，用于按照预设的顺序依次获得当前图像中每个人像对应的掩膜图；

19、确定模块，用于针对每个掩膜图，确定该掩膜图中包含的人像对应的连通域；针对每个人像，确定所述预设的顺序中与该人像对应的掩膜图相邻的第一目标掩膜图，根据该人像对应的连通域及所述第一目标掩膜图中包含的人像对应的连通域，确定该人像是否与所述第一目标掩膜图中包含的人像重叠；若是，则基于预设的特征提取方法，确定该人像在所述当前图像中对应的第一特征向量，以及采集时间在所述当前图像之前且与所述当前图像相邻的目标图像中包含的每个人像在所述目标图像中分别对应的第二特征向量，并根据所述第一特征向量分别与每个第二特征向量的相似度，确定该人像对应的标签。

20、进一步地，所述确定模块，具体用于根据所述预设的顺序，确定该人像对应的连通域中与所述第一目标掩膜图的连通域距离最近的像素点；根据所述像素点是否位于所述第一目标掩膜图的连通域中，确定该人像是否与所述第一目标掩膜图中包含的人像重叠。

21、进一步地，所述确定模块，具体用于基于多个预设的不同的特征提取算法，分别获得每个特征提取算法下对应的该人像在所述当前图像中对应的第一子特征向量，以及所述目标图像中包含的每个人像在所述目标图像中分别对应的第二子特征向量；将每个特征提取算法下获得的第一子特征向量进行拼接，获得该人像在所述当前图像中对应的第一特征向量；并针对所述目标图像中的每个人像，将每个特征提取算法下获得该人像在所述目标图像中对应的第二子特征向量进行拼接，获得该人像在所述目标图像中分别对应的第二特征向量。

22、进一步地，所述确定模块，还用于若该人像与所述第一目标掩膜图中包含的人像不重叠，则确定所述目标图像对应的多个掩膜中获得顺序与该人像对应的掩膜图像获得顺序相同的第二目标掩膜图像；将所述第二目标掩膜图像中包含的人像对应的标签确定为该人像对应的标签。

23、进一步地，所述确定模块，具体用于确定所述第一特征向量分别与每个第二特征向量的相似度中的最大相似度；将所述目标图像中所述最大相似度对应的人像的标签确定为该人像对应的标签。

24、本技术实施例还提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述人像匹配方法的步骤。

25、本技术实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述中任一所述人像匹配方法的步骤。

26、在本技术中，按照预设的顺序依次获得当前图像中每个人像对应的掩膜图；针对每个掩膜图，确定该掩膜图中包含的人像对应的连通域；针对每个人像，确定预设的顺序中与该人像对应的掩膜图相邻的第一目标掩膜图，根据该人像对应的连通域及第一目标掩膜图对应的连通域，确定该人像是否与第一目标掩膜图中包含的人像重叠；若是，则基于预设的特征提取方法，确定该人像在当前图像中对应的第一特征向量，以及采集时间在当前图像之前且与当前图像相邻的目标图像中包含的每个人像在目标图像中分别对应的第二特征向量，并根据第一特征向量分别与每个第二特征向量的相似度，确定该人像对应的标签。由于在本技术实施例中，按照预设的顺序依次获得当前图像中每个人像对应的掩膜图之后，不直接根据该预设的顺序，确定每个人像对应的标签，而是先针对每个人像，根据该人像对应的连通域以及该人像对应的掩膜图相邻的第一目标掩膜图中包含的人像对应的连通域，确定该人像是否与该第一目标掩膜图中包含的人像重叠，若重叠，则进一步根据该人像对应的第一特征向量以及采集时间在当前图像之前且与当前图像相邻的目标图像中包含的每个人像在目标图像中分别对应的第二特征向量的相似度，确定该人像对应的标签，有效的提高了人像匹配的准确率，提高了用户的体验。