数据匹配方法、装置、设备、存储介质及产品与流程

本技术涉及人工智能，尤其涉及一种数据匹配方法、装置、设备、存储介质及产品。

背景技术：

1、在过去的几十年中，人工智能领域的研究人员不断尝试如何赋予机器更高级的智能，期望机器可以具有与人类相近的认知和感知能力。随着智能化的发展，单模态智能已经不能满足人们日益增长的智能化需求，从单模态到多模态已成为人工智能的发展趋势。

2、其中，多模态数据匹配是多模态人工智能的一种常见的任务，比如，将同一用户的语音和人脸进行匹配，从而可以通过该用户的语音和人脸图像进行更加准确的用户智能识别。

3、现有的跨模态数据匹配任务直接通过度量不同模态数据的特征来识别两者是否匹配，这种方式的匹配准确度较低。

技术实现思路

1、有鉴于此，本技术实施例致力于提供一种数据匹配方法、装置、设备、存储介质及产品，能够更加准确地度量不同模态数据之间的相似性，提高匹配结果的准确性。

2、根据本技术实施例的第一方面，提供了一种数据匹配方法，包括：

3、分别获取第一模态数据的编码和第二模态数据的编码，以及，通过对所述第一模态数据和所述第二模态数据进行联合编码，得到所述第一模态数据的共享编码和所述第二模态数据的共享编码；

4、对所述第一模态数据的编码与所述第一模态数据的共享编码进行融合，得到所述第一模态数据的融合编码，以及，对所述第二模态数据的编码与所述第二模态数据的共享编码进行融合，得到所述第二模态数据的融合编码；

5、基于所述第一模态数据的融合编码和所述第二模态数据的融合编码，确定所述第一模态数据和所述第二模态数据的匹配结果。

6、可选的，通过对所述第一模态数据和所述第二模态数据进行联合编码，得到所述第一模态数据的共享编码和所述第二模态数据的共享编码，包括：

7、利用所述第一模态和所述第二模态共享的编码器，对所述第一模态数据和所述第二模态数据进行编码，得到所述第一模态数据的共享编码和所述第二模态数据的共享编码。

8、可选的，分别获取第一模态数据的编码和第二模态数据的编码，以及，通过对所述第一模态数据和所述第二模态数据进行联合编码，得到所述第一模态数据的共享编码和所述第二模态数据的共享编码；对所述第一模态数据的编码与所述第一模态数据的共享编码进行融合，得到所述第一模态数据的融合编码，以及，对所述第二模态数据的编码与所述第二模态数据的共享编码进行融合，得到所述第二模态数据的融合编码，包括：

9、将第一模态数据和第二模态数据输入预先训练的跨模态数据匹配模型，得到所述第一模态数据的融合编码以及所述第二模态数据的融合编码；

10、其中，所述跨模态数据匹配模型包括：

11、第一模态编码器，用于获取所述第一模态数据的编码；

12、第二模态编码器，用于获取所述第二模态数据的编码；

13、共享编码器，用于通过对所述第一模态数据和所述第二模态数据进行联合编码，得到所述第一模态数据的共享编码和所述第二模态数据的共享编码；

14、第一融合模块，用于对所述第一模态数据的编码与所述第一模态数据的共享编码进行融合，得到所述第一模态数据的融合编码；

15、第二融合模块，用于对所述第二模态数据的编码与所述第二模态数据的共享编码进行融合，得到所述第二模态数据的融合编码。

16、可选的，所述跨模态数据匹配模型的训练过程，包括：

17、将第一模态数据样本和第二模态数据样本输入所述跨模态数据匹配模型，得到所述第一模态数据样本的融合编码以及所述第二模态数据样本的融合编码；

18、基于所述第一模态数据样本的融合编码和所述第二模态数据样本的融合编码，确定所述第一模态数据样本和所述第二模态数据样本的匹配结果；

19、基于所述匹配结果与所述第一模态数据样本和所述第二模态数据样本的匹配标签，确定匹配损失；

20、至少基于所述匹配损失对所述跨模态数据匹配模型进行参数优化。

21、可选的，所述跨模态数据匹配模型的训练过程，还包括：

22、对所述第一模态数据样本和所述第二模态数据样本进行掩码处理，得到第一模态掩码数据样本和第二模态掩码数据样本；

23、通过所述共享编码器对所述第一模态掩码数据样本和所述第二模态掩码数据样本进行联合编码，得到所述第一模态掩码数据样本的共享编码和所述第二模态掩码数据样本的共享编码；

24、利用解码器对所述第一模态掩码数据样本的共享编码进行解码，得到重建的第一模态数据样本，以及，利用所述解码器对所述第二模态掩码数据样本的共享编码进行解码，得到重建的第二模态数据样本；

25、基于所述重建的第一模态数据样本、所述重建的第二模态数据样本、所述第一模态数据样本和所述第二模态数据样本，确定重建损失；

26、所述至少基于所述匹配损失对所述跨模态数据匹配模型进行参数优化，包括：

27、至少基于所述匹配损失和所述重建损失，对所述跨模态数据匹配模型进行参数优化。

28、可选的，基于所述重建的第一模态数据样本、所述重建的第二模态数据样本、所述第一模态数据样本和所述第二模态数据样本，确定重建损失，包括：

29、基于所述重建的第一模态数据样本以及所述第一模态数据样本，确定第一模态重建损失，以及，基于所述重建的第二模态数据样本以及所述第二模态数据样本，确定第二模态重建损失；

30、对所述第一模态重建损失和所述第二模态重建损失进行融合，得到重建损失。

31、可选的，所述跨模态数据匹配模型的训练过程，还包括：

32、基于所述第一模态数据样本的融合编码和所述第二模态数据样本的融合编码，确定所述第一模态数据样本和所述第二模态数据样本之间的第一相似度；以及，确定所述第一模态数据样本的融合编码中的第一编码数据与第二编码数据之间的第二相似度，确定，所述第二模态数据样本的融合编码中的第三编码数据与第四编码数据之间的第三相似度；

33、基于所述第一相似度、所述第二相似度、所述第三相似度，以及所述第一模态数据样本和所述第二模态数据样本之间的第一相似度标签、所述第一编码数据与所述第二编码数据之间的第二相似度标签、所述第三编码数据与所述第四编码数据之间的第三相似度标签，确定模态关系损失；

34、所述至少基于所述匹配损失和所述重建损失，对所述跨模态数据匹配模型进行参数优化，包括：

35、基于所述匹配损失、所述重建损失以及所述模态关系损失，对所述跨模态数据匹配模型进行参数优化。

36、可选的，所述第一模态数据包括音频数据，所述第二模态数据包括图像数据。

37、根据本技术实施例的第二方面，提供了一种数据匹配装置，包括：

38、第一单元，用于分别获取第一模态数据的编码和第二模态数据的编码，以及，通过对所述第一模态数据和所述第二模态数据进行联合编码，得到所述第一模态数据的共享编码和所述第二模态数据的共享编码；

39、第二单元，用于对所述第一模态数据的编码与所述第一模态数据的共享编码进行融合，得到所述第一模态数据的融合编码，以及，对所述第二模态数据的编码与所述第二模态数据的共享编码进行融合，得到所述第二模态数据的融合编码；

40、第三单元，用于基于所述第一模态数据的融合编码和所述第二模态数据的融合编码，确定所述第一模态数据和所述第二模态数据的匹配结果。

41、根据本技术实施例的第三方面，提供了一种电子设备，包括存储器和处理器；

42、所述存储器与所述处理器连接，用于存储程序；

43、所述处理器用于通过运行所述存储器中的程序，实现如本技术实施例的第一方面中任意一项所述的数据匹配方法。

44、根据本技术实施例的第四方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时，实现如本技术实施例的第一方面中任意一项所述的数据匹配方法。

45、根据本技术实施例的第五方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器实现如本技术实施例的第一方面中任意一项所述的数据匹配方法。

46、本技术提出的数据匹配方法将不同模态数据进行联合编码获取各种模态数据各自的共享编码，然后再将不同模态数据的共享编码分别与对应模态数据自身的编码进行融合，得到各种模态数据的融合编码，该处理使得各种模态数据的融合编码中不仅包含本模态数据的数据特征，还包含了其他模态数据的相关信息，这样可以有效降低不同模态数据之间的异质性，避免由于不同模态数据之间的差异性影响对不同模态数据的匹配。因此，基于通过上述处理得到的不同模态数据各自的融合编码来确定对不同模态数据的匹配结果，可以更加准确地度量不同模态数据之间的相似性，提高匹配结果的准确性。