基于多模态训练的信息匹配方法、装置、电子设备及介质与流程

本发明涉及人工智能领域，尤其涉及一种基于多模态训练的信息匹配方法、装置、电子设备及存储介质。

背景技术：

1、随着社会发展和科技进步，大量不同模态种类的信息也涌现出来，在金融科技领域中，与电子交易和电子商务相关的信息有文本信息、图像信息、视频信息和音频信息，而传播最为广泛的还是文本信息和图像信息，因此，如何根据文本信息得到与之匹配的图像信息或者根据图像信息得到与之匹配的文本信息成为关键。

2、现有的信息匹配方法通常是通过执行跨模态对齐方法实现的，这种方法会忽略每个模态中的数据潜力，同时对于一些相似语义的文本或者相似形状的图形无法准确的区分，因此导致进行信息匹配的准确度较低，故亟待提出一种准确度更高的信息匹配方法。

技术实现思路

1、本发明提供一种基于多模态训练的信息匹配方法、装置、电子设备及存储介质，其主要目的在于提高信息匹配的准确度。

2、为实现上述目的，本发明提供的一种基于多模态训练的信息匹配方法，包括：

3、获取图文样本数据集，将所述图文样本数据集输入至预构建的多模态预训练模型中，得到多个文本特征向量和多个图像特征向量；

4、分别计算多个所述文本特征向量之间的文本对比损失值及多个图像特征向量之间的图像对比损失值，根据所述文本对比损失值和所述图像对比损失值构建样本损失函数；

5、提取所述图像特征向量中的全局图像特征向量和局部图像特征向量，根据所述全局图像特征向量和所述局部图像特征向量构建图像损失函数，提取所述文本特征向量中的全局文本特征向量和局部文本特征向量，根据所述全局文本特征向量和所述局部文本特征向量构建文本损失函数；

6、根据所述图像损失函数和所述文本损失函数构建模态信息损失函数，并利用所述模态信息损失函数和所述样本损失函数对所述多模态预训练模型进行模型训练，得到训练好的标准多模态模型；

7、获取待匹配信息，将所述待匹配信息输入至所述标准多模态模型中，得到信息匹配结果。

8、可选地，所述将所述图文样本数据集输入至预构建的多模态预训练模型中，得到多个文本特征向量和多个图像特征向量，包括：

9、识别所述图文样本数据集中样本数据的数据类型，并根据所述数据类型对所述图文样本数据集进行数据分类，得到图像样本数据集和文本样本数据集；

10、将所述图像样本数据集中的图像样本数据输入至所述多模态预训练模型中的图像侧，得到多个图像特征向量；

11、将所述文本样本数据集中的文本样本数据输入至所述多模态预训练模型中的文本侧，得到多个文本特征向量。

12、可选地，所述将所述图像样本数据集中的图像样本数据输入至所述多模态预训练模型中的图像侧，得到多个图像特征向量，包括：

13、利用所述多模态预训练模型中的图像侧对所述图像样本数据进行全局特征提取，得到全局图像特征向量，并将所述全局图像特征向量作为第一类图像特征向量；

14、对所述图像样本数据进行局部特征提取，得到局部图像特征向量，并将所述局部图像特征向量作为第二类图像特征向量；

15、将所述第一类图像特征向量和所述第二类图像特征向量进行拼接处理，并对拼接处理后的向量进行维度变换，得到图像特征向量；

16、遍历所述图像样本数据集中的多条图像样本数据进行数据处理，得到多个图像特征向量。

17、可选地，所述计算多个所述文本特征向量之间的文本对比损失值，包括：

18、识别多个文本特征向量中的正文本向量和负文本向量，并选取任意一个正文本向量作为目标正文本向量，选取与所述目标正文本向量对应的负文本向量作为目标负文本向量；

19、将所述目标正文本向量和所述目标负文本向量输入至预设的文本对比损失函数公式中，得到文本对比损失值。

20、可选地，所述预设的文本对比损失函数公式为：

21、

22、其中，lnce(t+,t-)为文本对比损失函数值，t+为目标正文本向量，t-为目标负文本向量，k1为所述文本特征向量的向量个数，τ为预设固定参数。

23、可选地，所述利用所述模态信息损失函数和所述样本损失函数对所述多模态预训练模型进行模型训练，得到训练好的标准多模态模型，包括：

24、获取训练数据集，根据所述模态信息损失函数和所述样本损失函数分别计算出所述训练数据集对应的模态损失值和样本损失值；

25、当所述模态损失值和所述样本损失值均满足预设的参考条件时，将所述多模态预训练模型作为训练好的标准多模态模型；

26、当所述模态损失值或者所述样本损失值不满足预设的参考条件时，对所述多模态预训练模型进行模型参数调整，并根据调整模型参数后的模型进行特征提取和损失值计算，直至计算得到的损失值满足所述参考条件，将调整模型参数后的模型作为训练好的标准多模态模型。

27、可选地，所述模态信息损失函数为：

28、

29、其中，llmi为模态信息损失函数值，为图像损失函数值，为文本损失函数值，m为所述图文样本数据集中图像信息的个数，n为所述图文样本数据集中文本信息的个数，i1为全局图像特征向量，为局部图像特征向量的平方值，t1为全局文本特征向量，为局部文本特征向量的平方值。

30、为了解决上述问题，本发明还提供一种基于多模态训练的信息匹配装置，所述装置包括：

31、向量生成模块，用于获取图文样本数据集，将所述图文样本数据集输入至预构建的多模态预训练模型中，得到多个文本特征向量和多个图像特征向量；

32、函数构造模块，用于分别计算多个所述文本特征向量之间的文本对比损失值及多个图像特征向量之间的图像对比损失值，根据所述文本对比损失值和所述图像对比损失值构建样本损失函数，提取所述图像特征向量中的全局图像特征向量和局部图像特征向量，根据所述全局图像特征向量和所述局部图像特征向量构建图像损失函数，提取所述文本特征向量中的全局文本特征向量和局部文本特征向量，根据所述全局文本特征向量和所述局部文本特征向量构建文本损失函数；

33、模型训练模块，用于根据所述图像损失函数和所述文本损失函数构建模态信息损失函数，并利用所述模态信息损失函数和所述样本损失函数对所述多模态预训练模型进行模型训练，得到训练好的标准多模态模型；

34、信息匹配模块，用于获取待匹配信息，将所述待匹配信息输入至所述标准多模态模型中，得到信息匹配结果。

35、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

36、至少一个处理器；以及，

37、与所述至少一个处理器通信连接的存储器；其中，

38、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于多模态训练的信息匹配方法。

39、为了解决上述问题，本发明还提供一种存储介质，所述存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于多模态训练的信息匹配方法。

40、本发明实施例中，通过将图文样本数据集输入至预构建的多模态预训练模型中，得到多个文本特征向量和多个图像特征向量，构建样本损失函数和模态信息损失函数，从模态之间的信息关系构建损失函数可以提高模型训练的准确度，利用模态信息损失函数和样本损失函数对多模态预训练模型进行模型训练，得到训练好的标准多模态模型，将待匹配信息输入至所述标准多模态模型中，得到信息匹配结果。因此本发明提出的基于多模态训练的信息匹配方法、装置、电子设备及存储介质，可以解决提高信息匹配的准确度低的问题。