检索方法及装置与流程

本申请涉及数据检索，尤其涉及一种检索方法及装置。

背景技术：

1、目前根据检索信息匹配相应的数据，往往是简单的提取检索信息和待匹配数据的特征，然后基于特征之间的距离确定检索信息对应的数据。因为检索信息和待匹配数据的特征仅是简单处理得到的，所以对检索信息和待匹配数据的表达不够充分，又因为当检索信息和待匹配数据不是同一个模态时，简单计算特征之间的距离并不准确。上述原因导致目前跨模态检索准确率低。

技术实现思路

1、有鉴于此，本申请实施例提供了一种检索方法、装置、电子设备及计算机可读存储介质，以解决现有技术中跨模态检索准确率低的问题。

2、本申请实施例第一方面，提供了一种检索方法，包括：构建检索文本处理网络、检索图像处理网络和文本及图像再处理网络，利用检索文本处理网络、检索图像处理网络和文本及图像再处理网络构建检索模型；获取用户输入的检索文本以及图像数据库中的待匹配图像，将检索文本和待匹配图像输入检索模型，在检索模型内部：通过检索文本处理网络处理检索文本，得到文本特征；通过检索图像处理网络处理待匹配图像，得到图像特征；通过文本及图像再处理网络处理文本特征和图像特征，得到多模态特征；将文本特征和多模态特征相乘，得到文本多模态特征，将图像特征和多模态特征相乘，得到图像多模态特征；计算文本多模态特征和图像多模态特征之间的余弦相似度，当余弦相似度大于预设阈值，确定待匹配图像为检索文本所检索的图像。

3、本申请实施例第二方面，提供了一种检索装置，包括：构建模块，被配置为构建检索文本处理网络、检索图像处理网络和文本及图像再处理网络，利用检索文本处理网络、检索图像处理网络和文本及图像再处理网络构建检索模型；获取模块，被配置为获取用户输入的检索文本以及图像数据库中的待匹配图像，将检索文本和待匹配图像输入检索模型，在检索模型内部：第一处理模块，被配置为通过检索文本处理网络处理检索文本，得到文本特征；第二处理模块，被配置为通过检索图像处理网络处理待匹配图像，得到图像特征；第三处理模块，被配置为通过文本及图像再处理网络处理文本特征和图像特征，得到多模态特征；相乘模块，被配置为将文本特征和多模态特征相乘，得到文本多模态特征，将图像特征和多模态特征相乘，得到图像多模态特征；计算模块，被配置为计算文本多模态特征和图像多模态特征之间的余弦相似度，当余弦相似度大于预设阈值，确定待匹配图像为检索文本所检索的图像。

4、本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

5、本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

6、本申请实施例与现有技术相比存在有益效果是：构建检索文本处理网络、检索图像处理网络和文本及图像再处理网络，利用检索文本处理网络、检索图像处理网络和文本及图像再处理网络构建检索模型；获取用户输入的检索文本以及图像数据库中的待匹配图像，将检索文本和待匹配图像输入检索模型，在检索模型内部：通过检索文本处理网络处理检索文本，得到文本特征；通过检索图像处理网络处理待匹配图像，得到图像特征；通过文本及图像再处理网络处理文本特征和图像特征，得到多模态特征；将文本特征和多模态特征相乘，得到文本多模态特征，将图像特征和多模态特征相乘，得到图像多模态特征；计算文本多模态特征和图像多模态特征之间的余弦相似度，当余弦相似度大于预设阈值，确定待匹配图像为检索文本所检索的图像。采用上述技术手段，可以解决现有技术中跨模态检索准确率低的问题，进而提高跨模态检索准确率。

技术特征：

1.一种检索方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，构建检索文本处理网络、检索图像处理网络和文本及图像再处理网络，包括：

3.根据权利要求2所述方法，其特征在于，通过所述检索文本处理网络处理所述检索文本，得到文本特征，包括：

4.根据权利要求2所述方法，其特征在于，通过所述检索图像处理网络处理所述待匹配图像，得到图像特征，包括：

5.根据权利要求2所述方法，其特征在于，通过所述文本及图像再处理网络处理所述文本特征和所述图像特征，得到多模态特征，包括：

6.根据权利要求1所述方法，其特征在于，将所述检索文本和所述待匹配图像输入所述检索模型之前，所述方法还包括：

7.根据权利要求6所述方法，其特征在于，通过如下公式计算第j张训练图像的损失lossj：

8.一种检索装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。

技术总结
本申请提供了一种检索方法及装置。该方法包括：获取用户输入的检索文本以及图像数据库中的待匹配图像，将检索文本和待匹配图像输入检索模型，在检索模型内部：通过检索文本处理网络处理检索文本，得到文本特征；通过检索图像处理网络处理待匹配图像，得到图像特征；通过文本及图像再处理网络处理文本特征和图像特征，得到多模态特征；将文本特征和多模态特征相乘，得到文本多模态特征，将图像特征和多模态特征相乘，得到图像多模态特征；计算文本多模态特征和图像多模态特征之间的余弦相似度，当余弦相似度大于预设阈值，确定待匹配图像为检索文本所检索的图像。采用上述技术手段，解决现有技术中跨模态检索准确率低的问题。

技术研发人员：岳华东
受保护的技术使用者：深圳须弥云图空间科技有限公司
技术研发日：
技术公布日：2024/6/20