技术特征：
1.一种用于相对于查询对象和在图形中表示的对象执行相似性搜索的方法，所述方法包括：标识针对所述相似性搜索的模态；至少基于针对所述相似性搜索标识的所述模态并且还基于在所述查询对象与所述图形中的现存节点的子集之间标识的新连接，来生成针对所述查询对象的嵌入；以及向包括针对所述查询对象的所述嵌入的所述相似性搜索供应输入，以获得包括在所述图形中表示的一个或多个相似对象的结果。2.根据权利要求1所述的方法，还包括在所述图形上训练机器学习模型，其中所述图形包括：所述现存节点，其中所述现存节点包括与所述对象相对应的对象节点和与标签相对应的标签节点；以及代表现存连接的现存边，其中所述现存连接包括相似对象之间的对象
‑
对象连接、以及所述对象中的至少一些对象与所述标签之间的对象
‑
标签连接。3.根据权利要求2所述的方法，其中生成针对所述对象的所述嵌入包括：基于针对所述相似性搜索标识的所述模态，来标识所述查询对象与所述图形中的所述现存节点的所述子集之间的所述新连接；向所述机器学习模型提交输入，其中所述输入包括所述查询对象和所述新连接；以及从所述机器学习模型获得输出，其中所述输出包括针对所述查询对象的所述嵌入。4.根据权利要求3所述的方法，其中标识所述查询对象与所述图形中的所述现存节点的所述子集之间的所述新连接包括：标识最像所述查询对象的所述对象的前k个子集；标识与所述对象的所述前k个子集相关联的一个或多个标签；以及在所述新连接中包括以下至少一项：所述查询对象与所述对象的所述前k个子集之间的新对象
‑
对象连接，以及所述查询对象和与所述对象的所述前k个子集相关联的所述一个或多个标签之间的一个或多个新对象
‑
标签连接。5.根据权利要求4所述的方法，其中：当所述模态包括可视模态时，所述新连接包括所述新对象
‑
对象连接并且排除所述一个或多个新对象
‑
标签连接；并且当所述模态包括概念模态时，所述新连接包括所述新对象
‑
对象连接中的一个或多个新对象
‑
对象连接和所述新对象
‑
标签连接中的所述一个或多个新对象
‑
标签连接。6.根据权利要求2所述的方法，其中生成针对所述主体的所述嵌入包括：基于所述对象的最近邻搜索，来标识所述查询对象与所述图形中的所述现存节点的所述子集之间的所述新连接；向所述机器学习模型提交输入，其中所述输入包括所述查询对象和所述新连接；从所述机器学习模型获得输出，其中所述输出包括针对所述查询对象的初始嵌入；生成针对所述查询对象的标签嵌入；以及组合所述初始嵌入和所述标签嵌入，以基于由所述模态指定的加权来产生所述嵌入。7.根据权利要求6所述的方法，其中：当所述模态包括概念模态时，所述加权在所述初始嵌入与所述标签嵌入的所述组合中
强调所述标签嵌入，与当所述模态包括可视模态时相比强调更多；以及当所述模态包括所述可视模态时，所述加权在所述初始嵌入与所述标签嵌入的所述组合中强调所述标签嵌入，与当所述模态包括所述概念模态时相比强调更少。8.根据权利要求1所述的方法，其中标识所述模态包括：接收用户输入，所述用户输入包括从可能模态的范围中对所述模态的选择，所述可能模态包括可视模态和概念模态。9.根据权利要求1所述的方法，其中：所述查询对象包括查询图像；所述对象包括由所述图形中的节点表示的现存图像；并且在所述图形中表示的所述一个或多个相似对象包括所述现存图像中的所述查询图像的k个最近邻。10.根据权利要求9所述的方法，其中所述方法还包括：基于针对所述查询图像生成的所述嵌入，针对所述现存图像中的所述查询图像的所述k个最近邻执行所述相似性搜索。11.一种计算装置，包括：一个或多个计算机可读存储介质；一个或多个处理器，所述一个或多个处理器与所述一个或多个计算机可读存储介质操作地耦合；以及程序指令，所述程序指令被存储在所述一个或多个计算机可读存储介质上，所述程序指令在由所述一个或多个处理器执行时指导所述计算装置至少：确定针对相似性搜索的模态，所述相似性搜索要相对于查询对象和在图形中表示的对象被执行；基于针对所述相似性搜索确定的所述模态，来标识所述查询对象与所述图形中的现存节点的子集之间的新连接；向机器学习模型提交输入，其中所述输入包括所述查询对象和所述新连接；从所述机器学习模型获得输出，其中所述输出包括针对所述查询对象的嵌入；以及向包括针对所述查询对象的所述嵌入的所述相似性搜索供应输入，以获得包括在所述图形中表示的一个或多个相似对象的结果。12.根据权利要求11所述的计算装置，其中所述图形包括：所述现存节点，其中现存节点包括与所述对象相对应的对象节点和与标签相对应的标签节点；以及代表现存连接的现存边，其中所述现存连接包括所述对象的相似对之间的对象
‑
对象连接、以及所述标签与所述对象中的至少一些对象之间的对象
‑
标签连接。13.根据权利要求12所述的计算装置，其中为了标识所述查询对象与所述现存节点的所述子集之间的所述新连接，所述程序指令指导所述计算装置：标识最像所述查询对象的所述对象的前k个子集；以及标识与所述对象的所述前k个子集相关联的一个或多个标签；以及在所述新连接中包括以下一项或多项：所述查询对象与所述对象的所述前k个子集之间的新对象
‑
对象连接，以及所述查询对象与所述一个或多个标签之间的一个或多个新对象
‑
标签连接。14.根据权利要求13所述的计算装置，其中：
当所述模态包括可视模态时，所述新连接包括所述新对象
‑
对象连接并且排除所述一个或多个新对象
‑
标签连接；并且当所述模态包括概念模态时，所述新连接包括所述新对象
‑
对象连接中的一个或多个新对象
‑
对象连接和所述新对象
‑
标签连接中的所述一个或多个新对象
‑
标签连接。15.根据权利要求11所述的计算装置，其中为了标识所述模态，所述程序指令指导所述计算装置接收用户输入，所述用户输入包括从可能模态的集合中对所述模态的选择，所述可能模态包括可视模态和概念模态。16.根据权利要求11所述的计算装置，其中：所述查询对象包括查询图像；所述其他对象包括由所述图形中的所述现存节点表示的现存图像；并且在所述图形中表示的所述一个或多个相似对象包括所述现存图像中的所述查询图像的k个最近邻。17.根据权利要求16所述的计算装置，其中所述程序指令还指导所述计算装置：基于针对所述查询图像获得的所述嵌入，针对所述现存图像中的所述查询图像的所述k个最近邻执行所述相似性搜索。18.一种在其中存储有程序指令的一个或多个计算机可读存储介质，所述程序指令在由处理系统执行时指导计算装置至少：确定针对相似性搜索的模态，所述相似性搜索要相对于查询对象被执行；基于在图形中表示的对象的最近邻搜索并且基于针对所述相似性搜索确定的所述模态，来标识所述查询对象与所述图形中的所述对象的子集之间的一个或多个连接；向机器学习模型提交输入，其中所述输入包括所述查询对象以及所述查询对象与所述对象的所述子集之间的所述连接；从所述机器学习模型获得输出，其中所述输出包括针对所述查询对象的初始嵌入；获得针对与所述查询对象相关联的至少一个标签的标签嵌入；组合所述初始嵌入和所述标签嵌入，以基于由所述模态指定的加权来产生组合嵌入；以及向包括针对所述查询对象的所述组合嵌入的所述相似性搜索供应输入，以获得包括在所述图形中表示的一个或多个相似对象的结果。19.根据权利要求18所述的一个或多个计算机可读存储介质，其中：当所述模态包括概念模态时，所述加权在所述初始嵌入与所述标签嵌入的所述组合中强调所述标签嵌入，与当所述模态包括可视模态时相比强调更多；并且当所述模态包括所述可视模态时，所述加权在所述初始嵌入与所述标签嵌入的所述组合中强调所述标签嵌入，与当所述模态包括所述概念模态时相比强调更少。20.根据权利要求18所述的一个或多个计算机可读存储介质，其中：所述查询对象包括查询图像；所述对象包括由所述图形中的节点表示的现存图像；并且在所述图形中表示的所述一个或多个相似对象包括所述现存图像中的所述查询图像的k个最近邻。
技术总结
本公开的实施例涉及多模态相似性搜索的统一框架。本文公开了一种用于增强型相似性搜索的技术。在实现中，搜索环境包括一个或多个计算硬件、软件和/或固件组件以支持增强型相似性搜索。一个或多个组件标识相对于查询对象的相似性搜索的模态。组件基于模态并且基于查询对象与图形中的邻近节点之间的连接，来生成针对查询对象的嵌入。针对查询对象的嵌入为类似对象的搜索提供了基础。似对象的搜索提供了基础。似对象的搜索提供了基础。
技术研发人员：P
受保护的技术使用者：奥多比公司
技术研发日：2021.02.05
技术公布日：2021/10/22