用于文本到图像替换的视觉搜索确定的制作方法

本公开一般地涉及基于确定的视觉意图用图像替换文本。更具体地，本公开涉及处理文本串、确定视觉意图以及提供用于图像插入的界面。

背景技术：

1、搜索查询可以包括用于搜索特定项和/或特定知识片段的文本输入。例如，用户可能想要知道特定体育比赛的得分。可替代地，用户可能想要更多地了解历史人物，或者可能想要找到企业的联系地址。

2、另外，用户可以利用搜索查询来找到要购买的特定对象和/或找到特定位置。对特定对象和地点的搜索查询可能涉及描述性术语，这些描述性术语可以缩小获得的搜索结果，但可能无法捕获用户试图提供的细节。

技术实现思路

1、本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中学习，或者可以通过实施例的实践来学习。

2、本公开的一个示例方面涉及一种用于多模态搜索的计算机实现的方法。该方法可以包括由包括一个或多个处理器的计算系统获得搜索查询。搜索查询可以包括一个或多个词。该方法可以包括由计算系统确定一个或多个词包括视觉意图。在一些实施方式中，视觉意图可以与一个或多个视觉特征相关联。该方法可以包括由计算系统提供用于显示的图像选择界面。图像选择界面可以包括用于选择的多个图像。在一些实施方式中，可以基于对包括视觉意图的一个或多个词的确定来提供图像选择界面以供显示。该方法可以包括由计算系统获得选择数据。选择数据可以描述图像的选择。该方法可以包括由计算系统提供图像以作为一个或多个词的替换来显示。在一些实施方式中，该方法可以包括由计算系统确定与图像相关联的一个或多个搜索结果，并且由计算系统提供一个或多个搜索结果作为输出。

3、在一些实施方式中，提供用于显示的图像选择界面可以包括由计算系统提供用户界面元素。用户界面元素可以描述文本替换选项。提供用于显示的图像选择界面可以包括由计算系统获得第一输入数据。第一输入数据可以描述文本替换选项的第一选择。提供用于显示的图像选择界面可以包括由计算系统基于第一输入数据提供用于显示的图像选择界面。

4、在一些实施方式中，可以经由搜索结果页面提供一个或多个搜索结果。搜索结果页面可以包括显示图像的查询框。搜索结果页面可以包括用于显示与一个或多个搜索结果相关联的信息的搜索结果面板。在一些实施方式中，搜索查询可以包括一个或多个附加词。可以至少部分地基于一个或多个附加词来确定一个或多个搜索结果。在一些实施方式中，获得搜索查询可以包括经由搜索界面的查询框获得搜索查询。一个或多个搜索结果可以包括一个或多个图像搜索结果。在一些实施方式中，一个或多个搜索结果可以包括描述与图像的一个或多个视觉特征相关联的产品的一个或多个产品搜索结果。

5、本公开的另一示例方面涉及一种用于文本到图像替换的计算系统。该系统可以包括一个或多个处理器和一个或多个非暂时性计算机可读介质，其共同存储指令，该指令在由一个或多个处理器执行时，使计算系统执行操作。操作可以包括获得文本数据。文本数据可以描述多个文本字符。操作可以包括处理文本数据以确定多个文本字符的子集包括视觉描述性术语。在一些实施方式中，视觉描述性术语可以与一个或多个视觉特征相关联。操作可以包括提供用于显示的图像选择界面。图像选择界面可以包括用于选择的多个图像。在一些实施方式中，可以至少部分地基于视觉描述性术语来获得多个图像。操作可以包括获得选择数据。选择数据可以描述图像的选择。操作可以包括提供图像以作为多个文本字符的子集的替换来显示。

6、在一些实施方式中，提供用于显示的图像选择界面可以包括提供用于显示的指示器(indicator)。指示器可以描述用于用图像数据替换视觉描述性术语的文本替换选项。提供用于显示的图像选择界面可以包括获得第一输入数据。第一输入数据可以描述文本替换选项的第一选择。提供用于显示的图像选择界面可以包括基于第一输入数据提供用于显示的图像选择界面。在一些实施方式中，指示器可以包括以与多个文本字符的剩余字符不同的一种或多种颜色显示的多个文本字符的子集。

7、在一些实施方式中，多个文本字符可以包括多个文本字符的子集和第二子集。操作可以包括处理图像和第二子集以确定多个搜索结果。可以基于图像和第二子集来确定多个搜索结果。操作可以包括在搜索结果页面界面中提供多个搜索结果。在一些实施方式中，可以通过以下方式获得多个图像：用多个文本字符的子集查询搜索引擎并接收多个图像。可以通过确定用户特定的图像数据库中的图像数据与一个或多个视觉特征相关联来获得多个图像。与一个或多个视觉特征相关联的图像数据可以包括多个图像。

8、在一些实施方式中，提供用于显示的图像选择界面可以包括提供图像搜索选项、用户图像数据库选项和图像捕获选项。图像搜索选项可以包括用多个文本字符的子集查询计算系统的网络。用户图像数据库选项可以包括从用户图像数据库获得图像。图像捕获选项可以包括利用用户设备的一个或多个图像传感器。在一些实施方式中，可以基于历史搜索数据来确定视觉描述性术语。历史搜索数据可以描述先前用于获得一个或多个图像搜索结果的多个术语。在一些实施方式中，可以基于用语义理解模型处理文本数据来确定视觉描述性术语。

9、本公开的另一示例方面涉及共同存储指令的一个或多个非暂时性计算机可读介质，所述指令在由一个或多个计算设备执行时，使所述一个或多个计算设备执行操作。操作可以包括获得多个词。多个词可以包括一个或多个特定词和一个或多个附加词。操作可以包括确定多个词中的一个或多个特定词包括视觉意图。在一些实施方式中，视觉意图可以与一个或多个视觉特征相关联。操作可以包括提供多个词以与标识一个或多个特定词的指示器一起显示。操作可以包括确定与一个或多个特定词相关联的多个图像。多个图像可以与视觉意图相关联。操作可以包括在用户界面面板中提供多个图像。在一些实施方式中，用户界面面板可以包括与多个图像相关联的多个交互式用户界面元素。操作可以包括获得对多个图像中的特定图像的选择，并且提供一个或多个附加词和特定图像以用于在没有一个或多个特定词的情况下输出。

10、在一些实施方式中，操作可以包括处理输出以生成翻译输出。可以至少部分地基于特定图像来生成翻译输出。操作可以包括将输出提供给搜索引擎并接收多个搜索结果。在一些实施方式中，多个搜索结果可以与一个或多个附加词和特定图像相关联。

11、本公开的其他方面涉及各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。

12、参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与描述一起用于解释相关原理。

技术特征：

1.一种用于多模态搜索的计算机实现的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，由所述计算系统提供用于显示的图像选择界面包括：

3.根据权利要求1所述的方法，其中，所述一个或多个搜索结果是经由搜索结果页面提供的，其中，所述搜索结果页面包括显示所述图像的查询框，并且其中，所述搜索结果页面包括用于显示与所述一个或多个搜索结果相关联的信息的搜索结果面板。

4.根据权利要求1所述的方法，其中，所述搜索查询包括一个或多个附加词，其中，至少部分地基于所述一个或多个附加词来确定所述一个或多个搜索结果。

5.根据权利要求1所述的方法，其中，获得所述搜索查询包括经由搜索界面的查询框获得所述搜索查询。

6.根据权利要求1所述的方法，其中，所述一个或多个搜索结果包括一个或多个图像搜索结果。

7.根据权利要求1所述的方法，其中，所述一个或多个搜索结果包括一个或多个产品搜索结果，所述一个或多个产品搜索结果描述与所述图像的一个或多个视觉特征相关联的产品。

8.一种用于文本到图像替换的计算系统，所述系统包括：

9.根据权利要求8所述的系统，其中，提供用于显示的图像选择界面包括：

10.根据权利要求9所述的系统，其中，所述指示器包括以与所述多个文本字符中的剩余字符不同的一种或多种颜色显示的所述多个文本字符的子集。

11.根据权利要求8所述的系统，其中，所述多个文本字符包括所述多个文本字符的所述子集和第二子集；并且

12.根据权利要求8所述的系统，其中，所述多个图像通过以下方式获得：

13.根据权利要求8所述的系统，其中，通过确定用户特定的图像数据库中的图像数据与所述一个或多个视觉特征相关联来获得所述多个图像，

14.根据权利要求8所述的系统，其中，提供用于显示的图像选择界面包括：

15.根据权利要求8所述的系统，其中，所述视觉描述性术语是基于历史搜索数据来确定的。

16.根据权利要求15所述的系统，其中，所述历史搜索数据描述先前用于获得一个或多个图像搜索结果的多个术语。

17.根据权利要求8所述的系统，其中，所述视觉描述性术语是基于用语义理解模型处理文本数据来确定的。

18.一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质共同存储指令，所述指令在由一个或多个计算设备执行时，使所述一个或多个计算设备执行操作，所述操作包括：

19.根据权利要求18所述的一个或多个非暂时性计算机可读介质，其中，所述操作还包括：

20.根据权利要求18所述的一个或多个非暂时性计算机可读介质，其中，所述操作还包括：

技术总结
用于文本替换的系统和方法可以包括视觉意图的确定，其可以触发用于选择图像以替换视觉描述符的界面。可以标识视觉描述性术语，并且可以提供指示器以指示可以被发起的文本替换选项。然后，用户可以选择图像来替换视觉描述性术语。

技术研发人员：H·卡班达,C·J·凯利,P·尤塞夫
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/4/22