集中式设备上图像搜索的制作方法

集中式设备上图像搜索
1.相关申请的交叉引用
2.本专利申请要求2021年6月4日提交的美国临时专利申请第63/197226号的权益，该专利申请中的每篇专利申请全文以引用方式并入本文以用于所有目的。
技术领域
3.本说明书大体上涉及图像文件，包括在电子设备上的图像文件的索引和搜索。


背景技术：

4.系统范围的文件搜索允许用户基于文件名、文件类型、创建时间和修改时间搜索文件。维护某些类型文件的应用程序也可以维护关于超出文件名和时间戳的那些文件的描述性信息。不同的应用程序还可以维护相同类型的文件的不同的描述性信息。
附图说明
5.本主题技术的一些特征在所附权利要求书中被示出。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。
6.图1为根据本主题技术的一个或多个具体实施的示出了电子设备的部件的框图。
7.图2示出了根据本主题技术的各方面的用于维护图像文件的设备上索引并且针对设备上索引进行查询的示例性过程。
8.图3示出了根据本主题技术的各方面的图形用户界面的第一结果屏幕。
9.图4示出了根据本主题技术的各方面的图形用户界面的第二结果屏幕。
10.图5示出了根据一个或多个具体实施的可用于实现本主题技术的各个方面的示例性电子系统。
具体实施方式
11.下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，主题技术不限于本文所述的具体细节，并且可使用一个或多个其他具体实施来实践。在一个或多个具体实施中，以框图形式示出了结构和部件，以便避免使本主题技术的概念模糊。
12.应用程序维护关于应用程序维护的内容或文件的不同类型的信息。例如，照片应用程序可以对图像文件执行场景分析并将场景分析的结果存储为与图像文件相关联的元数据。场景分析可以包括但不限于对象识别、面部识别、特点分析、地理位置等。其他应用程序可以维护用于由那些应用程序维护的图像文件的不同类型的信息。例如，即时消息应用程序可以存储关于图像文件的发送者和接收者、接收时间等的元数据。
13.本主题技术提出扩展系统范围搜索功能以涵盖由在电子设备上执行的应用程序生成和维护的元数据以及与图像文件相关联的系统范围元数据。根据本主题技术的各方
面，应用程序可贡献图像文件和/或与图像文件相关联的元数据以包括在设备上索引中。例如，图像文件可以是照片、图形图像、视频文件、多媒体文件。可以进一步从系统范围的视角处理图像文件和相关联的元数据以生成与图像文件相关联的附加元数据。处理可以包括对图像文件执行光学字符识别(ocr)以识别图像内包含的文本。可以基于图像文件和与图像文件一起贡献的相关联的元数据以及随后从系统范围的视角生成的附加元数据来更新设备上索引。
14.可以针对设备上索引执行搜索查询以识别跨安装在电子设备上的应用程序存储的图像文件。搜索结果可以包括其捕获在相关联的元数据中的语义描述匹配搜索查询的一些或全部的图像文件和/或包含匹配搜索查询的一些或全部的文本的图像文件。根据本主题技术的各方面，可以提供跨已贡献图像文件的所有应用程序的排名靠前的搜索结果以用于在第一结果屏幕中显示。在选择用户界面示能表示后，可以将搜索结果组织成群组并被提供用于在第二结果屏幕中作为群组显示。这些群组可以基于贡献图像文件的应用程序，并且可以基于语义描述或基于图像内发现的文本分离与搜索查询匹配的图像文件。在选择另一用户界面示能表示后，可以启动贡献在搜索结果中显示的图像文件的应用程序和/或将其带到前台，以允许用户继续在该应用程序内搜索活动。
15.图1为根据本主题技术的一个或多个具体实施的示出了电子设备的部件的框图。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
16.在图1所描绘的示例中，电子设备100包括处理器110和存储器120。处理器110可包括使得能够处理数据和/或控制电子设备100的操作的适当逻辑部件、电路和/或代码。就这一点而言，处理器110可被启用以向电子设备100的各个其他部件提供控制信号。处理器110也可控制电子设备100的各部分之间的数据传输。另外，处理器110可使得能够实施操作系统或以其他方式执行代码以管理电子设备100的操作。
17.处理器110或其一个或多个部分可在软件(例如，指令、子例程、代码)中实现，可在硬件(例如专用集成电路(asic)、现场可编程门阵列(fpga)、可编程逻辑器件(pld)、控制器、状态机、门控逻辑部件、分立硬件部件或任何其他合适的设备)中实现，和/或可在软件和硬件两者的组合中实现。
18.存储器120可包括使得能够存储各种类型信息的适当逻辑部件、电路和/或代码，诸如所接收的数据、生成的数据、代码和/或配置信息。存储器120可包括例如随机存取存储器(ram)、只读存储器(rom)、闪存存储器和/或磁性存储装置。如图1中所描绘，存储器120包含照片模块130、客户端模块140、搜索模块150、ocr模块160和设备上索引170。本主题技术不限于所述数目和类型的这些部件，并且可以使用比图1中所描绘的更多的部件或更少的部件来实现。
19.根据本主题技术的各方面，照片模块130包括具有一个或多个指令或代码序列以及相关联的数据和设置的计算机程序。在执行指令或代码时，发起一个或多个过程以提供被配置为编辑和维护电子设备100上的图像文件的照片应用程序。照片应用程序可以被配置为对图像文件执行场景分析。场景分析可以包括但不限于对象识别、面部识别、特点分析
以识别图像中的感兴趣部分等。场景分析结果可以被存储为与对应图像文件相关联的元数据。
20.照片应用程序可以被进一步配置为基于知识图补充与图像相关联的元数据。知识图可以包含照片应用程序可访问的可用于进一步表征或描述图像文件的信息。例如，应用程序的知识图可以包括来自地图和日历应用程序的数据，所述数据将促进识别图像文件的上下文以识别基于地理位置或其他信息由图像文件捕获的位置和/或事件。
21.根据本主题技术的各方面，客户端模块140包括具有一个或多个指令或代码序列以及相关联的数据和设置的计算机程序。在执行指令或代码时，发起一个或多个过程以提供维护图像文件的客户端应用程序。客户端模块140和所提供的客户端应用程序旨在表示维护图像文件的任何客户端应用程序。例如，客户端应用程序可以是发送和接收图像文件的即时消息应用程序。类似于照片应用程序，即时消息应用程序可以生成与已经发送和/或接收的图像文件相关联的元数据。元数据可以包括发送者、接收者、发送/接收时间等。也像照片应用程序一样，即时消息应用程序可以基于包含即时消息应用程序可访问的信息的知识图来补充元数据。例如，知识图可以包括联系人及其相关联的信息以及与各个联系人通信的频率和新近度。
22.根据本主题技术的各方面，搜索模块150包括具有一个或多个指令或代码序列以及相关联的数据和设置的计算机程序。在执行指令或代码时，发起一个或多个过程以向电子设备100的用户提供搜索能力。在一个或多个具体实施中，搜索模块的功能可被分为两个类别。首先，搜索模块150可以被配置为维护设备上索引170。第二，搜索模块150可以被配置为针对设备上索引170执行查询，对结果进行排序，并且提供用于在电子设备100上显示的结果。
23.照片应用程序和客户端应用程序可以被配置为贡献图像文件和相关联的元数据以包括在设备上索引170中。搜索模块150可以被配置为从电子设备100上的应用程序接收图像文件(和/或其缩略图或其链接)和相关联的元数据，并且基于图像文件和相关联的元数据更新设备上索引170。搜索模块150可以被进一步配置为通过基于包含搜索模块150可访问的信息的知识图处理图像文件和相关联的元数据来补充相关联的元数据。该信息可以包括相对于图像文件的用户活动，其已经通过电子设备100上与那些图像文件相关联的应用程序贡献为元数据。搜索模块150的知识图可以允许搜索模块150确定电子设备100的用户与跨电子设备100上的不同应用程序的联系人交互的频率和新近度，并且相应地对那些联系人进行排序。
24.在一个或多个具体实施中，搜索模块150可以提供通用搜索框，以允许用户输入搜索查询以进行跨电子设备100上的应用程序和其他内容的系统范围搜索。搜索模块150可以利用输入的搜索查询来查询设备上索引170，并且提供响应于搜索查询而识别的候选图像文件以显示给用户。在一个或多个具体实施中，搜索模块150可以应用自然语言处理以在查询设备上索引之前精炼由用户输入的搜索查询。例如，如果搜索查询是“伦敦照片2019”，则自然语言处理可以从搜索查询中移除“照片”和“2019”，以提供对感兴趣的主题“伦敦”的更大范围的搜索。可基于根据相对于搜索查询的相关性的排序、基于哪些应用程序在维护特定候选图像文件、基于相对于候选图像文件的用户活动等将候选图像文件组织成组。下文更详细地描述这些不同组的示例。
25.根据本主题技术的各方面，ocr模块160包括具有一个或多个指令或代码序列以及相关联的数据和设置的计算机程序。在执行指令或代码时，发起一个或多个过程以提供对贡献给设备上索引170的图像文件的光学字符识别处理。可以将图像文件中识别的任何文本作为与图像文件相关联的元数据添加。ocr模块160可以在处理图像文件时识别多个文本候选。ocr模块160可将多于一个文本候选(例如，三个)保持在元数据中，作为图像文件中发现的字符的可能匹配。虽然ocr模块160被描述为电子设备100中的单独模块，但在一个或多个具体实施中，ocr模块160可以是照片模块130、客户端模块140和/或搜索模块150的一部分。
26.根据本主题技术的各方面，维护在设备上索引170中的数据保持在电子设备100上，并且不与和电子设备100通信的其他设备共享。此外，在一个或多个具体实施中，维护在设备上索引170中的数据不与在电子设备100上执行的应用程序共享。因此，贡献了图像文件以及相关联的元数据的应用程序不具有可以通过搜索模块150和/或ocr模块160与图像文件相关联地添加的任何补充元数据。
27.图2示出了根据本主题技术的各方面的用于维护图像文件的设备上索引并且针对设备上索引进行查询的示例性过程。出于说明的目的，过程200的框在本文中被描述为顺序地或线性地发生。然而，过程200的多个框可并行地发生。此外，过程200的框不必按所示顺序执行，并且/或者过程200的一个或多个框不必执行和/或可由其他操作替代。
28.当搜索模块150中执行的过程从在电子设备100上执行的应用程序中的一个接收到图像文件和相关联的第一组元数据的贡献时，可以在电子设备上发起过程200(框210)。该过程可以直接接收图像文件和相关联的第一组元数据，或者可以接收图像文件和相关联的第一组元数据的位置的标识符。在接收到图像文件和相关联的第一组元数据时，过程更新设备上索引以包括图像文件和相关联的第一组元数据(框220)。
29.搜索模块150中的过程通过处理图像文件和相关联的第一组元数据以生成与图像文件相关联的第二组元数据来继续(框230)。在一个或多个具体实施中，可以通过对图像文件执行光学字符识别或通过参考跨一个或多个应用程序的相对于图像文件和/或相对于其他用户的用户活动的知识图来完成该处理。该过程利用与图像文件相关联的第二组元数据更新设备上索引(框240)。
30.根据本主题技术的各方面，在搜索模块150中执行的过程倾听待输入到由电子设备100显示的通用搜索框的图像搜索查询(框250)。在接收到图像搜索查询时，该过程通过针对设备上索引查询接收到的图像搜索查询的语言来从设备上索引识别候选图像文件(框260)。
31.搜索模块150中的过程可在提供候选图像文件以用于由电子设备100显示之前对它们进行排序和组织(框270)。图3示出了根据本主题技术的各方面的图形用户界面的第一结果屏幕。如图3所描绘，第一结果屏幕300包括通用搜索框310、候选图像文件320和用户界面示能表示330。如上所述，用户可以在通用搜索框310中输入图像搜索查询。可以对得自对设备上索引的查询的来自所有应用程序的候选图像文件进行排序，并且排名靠前的候选图像文件320显示在第一结果屏幕300中。候选图像文件320可以被呈现为缩略图图像，以为了结果屏幕而对外观进行标准化。虽然第一结果屏幕300示出了八个候选图像文件，但是本主题技术不限于第一结果屏幕300上呈现的候选图像文件的数目。在本主题技术的其他具体
实施中可以呈现多于或少于八个候选图像文件。
32.在一个或多个具体实施中，用户界面示能表示330的用户选择将电子设备100的显示器转换为第二结果屏幕。图4示出了根据本主题技术的各方面的图形用户界面的第二结果屏幕。如图4中所描绘，第二结果屏幕400包括通用搜索框410、候选图像文件群组420、430、440和450以及用户界面示能表示460、470、480和490。类似于图3中所描绘的候选图像文件的群组，图4中的每个群组包括作为标准化缩略图图像呈现的八个候选图像文件。本主题技术不限于这种布置，并且每个群组可以包含多于或少于八个候选图像文件，并且图像可能不以标准化格式呈现。
33.在一个或多个具体实施中，第二结果屏幕400基于将图像文件贡献给设备上索引的应用程序来组织候选图像文件。例如，候选图像文件群组420可以是第一组候选图像文件，该第一组候选图像文件从针对设备上索引执行的图像搜索查询中排名靠前并由照片应用程序贡献。候选图像文件群组440可以是第二组候选图像文件，该第二组候选图像文件从针对设备上索引执行的图像搜索查询中排名靠前并由客户端应用程序贡献。用户界面示能表示460或480的用户选择可以启动对应应用程序，诸如针对示能表示460的照片应用程序或针对示能表示480的客户端应用程序，以继续在应用程序内搜索图像文件。搜索模块可以将输入的图像搜索查询传递到应用程序的原生搜索过程中，诸如经由应用程序编程接口(api)。
34.在一个或多个具体实施中，候选图像文件群组430可以是对其执行光学字符识别的第一组候选图像文件，并且确定图像文件包含至少部分地匹配(精确术语匹配、模糊匹配等)图像搜索查询的文本并由照片应用程序贡献。类似地，候选图像文件群组450可以是对其执行光学字符识别的第二组候选图像文件，并且确定图像文件包含至少部分地匹配图像搜索查询的文本并由客户端应用程序贡献。在这两组候选图像文件中，被识别为至少部分地匹配图像搜索查询的文本可以在所显示的图像中突出显示以引起用户对所识别文本的注意。用户界面示能表示470或490的用户选择可以启动对应应用程序，诸如针对示能表示470的照片应用程序或针对示能表示490的客户端应用程序，以在应用程序具有光学字符识别功能的情况下继续在对应的应用程序内进行文本识别搜索。如果对应的应用程序不具有此功能，则对示能表示470或示能表示490的选择可以转变到结果屏幕，该结果屏幕示出从对应的应用程序贡献的与图像搜索查询至少部分匹配的更多的候选图像文件。
35.根据本主题技术的方面，在结果屏幕300或结果屏幕400中对任何所显示的候选图像文件的用户选择可以转变到对仅所选候选图像文件的一次性显示。还可以将另外的用户界面示能表示与候选图像文件一起显示。对另外的用户界面示能表示的选择可以启动将候选图像文件贡献到设备上索引的应用程序。
36.图5示出了可利用以实现本主题技术的一个或多个具体实施的电子系统500。电子系统500可以是图1所示的电子设备100，并且/或者可以是其一部分。电子系统500可包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统500包括总线508、一个或多个处理单元512、系统存储器504(和/或缓存)、rom 510、永久性存储设备502、输入设备接口514、输出设备接口506以及一个或多个网络接口516，或其子集及变体形式。
37.总线508总体表示通信地连接电子系统500的许多内部设备的全部系统总线、外围
设备总线和芯片组总线。在一个或多个具体实施中，总线508将一个或多个处理单元512与rom 510、系统存储器504和永久性存储设备502通信地连接。一个或多个处理单元512从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行本主题公开的过程。在不同的具体实施中，一个或多个处理单元512可为单个处理器或者多核处理器。
38.rom 510存储一个或多个处理单元512以及电子系统500的其他模块所需的静态数据和指令。另一方面，永久性存储设备502可为读写存储器设备。永久性存储设备502可为即使在电子系统500关闭时也存储指令和数据的非易失性存储器单元。在一个或多个具体实施中，海量存储设备(诸如，磁盘或光盘及其对应的磁盘驱动器)可被用作永久性存储设备502。
39.在一个或多个具体实施中，可移除存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)可以用作永久性存储设备502。与永久性存储设备502一样，系统存储器504可为读写存储器设备。然而，与永久性存储设备502不同，系统存储器504可为易失性读写存储器，诸如随机存取存储器。系统存储器504可存储一个或多个处理单元512在运行时可能需要的指令和数据中的任何指令和数据。在一个或多个具体实施中，本主题公开的过程被存储在系统存储器504、永久性存储设备502和/或rom 510中。一个或多个处理单元512从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一个或多个具体实施的过程。
40.总线508还连接至输入设备接口514和输出设备接口506。输入设备接口514使得用户能够向电子系统500传送信息以及选择命令。可与输入设备接口514一起使用的输入设备可包括例如字母数字混合键盘和指向设备(也称为“光标控制设备”)。输出设备接口506可例如使得能够显示电子系统500所生成的图像。可与输出设备接口506一起使用的输出设备可包括例如打印机和显示设备，诸如液晶显示器(lcd)、发光二极管(led)显示器、有机发光二极管(oled)显示器、柔性显示器、平板显示器、固态显示器、投影仪或用于输出信息的任何其他设备。一个或多个具体实施可包括既充当输入设备又充当输出设备的设备，诸如触摸屏。在这些具体实施中，提供给用户的反馈可以是任何形式的感官反馈，诸如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。
41.最后，如图5所示，总线508还通过所述一个或多个网络接口516将电子系统500耦接到一个或多个网络和/或耦接到一个或多个网络节点，诸如图1中所示的内容提供方112。以此方式，电子系统500可为计算机网络(诸如lan、广域网(“wan”)或内联网)的一部分，或者可为网络的网络(诸如互联网)的一部分。电子系统500的任何或全部部件可与本主题公开一起使用。
42.可以利用编写有一个或多个指令的有形计算机可读存储介质(或一种或多种类型的多个有形计算机可读存储介质)部分地或全部地实现本公开范围之内的具体实施。有形计算机可读存储介质实质上也可以是非暂态的。
43.计算机可读存储介质可以是任何可以由通用或专用计算设备读、写或以其他方式访问的存储介质，包括任何能够执行指令的处理电子器件和/或处理电路。例如，非限制地，计算机可读介质可包括任何易失性半导体存储器，诸如ram、dram、sram、t-ram、z-ram和ttram。计算机可读介质也可包括任何非易失性半导体存储器，诸如rom、prom、eprom、
eeprom、nvram、闪存、nvsram、feram、fetram、mram、pram、cbram、sonos、rram、nram、赛道存储器、fjg和millipede存储器。
44.此外，计算机可读存储介质可包括任何非半导体存储器，诸如光盘存储装置、磁盘存储装置、磁带、其他磁性存储设备或者能够存储一个或多个指令的任何其他介质。在一个或多个具体实施中，有形计算机可读存储介质可直接耦接到计算设备，而在其他具体实施中，有形计算机可读存储介质可例如经由一个或多个有线连接、一个或多个无线连接、或它们的任意组合而间接地耦接到计算设备。
45.指令可以是直接能执行的，或者可用于开发可执行指令。例如，指令可被实现为可执行的或不可执行的机器代码，或者可被实现为可被编译以产生可执行的或不可执行的机器代码的高级语言指令。此外，指令也可被实现为数据，或者可包括数据。计算机可执行指令也可以任何格式组织，包括例程、子例程、程序、数据结构、对象、模块、应用、小程序、函数等。如本领域技术人员认识到的那样，包括但不限于指令的数量、结构、序列和组织的细节可明显不同，而不改变底层的逻辑、功能、处理和输出。
46.虽然以上论述主要涉及执行软件的微处理器或多核处理器，但一个或多个具体实施由一个或多个集成电路诸如asic或fpga执行。在一个或多个具体实施中，此类集成电路执行存储在电路自身上的指令。
47.本领域的技术人员将会认识到，本文所述的各种例示性的框、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经一般性地按照功能性对各种例示性的框、模块、元件、部件、方法和算法进行了描述。此类功能性是被实现为硬件还是软件取决于具体应用以及对整个系统施加的设计约束。技术人员对于每个具体应用可通过不同方式实现所描述的功能性。各种部件和框可被不同地布置(例如，以不同的顺序排列，或以不同的方式划分)，而不脱离本主题技术的范围。
48.根据本主题公开，提供了一种方法，其包括从第一应用程序接收第一图像文件和与第一图像文件相关联的第一组元数据，并且基于第一图像文件和第一组元数据更新设备上索引。所述方法还可以包括处理所述第一图像文件和所述第一组元数据以生成第二组元数据并且基于所述第二组元数据更新所述设备上索引。在接收到图像搜索查询时，该过程可以基于图像搜索查询和基于第一组元数据和第二组元数据更新的设备上索引来从设备上索引识别多个候选图像文件，并且响应于图像搜索查询提供多个候选图像文件进行显示。
49.所述第一组元数据可由所述第一应用程序基于包括所述第一应用程序可访问的信息的第一知识图生成，并且所述第二组元数据可基于包括系统范围信息的第二知识图生成，所述第二知识图不同于所述第一知识图。所述方法还可以包括从第二应用程序接收第二图像文件和与所述第二图像文件相关联的第三组元数据，并基于所述第二图像文件和所述第三组元数据更新所述设备上索引。可以处理所述第二图像文件和所述第三组元数据以生成第四组元数据并且可以基于所述第四组元数据更新所述设备上索引。
50.所述多个候选图像文件可包括从所述第一应用程序接收的一个或多个图像文件和从所述第二应用程序接收的一个或多个图像文件。所述第三组元数据可由所述第二应用程序基于包括所述第二应用程序能够访问的信息的第三知识图生成，所述第三知识图不同
于所述第一知识图和所述第二知识图。
51.可提供第一用户界面示能表示以在第一结果屏幕中与所述多个候选图像文件一起显示。可接收对第一用户界面示能表示的选择并且可提供所述多个候选图像文件以在第二结果屏幕中显示，其中所述多个候选图像文件被组织成与从所述第一应用程序接收的图像文件相对应的第一组和与从所述第二应用程序接收的图像文件相对应的第二组。可以提供第二用户界面示能表示以与所述第一组所述多个候选图像文件一起显示。可以接收对所述第二用户界面示能表示的选择，并可响应于对所述第二用户界面示能表示的所述选择而启动所述第一应用程序。
52.处理第一图像文件可以包括对图像文件执行光学字符识别。第二组元数据可以包括来自光学字符识别的结果。第一组元数据可以包括由第一应用程序生成的光学字符识别处理结果。可以使用自然语言处理来处理所接收的图像搜索查询以生成精炼的图像搜索查询。可以基于所述精炼的图像搜索查询来识别所述多个候选图像文件。
53.可以提供一种非暂态计算机可读介质，所述非暂态计算机可读介质存储指令，所述指令当由一个或多个处理器执行时使得所述一个或多个处理器执行操作。所述操作可以包括从第一应用程序接收第一图像文件和与所述第一图像文件相关联的第一组元数据，其中所述第一组元数据由所述第一应用程序基于包括所述第一应用程序可访问的信息的第一知识图生成，并基于所述第一图像文件和所述第一组元数据更新设备上索引。所述操作还可以包括处理所述第一图像文件和所述第一组元数据以生成第二组元数据，其中所述第二组元数据至少部分地基于与所述第一知识图不同的第二知识图生成，并且基于所述第二组元数据更新所述设备上索引。在接收到图像搜索查询时，可以基于所述图像搜索查询从所述设备上索引识别多个候选图像文件，并且可以响应于所述图像搜索查询提供所述多个候选图像文件进行显示。
54.所述操作还可以包括提供第一用户界面示能表示以在第一结果屏幕中与所述多个候选图像文件一起显示，并接收对所述第一用户界面示能表示的选择。响应于对所述第一用户界面示能表示的所述选择，可提供所述多个候选图像文件以在第二结果屏幕中显示。所述多个图像文件可被组织成与具有至少部分地匹配所述图像搜索查询的场景分析结果的图像文件相对应的第一组和与具有至少部分地匹配所述图像搜索查询的光学字符识别结果的图像文件相对应的第二组。
55.处理第一图像文件可以包括对图像文件执行光学字符识别，其中第二组元数据包括来自光学字符识别的结果。第一组元数据可以包括由第一应用程序生成的光学字符识别结果。所述操作还可以包括提供第二用户界面示能表示以与所述第一组所述多个候选图像文件一起显示，接收对所述第二用户界面示能表示的选择，并响应于对所述第二用户界面示能表示的所述选择而启动所述第一应用程序。
56.可以提供一种设备，所述设备包括显示器、存储多个计算机程序和设备上索引的存储器，以及被配置为执行多个计算机程序的指令的一个或多个处理器。所述指令可以包括用于进行以下操作的指令：接收图像搜索查询，基于所述图像搜索查询来从所述设备上索引识别多个候选图像文件，并响应于所述图像搜索查询，在所述显示器上的第一结果屏幕中显示第一组所述多个候选图像文件。所述指令还可以包括用于进行以下操作的指令：在所述显示器上的所述第一结果屏幕中与所述多个候选图像文件一起显示第一用户界面
示能表示，接收对所述第一用户界面示能表示的选择，并响应于所述选择并且在第二结果屏幕中显示第一群组中的第二组所述多个候选图像和不同于所述第一群组的第二群组中的第三组所述多个图像。所述第二组所述多个候选图像可从第一应用程序接收并且所述第三组所述多个候选图像可从第二应用程序接收。
57.所述一个或多个处理器可被进一步配置为执行用于进行以下操作的指令：在所述第二结果屏幕中与所述第二组所述多个候选图像一起显示第二用户界面示能表示，接收对所述第二用户界面示能表示的选择，并响应于对所述第二用户界面示能表示的所述选择，将所述第一应用程序带到所述显示器上的前台。所述一个或多个处理器可被进一步配置为执行用于进行以下操作的指令：在所述第二结果屏幕中显示第三群组中的第四组所述多个候选图像和第四群组中的第五组所述多个候选图像，其中所述第四组所述多个候选图像从所述第一应用程序接收并且所述第五组所述多个候选图像从所述第二应用程序接收。第四组和第五组所述多个候选图像中的每个图像可包含包括所述图像搜索查询的至少一部分的已识别文本。
58.所述一个或多个处理器可被进一步配置为执行用于进行以下操作的指令：从所述第一应用程序接收第一图像文件和与所述第一图像文件相关联的第一组元数据，基于所述第一图像文件和所述第一组元数据更新所述设备上索引，处理所述第一图像文件和所述第一组元数据以生成第二组元数据，并基于所述第二组元数据更新所述设备上索引。所述一个或多个处理器可被进一步配置为执行用于进行以下操作的指令：从所述第二应用程序接收第二图像文件和与所述第二图像文件相关联的第三组元数据，基于所述第二图像文件和所述第三组元数据更新所述设备上索引，处理所述第二图像文件和所述第三组元数据以生成第四组元数据，并基于所述第四组元数据更新所述设备上索引。所述多个候选图像文件可包括从所述第一应用程序接收的一个或多个图像文件和从所述第二应用程序接收的一个或多个图像文件。
59.可以发生从应用程序到其他计算设备的数据的收集和转移。本公开设想，在一些实例中，该所收集的数据可包括唯一地识别或可用于识别具体人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、在线标识符、电话号码、电子邮件地址、家庭地址、图像、与用户的健康或健身级别相关的数据或记录(例如，生命特征测量、药物信息、锻炼信息)、出生日期或任何其他个人信息。
60.本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。本公开还预期个人信息数据有益于用户的用途。例如，健康和健身数据可根据用户的偏好来使用以提供对其总体健康状况的见解，或者可用作对使用技术来追求健康目标的个体的积极反馈。
61.本公开设想负责收集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，将期望此类实体实现和一贯地应用一般公认为满足或超过维护用户隐私的行业或政府所要求的隐私实践。关于使用个人数据的此类信息应当被突出地并能够被用户方便地访问，并应当随数据的收集和/或使用变化而被更新。用户的个人信息应被收集仅用于合法使用。另外，此类收集/共享应仅发生在接收到用户同意或在适用法律中所规定的其他合法根据之后。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人
遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应针对被收集和/或访问的特定类型的个人信息数据调整政策和实践，并使其适用于适用法律和标准，包括可用于施加较高标准的辖区专有的具体考虑因素。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(hipaa)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。
62.不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的具体实施。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就视频会议而言，本技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
63.此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除标识符、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户间汇集数据)和/或其他方法诸如差异化隐私来促进去标识。
64.因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。
65.应当理解，本发明所公开的过程中的框的特定顺序或分级结构为示例性方法的例示。基于设计优选要求，应当理解，过程中的框的特定顺序或者分级结构可被重新布置或者所有示出的框都被执行。这些框中的任何框可被同时执行。在一个或多个具体实施中，多任务和并行处理可能是有利的。此外，上述具体实施中各个系统部件的划分不应被理解为在所有具体实施中都要求此类划分，并且应当理解，程序部件和系统可一般性地被一起整合在单个软件产品中或者封装到多个软件产品中。
66.如本说明书以及本专利申请的任何权利要求中所用，术语“基站”、“接收器”、“计算机”、“服务器”、“处理器”及“存储器”均是指电子设备或其他技术设备。这些术语排除人或者人的群组。出于本说明书的目的，术语“显示”或“正在显示”意指在电子设备上显示。
67.如本文所用，在用术语“和”或“或”分开项目中任何项目的一系列项目之后的短语“中的至少一者”是将列表作为整体进行修饰，而不是修饰列表中的每个成员(即每个项目)。短语“中的至少一者”不要求选择所列出的每个项目中的至少一个；相反，该短语允许包括任何一个项目中的至少一个和/或项目的任何组合中的至少一个和/或每个项目中的至少一个的含义。举例来说，短语“a、b和c中的至少一者”或“a、b或c中的至少一者”各自是指仅a、仅b或仅c；a、b和c的任意组合；和/或a、b和c中的每一个中的至少一个。
68.谓词字词“被配置为”、“能够操作以”以及“被编程以”并不意味着对某一主题进行
任何特定的有形或无形的修改而是旨在可互换使用。在一个或多个具体实施中，被配置为监视和控制操作或部件的处理器也可以是意指处理器被编程以监视和控制操作或者处理器可操作以监视和控制操作。同样，被配置为执行代码的处理器可解释为被编程以执行代码或能够操作以执行代码的处理器。
69.短语诸如方面、该方面、另一方面、一些方面、一个或多个方面、具体实施、该具体实施、另一具体实施、一些具体实施、一个或多个具体实施、实施方案、该实施方案、另一实施方案、一些实施方案、一个或多个实施方案、配置、该配置、其他配置、一些配置、一种或多种配置、主题技术、公开、本公开、它们的其他变型等等都是为了方便，并不意味着涉及这样的一个或多个短语的公开对于主题技术是必不可少的，也不意味着这种公开适用于主题技术的所有配置。涉及此类一个或多个短语的公开可适用于所有配置或一个或多个配置。涉及此类一个或多个短语的公开可提供一个或多个示例。短语诸如方面或一些方面可指代一个或多个方面，反之亦然，并且这与其他前述短语类似地应用。
70.字词“示例性”在本文中被用于意指“用作示例、实例或者例示”。在本文中被描述为“示例性的”或作为“示例”的任何实施方案不必被理解为优选于或优于其他具体实施。此外，在术语“包括”、“具有”等在说明书或权利要求中使用的限度内，这样的术语旨在是包含性的，与术语“包括”当在权利要求中被用作过渡字词时“包括”被解释的方式类似。
71.本领域的普通技术人员已知或稍后悉知的贯穿本公开描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文，并且旨在被权利要求书所涵盖。此外，本文所公开的任何内容并非旨在提供给公众，而与该公开是否明确地被陈述在权利要求中无关。不应根据35u.s.c.
§
112(f)的规定解释任何权利要求要素，除非使用短语“用于
……
的装置”明确陈述了该要素，或者就方法权利要求而言，使用短语“用于
……
的步骤”陈述了该要素。
72.先前的描述被提供以使得本领域的技术人员能够实践本文所述的各个方面。这些方面的各种修改对本领域的技术人员而言是显而易见的，并且本文所限定的通用原则可应用于其他方面。因此，本权利要求书并非旨在受限于本文所示的方面，而是旨在使得全部范围与语言权利要求书一致，其中对奇异值中的元素的引用并非旨在意味着“仅仅一个”，而是指“一个或多个”，除非被具体指出。除非另外特别说明，否则术语“一些”是指一个或多个。男性的代名词(例如，他的)包括女性和中性(例如，她的和它的)，并且反之亦然。标题和子标题(如果有的话)仅为了方便起见而使用并且不限制本主题公开。