基于优先级的图像处理方法
【专利说明】
[0001] 相关申请的夺叉引用
[0002] 本申请是在2014年5月1日递交的具有申请号14/267,840的名为"图像处理" 的美国非临时申请的部分延续，其继而要求在2013年5月1日递交的临时申请61/956, 927 的优先权；本申请进一步要求以下美国临时专利申请的优先权和权益：
[0003] 在2014年4月4日递交并具有申请号61/975, 691的"视觉搜索"；
[0004] 在2014年4月7日递交并具有申请号61/976, 494的"视觉搜索广告"；
[0005] 在2014年5月1日递交并具有申请号61/987, 156的"图像处理"；
[0006] 在2014年7月31日递交并具有申请号62/031，397的"图像处理中的实时目标选 择"；
[0007] 在2014年10月27日递交并具有申请号62/069, 160的"分布式图像处理"；以及
[0008] 在2014年11月25日递交并具有申请号62/084, 509的"选择性图像处理"。
[0009] 所有以上专利申请通过引用被并入本文。
技术领域
[0010] 本申请处于图像处理的领域，更具体地，处于特征化图像的内容的领域。
【背景技术】
[0011] 通常从图像中提取信息比从文本数据中提取信息更难。然而，一大部分信息在图 像中被找到。自动的图像辨识系统的可靠度高度取决于图像的内容。例如，光学字符辨识 比面部辨识更可靠。图像辨识的目标是对图像添加标签。标签指的是特征化图像的内容的 标签（单词）的识别。例如，汽车的图像可以被添加有单词"汽车"、"福特格拉纳达（Ford Granada) "或"具有损坏前灯的白色1976年福特格拉纳达"的标签。这些标签包括不同数 量的信息，并可由此在用途上变化。
【发明内容】
[0012] 本申请的实施例包括添加图像标签的双管齐下的方法。第一个方法是在图像上执 行自动的图像辨识。该自动的图像辨识导致图像的审核（review)。该图像审核包括识别图 像的内容的一个或多个标签并且可选地还包括表示自动图像识别的可靠度的置信度的度 量。该对图像添加标签的方法中的第二个方法包括图像的手动添加标签。手动添加标签包 括人观看每个图像、考虑图像的内容并且手动地提供表示图像内容的标签。自动的图像辨 识具有分析每个图像的时间上或金钱上的成本可以相对低的优点。图像的手动标签添加具 有更高的准确度和可靠度的优点。
[0013] 本发明的实施例结合了自动图像辨识和手动图像辨识两者。在一些实施例中，自 动图像辨识首先被执行。产生的图像审核通常既包括特征化图像的一个或多个标签也包括 这些标签在准确度上的置信度的度量。如果置信度高于预定阈值，那么这些标签与该图像 关联并被提供作为添加标签过程的输出。如果置信度低于预定阈值，那么该图像的手动审 核被执行。手动审核导致特征化图像的内容的附加和/或不同标签。在一些实施例中，自 动的图像辨识和图像的手动审核被并行地执行。如果自动图像辨识导致一个或多个标签具 有高于预定阈值的置信度则手动审核被可选地取消或终止。
[0014] 在一些实施例中，图像的辨识可以被升级。图像辨识过程的升级包括针对表示图 像的内容的进一步或改进的标签的要求。例如，如果自动图像辨识导致标签"白车"，该辨识 的升级可以导致标签"白色福特格拉纳达"。在一些实施例中，升级的审核利用专家人类审 核者。例如，以上示例可以包括利用具有汽车的专业知识的人类审核者。人类审核者的专 业知识的其它示例在本文的其它地方被讨论。
[0015] 本发明的各种实施例包括导向改进图像辨识的准确度同时还最小化成本的特征。 通过举例的方式，这些特征包括人口审核者的有效利用、图像标签的实时递送、和/或图像 辨识的无缝升级。本文公开的图像辨识的方法被可选地用来生成适于执行互联网搜索和/ 或选择广告的图像标签。例如，在一些实施例中，图像标签被自动地用来执行谷歌搜索和/ 或基于谷歌的AdWords而卖广告。
[0016] 本发明的各种实施例包括图像处理系统，该图像处理系统包括被配置为在通信网 络上传送图像和图像标签的I/O ;自动识别接口，被配置为将图像向自动识别系统传送并 且接收来自自动识别系统的图像的计算机生成的审核，该计算机生成的审核包括识别图像 的内容的一个或多个标签；目的地逻辑，被配置为确定将图像发送到的第一目的地，以用于 由第一人类审核员对该图像进行第一手动审核；图像张贴逻辑，被配置为将图像张贴至目 的地；审核逻辑，被配置为接收来自目的地的图像的手动审核并且接收计算机生成的审核， 该手动审核包括识别图像的内容的一个或多个图像标签；响应逻辑，被配置为向通信网络 提供计算机生成的审核的图像标签以及手动审核的图像标签；存储器，被配置为存储图像； 以及微处理器，被配置为至少执行目的地逻辑。
[0017] 本发明的各种实施例包括处理图像的方法，该方法包括接收来自图像源的图像； 向自动图像识别系统分配图像；接收来自自动图像识别系统的计算机生成的审核，该计算 机生成的审核包括被自动图像识别系统指派给该图像的一个或多个图像标签和置信度的 度量，该置信度的度量是被指派至图像的图像标签正确地特征化图像的内容的置信度的度 量；将图像置于图像队列中；确定目的地；将用于手动审核的图像张贴至第一目的地，该第 一目的地包括人类图像审核员的显示设备；以及接收来自目的地的图像的手动图像审核， 该图像审核包括被人类图像审核员指派至图像的一个或多个图像标签，该一个或多个图像 标签特征化图像的内容。
[0018] 本申请的各种实施例包括图像源，其包括被配置为采集图像的相机；显示器，被配 置为向用户呈现图像；眼跟踪逻辑，被配置为检测用户的一个或多个眼睛的动作；可选的 图像标记逻辑，被配置为将标记置于图像上，该标记被配置为指示图像的特定子集并且响 应于所检测的动作；显示逻辑，被配置为实时地将标记显示在图像上；1/0,被配置为提供 图像至计算机网络；以及处理器，被配置为至少执行显示逻辑。
[0019] 本申请的各种实施例包括图像源，其包括被配置为采集图像的相机；显示器，被配 置为向用户呈现图像；眼跟踪逻辑，被配置为检测用户的一个或多个眼睛的动作；图像标 记逻辑，被配置使用户指示图像的特定子集并且突出该子集内的对象，该指示响应于所检 测的动作；显示逻辑，被配置为实时地将所突出的显示在图像上；1/0,被配置为向计算机 网络提供图像和特定子集的指示；以及处理器，被配置为至少执行显示逻辑。
[0020] 本发明的各种实施例包括图像源，其包括被配置为采集图像的相机；显示器，被配 置为向用户呈现图像；选择逻辑，被配置用于选择；图像标记逻辑，被配置使用户指示图像 的特定子集并且突出该子集内的对象，该指示响应于所检测的手指；1/0,被配置为向计算 机网络提供图像和特定子集的指示；显示逻辑，被配置为实时地显示图像并且响应于图像 显示从计算机网络接收的图像标签，该图像标签特征化图像的内容；以及处理器，被配置为 执行至少显示逻辑。
[0021] 本发明的各种实施例包括图像处理系统，该图像处理系统包括被配置为在通信网 络上传送图像序列和图像标签的I/O ;可选的自动识别接口，被配置为将图像序列向自动 识别系统传送并且接收来自自动识别系统的图像的计算机生成的审核，该计算机生成的审 核包括识别图像的内容的一个或多个标签；目的地逻辑，被配置为确定将图像序列发送至 的第一目的地，以用于由第一人类审核者对该图像序列进行第一手动审核；图像张贴逻辑， 被配置为将图像序列张贴至目的地；审核逻辑，被配置为接收来自目的地的图像序列的手 动审核并且可选地接收计算机生成的审核，该手动审核包括识别图像序列内的动作的一个 或多个图像标签；响应逻辑，被配置为向通信网络提供计算机生成的审核的图像标签以及 手动审核的图像标签；存储器，被配置为存储图像序列；以及微处理器，被配置为至少执行 目的地逻辑。
[0022] 本发明的各种实施例包括处理图像的方法，该方法包括：在图像处理服务器经由 通信网络接收来自远程客户端的图像的一个或多个第一描述符；将所接收的第一描述符与 本地存储在图像处理服务器的第二描述符比较以确定是否第一描述符匹配第二描述符的 集合；响应于第一描述符与第二描述符的集合相匹配，获取与第二描述符的集合相关联而 存储的一个或多个图像标签；并且向客户端提供一个或多个图像标签。
[0023] 本发明的各种实施例包括在图像处理服务器处理图像的方法，该方法包括：接收 来自远程客户端的图像和特征化该图像的数据；确定针对图像的目的地，该目的地与人类 图像审核者相关联，该目的地的确定基于特征化图像的数据与人类审核者的专长之间的 匹配；将图像张贴至所确定的目的地；接收来自目的地的特征化图像的一个或多个图像标 签；并且向客户端提供一个或多个图像标签。
[0024] 本发明的各个实施例包括处理图像的方法，该方法包括：接收来自移动设备的特 征化图像的数据，该数据特征化包括所识别的图像的或图像的描述符的特征的图像；基于 特征化图像的数据生成图像标签；向移动设备提供图像标签。
[0025] 本发明的各种实施例包括处理图像的方法，该方法包括：使用便携设备接收图像； 使用便携设备的处理器识别图像的特征；经由通信网络向远程图像处理服务器提供特征； 接收来自图像处理服务器的基于特征的图像标签；并且在便携设备的显示器上显示图像标 签。
[0026] 本发明的各种实施例包括处理图像的方法，该方法包括：使用便携设备接收图像； 使用便携设备的处理器识别图像的特征；基于所识别的特征导出图像描述符；经由通信网 络向远程图像处理服务器提供描述符；接收来自图像处理服务器的基于描述符的图像标 签；并且在便携设备的显示器上显示图像标签。
[0027] 本发明的各种实施例包括处理图像的方法，该方法包括：使用便携设备接收图像； 使用便携设备的处理器识别图像的特征；基于所识别的特征导出图像描述符；将图像描述 符与之前存储在便携设备上的图像描述符的集合比较以确定是否在图像描述符与所存储 的图像描述符的集合之间存在匹配；如果在图像描述符与所存储的图像描述符的集合之间 存在匹配则从便携设备的存储器获取与图像描述符的集合相关联的一个或多个图像标签； 将所获取的一个或多个图形标签显示在便携设备的显示器上。
[0028] 本发明的各种实施例包括处理图像的方法，该方法包括：使用便携设备接收图像； 使用便携设备的处理器识别图像的特征；基于所识别的特征导出图像描述符；将图像描述 符与之前存储在便携设备上的图像描述符的集合比较以确定是否在图像描述符与所存储 的图像描述符的集合之间存在匹配；基于在图像描述符与所存储的图像描述符的集合之间 的匹配分类图像；向远程图像处理服务器发送图像和图像的分类；接收基于图像的一个或 多个图像标签；并且将一个或多个图像标签显示在便携设备的显示器上。
[0029] 本发明的各种实施例包括图像处理系统，其包括被配置为在通信网络上传送图像 和图像标签的I/O ;图像分级器，被配置为确定用于对图像添加标签的优先级；目的地逻 辑，被配置为确定将图像发送到的第一目的地以用于被第一人类审核者对图像的第一手动 审核；图像张贴逻辑，被配置为将图像张贴至目的地；审核逻辑，被配置为接收来自目的地 的图像的手动审核，该手动审核包括识别图像的内容的一个或多个图像标签；存储器，被配 置为将一个或多个图像标签存储在数据结构中；以及微处理器，被配置为至少执行图像分 级器。
[0030] 本发明的各种实施例包括图像处理系统，其包括被配置为在通信网络上接收图像 的I/O ;图像分级器，被配置为确定图像的优先级并且确定是否基于该优先级对图像添加 标签和/或如何对图像添加标签；用于对图像添加标签以产生特征化图像的一个或多个图 像标签的手动或自动装置；存储器，被配置为在数据结构中存储图像以及特征化图像的一 个或多个图像标签；以及微处理器，被配置为至少执行图像分级器。
[0031] 本发明的各种实施例包括图像处理系统，其包括被配置为在通信网络上接收图像 的I/O ;图像分级器，被配置为确定图像的优先级并且基于该优先级选择对图像添加标签 的过程；用于对图像添加标签以产生特征化图像的一个或多个图像标签的装置；存储器， 被配置为在数据结构中存储图像以及特征化图像的一个或多个图像标签；以及被配置为至 少执行图像分级器的微处理器。
[0032] 本发明的各种实施例包括图像处理系统，其包括被配置为在通信网络上传送图像 和图像标签的I/O ;图像分级器，被配置为确定用于基于包括图像的视频被观看多少次来 对图像添加标签的优先级；目的地逻辑，被配置为确定将图像发送到的目的地以用于被人 类审核者对图像的手动审核；图像张贴逻辑，被配置为将图像张贴至目的地；审核逻辑，被 配置为接收来自目的地的图像的手动审核，该手动审核包括识别图像的内容的一个或多个 图像标签；存储器，被配置为将一个或多个图像标签存储在数据结构中；以及微处理器，被 配置为至少执行图像分级器。
[0033] 本发明的各种实施例包括处理图像的方法，该方法包括接收来自图像源的图像； 向自动图像识别系统分配图像；接收来自自动图像识别系统的计算机生成的审核，该计算 机生成的审核包括被自动图像识别系统指派至该图像的一个或多个图像标签和置信度的 度量，该置信度的度量是被指派至图像的图像标签正确地特征化图像的内容的置信度的度 量；基于置信度的度量将优先级指派至图像；基于优先级确定图像应当被手动标签；将用 于手动审核的图像张贴至第一目的地，该第一目的地包括人类图像审核员的显示设备；以 及接收来自目的地的图像的手动图像审核，该图像审核包括被人类图像审核者指派至图像 的一个或多个图像标签，被人类图像审核者指派的该一个或多个图像标签特征化图像的内 容。
[0034] 本发明的各种实施例包括处理图像的方法，该方法包括接收来自图像源的图像； 使用微处理器自动地确定图像的优先级；基于优先级确定图像应当怎样被添加标签；对图 像添加标签以产生一个或多个标签，该一个或多个标签特征化图像的内容；并且将该图像 和该一个或多个标签存储在数据结构中。
【附图说明】
[0035] 图1图示了根据本发明的各种实施例的图像处理系统。
[0036] 图2图示了根据本发明的各种实施例的图像采集屏幕。
[0037] 图3图示了根据本发明的各种实施例的基于图像分析的搜索结果。
[0038] 图4图示了根据本发明的各种实施例的处理图像的方法。
[0039] 图5图示了根据本发明的各种实施例的处理图像的可替代方法。
[0040] 图6图示了根据本发明的各种实施例的管理审核者池的方法。
[0041] 图7图示了根据本发明的各种实施例的实时地接收图像标签的方法。
[0042] 图8图示了根据本发明的各种实施例的升级图像审核的方法。
[0043] 图9图示了根据本发明的各种实施例的包括电子眼镜的图像源120A的示例。
[0044] 图10图示了根据本发明的各种实施例的处理图像源上的图像的方法。
[0045] 图11图示了根据本发明的各种实施例的基于图像描述符处理图像的方法。
[0046] 图12图示了根据本发明的各种实施例的使用反馈处理图像的方法。
[0047] 图13和14图示了根据本发明的各种实施例的基于图像描述符提供图像标签的方 法。
[0048] 图15图示了根据本发明的各种实施例的按优先级排序图像标签的方法。
【具体实施方式】
[0049] 图1图示了根据本发明的各种实施例的图像处理系统110。图像处理系统110被 配置用于对图像添加标签并且可以包括一个或多个分布式计算设备。例如，图像处理系统 110可以包括位于地理上不同地点的一个或多个服务器。图像处理系统110被配置为经由 网络115进行通信。网络115可以包括多种的通信网络，诸如互联网和/或蜂窝电话系统。 网络115通常被配置为使用诸如IP/TCP、FTP等标准协议传送数据。被图像处理系统110 处理的图像从图像源120 (单独标记为120A、120B等）被接收。图像源120可以包括被连 接至互联网和/或个人移动计算设备的计算源。例如，图像源120A可以是被配置为提供社 交网站或图片分享服务的网络服务器。图像源120B可以是智能电话、相机、可穿戴相机、电 子眼镜或其它便携图像采集设备。图像源可以被统一资源定位符、互联网协议地址、MC地 址、蜂窝电话标识符和/或类似物所识别。在一些实施例中，图像处理系统110被配置为接 收来自大量图像源120的图像。
[0050] 由图像处理系统110执行的图像标签的部分包括向目的地125(分别标记为125A、 125B等）发送图像。目的地125是人类图像审核者的计算设备并且通常在地理上远离图像 处理系统110。目的地125至少包括显示器和数据输入设备，诸如触摸屏、键盘和/或麦克 风。例如，目的地125可以是与图像处理系统110不同的建筑物、城市、州和/或国家。目 的地125可以包括个人计算机、平板电脑、智能电话等。在一些实施例中，目的地125包括 被特别配置为促进图像的审核的（计算）应用。该应用被可选地从图像处理系统110提供 至目的地125。在一些实施例中，图像处理系统110被配置用于人类图像审核者从目的地 125登录用户账号。目的地125通常与个体审核者相关联并且可以被互联网协议地址、MAC 地址、登录会话标识符、蜂窝电话标识符和/或类似物所识别。在一些实施例中，目的地125 包括音频至文本转换器。由人类图像审核者在若干目的地125提供的图像标签数据被发送 至图像处理系统110。图像标签数据可以包括文本图像标签、包括语言化标签的音频数据、 和/或诸如升级请求或不适当（明确的）材料标识之类的非标签信息。
[0051] 图像处理系统110包括被配置用于与外部系统通信的1/0(输入/输出）130。I/O 130包括路由器、交换机、调制解调器、防火墙、和/或类似物。I/O 130被配置为接收来自 图像源120的图像，向目的地125发送图像，接收来自目的地125的标签数据，并且可选地 向图像源120发送图像标签。I/O 130包括通信硬件以及可选地包括应用程序接口（API)。
[0052] 图像处理系统110进一步包括存储器135。存储器135包括被配置用于诸如图像、 图像标签、计算指令以及其它本文所讨论的数据之类的数据的非暂时性储存的硬件。例如， 存储器135可以包括随机存取存储器（RAM)、硬盘驱动器、光储存介质和/或类似物。存储 器135被配置为通过使用特定的数据结构、索引、文件结构、数据访问例程、安全协议和/或 类似物而存储特定的数据（如本文所描述）。
[0053] 图像处理系统110进一步包括至少一个处理器140。处理器140是诸如电子微处 理器之类的硬件设备。处理器140被配置为通过硬件、固件或将软件指令载入处理器140 的寄存器而执行特定功能。图像处理系统110可选地包括多个处理器140。处理器140被 配置为执行本文讨论的各种类型的逻辑。
[0054] 由图像处理系统110接收的图像首先被存储在图像队列145中。图像队列145是 存储在存储列表中的待审核的图像的有序列表。存储在图像队列145中的图像通常与用于 引用图像的图像标识符相关联地被存储并且可以具有不同的优先级。例如，从图片分享网 站接收的图像可以具有比从智能电话接收的图像更低的优先级。通常，相对于针对一些其 它目的使用的图像标签的那些图像，针对请求者正在等待接收实时地表示图像的图像标签 的那些图像被给予更高的优先级。图像队列145可选地被存储在存储器135中。
[0055] 在图像队列145中，图像被可选地与图像标识符或索引以及其它与每个图像关联 的数据相关联地存储。例如，图像可以与关于图像源120中的一个的源数据相关联。源数据 可以包括诸如全球定位系统坐标、街道和/或城市名、邮编、和/或类似物的地理信息。源 数据可以包括互联网协议地址、