基于图像和内容的元数据选择与内容匹配的图像的方法与流程
本发明的实施方式总体涉及搜索内容。更具体地，本发明的实施方式涉及基于元数据实时搜索具有匹配图像的内容。
背景技术：
大多数搜索引擎通常在其操作期间通过运行于客户端装置上的浏览器来执行对网页的搜索。搜索引擎接收由用户输入的搜索词，并检索与搜索词相关联的网页搜索结果列表。搜索引擎基于某些标准将搜索结果显示为搜索列表的一系列子集。在搜索操作期间使用的一般标准是：搜索词是完整地还是部分地出现在给定网页上、搜索字串出现在搜索结果中的次数、字母顺序等。此外，用户可以通过点击鼠标按钮来决定打开链接从而打开和浏览。搜索引擎可监控和收集用户与搜索结果的一些互动和/或用户信息，从而在以后提供更好的搜索。
通常，响应于搜索查询而执行搜索以识别和检索内容项目列表。随后将内容项目回传到搜索请求器。常规搜索引擎将照原样回传大多数内容项目而不作修改。搜索结果中的一些内容项目仅仅是纯文本或描述，其可认为是无吸引力的或无聊的。有时候，如果内容项目准备有与该内容项目有关的某些图像，那么搜索结果中的内容将更具有表现力或更具有吸引力。然而，将恰当的图像与内容项目匹配是相当有挑战性的。
技术实现要素：
本申请旨在提供一种响应于搜索查询为内容项目选择图像的计算机实施方法及相应系统。
本申请的一方面提供了一种响应于搜索查询为内容项目选择图像的计算机实施方法，所述方法包括：响应于在服务器处从客户端装置接收的用于搜索内容的搜索查询，由受所述服务器托管的搜索引擎在内容数据库中或经由内容服务器基于所述搜索查询的一个或多个搜索词进行搜索，以识别一个或多个内容项目的第一列表；由受所述服务器托管的图像选择模块在图像存储器中基于所述一个或多个搜索词进行搜索，以识别一个或多个图像的列表；由所述搜索引擎将所述第一列表的每个内容项目与所述图像中的一个整合，从而生成一个或多个内容项目的第二列表，所述一个或多个内容项目的第二列表具有整合在所述一个或多个内容项目的第二列表中的所述图像的至少一部分；以及由所述搜索引擎将内容项目的所述第二列表发送到所述客户端装置，使得所述第一列表的每个内容项目与所述图像中的一个共同呈现。
本申请的另一方面提供了一种响应于搜索查询为内容项目选择图像的装置，所述装置包括：搜索模块，响应于从客户端装置接收的用于搜索内容的搜索查询，在内容数据库中或经由内容服务器基于所述搜索查询的一个或多个搜索词进行搜索，以识别一个或多个内容项目的第一列表；以及图像选择模块，在图像存储器中基于所述一个或多个搜索词进行搜索，以识别一个或多个图像的列表；其中，所述搜索模块包括：整合单元，将所述第一列表的每个内容项目与所述图像中的一个整合，从而生成一个或多个内容项目的第二列表，所述一个或多个内容项目的第二列表具有整合在所述一个或多个内容项目的第二列表中的所述图像的至少一部分；以及发送单元，将内容项目的所述第二列表发送到所述客户端装置，使得所述第一列表的每个内容项目与所述图像中的一个共同呈现。
本申请的另一方面提供了一种数据处理系统，该数据处理系统包括根据本申请的实施方式的响应于搜索查询为内容项目选择图像的装置。
附图说明
本发明的实施方式在附图的各图中以示例而非限制的方式示出，附图中的相同的附图标记表示类似元件。
图1a和图1b是示出根据本发明一些实施方式的用于将图像与内容项目匹配的系统配置的示例的框图。
图2是示出根据本发明一个实施方式的用于将图像与内容项目匹配的系统的框图。
图3a到图3b是根据本发明某些实施方式的查询-图像匹配表的示例。
图4是示出根据本发明一个实施方式的用于将图像与内容项目匹配的过程的流程图。
图5是示出根据本发明一个实施方式的用于将图像与内容项目匹配的系统的示例的框图。
图6是根据本发明一个实施方式的用于生成查询-图像映射规则的处理流程。
图7a到图7b是示出根据本发明某些实施方式的映射数据结构的示例的图。
图8是示出根据本发明一个实施方式的用于生成查询-图像映射规则的过程的流程图。
图9是示出根据本发明另一个实施方式的查询-图像匹配系统的示例的框图。
图10是示出根据本发明一个实施方式的响应于搜索查询将图像与内容项目匹配的过程的处理流程图。
图11是根据本发明一个实施方式的响应于搜索查询将图像排序的过程的示例的图。
图12是示出根据本发明一个实施方式的基于关键词将图像与内容项目匹配的过程的流程图。
图13是示出根据本发明另一个实施方式的查询-图像匹配系统的示例的框图。
图14是示出根据本发明一个实施方式的用于确定匹配得分的计分矩阵的示例的框图。
图15是示出根据本发明另一个实施方式的用于将图像与内容项目匹配的过程的流程图。
图16是示出根据一个实施方式的数据处理系统的框图。
具体实施方式
以下将参考所讨论的细节来描述本发明的各种实施方式和方面，附图将示出各种实施方式。以下描述和附图是对本发明的说明，而不应当解释为限制本发明。描述了许多具体细节以提供对本发明的各种实施方式的全面理解。然而，在某些示例中，并未描述众所周知的或常规的细节，从而提供了对本发明的实施方式的简洁讨论。
本说明书中对“一个实施方式”或“实施方式”的引用意味着结合该实施方式所描述的特定特征、结构或特性可包括在本发明的至少一个实施方式中。在本说明书中各个位置出现的短语“在一个实施方式中”不必全部指代同一实施方式。
根据一些实施方式，为了提供有效的机制来将内容项目与图像匹配，一组查询-图像(查询/图像)匹配规则(也称为关键词/图像规则)被配置成将一组预定关键词中的每一个关键词映射到用于识别一个或多个图像的一个或多个图像标识符(id)。这组预定关键词可被识别为更有可能在搜索查询中用到的关键词。可基于对用户搜索活动或搜索历史的分析或跟踪来识别这种关键词，可在一段时间内对这种关键词进行编译。
随后，当从客户端装置接收到用于搜索内容的搜索查询时，在内容数据库中或经由内容服务器执行搜索以检索内容项目列表。另外，对查询执行分析，以确定与所述查询相关联的一个或多个关键词。所确定的关键词可以是被包括在搜索查询中的关键词。所确定的关键词还可包括语义上类似或具有最初在搜索查询中的关键词相同含义的某些关键词(例如，同义词或同义短语)。基于关键词，使用一组查询/图像匹配规则来识别一个或多个图像的列表。随后，将所识别的图像与所述内容项目中的至少一些合并。例如，可将图像用作内容项目的背景图像或补充图像。随后，将与图像整合的内容项目作为搜索结果的一部分回传到客户端装置。因此，搜索结果可呈现为更吸引人或不无聊。
根据本发明的一个方面，为了编译这组查询/图像匹配规则，最初建构表示初始查询/图像匹配规则的第一查询/图像匹配表(也称为初级查询/图像匹配表)。所述第一查询/图像匹配表包括多个匹配条目。每个匹配条目将关键词映射到用于识别一个或多个图像的一个或多个图像id，其中，图像已被预先收集，例如已预先使用图像收集系统(例如，图像网络爬虫)来收集所述图像。随后，对第一查询/图像表中的每一个匹配条目的关键词执行第一分析，以识别与所述匹配条目的所述关键词有关或语义上类似的一个或多个附加关键词(也称为扩展关键词)。
针对每一个附加关键词，创建附加的匹配条目(也称为扩展匹配条目)以将所述附加关键词映射到对应原始关键词的同一组的一个或多个图像，从而生成第二查询/图像匹配表(也称为扩展查询/图像匹配表)。针对第二查询/图像表中所添加的每一个附加或扩展匹配条目，执行第二分析以依据与图像和/或关键词相关联的元数据来过滤或识别对应关键词并未充分描述图像或与图像无关的任何图像。随后，从附加的匹配条目移除所识别的一个或多个图像以生成第三查询/图像匹配表(也称为最终查询匹配表)。如果在过滤过程之后没有与关键词相关联的图像，那么可移除所述特定的附加或扩展条目。随后，在运行时间利用第三查询/图像匹配表，以基于与搜索查询相关联的一个或多个关键词将图像与响应于搜索查询所发现的内容项目匹配和合并。
根据本发明的另一个方面，响应于从客户端装置接收的、用于搜索内容的搜索查询，分析所述搜索查询以确定一个或多个第一关键词。在图像-关键词(图像/关键词)匹配表或数据结构中基于第一关键词执行搜索或查找操作。查询/图像映射表包括多个条目，且每个条目将用于识别图像的图像id映射到一个或多个第二关键词。针对在图像/关键词映射表中所识别的图像中的每一个，执行排序过程以确定第一关键词与第二关键词之间的匹配程度。随后，基于匹配程度将图像/关键词映射表中所识别的图像排序或分类。每一种匹配程度可预先指派有加权因子。因此，第一关键词与第二关键词的匹配程度是在预定类别内，指派对应的一个加权因子。出于分类或排序的目的，可在最后计算表示匹配程度的匹配得分。可将具有高于预定阈值的匹配程度的经分类或排序的图像用作候选图像，从而指派从内容数据库或内容服务器检索的内容项目和/或与该内容项目整合。
根据本发明的另一个方面，响应于具有一个或多个搜索词的搜索查询，在内容数据库或内容服务器中实施第一搜索，以识别和检索与所述一个或多个搜索词有关的第一内容项目的列表。在图像存储器或图像服务器中执行第二搜索，以识别和检索与所述搜索词有关的一个或多个图像的列表。针对通过第二搜索识别的每一个图像，基于内容项目的上下文及与图像相关联的元数据，计算图像与每一个第一内容项目之间的匹配得分。针对每一个第一内容项目，随后基于图像与对应内容项目之间的匹配得分将图像排序。随后，从被排序的图像的列表选择其中一个图像来与所述内容项目相关联。将所选择的图像与相关联的内容项目合并(例如，作为背景图像)。因此，生成了具有与第一内容项目的至少一部分合并的图像的至少一部分的第二内容项目的列表，且所述第二内容项目的列表被回传到客户端装置。
图1a和图1b是示出根据本发明的一些实施方式的用于将图像与内容项目匹配的系统配置的示例的框图。参考图1a，系统100包括但不限于通过网络103通信地联接到服务器104的一个或多个客户端装置101-102。客户端装置101-102可以是任何类型的客户端装置，诸如，个人计算机(例如，台式计算机、膝上型计算机和平板计算机)、“薄”客户端、个人数字助理(pda)、能联网的电器、智能手表或移动电话(例如，智能手机)等。可替代地，相对于作为后台服务器或应用服务器的服务器104，客户端装置101-102可以是前台系统或前台服务器。网络103可以是任何类型的网络，诸如有线或无线的局域网(lan)、诸如互联网的广域网(wan)或其组合。
服务器104可以是任何种类的服务器或服务器集群，诸如网络或云服务器、应用服务器、后台服务器或其组合。在一个实施方式中，服务器104包括但不限于搜索引擎120、图像选择模块110和查询/图像匹配规则115。服务器104还包括允许客户端(诸如，客户端装置101-102)访问由服务器104提供的资源或服务的接口(未示出)。接口可包括网络接口、应用编程接口(api)和/或命令行接口(cli)。
例如，客户端(在这个示例中为客户端装置101的用户应用(例如，网络浏览器、移动应用、或前台服务器/前台系统的搜索功能软件))可向服务器104发送搜索查询，搜索引擎120通过网络103经由接口来接收搜索查询。响应于搜索查询，搜索引擎120从搜索查询中提取一个或多个关键词(也称为搜索词)。搜索引擎120在内容数据库133中执行搜索以识别与关键词有关的内容项目列表，内容数据库133可包括主要内容数据库130和/或辅助内容数据库131。主要内容数据库130(也称为主内容数据库)可以是一般内容数据库，而辅助内容数据库131(也称为二级内容数据库或附属内容数据库)可以是特殊内容数据库。搜索引擎120向客户端装置101回传具有列表中的至少一些内容项目的搜索结果页面，从而在客户端装置101中呈现。搜索引擎120可以是可从百度公司获取的
搜索引擎(诸如，网络搜索引擎)是被设计成在万维网上搜索信息的软件系统。搜索结果通常以一系列结果(通常称为搜索引擎结果页面)的形式呈现。信息可以是网页、图像和其它类型的文件的混合。一些搜索引擎还挖掘数据库或开放式目录中可用的数据。不同于仅通过人工编辑来维护的网络目录，搜索引擎还通过在网络爬虫(webcrawler)上运行算法来维护实时信息。
网络搜索引擎通过存储与许多网页相关的信息来工作，这些信息是网络搜索引擎从页面的超文本标记语言(html)标记中检索的。这些页面通过网络爬虫来检索，网络爬虫是抓取网站上的每个链接的自动化网络爬虫。随后搜索引擎分析每个页面的内容以确定该页面应如何被索引(例如，可以从标题、页面内容、标头或称为元标签的特殊字段来提取词语)。将与网页相关的数据存储在索引数据库中，以供在稍后的查询中使用。索引帮助尽可能快地找到与查询有关的信息。
当用户将查询输入到搜索引擎中时(通常是通过使用关键词)，引擎检查其索引并根据其标准提供最佳匹配网页的列表，该列表通常具有简短概述，该概述包含文档标题以及有时包含部分文本。索引是由与数据一起存储的信息及信息的索引方法建构而成。搜索引擎查找与输入完全一致的词语或短语。一些搜索引擎提供称为近邻搜索的高级特征，其允许用户定义关键词之间的距离。还存在基于概念的搜索，其中搜索涉及在包含所搜索的词语或短语的页面上使用统计分析。另外，自然语言查询允许用户按照与向人询问问题的形式相同的形式来输入问题。
搜索引擎的有用性取决于其所回馈的结果集的相关性。虽然包括特定词语或短语的网页可能有数百万个，但一些页面可能比其它页面更相关、更受人欢迎或更有权威。大多数搜索引擎采用一些方法来对结果排序从而首先提供“最佳”结果。搜索引擎如何决定哪些页面是最佳匹配以及应按什么顺序来示出结果随着引擎的不同而有很大的不同。
返回参考图1a，根据一个实施方式，响应于在服务器104处从客户端装置(在这个示例中为客户端装置101)接收的搜索查询，搜索引擎120在内容数据库133(诸如，主要内容数据库130和/或辅助内容数据库131)中执行搜索，从而生成内容项目列表(称作第一内容项目)。可经由统一资源链接(url)和/或统一资源标识符(uri)使每一个内容项目与特定内容提供者的特定网站的特定网页相关联。在一个实施方式中，主要内容数据库130存储已由网络爬虫收集的一般内容项目(例如，非赞助内容)。辅助内容数据库131存储与特定、已知或预定的内容提供者相关联的特定或特殊内容项目(例如，赞助内容)。可替代地，在不区分主要内容数据库131与辅助内容数据库132的情况下，可将内容数据库133实施为单个数据库。
网络爬虫(networkcrawler或webcrawler)是自动遍历网络超文本结构的程序。在实际应用中，网络爬虫可运行于独立的计算机或服务器上，计算机或服务器中的每一个被配置成执行从url下载文档的一个或多个进程或线程。网络爬虫接收所指派的url，并在那些url处下载文档。网络爬虫还可检索被已检索的文档引用的文档，以供由内容处理系统(未示出)和/或搜索引擎120处理。网络爬虫可以使用各种协议来下载与url相关联的页面，诸如超文本传输协议(http)和文件传送协议(ftp)。
另外，根据一个实施方式，图像选择模块110在查询/图像匹配规则115中基于与搜索查询相关联的关键词进行搜索，以识别图像或图像id的列表，所述图像id用于识别与所述关键词有关的图像。查询/图像匹配规则115可以以多种数据结构(诸如，表或数据库)实施。基于图像id，可以从存储在图像存储器125中的图像122中识别和检索候选图像的列表，其中图像存储器125还可存储描述图像122的图像元数据124。如上所述，可通过一个或多个图像爬虫来获得图像122及其相应的元数据124，所述图像爬虫被设计成在网络上爬行以收集图像以及其周围的元数据。图像122可以是不受保护的、无版权的、被恰当许可的图像，或可以是任何其它授权的图像。可基于关键词与候选图像之间的相关度得分或匹配程度将候选图像排序，所述相关度得分或匹配程度可依据图像元数据124来确定。针对在内容数据库133中所发现的每一个内容项目，从候选图像的列表选择一个图像来与所述内容项目相关联。所选择的图像可与所述内容项目合并以生成合并的内容项目。例如，所选择的图像可充当所述内容项目的背景图像或补充图像。合并的内容项目和图像的列表作为搜索结果的一部分被回传到客户端装置101。
根据一个实施方式，可在接收搜索查询之前预先编译和生成查询/图像匹配规则115(例如，离线)。一组查询/图像匹配规则115被配置成将一组预定关键词中的每一个映射到用于识别一个或多个图像的一个或多个图像id。这组预定关键词可被识别为在搜索查询中更有可能用到的关键词。可基于对用户搜索活动或搜索历史的分析或跟踪来识别这种关键词，可在一段时间内对这种关键词进行编译。
随后，当搜索引擎120从客户端装置接收到搜索内容的搜索查询时，在内容数据库133中执行搜索以检索内容项目列表。另外，例如由图像选择模块110对查询执行分析，以确定与所述查询相关联的一个或多个关键词。所确定的关键词可以是被包括在搜索查询中的关键词。所确定的关键词还可包括语义上类似或具有最初在搜索查询中的关键词相同含义的某些关键词(例如，同义词或同义短语)。基于关键词，使用一组查询/图像匹配规则115识别来自于图像存储器125的一个或多个图像的列表。随后，将所识别的图像与所述内容项目中的至少一些合并。例如，可将图像用作内容项目的背景图像。随后，将与图像整合的内容项目作为搜索结果的一部分回传到客户端装置。因此，搜索结果可呈现为更具有吸引力或不无聊。
应注意，已仅出于说明性的目的描述了服务器104的配置。其它架构或配置也可适用。例如，如图1b中所示，内容数据库133可通过网络被维护和托管在作为内容服务器的独立服务器中。类似地，图像存储器125可被维护和托管在作为图像服务器的独立服务器中。服务器133和125可以是网络服务器、应用服务器或后台服务器。可由与服务器104相同的实体或组织来组织和提供内容服务器133和/或图像服务器125。可替代地，可由独立的实体或组织(例如，第三方提供者)来维护或托管内容服务器133和/或图像服务器125，所述实体或组织负责收集内容数据库130-131中的内容和图像122及其元数据124。此外，可将图像选择模块110实施为独立系统，例如实施为经由api或通过网络通信地联接到服务器104的图像选择系统或服务器。
图2是示出根据本发明一个实施方式的用于将图像与内容项目匹配的系统的框图。系统200可实施为图1a到图1b的系统100的一部分。参考图2，当从客户端装置(例如，图1的客户端装置101)接收搜索查询201时，搜索引擎120在内容数据库或内容服务器133中执行第一搜索，以基于与搜索查询201相关联的一个或多个关键词或搜索词来识别和检索内容项目的第一列表(例如，第一内容项目)。另外，搜索引擎120与图像选择模块110通信，以使用一组查询/图像匹配规则115基于与搜索查询201相关联的关键词从图像存储器或图像服务器125中识别图像的列表。搜索引擎120和/或图像选择模块110可对查询执行分析，以导出被包括在搜索查询201中的关键词和/或与搜索查询201中的关键词类似的关键词(例如，语义上类似的词、同义词)的列表。可针对扩展关键词的列表执行在内容数据库/服务器133和/或图像存储器/服务器125中所执行的搜索。
在一个实施方式中，图像选择模块110和/或查询/图像匹配规则115可与搜索引擎120整合。可预先例如通过查询/图像映射系统220来配置或编译查询/图像匹配规则115。查询/图像映射系统220可被托管在经由api或通过网络通信地联接到系统200的独立服务器中。查询/图像映射系统220可包括允许用户或管理员配置一组查询/图像匹配规则的用户接口，这组查询/图像匹配规则可随后由处理逻辑使用预定算法来加以扩展和排序。以下还将描述查询/图像映射系统220的另外的细节。
类似地，可由图像收集系统230来收集存储在图像存储器/服务器125中的图像，所述图像收集系统230可以是通过网络通信地联接到系统200的独立服务器。可由与系统200相同或不同的实体或组织来运行查询/图像映射系统220和/或图像收集系统230。在这个示例中，可将图像缓存和存储在相对于系统200而言为本地(例如，针对服务器104而言为本地)的图像存储器中。可替代地，可由与图像收集系统230相关联的指定服务器来保存图像，图像选择模块110经由应用编程接口(api)与所述指定服务器通信以识别和检索图像的列表。
基于从图像存储器/服务器125检索的图像的列表，图像选择模块110根据排序算法将图像排序。接着将一些图像与从内容数据库/服务器133识别和检索的一些内容项目匹配。随后，将匹配的内容项目与图像整合到整合的内容项目中。在一个实施方式中，可将图像选择为内容项目的背景图像或补充图像。例如，内容项目211可以是描述或文本，而图像212可被选择为内容项目211的背景图像。以适当的方式，基于本说明书全文中所描述的匹配技术来选择图像212以补充或描述内容项目211，或用内容项目211补充或描述图像212。例如，内容项目211的内容与如图像212中所示的内容有关，反之亦然。可将整合的图像212与内容项目211作为搜索结果215的一部分回传到客户端装置。
应注意，内容数据库/服务器133可包括主要内容数据库130和辅助内容数据库131。主要内容数据库130也可实施或维护在独立的内容服务器(称为主要内容服务器)中。类似地，辅助内容数据库131可实施或维护在独立的内容服务器(称为辅助内容服务器)中。可使用将在下文中进一步详细描述的多种匹配公式将从两个内容数据库130-131获得的内容项目与从图像存储器/服务器125获得的图像匹配。可替代地，可仅将从主要内容数据库130和辅助内容数据库131中的一者获得的内容项目与从图像存储器/服务器125获得的图像匹配。例如，可将从辅助内容数据库131获得的内容项目(例如，赞助内容)与从图像存储器/服务器125获得的图像匹配，而从主要内容数据库130获得的内容项目(例如，一般内容)将作为搜索结果215的一部分被回传到客户端装置而不作修改。
根据一个实施方式，响应于从客户端装置接收的搜索查询201，基于搜索查询201来确定一个或多个关键词，其中所述关键词可包括搜索查询201中的那些关键词或基于对搜索查询201的分析而扩展的那些关键词。基于所述关键词，在查询/图像匹配规则115中执行查找操作或搜索，所述查询/图像匹配规则115可以以多种数据结构(诸如，数据库或表)实施。出于说明性的目的，将查询/图像匹配规则115称为查询/图像匹配表。
查询/图像匹配表115包括许多匹配条目。每个匹配条目将一个或多个关键词映射到一个或多个图像id，所述图像id用于识别存储在图像存储器/服务器125中的一个或多个图像。基于以搜索查询201为基础获得的关键词，可从查询/图像匹配表115获得一个或多个图像id的列表。基于所述图像id，从图像存储器/服务器125获得作为候选图像的对应图像。随后，使用将在下文中进一步详细描述的一个或多个预定排序和/或匹配算法，对候选图像进行排序和匹配。随后，可选择排在前列的图像来与内容项目相关联以整合为搜索结果215的一部分。应注意，如图2中所示的部件或模块中的一些或全部可以以软件、硬件或其组合来实施。
图3a到图3b是根据本发明某些实施方式的查询-图像匹配表的示例。参考图3a，查询/图像匹配表300可表示如上所述的图1a到图1b和图2的查询/图像匹配规则115。在一个实施方式中，查询/图像匹配表300包括许多匹配条目。每一个匹配条目将一个或多个关键词301映射到一个或多个图像id302，其中图像id302用于识别图像存储器或图像服务器(诸如，图像存储器/服务器125)中的对应图像。基于关键词对匹配表300进行索引。在这个示例中，第一条目将词“花朵”映射到图像1-5。第二条目将词“北京花朵”仅映射到图像1。第三条目将词“上海花朵”映射到图像2。第四条目将词“花朵递送”映射到图像1-2和4。因此，如果搜索查询包含“北京花朵”，那么可识别图像1-5。然而，图像1可具有更高排序。
现参考图3b，其是匹配表的可替代实施方式的示例，这个匹配表是可被用作查询/图像匹配规则115的一部分的图像-关键词(图像/关键词)匹配表。在这个示例中，图像/关键词匹配表350包括许多匹配条目。每个匹配条目将图像id351映射到一个或多个关键词352。基于图像id对匹配表350进行索引。可互换地利用两个表300和350。例如，表300可用来识别与一个或多个关键词有关的所有图像。针对经由表300所识别的每一个图像，确定关键词352与搜索查询中的关键词之间的匹配程度，以将由图像id351所识别的图像排序。例如，可基于搜索查询匹配关键词352中的关键词的数目来计算排序得分。如果搜索查询中的关键词与字段352中的那些关键词精确匹配，那么字段351中所识别的对应图像将具有最高匹配程度或匹配得分。搜索查询与字段352之间的匹配关键词越少，导致匹配程度或匹配得分越低。语义上匹配的关键词(例如，实际不匹配，但为同义词或具有相同或类似含义的词语)可具有最低匹配程度或匹配得分。
图4是示出根据本发明一个实施方式的用于将图像与内容项目匹配的过程的流程图。可由处理逻辑来执行过程400，所述处理逻辑可包括软件、硬件或其组合。例如，可由图1a到图1b的服务器104或图2的系统200来执行过程400。参考图4，在框401处，处理逻辑从客户端装置接收用于搜索内容的搜索查询。搜索查询包括一个或多个关键词或搜索词。响应于搜索查询，在框402处，处理逻辑在内容数据库中或经由内容服务器进行搜索，以基于关键词来识别一个或多个内容项目的列表。在框403处，处理逻辑在图像存储器中或经由图像服务器进行搜索，以基于关键词来识别一个或多个图像的列表。在框404处，处理逻辑可选地基于排序公式来将所述内容项目中的至少一些与所述图像中的至少一些匹配。在框405处，处理逻辑将所述内容项目中的至少一些与匹配图像整合(例如，作为背景图像)，以生成搜索结果。在框406处，将搜索结果发送到客户端装置。
图5是示出根据本发明一个实施方式的用于将图像与内容项目匹配的系统的示例的框图。系统500可实施为图2的系统200的一部分。参考图5，系统500包括但不限于查询/图像映射系统220、图像存储器501和查询/图像匹配规则502(也称为关键词/图像匹配规则)。在一个实施方式中，利用查询/图像映射系统200来配置和生成一组查询/图像匹配规则502以将某些关键词映射到存储在图像存储器501中的图像。
图像存储器501可通过网络以本地或远程的方式被维护在指定的服务器中。图像存储器501可表示图1a到图1b的图像存储器/服务器125。用于在查询/图像匹配规则中进行映射的关键词可以是在搜索查询中更有可能用到的关键词。图像存储器501存储图像511及其相应的元数据512。查询/图像匹配规则502包括初级映射规则521、可选的扩展映射规则522和最终映射规则523。可以如上所述的映射或匹配表的形式来实施这些规则521-523。最终映射规则523可用作图1a到图1b的查询/图像匹配规则115的一部分。
在一个实施方式中，查询/图像映射系统220包括匹配规则配置模块531、数据收集模块532、分析模块533、过滤和匹配模块534及一组过滤/排序规则535。模块531-534可以以软件、硬件或其组合来实施。在一个实施方式中，可利用配置模块531以例如响应于经由用户接口的用户请求来配置初级映射规则521。初级映射规则521(在这个示例中为初级映射表521)包括许多映射条目。每个映射条目将关键词映射到一个或多个图像id，所述图像id用于识别存储在图像存储器501中的图像511中的一个或多个。可由数据收集模块532周期性地收集并更新图像511和元数据512。数据收集模块532可采用一些网络爬虫来爬取和收集图像及其周围的信息或元数据512。
在一个实施方式中，用户或管理员可经由配置接口(例如，网络接口)来配置初级映射表521。基于初级映射表521，分析模块533对关键词与图像之间的初级映射执行分析，以创建一个或多个附加或扩展映射条目。生成扩展映射规则或扩展映射表522以包括扩展映射条目。基于扩展匹配表522，过滤/匹配模块534基于一组过滤和排序规则535对附加或扩展条目执行过滤操作，以验证映射并移除与对应关键词无关的任何图像。随后，生成最终映射规则或最终映射表523，其可以用作图1a到图1b的查询/图像匹配规则115的一部分。
图6是根据本发明一个实施方式的用于生成查询-图像映射规则的处理流程。参考图6，经由匹配规则配置模块531生成初级映射规则521。例如，用户或管理员可登陆到系统600并经由与匹配规则配置模块531相关联的图形用户接口(gui)进行配置。用户可规定待映射到使用对应图像id的一个或多个图像的特定关键词。例如，图7a中以映射表700的形式示出初级映射规则521的示例。
现参考图7a，映射表700包括许多映射条目(也称为匹配条目)。每个条目将关键词(例如，单个关键词)701映射到一个或多个图像id702，所述图像id702识别存储在图像存储器(诸如图5的图像存储器501)中的一个或多个图像。在这个示例中，条目将词“花朵”映射到图像1-5。因此，如果搜索查询包含词“花朵”，那么可将图像1-5识别为被认为与词“花朵”有关的候选图像。
返回参考图6，基于初级映射规则521，分析模块533使用一组分析规则601(诸如语义相似性规则601)对初级映射规则521的条目中所包含的关键词执行分析。这种分析可包括潜在语义分析。针对初级映射规则521中的关键词中的至少一些，基于所述分析来识别与所述关键词有关的一个或多个附加关键词(本文中称为扩展关键词602)。扩展关键词602可以是具有与初级映射规则521中的原始关键词相同或类似含义的那些关键词(例如，语义上类似或同义的词语)。
潜在语义分析(latentsemanticanalysis，lsa)是自然语言处理(特别是分布式语义)中的技术，其通过生成与一组文档及这组文档所包含的词有关的一组概念来分析该文档与词之间的关系。lsa假设含义接近的词语将出现在文本中类似的片段中。包含每段落词语数的矩阵(行表示唯一的词语，以及列表示每个段落)由大段的文本建构而成，且使用称为奇异值分解(svd)的数学技术来减少行数同时保留列中的相似性结构。随后，通过使用由任意两行形成的两个向量之间的角度的余弦函数(或两个归一化向量之间的点积)来比较词语。数值接近1表示词语非常类似，而数值接近0表示词语非常不同。
针对每一个扩展关键词602，创建附加条目以将所述扩展关键词映射到对应原始关键词的相同图像id。因此，得以从初级映射规则521创建扩展映射规则522。图7b示出由图7a的初级映射表700扩展而来的扩展映射表750的示例。现参考图7a到图7b，条目721表示初级映射表700中的原始条目。在对条目721的关键词“花朵”执行分析之后，将附加关键词“北京花朵”、“上海花朵”和“花朵递送”识别为语义上与原始词“花朵”有关。因此，得以从初级映射表700创建附加或扩展条目722-724以变成扩展映射表750。扩展条目722-724中的每个被映射到与原始条目721相同的图像id。在这个示例中，所有条目721-724被映射到图像1-5。扩展映射表750表示图6的扩展映射规则522。
返回参考图6，从扩展映射规则522，过滤/匹配模块534使用一组过滤规则或公式535依据与匹配图像相关联的元数据512(例如，图像1-5的元数据)对扩展条目(例如，图7b的条目722-724)执行过滤操作。过滤操作的目的是验证扩展条目以确保扩展条目的匹配质量。在一个实施方式中，过滤操作移除任何被映射到原始关键词但事实上或实际上与扩展关键词无关的图像。因此，得以创建最终映射规则523，例如，如图3a中所示的表300。现参考图3a，由于过滤操作，使得与条目“北京花朵”、“上海花朵”和“花朵递送”相关联的图像中的一些已被移除。如果在过滤操作之后特定条目不再有图像与之相关联，那么可将该条目从最终映射表中移除。
在一个实施方式中，元数据512包括描述图像的多种信息或数据，其中可通过指定的数据收集模块或系统(例如，图5的数据收集模块532)来获得或收集元数据。例如，可在获得对应图像的时候收集图像元数据。图像元数据可包括图像的收集来源和收集时间。图像的收集来源可以是附有图像的网页或文档。可收集诸如源页面的统一资源定位符(url)的地址。另外，可对源页面的内容执行分析，以确定图像可能表示的内容。还可对图像执行图像辨识，以确定图像的内容(例如，图像是否关于人、物体、风景、文本或其组合)。另外，还可收集图像的属性，例如纵横比、像素数量、亮度、对比度、图像的拍摄时间和风格(例如，风景或肖像)。此外，也可基于与图像相关联的历史互动来确定过去用户与图像和/或关键词的先前互动(例如，点击率)。这些信息可被编译为图像的元数据的一部分。
基于元数据，过滤操作将通过匹配关键词与特定图像的元数据之间的语义含义来确定特定关键词是否充分描述图像。例如，如果关键词出现在从中收集到图像的源页面中，那么所述关键词与所述图像有关。类似地，如果关键词响应于图像辨识而描述图像的至少一部分内容，那么所述关键词可以是相关的。如果基于对元数据的分析确定关键词并未充分描述特定图像或图像并未充分描述特定关键词，那么可移除所述特定图像。如果确定用户与特定图像的先前互动低于预定阈值(例如，较少的用户互动、较小的用户兴趣或不受欢迎)，那么可移除所述特定图像。应注意，本申请全文中，出于说明性的目的，术语“匹配规则”、“映射规则”、“匹配表”和“映射表”是可互换术语。然而，其可以以多种数据结构或数据格式实施。
图8是示出根据本发明一个实施方式的用于生成查询-图像映射规则的过程的流程图。可由处理逻辑来执行过程800，所述处理逻辑可包括软件、硬件或其组合。例如，可由图5的系统500来执行过程800。参考图8，在框801处，处理逻辑创建第一查询/图像映射表(例如，初级映射表)，其中所述第一查询/图像映射表将每一个关键词映射到一个或多个图像。在框802处，基于一组规则对第一查询图像映射表中的每一个关键词执行第一分析，以识别与原始关键词有关或类似的一个或多个附加关键词。在框803处，创建第二查询/图像映射表(例如，扩展映射表)以包括所述附加关键词的附加条目。所述附加条目将附加关键词映射到与对应原始关键词相同的图像。在框804处，依据关联图像的元数据对第二查询/图像映射表执行第二分析(例如，过滤/匹配操作)。在框805处，基于第二分析，从条目移除至少一个图像或从第二映射表移除被确定为无关的至少一个条目。在框806处，生成第三查询/图像映射表以作为最终查询/图像映射表。
图9是示出根据本发明另一个实施方式的查询-图像匹配系统的示例的框图。可将系统900实施为图2的系统200的一部分。参考图9，系统900可与图2的系统200合并。可替代地，可将系统900实施为例如通过网络或连接件经由api或通信协议通信地联接到图2的系统200的独立系统或独立服务器。在一个实施方式中，系统900负责响应于搜索内容的搜索查询在运行时间识别、排序和选择待与响应于搜索查询所发现的内容项目匹配的图像。
在一个实施方式中，图像选择模块110包括查询分析模块901、图像匹配模块902、图像排序模块903和图像排序规则或公式904，这些模块中的一些或全部可以以软件、硬件或其组合来实施。在一个实施方式中，响应于从客户端装置接收的搜索内容的搜索查询，查询分析模块901分析搜索查询以确定一个或多个第一关键词。图像匹配模块902在图像-关键词(图像/关键词)匹配表或数据结构115中基于第一关键词来执行搜索或查找操作。查询/图像映射表115包括多个条目，每个条目将用于识别图像的图像id映射到一个或多个第二关键词或将一个或多个第二关键词映射到用于识别图像的图像id(例如，如图3a到图3b中所示的匹配表)。
针对图像/关键词映射表115中所识别的每一个图像，图像排序模块903执行排序过程，以确定第一关键词与第二关键词之间的匹配程度。随后，从图像存储器/服务器125检索图像/关键词映射表115中所识别的图像。可例如使用图像排序规则或公式904基于匹配程度将图像排序或分类。图像排序规则或公式904可预先配置而成(例如，由用户经由配置接口来配置、或由规则引擎(未示出)自动地来配置)并被保存在持久性存储装置(例如，硬盘)中。在一个实施方式中，每一种匹配程度可预先指派有加权因子。因此，第一关键词与第二关键词的匹配程度是在预定类别内，应用对应的一个加权因子。出于分类或排序的目的，可在最后例如由图像排序模块903或匹配得分计算器(未示出)来计算表示匹配程度的匹配得分。可将所分类或排序的、具有高于预定阈值的匹配程度的图像用作候选图像。可选择所述候选图像中的至少一些来被指派有从内容数据库或内容服务器检索的内容项目和/或与该内容项目整合。
图10是示出根据本发明一个实施方式的响应于搜索查询将图像与内容项目匹配的过程的处理流程图。可由图9的系统900来执行过程流程1000。参考图10，响应于搜索查询1001，查询分析模块901对搜索查询1001中所包含的关键词执行分析，以生成一个或多个关键词1002的集合。关键词1002可包括被包括在搜索查询1001中的精确关键词，以及扩展关键词(例如，语义上有关或类似的词、同义词)。查询分析模块901可对被包括在搜索查询1001中的关键词执行潜在语义分析，以导出一个或多个扩展关键词的集合。所述扩展关键词可包括一定量的用户很可能用来说明或搜索具有特定意义的内容的那些词，例如基于一段时期的先前用户互动(例如，通过网络编译的用户互动历史日志)。
基于关键词1002，图像匹配模块902在查询/图像映射表115(例如，如图3a到图3b中所示的映射表)中执行搜索或查找操作，以识别认为与关键词1002有关的候选图像1003。图像匹配模块902在查询/图像映射表115中基于关键词1002执行查找操作，以从匹配关键词1002中的至少一个的条目中检索图像id。基于候选图像1003，图像排序模块903确定搜索查询1001的一个或多个关键词与在查询/图像映射表115的匹配条目中的关键词之间的匹配程度。在一个实施方式中，排序模块903确定有多少个与搜索查询1001相关联的关键词1002被包括在查询/图像映射表115的匹配条目中。
具有搜索查询的所有关键词的条目将给出最高匹配程度。关键词与搜索查询中的关键词匹配较多的条目(例如，仅包括一部分关键词的条目)将具有较高匹配程度。另一方面，如果匹配条目不包括搜索查询中的任何一个关键词但其包括有关或类似的词，那么其对应的匹配程度将较低。另外，针对关键词与图像之间的每一对匹配，可基于排序规则或公式904来计算表示匹配程度的匹配得分。较高的匹配程度可指派有较高的匹配得分。不同匹配程度可与在排序公式904中被用来计算对应的匹配得分的不同加权因子相关联。
图11是示出根据本发明一个实施方式的响应于搜索查询将图像排序的过程的示例的图。参考图9和图11，当接收到搜索查询1101时，查询分析模块901执行分析。在这个示例中，搜索查询1101包括三个词：“一日”、“花朵”和“递送”。基于这些关键词，图像匹配模块902在查询/图像映射表1102中执行查找操作，其中，查询/图像映射表1102可表示查询/图像映射表115所识别的候选图像。
在这个示例中，映射表1102包括将图像1-4映射到各种词或关键词的匹配条目1111-1114。以关键词“一日”、“花朵”和“递送”为基础，使用计分公式1103基于查询/图像映射表1102中的匹配搜索查询1101中的关键词的关键词数目将图像1111-1114排序。如上所述，搜索查询1101与映射表1102的条目1111-1114之间的被匹配的关键词越多，匹配得分将越高。在这个示例中，由于条目1112与搜索查询1101具有关键词的精确匹配，所以图像2将基于计分公式1103被指派有最高得分，从而作为被选择来与内容项目相关联以进行整合的图像1104。
根据一个实施方式，可以以下各者为基础来确定由匹配得分计算器或排序模块基于计分公式1103所计算的匹配得分：搜索查询与对应于图像的特定条目的关键词之间的被匹配的关键词的数目；被包括在搜索查询中的关键词的数目；和/或被包括在所述特定条目中的关键词的数目。在一个特定实施方式中，特定图像的匹配得分＝(匹配关键词的数目/在搜索查询中的关键词的数目)*(匹配关键词的数目/与图像对应的匹配条目中的关键词的数目)。
图12是示出根据本发明一个实施方式的基于关键词将图像与内容项目匹配的过程的流程图。可由处理逻辑来执行过程1200，所述处理逻辑可包括软件、硬件或其组合。例如，可由图9的系统900来执行过程1200。参考图12，在框1201处，处理逻辑维护图像/关键词映射表以将图像映射到一个或多个关键词。图像/关键词映射表包括许多映射条目，每个条目将图像或用于识别图像的图像id映射到一个或多个关键词。在框1202处，响应于搜索查询，处理逻辑分析搜索查询以确定一个或多个搜索词或关键词。在框1203处，处理逻辑在图像/关键词映射表中基于搜索词来执行查找操作，以识别一个或多个图像。在框1204处，针对包括至少一个搜索词的每一个条目，处理逻辑确定与所述条目对应的图像的匹配程度。在框1205处，针对每一个所识别的图像，处理逻辑使用预定计分公式基于对应的匹配程度来计算匹配得分。在框1206处，基于相关联的匹配得分将图像排序以导出候选图像的列表。
用于将图像与关键词匹配的匹配技术是基于对搜索查询的关键词和/或图像的元数据的分析。根据一些实施方式，当对图像排序时，除基于查询的关键词和图像的元数据进行匹配之外，所述排序还可基于响应于搜索查询所发现的内容项目的周围信息和/或元数据或者内容项目自身来确定。这种方法的基本原理是：如果图像和内容项目是来自于类似的来源或具有类似的历史背景，那么这些图像和内容项目很可能是有关的或具有良好的匹配。
根据本发明的另一个方面，响应于具有一个或多个搜索词的搜索查询，在内容数据库中或经由内容服务器实施第一搜索，以识别和检索与所述一个或多个搜索词有关的第一内容项目的列表。在图像存储器或图像服务器中执行第二搜索，以识别和检索与所述搜索词有关的一个或多个图像的列表。针对通过第二搜索识别的每一个图像，基于内容项目的上下文及与图像相关联的元数据，计算图像与每一个第一内容项目之间的匹配得分。针对每一个第一内容项目，随后基于图像与对应内容项目之间的匹配得分将图像排序。随后，从被排序的图像的列表中选择其中一个图像来与所述内容项目相关联。将所选择的图像与相关联的内容项目合并(例如，作为背景图像)。因此，生成了第二内容项目的列表，第二内容项目具有合并的、第一内容项目的至少一部分和图像的至少一部分，且所述第二内容项目的列表被回传到客户端装置。
图13是示出根据本发明的另一个实施方式的查询-图像匹配系统的示例的框图。系统1300可实施为上述匹配系统的一部分。将使用相同的附图标记来引用具有与上述部件的功能相同或类似的功能的某些部件。上文关于具有相同附图标记的部件所阐述的描述将在这里等同地适用。
参考图13，根据一个实施方式，当接收到搜索查询1301时，搜索引擎120在内容数据库中或经由内容服务器执行搜索以识别和检索内容项目1303的列表，所述内容项目1303可合并到搜索结果中。可从一般内容数据库/服务器、辅助内容数据库/服务器(例如，赞助内容、特殊内容)或从这两者检索内容项目1303。同时，查询分析模块901对搜索查询1301的关键词或搜索词执行分析，以导出关键词1302的列表。基于关键词1302，图像匹配模块902在查询/图像映射表或规则115中进行搜索或查找以识别候选图像1304的列表，如上文中所述。
以候选图像1304和内容项目1303为基础，排序模块903将基于内容项目1303、与内容项目1303相关联的元数据1311、候选图像1304和与候选图像1304相关联的元数据1312来执行排序过程。可使用预定排序公式1310基于内容项目1303、与内容项目1303相关联的元数据1311、候选图像1304和与候选图像1304相关联的元数据1312之间的关系来执行排序过程。由于所述排序过程，生成了内容项目与图像的匹配对1305。可将所匹配的内容项目和图像整合到整合的内容项目中。例如，可将内容项目(例如，文本)叠加在所匹配的图像上，其中所匹配的图像充当背景图像。可替代地，将所匹配的图像放在内容项目旁边以补充内容项目。将具有整合的内容项目的搜索结果发送到启动搜索查询1301的客户端装置。
在一个实施方式中，在依据内容项目1303将候选图像1304排序时，排序模块903考虑围绕候选图像1304和内容项目1303的所有信息或数据(统称为内容项目元数据1311和图像元数据1312)。基于内容项目1303中的每一个与候选图像1304中的每一个之间的匹配得分来计算得分矩阵。在计算由内容项目中的一个与候选图像中的一个组成的每一对的匹配得分(也称为排序得分)时，计算与所述对的内容项目和候选图像相关联的每一个预定属性或参数的个体匹配得分。可使用与对应属性或参数相关联的个体计分公式基于从内容项目元数据1311和/或图像元数据1312获得的对应数据来确定所述个体匹配得分。随后，使用总体计分公式基于个体匹配得分来确定总体匹配得分。如果不止一个匹配具有相同的匹配得分，那么可应用平局决胜公式以将不同图像指派给不同内容项目。可替代地，取决于特定情形，可将一个图像指派给多个内容项目。
从元数据1311-1312获得的用来对内容项目和候选图像计分的属性或参数可以是多种数据，其可使用数据收集模块(未示出)在一段时间内来收集。在一个实施方式中，可以部分地基于内容项目与候选图像之间的匹配质量来确定所述内容项目与所述候选图像之间的匹配得分。术语“匹配质量”可以是指内容项目是否描述从所匹配的图像辨识的内容。例如，可基于标题和/或描述是否匹配由图像呈现的内容来确定匹配质量。可经由通过图像辨识模块或系统(未示出)所执行的图像辨识过程来确定由图像表示的内容。还可基于内容项目和图像是否从相同来源或相似来源(例如，相同地址(诸如url)、相同域，或由相同或相似的提供者所提供)获得来确定匹配质量。
在一个实施方式中，可以部分地基于用户在内容项目与图像之间的先前互动(例如，先前的用户访问模式或行为)来确定内容项目与候选图像之间的匹配得分，所述互动被称为点击率。可从由数据收集模块或数据收集系统(未示出)在一段时间内所收集的用户互动的历史日志获得先前的用户互动。历史日志记录用户与用户所访问或浏览的内容和/或图像的互动，包括识别用户的信息(例如，ip地址、域、用户名)、多少个用户已访问了内容项目和/或图像、访问的时间、用户停留在展现内容项目和/或图像的内容页面有多长时间、用户访问内容页面的频率如何。点击率还可记录用户对内容项目、图像或者共同表示的内容项目与图像两者的点击。
在一个实施方式中，可以部分地基于图像的图像质量来确定内容项目与候选图像之间的匹配得分。图像质量可包括但不限于图像的大小(例如，高度和宽度)、分辨率(例如，像素数量)、纵横比、布局(例如，风景、肖像)、图像的拍摄时间(例如，图像是否为最新的)。匹配得分还可以基于图像的创新或风格，例如亮度、对比度、相机设定或与图像相关联的任何其它元数据。
图14是示出根据本发明一个实施方式的用于确定匹配得分的计分矩阵的示例的框图。参考图14，可通过排序模块(诸如图13的排序模块903)来编译和生成计分矩阵1400。参考图14，假设搜索引擎基于与搜索查询相关联的一个或多个关键词从内容数据库或内容服务器来识别和检索内容项目1401(例如，赞助内容)。另外，如上所述，已识别候选图像1421-1423的列表，所述候选图像1421-1423与跟搜索查询相关联的某些关键词有关。
在一个实施方式中，针对内容项目1401中的每个，计算一组预定属性或参数1402-1406的个体匹配得分。可由个体匹配得分计算器使用特定或对应的个体匹配得分公式来计算个体匹配得分1402-1406。如上所述，属性或参数1402-1406中的每一个可与计算个体匹配得分中的特定加权因子或系数相关联。虽然未示出，但也可计算图像1422-1423中的每一个的个体匹配得分。针对内容项目1401中的每个，计算图像1421-1423中的每一个的总体得分1410。随后，使用针对特定内容项目所计算的图像1421-1423的总体得分以选择图像1421-1423中的一个来与所述特定内容项目相关联。
在一个实施方式中，选择针对特定内容项目具有最高总体匹配得分的图像来与所述内容项目相关联。例如，假设图像1421在图像1421-1423当中具有最高总体匹配得分。可选择图像1421来与内容项目1相关联。如果同一图像针对多个内容项目(在这个示例中为内容项目1和2)具有相同的最高匹配得分，那么可应用平局决胜公式来解决竞争。在一个实施方式，针对内容项目1401中的每个计算所有图像1421-1423的所有总体匹配得分的和。具有最高和的内容项目具有较高的优先权来选择图像。可存在其它配置。
图15是示出根据本发明另一个实施方式的用于将图像与内容项目匹配的过程的流程图。可由处理逻辑来执行过程1450，所述处理逻辑可包括软件、硬件或其组合。例如，可由图13的系统1300来执行过程1450。参考图15，在框1451处，响应于搜索查询，处理逻辑在内容数据库或服务器中进行搜索，以识别和检索内容项目的列表。在框1452处，处理逻辑分析搜索查询，以确定与搜索查询相关联的一个或多个关键词。这些关键词可包括搜索查询中所包含的关键词和/或与那些关键词有关的扩展关键词。在框1453处，处理逻辑在关键词/图像映射表中基于关键词进行搜索，以识别候选图像的列表。
在框1454处，针对每一个候选图像，处理逻辑计算与内容项目和每一个候选图像相关联的每一个预定属性或参数(例如，匹配质量、图像质量、点击率、图像的创新或风格、用户互动的历史)的个体匹配得分。在框1455处，处理逻辑使用预定排序公式基于个体匹配得分来计算总体匹配得分。在框1456处，基于内容项目与所指派的候选图像之间的总体得分，将候选图像的至少一部分指派给内容项目。
可以使用上述技术将图像与赞助内容匹配。一种类型的赞助内容是广告(ad)。例如，返回参考图1a到图1b，内容数据库(db)或服务器133可以是ad数据库或ad服务器。在另一个实施方式中，主要内容db130可存储通常在公共网络中可用的一般内容。辅助内容db131可以是广告db。一些广告可仅仅是纯文本。通过将图像与广告匹配和整合(例如，作为背景图像)，广告可更吸引人或对用户更具吸引力。服务器104可以是用于搜索内容的网络服务器，或可替代地，服务器104可以是广告服务器。
图16是示出可与本发明的一个实施方式一起使用的数据处理系统的示例的框图。例如，系统1500可表示执行任一上述过程或方法的任一上述数据处理系统，例如上述客户端装置或服务器。
系统1500可包括许多不同的组件。这些组件可以实施为集成电路(ic)、集成电路的部分、分立的电子装置或适用于电路板的其它模块(诸如计算机系统的主板或插卡)，或者实施为以其它方式并入计算机系统的机架内的组件。
还应注意，系统1500旨在示出计算机系统的许多组件的高层次视图。然而，应当理解的是，某些实现方式中可存在额外的组件，此外，其它实现方式中可出现与所示组件不同的布置。系统1500可表示台式计算机、膝上型计算机、平板计算机、服务器、移动电话、媒体播放器、个人数字助理(pda)、智能手表、个人通信器、游戏装置、网络路由器或集线器、无线接入点(ap)或中继器、机顶盒或其组合。此外，虽然仅示出了单个机器或系统，但是术语“机器”或“系统”还应当被理解为包括单独地或共同地执行一组(或多组)指令以执行本文所讨论的任何一种或多种方法的机器或系统的任何组合。
在一个实施方式中，系统1500包括经由总线或互连件1510连接的处理器1501、存储器1503以及装置1505-1508。处理器1501可表示包括单个处理器内核或多个处理器内核的单个处理器或多个处理器。处理器1501可表示一个或多个通用处理器，诸如微处理器、中央处理单元(cpu)等。更具体地，处理器1501可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令词语(vliw)微处理器、或实施其它指令集的处理器、或实施指令集组合的处理器。处理器1501还可以是一个或多个专用处理器，诸如专用集成电路(asic)、蜂窝或基带处理器、场可编程门阵列(fpga)、数字信号处理器(dsp)、网络处理器、图形处理器、通信处理器、加密处理器、协处理器、嵌入式处理器或能够处理指令的任何其它类型的逻辑。
处理器1501(其可以是低功率多核处理器套接，诸如超低电压处理器)可用作与系统的各种组件通信的主处理单元和中央集线器。这种处理器可以实施为片上系统(soc)。处理器1501被配置成执行指令以执行本文所讨论的操作和步骤。系统1500还可包括与可选的图形子系统(显示控制器和/或显示装置)1504通信的图形接口，图形子系统1504可包括显示控制器、图形处理器和/或显示装置。
处理器1501可与存储器1503通信，存储器1503在一个实施方式中可以经由多个存储器装置实施以提供给定量的系统存储。存储器1503可包括一个或多个易失性存储(或存储器)装置，诸如随机存取存储器(ram)、动态ram(dram)、同步dram(sdram)、静态ram(sram)或其它类型的存储装置。存储器1503可存储包括由处理器1501或任何其它装置执行的指令序列的信息。例如，多种操作系统、装置驱动器、固件(例如，基本输入输出系统或bios)和/或应用的可执行代码和/或数据可以加载在存储器1503中并由处理器1501执行。操作系统可以是任何类型的操作系统，例如像来自
系统1500还可包括i/o装置，诸如装置1505-1508，包括网络接口装置1505、可选的输入装置1506以及其它可选的i/o装置1507。网络接口装置1505可包括无线收发器和/或网络接口卡(nic)。无线收发器可以是wifi收发器、红外收发器、蓝牙收发器、wimax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(gps)收发器)或其它射频(rf)收发器或其组合。nic可以是以太网卡。
输入装置1506可包括鼠标、触摸板、触敏屏幕(其可以与显示装置1504整合在一起)、定点装置(诸如手写笔)和/或键盘(例如，物理键盘或作为触敏屏幕的一部分显示的虚拟键盘)。例如，输入装置1506可包括联接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器可例如使用多种触敏技术(包括但不限于电容性、电阻性、红外和表面声波技术)中的任一种以及使用用于确定与触摸屏的一个或多个接触点的其它近邻传感器阵列或其它元件来检测其接触、移动或间断。
i/o装置1507可包括音频装置。音频装置可包括扬声器和/或麦克风，以协助支持语音的功能，诸如语音辨识、语音复制、数字记录和/或电话功能。其它i/o装置1507还可包括通用串行总线(usb)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，pci-pci桥)、传感器(例如，诸如加速度计的运动传感器、陀螺仪、磁强计、光传感器、罗盘、近邻传感器等)或其组合。装置1507还可包括成像处理子系统(例如，摄像机)，成像处理子系统可包括用来协助摄像机功能(诸如记录照片和视频片段)的光学传感器，诸如电荷耦合装置(ccd)或互补金属氧化物半导体(cmos)光学传感器。某些传感器可经由传感器集线器(未示出)联接到互连件1510，而其它装置(诸如，键盘或热传感器)可由嵌入式控制器(未示出)控制，这取决于系统1500的具体配置或具体设计。
为了提供对信息(诸如，数据、应用、一个或多个操作系统等)的永久性存储，大容量存储装置(未示出)也可联接到处理器1501。在各种实施方式中，为了实施更薄且更轻的系统设计并且改进系统响应能力，这种大容量存储装置可经由固态装置(ssd)实施。然而，在其它实施方式中，大容量存储装置可主要使用硬盘驱动器(hdd)来实施，其中较少量的ssd存储装置充当ssd高速缓存以在断电事件期间实施对上下文状态以及其它此类信息的非易失性存储，从而使得在系统活动重新启动时能够实施快速上电。另外，闪存装置可例如经由串行外围接口(spi)联接到处理器1501。这种闪存装置可提供系统软件的非易失性存储，系统软件包括系统的基本输入/输出软件(bios)以及其它固件。
存储装置1508可包括计算机可访问的存储介质1509(也被称为机器可读存储介质或计算机可读介质)，其上存储有实现任何一种或多种本文所描述的方法或功能的一组或多组指令或软件(例如，模块、单元和/或逻辑1528)。模块/单元/逻辑1528可表示任一上述组件，例如上述搜索引擎、编码器、交互日志记录模块。模块/单元/逻辑1528还可在其被数据处理系统1500、存储器1503和处理器1501执行期间完全地或至少部分地驻存在存储器1503内和/或处理器1501内，从而也构成机器可访问的存储介质。模块/单元/逻辑1528还可通过网络经由网络接口装置1505被发送或接收。
计算机可读存储介质1509也可用来永久性地存储以上描述的一些软件功能。虽然计算机可读存储介质1509在示例性实施方式中被示为单个介质，但是术语“计算机可读存储介质”应当被认为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还应当被认为包括能够存储或编码一组或多组指令的任何介质，该一组或多组指令由机器执行并且致使机器执行本发明的任何一种或多种方法。因此，术语“计算机可读存储介质”应当被认为包括但不限于固态存储器以及光学介质和磁性介质或者任何其它非暂时性机器可读介质。
本文所述的模块/单元/逻辑1528、组件以及其它特征可以实施为分立的硬件组件或整合在诸如asics、fpga、dsp或类似装置的硬件组件的功能中。另外，模块/单元/逻辑1528可以实施为硬件装置内的固件或功能电路。此外，模块/单元/逻辑1528可以以硬件装置和软件组件的任何组合的形式实施。
应注意，虽然系统1500被示出为具有数据处理系统的各种组件，但是其不旨在表示任何特定的架构或组件互连的方式；因为此类细节和本发明的实施方式没有密切关系。还应当认识到，具有更少组件或可能具有更多组件的网络计算机、手持计算机、移动电话、服务器和/或其它数据处理系统也可与本发明的实施方式一起使用。
前述详细描述中的一些部分已经依据在计算机存储器内对数据位的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领域的技术人员所使用的方法，从而将他们工作的实质内容最有效地传达给该领域中的其他技术人员。这里，算法通常被认为是导致所期望结果的自洽的操作序列。这些操作是需要对物理量进行物理操控的操作。
然而，应当牢记，所有这些术语和类似的术语均意图与适当的物理量相关联，并且仅仅是适于这些物理量的适宜标记。应当了解，除非在以上讨论中另外明确地说明，否则，在本说明书全文中，利用术语(诸如以下权利要求书中所阐述的术语)的讨论是指计算机系统或类似电子计算装置的动作和处理，计算机系统或类似电子计算装置操控计算机系统的寄存器和存储器中的表示为物理(例如，电子)量的数据，并将该数据变换成计算机系统存储器或寄存器或其它此类信息存储器、传输或显示装置内类似地表示为物理量的其它数据。
图中所示的技术可以使用存储和执行于一个或多个电子装置上的代码及数据来实施。此类电子装置使用计算机可读介质来存储和传递(在内部和/或通过网络与其它电子装置)代码及数据，计算机可读介质诸如非暂时性计算机可读存储介质(例如，磁盘、光盘；只读存储器、闪存存储器装置、相变存储器)和暂时性计算机可读传输介质(例如，电学、光学、声学或其它形式的传播信号—诸如载波、红外信号、数字信号)。
前述附图中所描绘的过程或方法可由处理逻辑来执行，处理逻辑包括硬件(例如，电路、专用逻辑等)、固件、软件(例如，体现在非暂时性计算机可读介质上)或其组合。尽管所述过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所描述的一些操作可按不同的顺序执行。此外，一些操作可并行地执行而不是顺序地执行。
在以上的说明中，已经参考本发明的特定示例性实施方式对本发明的实施方式进行了描述。将显而易见的是：在不脱离如以下权利要求书中阐述的本发明的更宽泛的精神和范围的情况下，可对其作出各种修改。因此，应当以说明性含义而不是限制性含义来理解本说明书和附图。
- 还没有人留言评论。精彩留言会获得点赞！