专利名称：基于网页中图像、视频内容的图像搜索方法
技术领域：
本发明涉及互联网中信息的搜索方法，尤其涉及互联网中图像和视频等信息的图 像搜索方法。
背景技术：
伴随着互联网已经日益成为日常生活中常用的、重要的信息来源，很多的电子商 务建立在互联网信息的搜索引擎基础之上而日益成长、成熟。通常的模式是人们从海量信息中发现自己感兴趣的某一类东西，然后利用通用 或垂直应用类的搜索引擎去找到它们，接下来到电子商务网站去淘，即继续用电子商务网 站提供的站内搜索引擎去定位自己要买的特定东西。整个过程是消费者思维和行为从粗到 细的过程，在这当中搜索引擎起了非常关键的作用。在这种由信息到商务的过程中，用户 的行为可以理解成被割裂成了三个阶段首先，是信息的广泛获取；然后，是信息的精准定 位；最后，是商务的实现。并且，各种各样的服务是来自于不同的互联网企业，在这个转换 过程中，人们的瞬时购物冲动往往会随着冲浪时间的延续而逐渐流退，对于能够用精确语 言文字描述的商品来讲，这个过程还不是太痛苦，如购买某某品牌的某某型号3C产品如手 机、电脑等，网页的内容提供商可以将描述产品的文字和搜索引擎链接起来，从而使整个过 程平滑，用户行为还是较为方便的。首先，对于购买和图像展示有密切关系的商品，如时尚和服饰类的产品，由于图片 引用有版权的问题，不能够将图像拿来直接使用；同时用户可能对一张图片中的某某模特 穿着的衣服有兴趣，而这完全超出了现有的文字搜索引擎和基于文字的图像搜索引擎(对 图像进行标签处理，如Google的图像搜索)的处理能力。然而，现在的搜索引擎巨擎，如 Google、Yahoo、百度等在开展的基于图片文字标识内容的图像搜索，其本质还是文字搜索。其次，用户在搜索到相关信息后，如何去进一步满足用户商务需求也是个很大的 问题。现在的搜索引擎巨擎，为了解决从内容到商务的衔接，一般都开发了基于文本内容的 垂直搜索购物比价服务，就是为了解决当前搜索引擎仍然存在着查准率太低、搜索结果充 斥着太多的无用信息的问题，而要想在对用户更加直观的如此庞大的图像库中找到用户需 要的信息仍然充满挑战。可见，目前大多数所谓的“图像搜索”的图像搜索引擎实质上还是文本关键字搜 索，通常是从互联网中搜集图像，然后提取图像所在网页的一些文本信息来为图像建立标 签索引，更简单的甚至只是提取图像所在网页的标题作为图像建立索引，用户向搜索引擎 提交查询时，仅仅考虑查询与预提取的信息的相似度并返回结果。而在真正的图像搜索领域，目前有两个层面欠考虑。第一在图像识别的技术层面上，由于技术发展的限制，目前的解决方案更多的是 仅仅考虑了图像的颜色分布、纹理分布，没有考虑到其实图像内容的块状特征、形状特征、 对比度特征等更多维的丰富信息在图像识别中的作用，并运用这些要素来丰富和构建图像 特征库。
3
第二 在图像搜索引擎的商务应用层面，目前的图像提交和结果排名方法往往采 用如文字搜索输出结果一样的较简单的方式，而且图像搜索的查准率还不太理想，并且仅 仅关注在准确率上，没有考虑用户可能仅仅对所见图像的部分感兴趣，也没有考虑到图像 的版权问题，更没有从用户需求的角度去考虑到底用户想通过图像搜索服务获得什么东 西。并且，现有的图像搜索引擎几乎都没有考虑以下两个情况1)图像的版权问题，因为作为图像搜索不可避免地会在后台对图像进行处理，但 是通过网络机器人找到被搜索图像并直接存储图像作为模板是商业版权规定不可行的；2)图像的焦点问题，以前的只考虑到利用图像，没有考虑到用户可能只是对图像 部分感兴趣，而不是整个图像，譬如两个模特，用户可以只对某个模特身上的服饰感兴趣， 而不是用整个图像来进行搜索，仅仅是希望将服饰这部分图像进行搜索，从而找到提供相 似目标的电子商务信息和商家。
发明内容
本发明要解决的技术问题在于克服上述现有技术的不足，而提出一种图像搜索引 擎的排名算法和电子商务结合的方法，它既充分借鉴已有的文本搜索引擎和用户社区建设 较成熟的技术，同时也考虑图像固有的一些特点，使得图像搜索的结果具有较高的相关性， 更好地满足用户查询的需求。本发明解决上述技术问题采用的技术方案是，提出一种基于网页中图像、视频内 容的图像搜索方法，包括以下步骤一、接收图像搜索请求；二、搜索图像预处理；三、归一 化图像搜索；四、目标图像搜索；五、用户是否调整，是的话，设置归一化真目标，并返回步 骤二，否则继续；六、用户社区评测；以及七、最终目标图像搜索列表。其中，步骤一包括采用网页内嵌和浏览器插件方式，截取网页内容所嵌图像中所包含 的、用户真正感兴趣的目标图像。步骤二包括由后台服务器对客户上传的目标图像内容进行分析与处理，即根据 目标图像的颜色、纹理、形状、块状、对比度以及矢量特征构建并保存该目标图像的样本信 肩、ο步骤三包括对该目标图像的样本信息进行归一化处理，得到归一化真目标。步骤四包括以该归一化真目标为比较对象，利用网络机器人到定向的电子商务 网站进行搜索，并按照相似度由高到低地建立目标图像搜索列表索引。步骤五包括提供用户对归一化真目标进行主动修改的机会。步骤六包括根据用户创建的内容，动态调整网络搜索结果。同现有技术相比，本发明的基于网页中图像、视频内容的图像搜索方法，性能更 好，更智能，更实用。
图1为本发明的基于网页中图像、视频内容的图像搜索方法实施例的流程图。图2为本发明的基于网页中图像、视频内容的图像搜索方法实施例的系统结构示 意图。
具体实施例方式以下结合各附图所示之最佳实施例作进一步详述。本发明的基于网页中图像、视频内容的图像搜索方法实施例，如图1所示，包括 步骤10 接收图像搜索请求；步骤20 搜索图像预处理；步骤30 归一化图像搜索；步骤 40 目标图像搜索；步骤50 用户是否调整，是的话，设置归一化真目标，并返回步骤二，否 则继续；步骤60 用户社区评测；以及步骤10 最终目标图像搜索列表。其中，步骤10具体涉及到原图输入来源来自网站内容中的图像，其中用户提交图像的输入方式有以下两 种网页内嵌用在网站上安装插件的方式，给网页上的图像增加一个图标按钮，用户 点击这个按钮会浮出一个层，这个层会把原图像用互动动画的效果再显示出来，用户可根 据自己的意愿框选图片的任意部分进行搜索，然后搜索引擎便会给出相关目标的结果列表来。浏览器插件用在浏览器上安装插件的方式，使任何网站的任何图像都可以被用 户框选进行搜索，然后得到相关目标列表。由于版权原因，即使合作伙伴有照片，也不能共享出使用，但是系统可以在网上 (定向网站联盟如服饰等)通过网络机器人去抓取，由于这个网站集合是有限的，因此对其 进行定向图像抓取是现实可行的。对于抓来的图片，要带有链接(合法)的可以，如GOOGLE的Image图像搜索，但是 必须是以缩略图的形式，并且图片链接要指向到源图地址。系统要开展可视化搜索，需要提取图像的特征，因此系统存储的图片(放在非结 构化数据库中的)是一种介于原图和缩略图之间的，经过处理了的符合要求的，而且还带 有源图链接指向的格式，这样便可以合法存储使用了。截取网页内容所嵌图像中的感兴趣内容，这是所有工作的基础，可以采用网页内 嵌和浏览器插件方式实现；从网页内容中提取图像，这包括传统互联网和无线互联网网页， 并获取其中用户感兴趣的要进行查询搜索的图像内容，同时上传到后台服务器去处理。步骤20具体涉及到将输入图片的原有尺寸、格式调整为适合识别的规格；并按 照多种图像特征来对上传来的图像进行分析、阅读，并按照系统期望的图像特征来进行计 算机存储处理。对上传到后台服务器的图像内容进行计算机分析并进行存储处理，这是后面计算 机人工智能来识别图像的基础；为了更加精确的识别图像并不漏过重要的图像信息，可以 提取的图像特征值有颜色、纹理、形状、块状特征、对比度、矢量等以获得目标图像的样本 信息，也就是与一特定图像对应的特征库。由于是由计算机来识别图像，因此对图像信息进 行计算机处理来提取图像自身关键特征显得尤其重要，这样会保证图像信息描述的客观和 稳定，同时建立图像信息库以方便后续的图像归一化处理和模糊识别过程。显而易见在实 际工程实现中为了保证信息的准确和不遗漏图像中的重要信息，特征越多越好，当然和计 算机处理的复杂程度与处理能力速度要取得平衡。步骤30具体涉及到将上传输入来的图像进行分析并抽取图像特征，然后和图像库中的图像进行匹配识别处理，找到归一化的“真目标”的标准图像，来过滤掉上传图像时 图像内容环境的差异，如重影图像、图像部分、人工拍摄的图像等。在这个过程中，如果上传来的图像没有找到“真目标“图像，系统就直接进入下面 的步骤进行目标图像搜索；同时将这个图像自动设置为“代理” “真目标”并建立一系列的 索引表，总之是将“代理” “真目标”图像和目标图像搜索得到的目标图像搜索结果列表的 “一对多”关系建立起来。对被选取的图像或部分图像内容进行归一化处理，找到一个和用户需求完全一致 或非常非常相似的图像模板即“真目标“，此步是后续继续利用计算机网络机器人到定向的 电子商务网站去搜索完全一样或相似图像内容的基础。所以要归一化是因为即使是同一幅 照片图像，由于用户是从不同网站的不同网页中来截取图像内容，抑或用户对一幅图像的 其中某些感兴趣目标图像要进行搜索，如一个模特身上的穿着的一件服饰等，因此有必要 进行图像的归一化处理以获得“真目标”这个元图像。这是一步非常重要的“多对一”的图 像精确识别处理过程，这里的多是指同一个目标的图像由于来源于多个不同的场景而造成 的所谓图像搜索请求的多，或者说事实上这是不同来源图像描述的是同一个目标的图像， 抑或说是“隐形”知识变成“显性”知识。这是保证搜索引擎接受图像搜索请求内容一致性 或符合用户图像需求的不可缺少环节，同时也是加快后面目标图像搜索的一个不可或缺的 步骤，对应本质是同样的一幅图像就没有必要重复进行目标图像搜索而直接输出目标图像 搜索的结果列表。步骤40具体涉及到由于要到互联网上去找相似结果，特别是为了保证搜索结果 的精确，在进行图像预处理的同时，系统还会利用网络机器人从图像所在网页内容中抓取 的上下文关键字来分析以便配合图像搜索，因此处理的工作量很大，为了提高响应速度给 用户更好的用户体验，经过归一化搜索过程的真目标图片对应的结果会被缓存，当下一次 进行图像搜索时就可以省略这个处理过程，这样会大大加快图像搜索的速度。对于那些完全新的搜索请求，即在系统中没有真目标的图像或者说是上一步中提 到代理“真目标”图像，目标图像搜索过程同样还是会进行，这显得尤其重要，但是为了防止 图像搜索结果的偏差性太大(从图像搜索的角度看图像特征几乎一样，而且这是不可避免 的)，系统会给用户一个参与评判的机会，如让用户协助设置图像搜索“真目标“图像。这是一次真正意义上的目标图像搜索，因此要输出对用户有真正意义的搜索结 果，并且是要执行“一对多”的所谓“模糊”目标搜索策略，因此这里运用的图像特征值选取 和前面的归一化处理时是不一样的。目标图像搜索及搜索结果预处理，这里依然是图像搜索，但是由于是基于归一化 真目标基础的“一对多”图像搜索，因此这里利用的图像特征值和前面归一化图像搜索要用 到的图像特征值是不一样的，按照图像相似度由高到低在系统平台内部建立目标图像搜索 列表索引；由于人们对事物的认识和决策是从粗到细的过程，因此用户在看到感兴趣的图 像时首先需要的是和目标图像相似和与或相近的结果来辅助进行下一步决策。这一步是 接近用户需求的“一对多”的图像模糊识别处理过程，这里的多是指多个相似和或相近的结 果；为了能够更加精确地描述，系统也借助图像所在网页内容的上下文关键字信息来辅助， 使目标图像搜索结果更精确。步骤50具体涉及到两种情况，第一种情况，如果用户满意，即以代理“真目标”为起点的目标图像搜索结果列表满足用户需求，系统就自动将代理“真目标”设置为“真目 标”，今后的此图像搜索请求模板就归一化成这个“真目标”。第二种情况，如果用户不满意， 那么用户会在众多目标图像搜索结果中选取一个最满意的为“真目标”，并自动开始重复从 步骤二的搜索过程。通常情况下，由于真目标库足够大，经过归一化图像搜索和目标图像搜索，搜索结 果会相对精确满足用户需求；但是考虑到如果有一个新目标，或其图像和现有的真目标图 像有显著差异，就可以认为这也是一个新目标，如从上拍摄的一个黑白相间棒球帽和从侧 面拍摄的一个黑白相间棒球帽，即使有很大概率在目标图像搜索结果中会同时输出这两个 结果，在这里系统也还是给用户一个自我调整搜索结果的机会，用户在众多搜索结果中找 打自己认为最符合实际情况的图像如是一顶从侧面拍摄的黑白相间棒球帽，进而进行迭代 搜索，系统自动将这个图像“侧面拍摄的一顶黑白相间棒球帽“设置为归一化的”真目标“图 像，并重新开始一个新的归一化和目标图像搜索过程，以保证结果的准确性和唯一性。这个目的是为了使搜索过程和搜索结果能够智能化并有自我学习能力，能够按照 图像相似度由高到低返回给用户，以实现对用户而言有价值的静态和动态电子商务信息排 名目标列表。考虑到图像搜索的特殊性，这里给用户一次修正搜索请求的机会，再输出目标图 像搜索列表给用户进行确认结果或根据需要来重新设置图像搜索的“真目标”；譬如有一个 用户第一次提交一个黑白相间棒球帽图像搜索，在众多搜索结果中之一可能会是一个黑白 相间的皮球，这时为了强化系统的自学习能力并在下次搜索结果中不会出现偏差性大的结 果，系统给用户一个作选择的机会来设置归一化真目标黑白相间棒球帽，并重新进行目标 图像搜索，这样搜索结果会更接近用户期望；将来第二次有人提交一个黑白相间棒球帽图 像搜索时，系统能够非常快地得到最后的目标图像搜索结果列表。步骤60具体涉及到更新搜索结果有以下三种更新方式系统周期更新系统会 周期性地对缓存中的数据进行必要的更新。用户社区(UGC)用户更新对于通过系统图像 搜索得到的“真目标“和目标图像以及对应的目标图像搜索结果，用户可以根据自己的意愿 和需要进行一些更新操作。如对有些用户不满意的目标结果，提供删除功能，用户可删除 该目标，然后系统中会保存用户更新后的信息。CPC或其它商业模式更新调整系统采用竞 价排名的形式显示目标图像列表，按单次点击费用高低进行排名；商家可设置当次点击费 用以调整排名。为了改进搜索结果更人性化，更能够反应现实生活情况，在这里借用并采纳了互 联网用户社区UGC的概念，进一步动态调整网络搜索结果，以使搜索结果能够更真实，并给 用户推荐相应的电子商务服务提供商链接，以帮助实施电子商务。譬如一个黑白相间棒球 帽搜索出来的是黑白相间的便帽，这时用户可以选择将这个结果从搜索目标列表中删除， 这样在下次黑白相间棒球帽的图像搜索结果中就不会出现这个内容，大大加快搜索的速 度，用户的体验会更好。经过用户调整后的搜索结果会比较真实地反映用户的需求，并且 时尚行业用户在浏览网页时，一般会对时尚等相关图像即非传统的用几个关键词能够描述 的内容进行搜索时，即使有一个以相似度为基础的统一搜索结果，但是可能并不能满足社 区大多数所有用户，结合互联网的发展，现在基于用户社区的口口相传营销模式是现实电 子商务实现过程中必须考虑的要素，因此引入UGC概念即用户自助的方式来再一次调整排
7名，按照受欢迎程度，以实现动态电子商务信息和服务排名是有现实意义的。步骤70具体涉及到将搜索结构，以列表的方式，呈现给用户。如图2所示，用以实现本发明的基于网页中图像、视频内容的图像搜索方法的系 统结构包括表现层、业务层和数据层的分层机构，其中，数据层可以进一步划分为三大部 分业务数据包含商家、产品、通道、业务等方面的数据。动态索引数据通过目标图像搜 索过程建立搜索图像与目标图像搜索列表的索引，并且索引可以被将来的搜索引用；同时 目标图像搜索列表可以被用户修改，以达到系统自学习目的。静态图片数据从类型上可分 为真目标图像、搜索图像；从查看方式上可分为原图和缩略图两种。相对现有技术，本发明的基于网页中图像、视频内容的图像搜索方法的有益之处 在于通过图像的“多对一”的归一化处理和“一对多”的目标图像搜索，整合静态排名 和动态排名部分并引入用户参与的UGC概念，使搜索结果更能够反映出实际的电子商务情 况；可以很好地解决图像的版权问题和图像的焦点问题。通过新引入增加了整个图像内容中的块状特征、对比度、矢量等特征，并根据实际 情况综合使用这些特征，这样能够更好的描述一幅图像，为后面精确识别图像打下现实可 行的基础。通过采用动态和静态的结合来解决图像搜索的准确性不如纯文本的搜索的问题， 同时给用户一个修正自己提交请求的一个机会；进而引入用户社区UCG建设的概念是为了 更客观地将图像按相似度由高到低返回给用户。总之，本发明的方法包含如何帮助用户在浏览网页内容时利用感兴趣的图片或视 频内容作为搜索请求，去搜索更多的相似内容；同时反馈给用户的内容是按照用户上传提 供的图像相似度、相关度组织、并以电子商务厂家的目标链接列表的形式展现，其中含有静 态排名和动态排名概念；并综合考虑电子商务服务提供商受欢迎程度，借助用户社区评价 的理念整合了 UGC技术即用户自助动态调整排名，最后按照CPC或CPS的模式实现电子商 务。该方法较现有的方法具有更佳的性能、智能性、实用性。本发明之实施，并不限于以上最佳实施例所公开的方式，凡基于上述设计思路，进 行简单推演与替换，得到的具体的，都属于本发明的实施。
权利要求
一种基于网页中图像、视频内容的图像搜索方法，其特征在于，包括以下步骤一、接收图像搜索请求；二、搜索图像预处理；三、归一化图像搜索；四、目标图像搜索；五、用户是否调整，是的话，设置归一化真目标，并返回步骤二，否则继续；六、用户社区评测；以及，七、最终目标图像搜索列表。
2.如权利要求1所述的图像搜索方法，其特征在于，该步骤一包括采用网页内嵌和浏 览器插件方式，截取网页内容所嵌图像中所包含的、用户真正感兴趣的目标图像。
3.如权利要求2所述的图像搜索方法，其特征在于，该步骤二包括由后台服务器对客 户上传的目标图像内容进行分析与处理，即根据目标图像的颜色、纹理、形状、块状、对比度 以及矢量特征构建并保存该目标图像的样本信息。
4.如权利要求3所述的图像搜索方法，其特征在于，该步骤三包括对该目标图像的样 本信息进行归一化处理，得到归一化真目标。
5.如权利要求4所述的图像搜索方法，其特征在于，该步骤四包括以该归一化真目标 为比较对象，利用网络机器人到定向的电子商务网站进行搜索，并按照相似度由高到低地 建立目标图像搜索列表索引。
6.如权利要求5所述的图像搜索方法，其特征在于，该步骤五包括提供用户对归一化 真目标进行主动修改的机会。
7.如权利要求6所述的图像搜索方法，其特征在于，该步骤六包括根据用户创建的内 容，动态调整网络搜索结果。
全文摘要
本发明涉及一种基于网页中图像、视频内容的图像搜索方法，包括以下步骤一、接收图像搜索请求；二、搜索图像预处理；三、归一化图像搜索；四、目标图像搜索；五、用户是否调整，是的话，设置归一化真目标，并返回步骤二，否则继续；六、用户社区评测；以及七、最终目标图像搜索列表。性能更好，更智能，更实用。
文档编号G06F17/30GK101957825SQ200910108788
公开日2011年1月26日 申请日期2009年7月17日 优先权日2009年7月17日
发明者谈玺 申请人:谈玺