图像检索方法与系统的制作方法
【专利摘要】本发明公开了一种图像检索方法与系统，针对给定的查询文本和/或查询图片，分别根据文本相关性和图片内容相关性得出多个库内图片的相似度排序列表，然后结合得出的多个排序列表，综合考虑文本相似度和图片内容相似度，返回一个综合的排序列表。这种多模态的混合检索机制避免了以往单模态检索机制的不足，发挥了文本检索方法和图像内容检索方法各自的优势，大大提高了图片检索的准确率。由于仅对各单项检索模型的排序结果进行融合，因此可以方便地增减、替换单项检索模型，实现了文本和图像内容特征检索模型的灵活配置，提高了图像检索系统的性能。
【专利说明】图像检索方法与系统【技术领域】
[0001]本发明涉及信息检索【技术领域】，特别是涉及一种图像检索方法与系统。
【背景技术】
[0002]近十年来，图像检索一直是多媒体领域的热点研究主题。图像检索系统是根据图像的描述性文本或者视觉特征(即图像内容)为用户提供互联网上相关图形图像资料检索服务的一类专业搜索引擎系统。例 如，谷歌，百度等一系列搜索引擎都能够提供图片搜索服务。
[0003]传统的图像检索依赖于图片的描述性文本，一般是根据关键字对数据库中的图片进行搜索。但是，文本关键字很多情况下无法准确描述图像的视觉特征(例如某种特定的花纹)，所以出现了基于图像内容的检索技术。目前，描述图像内容的特征有很多，例如颜色特征，纹理特征，形状特征等等。然而，图像内容特征虽然能捕捉图片的视觉相似性，但是视觉相似并不一定代表语义相似，即存在“语义鸿沟”问题。因此，基于文本的图像检索和基于内容的图像检索各有利弊，均不能很好地满足用户需求。
【发明内容】
[0004]基于上述情况，本发明提出了一种图像检索方法与系统，以提高图像检索的准确性。
[0005]一种图像检索方法，包括步骤:
[0006]接收用户提交的查询图片和/或查询文本；
[0007]提取所述查询图片的各种内容特征，并对所述查询文本进行分词；
[0008]将所述查询图片的各种内容特征与数据库中每张图片的相应内容特征比较，按照相似度对数据库中的图片进行排序，得到内容相似度的各个列表；将分词后的所述查询文本与数据库每张图片对应的描述性文档比较，按照相似度对数据库中的图片进行排序，得到文本相似度的列表；
[0009]根据在各个列表中的位置及所在列表的权重，为数据库中的每个图片赋分，并按照赋分重新排序，得到相似度综合排序列表，将该列表返回用户。
[0010]一种图像检索系统，包括:
[0011]查询信息接收端，用于接收用户提交的查询图片和/或查询文本；
[0012]查询信息处理模块，用于提取所述查询图片的各种内容特征，并对所述查询文本进行分词；
[0013]相似度单项排序模块，用于将所述查询图片的各种内容特征与数据库中每张图片的相应内容特征比较，按照相似度对数据库中的图片进行排序，得到内容相似度的各个列表；将分词后的所述查询文本与数据库每张图片对应的描述性文档比较，按照相似度对数据库中的图片进行排序，得到文本相似度的列表；
[0014]相似度综合排序模块，用于根据在各个列表中的位置及所在列表的权重，为数据库中的每个图片赋分，并按照赋分重新排序，得到相似度综合排序列表，将该列表返回用户。
[0015]本发明图像检索方法与系统，针对给定的查询文本和/或查询图片，分别根据文本相关性和图片内容相关性得出多个库内图片的相似度排序列表，然后结合得出的多个排序列表，综合考虑文本相似度和图片内容相似度，返回一个综合的排序列表。这种多模态的混合检索机制避免了以往单模态检索机制的不足，发挥了文本检索方法和图像内容检索方法各自的优势，大大提高了图片检索的准确率。由于仅对各单项检索模型的排序结果进行融合，因此可以方便地增减、替换单项检索模型，实现了文本和图像内容特征检索模型的灵活配置，提高了图像检索系统的性能。
【专利附图】
【附图说明】
[0016]图1为本发明图像检索方法的流程示意图；
[0017]图2为本发明图像检索方法中图像内容和文本联合检索的流程图；
[0018]图3为应用本发明图像检索方法与传统检索方法的检索结果对比；
[0019]图4为本发明图像检索系统的结构示意图。
【具体实施方式】
[0020]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的【具体实施方式】仅仅用以解释本发明，并不限定本发明的保护范围。
[0021]本发明的图像检索方法，如图1所示，包括步骤:
[0022]步骤S101、接收用户提交的查询图片和/或查询文本；
[0023]步骤S102、提取所述查询图片的各种内容特征，并对所述查询文本进行分词；
[0024]步骤S103、将所述查询图片的各种内容特征与数据库中每张图片的相应内容特征比较，按照相似度对数据库中的图片进行排序，得到内容相似度的各个列表；将分词后的所述查询文本与数据库每张图片对应的描述性文档比较，按照相似度对数据库中的图片进行排序，得到文本相似度的列表；
[0025]步骤S104、根据在各个列表中的位置及所在列表的权重，为数据库中的每个图片赋分，并按照赋分重新排序，得到相似度综合排序列表，将该列表返回用户。
[0026]传统的检索方法，根据用户提交的文本描述信息进行检索，或者从用户提交的图片中提取一种特征进行检索，即单模态检索。而采用本检索方法，用户既可以单纯根据图片或文本描述信息进行检索，还可以同时根据图片和文本描述信息进行联合检索。在用户只提交图片的情况下，如步骤S102所述，本检索方法提取的不是只有一种内容特征，而是提取多种内容特征，并进行综合排名。总之，相比传统检索方法，本检索方法是一种多模态的混合检索方法。实验证明，这种混合检索机制较以往单模态的检索机制在返回结果准确率方面有很大的提高。下面对上述几个步骤进行详述。
[0027]用户提交查询信息后，在步骤S102中，对提交的查询图片提取内容特征，并对提交的文本进行分词。在本发明实施例中，图像内容特征优选地包括颜色特征，纹理特征和形状特征，这三种特征是目前常用的比较典型的反应图片内容的特征。分词采取的方法是隐式马尔科夫模型(HMM)。设状态集合为Q=(qi，q2，…(^)，即标注的词性(例如词首、词中、词尾)全集；观测集合为V = (v1； V2,…qM)，即用户输入的待分词字符的全集；观测序列为O= (o1； O2,…οτ)，即输入的待分字符序列；其状态序列为I = (i1； i2,…^)，即待分字符序列可能的词性标签序列。首先确定使用的语料库，然后通过统计的方法就会得到隐式马尔科夫模型的三个参数，分别是状态转移概率矩阵A = [au]NXN，观测概率矩阵B=[h(k)]NXM，初始状态概率向量π = O i)。其中:
【权利要求】
1.一种图像检索方法，其特征在于，包括步骤: 接收用户提交的查询图片和/或查询文本； 提取所述查询图片的各种内容特征，并对所述查询文本进行分词； 将所述查询图片的各种内容特征与数据库中每张图片的相应内容特征比较，按照相似度对数据库中的图片进行排序，得到内容相似度的各个列表；将分词后的所述查询文本与数据库每张图片对应的描述性文档比较，按照相似度对数据库中的图片进行排序，得到文本相似度的列表； 根据在各个列表中的位置及所在列表的权重，为数据库中的每个图片赋分，并按照赋分重新排序，得到相似度综合排序列表，将该列表返回用户。
2.根据权利要求1所述的图像检索方法，其特征在于， 图片的内容特征包括颜色特征、纹理特征和形状特征。
3.根据权利要求1或2所述的图像检索方法，其特征在于， 采用隐式马尔科夫模型对所述查询文本进行分词。
4.根据权利要求1或2所述的图像检索方法，其特征在于， 采用统计语言建模方法度量分词后的所述查询文本与数据库中每张图片对应的描述性文档的相似度； 采用欧氏距离计算所述查询图片的各种内容特征与数据库中每张图片的相应内容特征的相似度。
5.根据权利要求1或2所述的图像检索方法，其特征在于， 采用遗传算法或退火算法设置每个列表的权重。
6.一种图像检索系统，其特征在于，包括: 查询信息接收端，用于接收用户提交的查询图片和/或查询文本； 查询信息处理模块，用于提取所述查询图片的各种内容特征，并对所述查询文本进行分词； 相似度单项排序模块，用于将所述查询图片的各种内容特征与数据库中每张图片的相应内容特征比较，按照相似度对数据库中的图片进行排序，得到内容相似度的各个列表；将分词后的所述查询文本与数据库每张图片对应的描述性文档比较，按照相似度对数据库中的图片进行排序，得到文本相似度的列表； 相似度综合排序模块，用于根据在各个列表中的位置及所在列表的权重，为数据库中的每个图片赋分，并按照赋分重新排序，得到相似度综合排序列表，将该列表返回用户。
7.根据权利要求6所述的图像检索系统，其特征在于， 图片的内容特征包括颜色特征、纹理特征和形状特征。
8.根据权利要求6或7所述的图像检索系统，其特征在于， 所述查询信息处理模块采用隐式马尔科夫模型对所述查询文本进行分词。
9.根据权利要求6或7所述的图像检索系统，其特征在于， 所述相似度单项排序模块采用统计语言建模方法度量分词后的所述查询文本与数据库中每张图片对应的描述性文档的相似度；采用欧氏距离计算所述查询图片的各种内容特征与数据库中每张图片的相应内容特征的相似度。
10.根据权利要求6或7所述的图像检索系统，其特征在于，所述相似度综合排序模块 采用遗传算法或退火算法设置每个列表的权重。
【文档编号】G06F17/30GK103473327SQ201310420287
【公开日】2013年12月25日 申请日期:2013年9月13日 优先权日:2013年9月13日
【发明者】钟海兰 申请人:广东图图搜网络科技有限公司