一种图像视觉和文本语义融合商品检索方法
【专利摘要】本发明公开了一种基于图像视觉和文本语义融合商品图像检索方法，该方法首先对检索商品图通过分割，在图像库中根据视觉匹配进行相似度度量检索，得到一系列的视觉相似结果集，根据检索商品的文本信息通过文本相似度检索，得到一系列的文本相似商品结果集，然后对视觉检索的相似结果集进行文本相似度度量，合并视觉和文本相似结果集，得到综合相似商品集，使用视觉特征统一进行视觉相似分度量，最后对综合商品集中的商品进行质量分度量，在展示输出时，对文本相似分和视觉相似分、商品质量分三个因子进行加权计算，优化排序结果。本发明提高了检索的商品相似性，进一步满足了对用户推荐商品的需求，具有很强的扩展性，对于任何商品类目均可兼容。
【专利说明】一种图像视觉和文本语义融合商品检索方法
【技术领域】
[0001]本发明涉及图像搜索【技术领域】，尤其涉及一种图像视觉和文本语义融合商品检索 方法。
【背景技术】
[0002]随着多媒体信息技术和互联网技术的发展，特别是大规模数字图像库的出现，图 像信息越来越得到重视。而如何管理飞速增长的图像信息，并从海量的图像集合中快速有 效的查找出人们感兴趣的图像成为了具有广泛实际意义的工作。
[0003]目前主流的图像检索方法大致可以分为两大类，即基于关键词的图像检索（TBIR) 和基于内容的图像检索（CBIR)，图像主要包含两种类型的信息，一种是图像本身所包含的 丰虽的视觉/[目息，另一种是图像所在网页包含的丰富的文本信息。TBIR仅仅使用从文本信 息中抽取的文本特征索引和检索图像，而CBIR仅仅使用从图像视觉信息中抽取的低层视 觉特征索引和检索用户。显然，要较好地满足用户检索商品图像的需求，在图像检索过程中 必须充分利用并融合上述两种不同类型的信息。
[00^4]对商品检索来讲，用户上传或是点击一个商品图，期望能找到与其相同或是相似 的高质量的商品推荐。所以在相似的基础上，还要考虑到推荐商品的优劣，提高推荐服务意 义。
【发明内容】
[0005]本发明的目的利用文本信息和图像视觉特征信息，提供一种图像视觉和文本语义 融合商品检索方法。
[0006] 本发明的目的是通过以下技术方案来实现的，
[0007] 1· -种图像视觉和文本语义融合商品检索方法，包括如下步骤：
[0008] ⑴视觉相似图像集的筛选，具体为：
[0009] 1. 1通过分水岭图像分割的方法，提取待检索商品图像和商品图像库中的图像的 前景（商品主体），然后针对商品主体图像，提取视觉特征；所述视觉特征包括颜色特征和 纹理特征，其中颜色特征米用颜色直方图描述符CHD、颜色结构描述符CSD、颜色布局描述 符CLD ;纹理特征米用了 MPEG_7的边缘直方图描述符EHD、GIST特征、梯度直方图H0G特征； 将以上6种视觉特征对商品进行特征提取，并保存到特征库； ^
[0010] 1. 2使用加权度量方法，对待检索的图像特征向量与图像库中的任一图像的特征 向量进行视觉相似度度量，相似度距离DSim通过以下公式得到：
[0011 ] DSim - wGSD*DCSD+wGLD*DaD+w腦其中，D Sim是相似度距 尚' D〇id' Dcsd' Dcld，D腦，DGIST, DHQG分别疋彳寸检索商品图像和商品图像库中的任一图像的对应 的6个视觉特征归一化后的距离，Wcs D，wCLD，wEffl)，weiST，WCHD，W HQ。分别是对应的视觉特征的权 重；
[0012] 1· 3将待检索的图像与图像库中的所有图像的视觉特征向量进行视觉相似度度 量，得到一系列相似度距离的集合{DSim};将集合{DSim}中的相似度距离按照从小到大排 序，将排名靠前的前1〇〇个图像结果，选定为从商品图像库中筛选出视觉相似图像集，对应 的商品集为视觉相似商品集；
[0013] 1. 4根据步骤1. 3筛选出的视觉相似商品集，从商品库中获取各个商品图像对应 的有效文本信息词汇（word)作为文本信息特征；所述有效文本信息词汇来源于属性描述；
[0014] 1· 5对步骤1. 4提取的视觉相似商品集中文本信息特征与待检索商品图像的文本 信息进行文本相似度量，得到文本相似分；
[0015] 根据实际应用场景，文本相似分TextSimilarity通过以下公式得到：
[0016] TextSimilarity = QueryNorm(Q)*Coord(Q, D)*VSM(Q, D)
[0017] 其中，Q为待检索图像的文本信息特征，D为任意一条商品库索引中的文本信息特 征，Q和D均表不为属性词（word)的集合；
[0018]
【权利要求】
1. 一种图像视觉和文本语义融合商品检索方法，其特征在于，包括如下步骤： (1) 视觉相似图像集的筛选，具体为： 1. 1通过分水岭图像分割的方法，提取待检索商品图像和商品图像库中的图像的前 景（商品主体），然后针对商品主体图像，提取视觉特征；所述视觉特征包括颜色特征和纹 理特征，其中颜色特征采用颜色直方图描述符CHD、颜色结构描述符CSD、颜色布局描述符 CLD ;纹理特征采用了 MPEG-7的边缘直方图描述符EHD、GIST特征、梯度直方图HOG特征； 将以上6种视觉特征对商品进行特征提取，并保存到特征库； 1.2使用加权度量方法，对待检索的图像特征向量与图像库中的任一图像的特征向量 进行视觉相似度度量，相似度距离DSim通过以下公式得到： Dsim - ^SD^DcSD^CLD^DcLD^EHD^DeHD^GIST^Dg ist+wchd*Dchd+wH(X*D hog 其中，DSim是相似度距离， Doro，Dcsd，DaD，D_，DeiST，DH(K分别是待检索商品图像和商品图像库中的任一图像的对应的6 个视觉特征归一化后的距离，W esD，WaD，WEHD，WeIST，Won), wH(X；分别是对应的视觉特征的权重； 1.3将待检索的图像与图像库中的所有图像的视觉特征向量进行视觉相似度度量，得 到一系列相似度距离的集合{D Sim};将集合{DSim}中的相似度距离按照从小到大排序，将排 名靠前的前100个图像结果，选定为从商品图像库中筛选出视觉相似图像集，对应的商品 集为视觉相似商品集； 1. 4根据步骤1. 3筛选出的视觉相似商品集，从商品库中获取各个商品图像对应的有 效文本信息词汇（word)作为文本信息特征；所述有效文本信息词汇来源于属性描述； 1. 5对步骤1. 4提取的视觉相似商品集中文本信息特征与待检索商品图像的文本信息 进行文本相似度量，得到文本相似分； 根据实际应用场景，文本相似分TextSimilarity通过以下公式得到： TextSimilarity = QueryNorm(Q)*Coord(Q, D)*VSM(Q, D) 其中，Q为待检索图像的文本信息特征，D为任意一条商品库索引中的文本信息特征，Q 和D均表示为属性词（word)的集合；
J检索条件的度量分，表征单次检索的复杂 度；idf (word) = In(索引中的文档数/索引中word出现的次数），为逆向文本频率； Coord(Q，D) = |Q Π D|/|Q|，表示商品库中索引文本和待检索图像的文本信息特征的重合
度；^用于表达重合词的权重； Μ (2) 文本相似商品集的筛选，具体为： 2. 1对待检索商品图像的文本信息作为检索语义信息，通过文本相似性，对商品库中的 所有商品进行文本相似分度量，文本相似分的计算同步骤1. 5 ; 将文本相似分TextSimilarity按照从大到小排序，取排名靠前的前100个结果，选定 为从商品库中筛选出文本相似商品集； 2. 2对步骤2. 1筛选出文本相似商品集中的商品图像提取图像集视觉特征信息；视觉 特征信息方法同步骤1. 1 ; (3) 合并步骤1. 3筛选的视觉相似商品集和步骤2. 1筛选的文本相似商品集，得到相似 商品集，并对相似商品集进行视觉相似度计算，视觉相似度计算方法同步骤1 ; (4)将相似商品集中的文本相似分Ts和视觉相似分Vs分别进行归一化处理，然后计算 商品集的ts和vs的平均分Tm和vm，筛选出高相似商品集{t s彡Tm n vs彡vm}，对高相似商 品集{ts彡τπ n vs彡vm}中的商品进行商品质量分从高到低排序，排序方法为： 根据高相似商品集{ts彡τπ n vs彡vm}中每个商品的信息描述，对价格、销量、评论数 量、店铺等级进行度量，统一得到商品质量分；分别对各个因子采用归一化处理，处理方法 同步骤3 ;得到商品质量分ps :ps = pa+pa+p^+pa ; Pi为价格归一化后的分数，价格越高，分数越小，Wi为价格的权重；p2为销量归一化后 的分数，销量越高，分数越大，w2为销量的权重；P3为评论数量归一化后的分数，评论数量越 高，分数越大，w 3为评论数量的权重；P4为店铺等级归一化后的分数，店铺等级越高，分数越 大，w4为店铺等级的权重。
【文档编号】G06F17/30GK104298749SQ201410541875
【公开日】2015年1月21日 申请日期:2014年10月14日 优先权日:2014年10月14日
【发明者】张继霞, 陈永健, 黄琦 申请人:杭州淘淘搜科技有限公司