基于相似度的乳腺图像的匹配图像检索方法及检索系统的制作方法
【专利摘要】本发明公开了提供一种基于相似度的乳腺图像的匹配图像检索方法及检索系统，基于相似度的乳腺图像的匹配图像检索方法包括如下步骤：建立图像特征库；建立分层聚类树；提取待检索图像的特征；查找与带检索图像相似的图像并输出。本发明的系统包括图像特征库建立模块、分层聚类树建立模块、待检索图像的特征提取模块和相似图像查找模块。本发明的方法和系统能够实时将需要检索的乳腺X线片的图像输入检索数据库，然后对输入图像进行分析，将检索数据库中的图像按照与输入图像的相似度进行排序输出。本发明的检索速度快且检索结果准确。
【专利说明】基于相似度的乳腺图像的匹配图像检索方法及检索系统
【技术领域】
[0001]本发明属于数字图像检索【技术领域】，具体涉及一种基于相似度的乳腺图像的匹配图像检索方法及检索系统。
【背景技术】
[0002]乳腺疾病是严重危害女性健康的一种疾病，目前乳腺癌已经占到女性新发恶性病的30%左右,排名女性恶性肿瘤发病率的第一位。乳腺X线照相术(Mammography)通过专门的钥钯X线机对乳房进行拍照形成乳腺X线片，目前使用乳腺X线片作为基础数据进行乳腺疾病的研究已经在发达国家成为使用最普遍的方式。乳腺癌X线片中病灶表示形式常见的有较规则或类圆形肿块、不规则或模糊肿块、毛刺肿块、透亮环肿块四类。计算机视觉领域的目标检测技术和人工智能领域的机器学习技术能够非常直观的应用在乳腺肿块的检测中，该技术通过对肿块区域和非肿块区域的训练学习，从乳腺X射线片中检测到疑似肿块区域。但由于目前机器学习技术和目标检测技术还不够不成熟，尤其是“语义鸿沟(Semantic Gap)”问题还没有得到根本解决，现有的应用上述技术进行乳腺肿块区域自动检测的方法存在将肿块区域漏掉或者肿块部位不准确等问题。
【发明内容】
[0003]针对上述现有技术中存在的缺陷或不足，本发明的一个目的在于，提供一种基于相似度的乳腺图像的匹配图像检索方法，该方法实时将需要检索的乳腺X线片的图像输入检索数据库，然后对输入图像进行分析，将检索数据库中的图像按照与输入图像的相似度进行排序输出。该方法能够实时、快速、准确地输出与输入图像的相似度最高的若干幅图像，从而为医生在结合检查报告后进行实时分析乳腺肿块或钙化提供更多的参考依据。
[0004]为了实现上述目的，本发明采用如下的技术方案予以解决:
[0005]一种基于相似度的乳腺图像的匹配图像检索方法，包括如下步骤:
[0006]步骤1:建立图像特征库；具体步骤为:遍历图像库中保存的乳腺图像，利用SIFT算法对每幅乳腺图像提取SIFT特征块，并将每个符合规定尺度的SIFT特征块以特征块中心为定点旋转，直至其主方向与水平方向垂直，并利用HOG算法分别提取这些特征块的HOG特征；然后将每个旋转后的SIFT特征块进行水平翻转，并利用HOG算法分别提取这些水平翻转后的特征块的HOG特征；将旋转后以及水平翻转后得到的每幅乳腺图像的图像号、该图像的HOG特征数以及该图像的HOG特征对应保存到图像特征库；
[0007]步骤2:建立分层聚类树；具体步骤如下:
[0008]步骤201:从图像特征库中读取所有的HOG特征并将它们保存到分层聚类树的根节点；令根节点为当前节点；
[0009]步骤202:在当前节点上保存所有的HOG特征中随机选取来自于不同图像的K个HOG特征作为初始聚类中心，使用K-Means算法将当前节点上保存的所有HOG特征分成K个类；同时，令当前节点产生K个子节点，将生成的K个类中的HOG特征以及每个类的聚类中心对应存储到当前节点的K个子节点上；
[0010]步骤203:判断分层聚类树的层数是否小于阈值d印th，是则将步骤202产生的K个子节点依次作为当前节点，分别执行步骤202 ;否则结束；
[0011]步骤3:提取待检索图像的特征；具体步骤如下:
[0012]对一幅待检索图像，利用SIFT算法提取其SIFT特征块并选出符合规定尺度的SIFT特征块，将每个选出的SIFT特征块以特征块的中心为定点旋转，直至其主方向与水平方向垂直，并提取其HOG特征；再对该旋转后的SIFT特征块做水平翻转后提取HOG特征；
[0013]步骤4:查找与带检索图像相似的图像并输出；具体步骤如下:
[0014]步骤401:遍历待检索图像的所有HOG特征，将待检索图像的每个HOG特征作为当前特征，选出分层聚类树上与当前特征对应的一个叶子节点；
[0015]步骤402:对于待检测图像的每个HOG特征，利用kNN算法计算得到与每个HOG特征对应的叶子节点中存储的HOG特征中与该HOG特征最近的k个特征，该k个HOG特征组成该HOG特征的匹配特征集；
[0016]步骤403:统计待检测图像的所有HOG特征的匹配特征集中，所有HOG特征来自的乳腺图像的图像号出现的次数，并将每个乳腺图像的图像号出现的次数按照降序排序，取前k个对应的乳腺图像作为与待检测图像相似度高的乳腺图像输出。
[0017]进一步的，所述步骤I中的所述符合规定尺度的SIFT特征块是指大小不小于32X32像素的SIFT特征块。
[0018]进一步的,所述步骤202中的当前节点产生子节点的个数K=3。
[0019]进一步的，所述步骤203中的分层聚类树的层数的阈值d印th=4。
[0020]进一步的,所述步骤401中选出分层聚类树上与当前特征对应的一个叶子节点的具体步骤如下:
[0021]I)将分层聚类树的根节点作为当前节点；
[0022]2)计算当前HOG特征与当前节点的K个子节点聚类中心的距离(本发明中采用欧式距离)，选出距离最近的节点；判断该选出的节点是否是叶子节点，是则结束；否则将该选出的节点作为当前节点，执行2)。
[0023]本发明的另一个目的在于，提供一种基于相似度的乳腺图像的匹配图像检索系统，该系统能够实现计算机实时批量检索，将需要检索的乳腺X线片的图像输入检索数据库，然后对输入图像进行分析，将检索数据库中的图像按照与输入图像的相似度进行排序输出。
[0024]为了实现上述目的，本发明采用如下的技术方案予以解决:
[0025]一种基于相似度的乳腺图像的匹配图像检索系统，具体包括如下模块:
[0026]I)图像特征库建立模块，该模块用于遍历图像库中保存的乳腺图像，利用SIFT算法对每幅乳腺图像提取SIFT特征块，并将每个符合规定尺度的SIFT特征块以特征块中心为定点旋转，直至其主方向与水平方向垂直，并利用HOG算法分别提取这些特征块的HOG特征；然后将每个旋转后的SIFT特征块进行水平翻转，并利用HOG算法分别提取这些水平翻转后的特征块的HOG特征；将旋转后以及水平翻转后得到的每幅乳腺图像的图像号、该图像的HOG特征数以及该图像的HOG特征对应保存到图像特征库；
[0027]2)分层聚类树建立模块，该模块包括以下相连接的子模块:[0028]子模块201:从图像特征库中读取所有的HOG特征并将它们保存到分层聚类树的根节点；令根节点为当前节点；
[0029]子模块202:在当前节点上保存所有的HOG特征中随机选取来自于不同图像的K个HOG特征作为初始聚类中心，使用K-Means算法将当前节点上保存的所有HOG特征分成K个类；同时，令当前节点产生K个子节点，将生成的K个类中的HOG特征以及每个类的聚类中心对应存储到当前节点的K个子节点上；
[0030]子模块203:判断分层聚类树的层数是否小于阈值d印th，是则将子模块202产生的K个子节点依次作为当前节点，分别执行子模块202 ;否则结束；
[0031]3)待检索图像的特征提取模块，该模块用于:
[0032]对一幅待检索图像，利用SIFT算法提取其SIFT特征块并选出符合规定尺度的SIFT特征块，将每个选出的SIFT特征块以特征块的中心为定点旋转，直至其主方向与水平方向垂直，并提取其HOG特征；再对该旋转后的SIFT特征块做水平翻转后提取HOG特征；
[0033]4)相似图像查找模块，该模块包括如下依次相连接的子模块:
[0034]子模块401:遍历待检索图像的所有HOG特征，将待检索图像的每个HOG特征作为当前特征，选出分层聚类树上与当前特征对应的一个叶子节点；
[0035]子模块402:对于待检测图像的每个HOG特征，利用kNN算法计算得到与每个HOG特征对应的叶子节点中存储的HOG特征中与该HOG特征最近的k个特征，该k个HOG特征组成该HOG特征的匹配特征集；
[0036]子模块403:统计待检测图像的所有HOG特征的匹配特征集中，所有HOG特征来自的乳腺图像的图像号出现的次数，并将每个乳腺图像的图像号出现的次数按照降序排序，取前k个对应的乳腺图像作为与待检测图像相似度高的乳腺图像输出。
[0037]进一步的，所述图像特征库建立模块中的所述符合规定尺度的SIFT特征块是指大小不小于32X32像素的SIFT特征块。
[0038]进一步的，所述子模块202中的当前节点产生子节点的个数K=3。
[0039]进一步的，所述子模块203中的分层聚类树的层数的阈值d印th=4。
[0040]进一步的，所述子模块401中选出分层聚类树上与当前特征对应的一个叶子节点的子模块用于:
[0041]I)将分层聚类树的根节点作为当前节点；
[0042]2)计算当前HOG特征与当前节点的K个子节点聚类中心的距离(本发明中采用欧式距离)，选出距离最近的节点；判断该选出的节点是否是叶子节点，是则结束；否则将该选出的节点作为当前节点，执行2)。
[0043]与现有技术相比，本发明的优点如下:
[0044]1、从图像中提取特征块时按照特定规则选取特征块，删除了信息量少的特征块，减少了容量存储。
[0045]2、针对乳腺图像的特殊性，即一对乳腺左右部分相似的性质，为了检索出一对乳腺的左右部分，对特征块做了水平翻转之后提取特征，丰富了特征库的信息。
[0046]3、为了加快检索的速度，采用了分层聚类树来建立特征树，保证检索的运算复杂度在“对数”级别，大大提高了检索效率。【专利附图】
【附图说明】
[0047]图1是本发明的检索方法的总体流程图。
[0048]图2是本发明的检索方法的步骤I建立图像特征库的流程图。
[0049]图3是本发明的检索方法的步骤2建立分层聚类树流程图。
[0050]图4是分层聚类算法的流程图。
[0051]图5是本发明的检索方法的步骤3提取检索图像特征流程图。
[0052]图6是本发明的检索方法的步骤4查找并输出相似图像的流程图。
图7是本发明的基于相似度的乳腺图像的匹配图像检索系统的结构图。
[0053]图8是本发明的实施例的执行过程中的结果。其中，图8(a)实施例中的一张待检索图片，图8(b)为步骤3中使用SIFT算法提取的所有SIFT特征块，图8 (c)为去除冗余SIFT特征块之后的剩余的SIFT特征块，图8 (d)为待检索图像中一部分完成旋转之后的SIFT特征块。图8(e)为系统输出的最终检索结果。
[0054]以下结合附图和【具体实施方式】对本发明进一步解释说明。
【具体实施方式】
[0055]相关术语介绍如下:
[0056]1、SIFT (Scale Invariant Feature Transform)算法
[0057]即尺度不变特征变换，是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子。该算法是图像特征提取技术的经典算法，该算法通过计算一幅图像中的特征点(Feature Points)以及其尺度和方向的描述算子从而得到特征块。SIFT算法输出的结果为:特征块的中心点，特征块的大小和特征块的主方向。通过SIFT算法来提取图像的SIFT特征块具体这样实现:用不同尺度的图像I U，y)与高斯函数G(xi； Yi, ο )做卷积构建高斯金字塔；进而构建DOG (Difference of Gaussians)高斯差分金字塔，从查找出的DOG空间的局部极值点去除不稳定的极值点，得到特征点，最后找出不同尺度下的特征块。其中，(x，y)表示图像中像素点的坐标，σ为尺度大小。高斯函数为:
[0058]
【权利要求】
1.一种基于相似度的乳腺图像的匹配图像检索方法，其特征在于，具体包括如下步骤: 步骤1:建立图像特征库；具体步骤为:遍历图像库中保存的乳腺图像，利用SIFT算法对每幅乳腺图像提取SIFT特征块，并将每个符合规定尺度的SIFT特征块以特征块中心为定点旋转，直至其主方向与水平方向垂直，并利用HOG算法分别提取这些特征块的HOG特征；然后将每个旋转后的SIFT特征块进行水平翻转，并利用HOG算法分别提取这些水平翻转后的特征块的HOG特征；将旋转后以及水平翻转后得到的每幅乳腺图像的图像号、该图像的HOG特征数以及该图像的HOG特征对应保存到图像特征库； 步骤2:建立分层聚类树；具体步骤如下: 步骤201:从图像特征库中读取所有的HOG特征并将它们保存到分层聚类树的根节点；令根节点为当前节点； 步骤202:在当前节点上保存所有的HOG特征中随机选取来自于不同图像的K个HOG特征作为初始聚类中心，使用K-Means算法将当前节点上保存的所有HOG特征分成K个类；同时，令当前节点产生K个子节点，将生成的K个类中的HOG特征以及每个类的聚类中心对应存储到当前节点的K个子节点上； 步骤203:判断分层聚类树的层数是否小于阈值d印th，是则将步骤202产生的K个子节点依次作为当前节点，分别执行步骤202 ;否则结束； 步骤3:提取待检索图像的特征；具体步骤如下: 对一幅待检索图像，利用SIFT算法提取其SIFT特征块并选出符合规定尺度的SIFT特征块，将每个选出的SIFT特征块以特征块的中心为定点旋转，直至其主方向与水平方向垂直，并提取其HOG特征；再对该旋转后的SIFT特征块做水平翻转后提取HOG特征； 步骤4:查找与带检索图像相似的图像并输出；具体步骤如下: 步骤401:遍历待检索图像的所有HOG特征，将待检索图像的每个HOG特征作为当前特征，选出分层聚类树上与当前特征对应的一个叶子节点； 步骤402:对于待检测图像的每个HOG特征，利用kNN算法计算得到与每个HOG特征对应的叶子节点中存储的HOG特征中与该HOG特征最近的k个特征，该k个HOG特征组成该HOG特征的匹配特征集； 步骤403:统计待检测图像的所有HOG特征的匹配特征集中，所有HOG特征来自的乳腺图像的图像号出现的次数，并将每个乳腺图像的图像号出现的次数按照降序排序，取前k个对应的乳腺图像作为与待检测图像相似度高的乳腺图像输出。
2.如权利要求1所述的基于相似度的乳腺图像的匹配图像检索方法，其特征在于，所述步骤I中的所述符合规定尺度的SIFT特征块是指大小不小于32X32像素的SIFT特征块。
3.如权利要求1所述的基于相似度的乳腺图像的匹配图像检索方法，其特征在于，所述步骤202中的当前 节点产生子节点的个数K=3。
4.如权利要求1所述的基于相似度的乳腺图像的匹配图像检索方法，其特征在于，所述步骤203中的分层聚类树的层数的阈值d印th=4。
5.如权利要求1所述的基于相似度的乳腺图像的匹配图像检索方法，其特征在于，所述步骤401中选出分层聚类树上与当前特征对应的一个叶子节点的具体步骤如下:1)将分层聚类树的根节点作为当前节点； 2)计算当前HOG特征与当前节点的K个子节点聚类中心的距离(本发明中采用欧式距离)，选出距离最近的节点；判断该选出的节点是否是叶子节点，是则结束；否则将该选出的节点作为当前节点，执行2)。
6.一种基于相似度的乳腺图像的匹配图像检索系统，其特征在于，具体包括如下模块: 1)图像特征库建立模块，该模块用于遍历图像库中保存的乳腺图像，利用SIFT算法对每幅乳腺图像提取SIFT特征块，并将每个符合规定尺度的SIFT特征块以特征块中心为定点旋转，直至其主方向与水平方向垂直，并利用HOG算法分别提取这些特征块的HOG特征；然后将每个旋转后的SIFT特征块进行水平翻转，并利用HOG算法分别提取这些水平翻转后的特征块的HOG特征；将旋转后以及水平翻转后得到的每幅乳腺图像的图像号、该图像的HOG特征数以及该图像的HOG特征对应保存到图像特征库； 2)分层聚类树建立模块，该模块包括以下相连接的子模块: 子模块201:从图像特征库中读取所有的HOG特征并将它们保存到分层聚类树的根节点；令根节点为当前节点； 子模块202:在当前节点上保存所有的HOG特征中随机选取来自于不同图像的K个HOG特征作为初始聚类中心，使用K-Means算法将当前节点上保存的所有HOG特征分成K个类；同时，令当前节点产生K个子节点，将生成的K个类中的HOG特征以及每个类的聚类中心对应存储到当前节点的K个子节点上； 子模块203:判断分层聚类树的层数是否小于阈值d印th，是则将子模块202产生的K个子节点依次作为当前节点，分别执行子模块202 ;否则结束； 3)待检索图像的特征提取模块，该模块用于: 对一幅待检索图像，利用SIFT算法提取其SIFT特征块并选出符合规定尺度的SIFT特征块，将每个选出的SIFT特征块以特征块的中心为定点旋转，直至其主方向与水平方向垂直，并提取其HOG特征；再对该旋转后的SIFT特征块做水平翻转后提取HOG特征； 4)相似图像查找模块，该模块包括如下依次相连接的子模块: 子模块401:遍历待检索图像的所有HOG特征，将待检索图像的每个HOG特征作为当前特征，选出分层聚类树上与当前特征对应的一个叶子节点； 子模块402:对于待检测图像的每个HOG特征，利用kNN算法计算得到与每个HOG特征对应的叶子节点中存储的HOG特征中与该HOG特征最近的k个特征，该k个HOG特征组成该HOG特征的匹配特征集； 子模块403:统计待检测图像的所有HOG特征的匹配特征集中，所有HOG特征来自的乳腺图像的图像号出现的次数，并将每个乳腺图像的图像号出现的次数按照降序排序，取前k个对应的乳腺图像作为与待检测图像相似度高的乳腺图像输出。
7.如权利要求6所述的基于相似度的乳腺图像的匹配图像检索方法，其特征在于，所述图像特征库建立模块中的所述符合规定尺度的SIFT特征块是指大小不小于32 X 32像素的SIFT特征块。
8.如权利要求6所述的基于相似度的乳腺图像的匹配图像检索方法，其特征在于，所述子模块202中的当前节点产生子节点的个数K=3。
9.如权利要求6所述的基于相似度的乳腺图像的匹配图像检索方法，其特征在于，所述子模块203中的分层聚类树的层数的阈值d印th=4。
10.如权利要求6所述的基于相似度的乳腺图像的匹配图像检索方法，其特征在于，所述子模块401中选出分层聚类树上与当前特征对应的一个叶子节点的子模块用于: 1)将分层聚类树的根节点作为当前节点； 2)计算当前HOG特征与当前节点的K个子节点聚类中心的距离(本发明中采用欧式距离)，选出距离最近的节点；判断该选出的节点是否是叶子节点，是则结束；否则将该选出的节点作为当前节点，执行2)。`
【文档编号】G06F17/30GK103678504SQ201310590294
【公开日】2014年3月26日 申请日期:2013年11月19日 优先权日:2013年11月19日
【发明者】张浪, 辛良, 申田, 李云峰, 张孝林 申请人:西安华海盈泰医疗信息技术有限公司