皮肤病图像检索方法及系统、存储介质、电子设备与流程

本发明涉及图像检索，尤其涉及皮肤病图像检索方法及系统、存储介质、电子设备。

背景技术：

随着生活水平的提高，皮肤的健康问题也越来越成为人们关注的话题，然而皮肤病逐渐成了高发常见病，如血管瘤、恶性黑毒瘤等皮肤疾病严重威胁人类的皮肤健康甚至生命，如何将多种典型的皮肤病图像运用图像处理、计算机视觉等理论将用普通摄像机、相机，手机等移动设备采集的皮肤病图像应用在图像检索中，构建皮肤病检索模型和方法，使医生或用户快速有效地检索到有价值的目标图像，建立一个高效、准确的皮肤病图像检索系统成为一个迫切需要解决的问题。

由于皮肤病图像的复杂多变的背景，传统的图像检索模型存在内容描述不充分，且在计算相似度时缺乏语义信息，造成低层视觉特征与高层语义空间之间存在严重的语义鸿沟问题，目前急需一种皮肤病图像检索方法解决上述问题。

技术实现要素：

为了克服现有技术的不足，本发明提出的一种皮肤病图像检索方法。首先对预处理之后的皮肤病受损区域的图像进行多特征提取并进行组合后，然后采用欧式距离相似度模型对皮肤病受损区域图像初步检索，最后引入了带有衰减系数的svm相关反馈算法，提高皮肤病受损区域图像的检索准确率。

本发明提供皮肤病图像检索方法，包括以下步骤：

图像预处理，获取待检索的皮损图像信息，并将皮损图像信息标准化，再对皮损图像进行边缘锐化，以增强皮损图像中的皮肤病图像的受损区域的相关特征；

特征提取，对经过图像预处理的皮损图像进行特征提取，提取颜色相关图特征、lbp纹理特征、hu矩形状特征，并进行权重赋予初值后进行多特征组合，生成待检索的皮损图像的综合性特征信息；

特征初步检索，采用欧式距离公式计算待检索的皮损图像与皮损库图像的相似性大小，并按照相似性大小进行倒序排列索引，输出相似性最高的若干张图像作为待检索的皮损图像的初步检索结果；

检索反馈，对初步检索结果的若干张图像进行标记，进行引入衰减系数的svm相关反馈，计算每张图像的相似性权值大小并进行降序排序，并输出似性最高的若干张图像作为反馈检索结果；若反馈检索结果不符合皮肤病评价要求，则继续对反馈检索结果的若干张图像进行标记并进行svm相关反馈,直至反馈检索结果符合皮肤病评价要求。

优选地，图像预处理包括：

先对皮损图像进行小波阈值去噪，后对去噪的图像进行直方图均衡化，再进行拉普拉斯变换锐化后增强边缘细节。

优选地，小波阈值去噪中选取软阈值去噪。

优选地，特征提取中，对颜色相关图特征、lbp纹理特征、hu矩形状特征进行归一化，并将颜色相关图特征、lbp纹理特征、hu矩形状特征中的各特征进行同一数量级别的特征组合，得到待检索的皮损图像的综合性特征信息。

优选地，检索反馈具体包括以下步骤：

对多特征的相似度进行加权组合后，按照相似度大小进行检索，检索结果返回若干张最相似皮损图像；

对初步皮损检索结果进行相关皮损样本数据集和不相关皮损样本数据集标记；

皮损样本集更新，更新历次返回的累积相关皮损样本集与不相关皮损样本集；

准备相关反馈学习的训练样本集，并利用svm分类器对样本集进行训练；

对待检索的皮损图像引入衰减系数β，并更新每一张图像的权值，其中β∈[0,1]；

对更新后的每张图像的权值大小进行降序排序，并返回检索图像。

一种电子设备，包括：处理器；

存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行皮肤病图像检索方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行皮肤病图像检索方法。

本发明还涉及皮肤病图像检索系统，包括图像预处理模块、特征提取模块、特征初步检索模块、检索反馈模块、皮损库；其中，

所述图像预处理模块，用于获取待检索的皮损图像信息，并将皮损图像信息标准化，再对皮损图像进行边缘锐化，以增强皮损图像中的皮肤病图像的受损区域的相关特征；

所述特征提取模块，用于对经过图像预处理的皮损图像进行特征提取，提取颜色相关图特征、lbp纹理特征、hu矩形状特征，并进行权重赋予初值后进行多特征组合，生成待检索的皮损图像的综合性特征信息；

所述特征初步检索模块，用于采用欧式距离公式计算待检索的皮损图像与所述皮损库内存储图像的相似性大小，并按照相似性大小进行倒序排列索引，输出相似性最高的若干张图像作为待检索的皮损图像的初步检索结果；

所述检索反馈模块，用于对初步检索结果的若干张图像进行标记，进行引入衰减系数的svm相关反馈，计算每张图像的相似性权值大小并进行降序排序，并输出似性最高的若干张图像作为反馈检索结果；若反馈检索结果不符合皮肤病评价要求，则继续对反馈检索结果的若干张图像进行标记并进行svm相关反馈,直至反馈检索结果符合皮肤病评价要求；

所述皮损库内存储有若干用于评价皮肤病类型的图片及图片特征信息。

优选地，所述皮损库内配置的皮肤病类型包括离心状环状红斑、银屑病、红皮病、白癜风、晕痣、寻常型鱼鳞病、黑棘皮病、草莓状血管瘤、带状疱疹、恶性黑素瘤。

优选地，衰减系数大于等于0并小于等于0.25。

相比现有技术，本发明的有益效果在于：

本发明针对皮损图像的背景、内容复杂多样的特点，提出的对采集的皮损图像进行小波去噪、直方图均衡化、laplace变化的预处理之后，提取其多特征组合成综合特征，并采用欧式距离进行相似度计算后完成初步检索过程。在svm相关反馈之后，随着反馈次数的增加，查准率也越来越高，最终趋于平衡；在引入衰减系数后，减少了svm相关反馈次数，有效地提高皮肤病图像检索的准确度，缩小皮损图像特征向量与人类视觉判定图像相似度之间的差距。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的皮肤病图像检索方法流程示意图；

图2为本发明的检索反馈流程示意图；

图3为本发明在一实施例中的皮肤病图像检索方法流程示意图；

图4为本发明在一实施例中的皮损图像检索的平均查准率变化图；

图5为本发明在一实施例中的β＝0.2时查准率与反馈次数的关系图；

图6为本发明在一实施例中的统计返回20张图像检索稳定时的查准率与反馈次数图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

皮肤病图像检索方法，如图1、图3所示，包括以下步骤：

s1、图像预处理，获取待检索的皮损图像信息，并将皮损图像信息标准化，再对皮损图像进行边缘锐化，以增强皮损图像中的皮肤病图像的受损区域的相关特征；在一实施例中，由于采集皮肤病的客观条件复杂多变，为了提高皮损检索的效率，将图像库与待检索的图像进行相同的预处理让其处于同等地位的情况下，进行后面的图像检索工作；为提高图像质量，尽可能消除图像的冗余信息，增强图像中的相关特征信息；本实施例中先对图像库中的图像进行小波阈值去噪，对去噪后的图像进行直方图均衡化，再进行拉普拉斯变换锐化后增强边缘细节。其中，图3中所示的查询图像即为待检索的图像。

其中，由于在采集、编码或传输过程中，图像遭受信号噪声，皮肤病图像自身也包含噪声，因此图像去噪过程十分重要。对于图像而言，噪声多是高斯白噪声，将含噪声的图像数学模式描述为式(1)所述形式：

f(i,j)＝g(i,j)+z(i,j)(1)

其中，f(i,j)是含噪声图像，g(i,j)是不含噪声图像,z(i,j)是高斯白噪声，i与j表示图像像素位置，z(i,j)服从正态分布n(0,δ²)。

本实施例中利用小波阈值去噪，即选取合适的阈值对小波系数进行处理，把小波系数大于阈值的信号系数保留，使小波系数小于阈值的噪声系数去除，达到去噪的目的。小波去噪的过程包括对输入的图像进行小波分解，计算各尺度系数，后进行阈值处理，最后进行小波重构；其中的阈值的选取和阈值的量化处理是小波阈值去噪的关键，合理选择正确的阈值和量化才能够有效地对信号进行去噪。在一优选实施例中，对采集的图像进行小波去噪过程优选取软阈值去噪对图像进行处理。

s2、特征提取，对经过图像预处理的皮损图像进行特征提取，提取颜色相关图特征、lbp纹理特征、hu矩形状特征，并进行权重赋予初值后进行多特征组合，生成待检索的皮损图像的综合性特征信息；在一实施例中，由于皮损图像的颜色、皮损的肌理、皮损的形状的特征明显，视觉上可以直接获取到皮损的主要信息，因此需在皮损的颜色、纹理、形状特征上进行描述。单一特征并不能很好很好地对皮肤病图像进行检索，综合特征更符合人的视觉要求，同时提取颜色、纹理、形状，并融合这三类特征的相似性测度构建总体相似性测度，能够提升整体检索结果的查准率和查全率，较为全面地描述图像，增强检索结果的准确性和可靠性。

在本实施例中，采用颜色相关图特征对皮损区域的颜色以及皮损区域其他区域的渐变信息进行描述，统计皮损区域的像素在一定距离内的颜色变化程度，其中用距离集合来描述颜色的变化程度，设距离集d＝{d0,d1,d3,d4}，颜色相关图描述距离为d，则生成的直方图bin的大小根据式(2)计算：

bin(ci,cj)＝∑x,y{||i(x,y,ci)-i(x,y,cj)||＝d}(2)

其中，||*||表示像素值为ci,cj的两个像素的空间距离，然后统计这样的像素个数。在本实施例中提取64维颜色相关图特征。由于皮肤表面的凹凸不平、甚至有些皮损明显突起高于周围区域，皮损的沟纹在视觉上形成纹理，本文采用ojala定义的均值局部二值模式(uniformlocalbinarrypatterns)提取59维的皮损纹理特征。同样的，皮损的形状信息能够对皮损的形状进行描述，根据式(3)进行计算并提取7维hu矩形状特征：

由于提取的颜色、纹理、形状特征中各特征的维数不同，且描述不同的皮损特性，无法直接进行比较和分析，因此需要对这些特征进行特征归一化，使得各特征处于同一数量级别进行综合性衡量。

s3、特征初步检索，采用欧式距离公式计算待检索的皮损图像与皮损库图像的相似性大小，并按照相似性大小进行倒序排列索引，输出相似性最高的若干张图像作为待检索的皮损图像的初步检索结果；在一实施例中，在对提取出的各特征归一化后，进行相似度测度层面的特征组合，首先计算待查询图像与图像特征库的相似度距离，使用欧式距离测度，根据式(4)计算，其中a为待查询图像特征向量,b为图像特征库在n维空间的特征向量。

在计算出待查询的皮损图像与库中的皮损图像的欧式距离后，依据相似度测度的线性融合规律，数学公式描述如式(5)，n是提取的特征数目：

sfusion＝α1s1(f1)+α2s2(f2)+...(5)

sfusion是融合后的相似度测度，αi是相似度测度分量si在融合后的相似测度sfusion所占据的比重，由于不同种类图像的相似度距离所占比例不同，因此赋予的每个特征的相似度距离相同的初始权重。

s4、检索反馈，对初步检索结果的若干张图像进行标记，进行引入衰减系数的svm相关反馈，计算每张图像的相似性权值大小并进行降序排序，并输出似性最高的若干张图像作为反馈检索结果；若反馈检索结果不符合皮肤病评价要求，则继续对反馈检索结果的若干张图像进行标记并进行svm相关反馈,直至反馈检索结果符合皮肤病评价要求。在一实施例中，为了缩小底层视觉信息与高层抽象描述存在的语义差异，采用svm相关反馈算法对皮损样本进行学习与检索，具体的，如图2所示，包括步骤：

s41、对多特征的相似度进行加权组合后，按照相似度大小进行检索，检索结果返回前top-n张最相似皮损图像记为u；

s42、对初步皮损检索结果进行相关皮损样本数据集和不相关皮损样本数据集标记，且其中

s43、皮损样本集更新。更新历次返回的累积相关皮损样本集不相关皮损样本集

s44、准备相关反馈学习的训练样本集(xi,yi)，xi∈(i⁺∪i^-)，并利用svm分类器对样本集进行训练，构建的分类器为：

s45、对待查询皮损图像q(xi)，计算w(qi)＝-f(xi)，并引入衰减系数β来进一步更新每一张图像的权值，权值根据式(7)计算

w(qi)＝(1-β)w(qi)+f(xi)(7)，其中β为衰减系数，β∈[0,1]；

s46、按照s45中的每张图像的权值大小进行降序排序，并返回检索图像，若用户对检索结果不满意则继续返回s43，满意则结束。

一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行皮肤病图像检索方法。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行皮肤病图像检索方法。

皮肤病图像检索系统包括图像预处理模块、特征提取模块、特征初步检索模块、检索反馈模块、皮损库；其中，

所述图像预处理模块，用于获取待检索的皮损图像信息，并将皮损图像信息标准化，再对皮损图像进行边缘锐化，以增强皮损图像中的皮肤病图像的受损区域的相关特征；

所述特征提取模块，用于对经过图像预处理的皮损图像进行特征提取，提取颜色相关图特征、lbp纹理特征、hu矩形状特征，并进行权重赋予初值后进行多特征组合，生成待检索的皮损图像的综合性特征信息；

所述特征初步检索模块，用于采用欧式距离公式计算待检索的皮损图像与所述皮损库内存储图像的相似性大小，并按照相似性大小进行倒序排列索引，输出相似性最高的若干张图像作为待检索的皮损图像的初步检索结果；

所述检索反馈模块，用于对初步检索结果的若干张图像进行标记，进行引入衰减系数的svm相关反馈，计算每张图像的相似性权值大小并进行降序排序，并输出似性最高的若干张图像作为反馈检索结果；若反馈检索结果不符合皮肤病评价要求，则继续对反馈检索结果的若干张图像进行标记并进行svm相关反馈,直至反馈检索结果符合皮肤病评价要求；

所述皮损库内存储有若干用于评价皮肤病类型的图片及图片特征信息。

优选地，所述皮损库内配置的皮肤病类型包括离心状环状红斑、银屑病、红皮病、白癜风、晕痣、寻常型鱼鳞病、黑棘皮病、草莓状血管瘤、带状疱疹、恶性黑素瘤。在一实施例中，每一类选取50张，共500张图像作为皮损图像数据库，格式为bmp，大小为256*256。选择每一类皮损图像中较为典型的5张，共50张作为待查询图像库。选择查准率(precision)与查全率(recall)作为评价指标,如式(8)：

其中的nr是返回检索图像中与待查询图像相关图像的数目，t是检索时返回的图像总数，r是图像库中与待查询图像相关的图像总数。

选择的研究对象时皮损图像库的500幅图像。采用综合特征进行皮损图像的检索后，将返回的20张图像作为初始检索结果,并采用引入衰减系数的svm相关反馈算法。

(1)多特征提取实验。为了分析多特征组合的优势，提取表征皮损特点明显的颜色、纹理以及形状特征的单一特征，并分析了单一的各特征对检索结果以及组合特征对检索结果的影响，图4是10种皮损图像的平均查准率，由图可知组合特征与svm相关反馈下皮损检索系统的查准率得到提高。

(2)svm相关反馈实验。实验选取衰减系数参数为β＝0,0.25,0.5.0.75,1，其中衰减系数β∈[0,1]，经过多次实验，当衰减系数在β∈[0,0.25]时10类皮损检索均能够均能够稳定，β＝0.2较为合适。设定每次检索后选定返回20张图像作为检索结果，图5是10类皮肤病在引入相关反馈后，检索系统的查准率与反馈次数的关系图，由图可知随着反馈次数的增加，查准率快速提高，查准率在小范围内变化，基本趋于稳定，其中恶性黑毒瘤由于该皮损图像的特征明显，初始检索效果明显且经过1次svm相关反馈之后查准率基本稳定且趋近于1，而银屑病由于皮损的形状不规则，在多次检索后查准率较低，但仍逐渐趋于稳定的状态，侧面说明了系统具有较好的稳定性。如图6所示，统计返回20张图像检索稳定时的查准率与反馈次数，可以明显看出β＝0.2时9种皮损图像在反馈1-3次查准率趋于稳定。

本发明针对皮损图像的背景、内容复杂多样的特点，提出的对采集的皮损图像进行小波去噪、直方图均衡化、laplace变化的预处理之后，提取其多特征组合成综合特征，并采用欧式距离进行相似度计算后完成初步检索过程。在svm相关反馈之后，随着反馈次数的增加，查准率也越来越高，最终趋于平衡；在引入衰减系数后，减少了svm相关反馈次数，有效地提高皮肤病图像检索的准确度，缩小皮损图像特征向量与人类视觉判定图像相似度之间的差距。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。