一种多视角判别度量学习的乳腺影像检索方法与流程

本发明涉及医学图像领域，具体涉及一种多视角判别度量学习的乳腺影像检索方法。

背景技术：

根据世界卫生组织的世界癌症报告，乳腺癌是最常见的癌症之一，尤其是女性。目前乳腺癌在中国的发病率为14.7％，每年新增170万乳腺癌患者，大约有50万患者死亡。但乳腺癌早期的筛查可以有效降低乳腺癌的死亡率，显著提升患者的存活率。与其他诊断方法相比，医学影像是诊断乳腺癌的黄金标准，例如乳腺x光、核磁共振和ct扫描都是乳腺癌筛查的常用影像学方法。目前，早期的乳腺癌筛查完全依赖医师的经验，决策准确性在很大程度上取决于医师的知识、经验以及能获得的信息的质量和数量。另外，人工处理影像的方法既昂贵又耗时，尤其是对经验不足的医师来说，通过分析医学影像来诊断乳腺癌是费力困难的。因此，在医师的决策过程中能为他们提供知识支持的辅助技术就很有意义。

随着互联网技术的普及，医学影像数据库规模越来越大，能够提供给医师的既往病例也越来越多。同时，随着人工智能技术的迅速发展，机器学习分类方法以应用于乳腺癌的诊断、治疗和预后。例如ibm公司开发的watson软件被应用于乳腺癌治疗。

从本质上讲，乳腺癌决策过程本身高度依赖于历史经验知识。利用基于内容的影像检索方法和医学案例推理case-basedreasoning(cbr)在医学诊断中比传统机器学习分类技术具有技术优势。医学影像检索是cbr系统的核心技术，能从医学数据库中检索出和待诊断影像相类似的医学影像。医学影像与自然影像有很大差别，首先医学影像的分辨率较高但绝大多数为灰度影像；其次，医学影像的重要信息大多集中在小块区域内；第三，视觉相似的医学影像之间语义内容可能差别很大。所以常规的自然影像方法直接应用到医学影像时效果往往不理想。另外，医学影像的获取与医疗设备，测量体位直接相关。例如常规体检时乳腺影像常采用的摄像体位是双侧乳腺内外斜位，发现病变时增加头尾位或照侧位等体位。在临床实践中，拍摄乳腺影像需同时考虑患者身高和病变的位置，因此得到的乳腺影像常常拍摄侧重的部分和组织有差异，有效考虑同一目标不同拍摄角度的乳腺影像能提高影像检索的准确性。

技术实现要素：

针对这一问题，本文提出了一种多视角判别度量学习(multi-viewmetriclearningwithfisherdiscriminantanalysis,mvml-fda)的医学影像检索方法，用于辅助乳腺疾病的诊断。mvml-fda基于fisher判别模型在多个视角之间学习鲁棒的度量空间，使得相似的乳腺影像在度量空间紧密地映射，不相似的乳腺影像尽可能地彼此分离。从不同视角表征乳腺影像的综合信息并提取潜在的描述性特征，从而提高医学影像检索的能力。

一种多视角判别度量学习的乳腺影像检索方法，包括如下步骤：

步骤1，根据不同摄片位置得到的多视角医学影像，得到其数据集；

步骤2，通过数据集构建多视角判别度量学习mvml-fda模型，利用fisher判别来度量乳腺影像对之间的相似性，使得相似的医学影像在度量空间紧密地映射，不相似的乳腺影像尽可能地彼此分离，并提出mvml-fda优化问题；

步骤3，对mvml-fda优化问题进行求解，得到最优解，即mvml-fda模型；

步骤4，利用得到的mvml-fda模型，输入多个视角的医学影像、权重参数、最大迭代次数、最大近邻数和收敛阈值，输出最优的医学影像投影矩阵，完成医学影像检索。

进一步地，骤1中，根据不同摄片位置得到的多视角医学影像数据集为{x¹,x²,...,x^t}，其中x^t表示第t个视角下的数据矩阵，x^t的第i个向量表示样本xi在第t个视角下的特征向量；因此，第t个视角的医学影像对可以写为其中表示任一医学影像对，表示其相应的影像对标签，说明影像和在语义和视觉上都是相似的，lm,i＝-1说明影像和在语义或视觉上是不相似的。

进一步地，步骤2中，通过马氏度量学习，多视角判别度量学习(multi-viewmetriclearningwithfisherdiscriminantanalysis,mvml-fda)目标是学习一个映射空间，使得相似样本之间的距离远小于不同样本之间的距离，即在新的空间中有更可分的类间距离和更紧凑的类内距离；

mvml-fda基于样本在空间的分布构建了多视角学习的类内k邻接图和类间k邻接图第t个视角的类内k邻接矩阵中的元素可以写成以下形式：

第t个视角的类间k邻接矩阵中的元素可以写成以下形式：

基于fisher判别，首先定义适用于多视角学习的类内相关矩阵和类间相关矩阵；第t个视角下的类内相关矩阵表示为：

其中n是样本的个数，和分别图的对角矩阵和拉普拉斯矩阵，

第t个视角下的类内相关矩阵表示为：

其中和分别图的对角矩阵和拉普拉斯矩阵，

mvml-fda方法中，每个视角的类内相关矩阵描述该视角中类内的紧致性，同时每个视角的类间相关矩阵描述该视角中类间数据的可分性；为了充分利用不同视角表示的互补信息，mvml-fda定义了一系列非负参数δ＝[δ1,δ2,...,δt]表示各视角的权重，从而mvml-fda定义的优化问题可以表示为：

在学习距离度量时，应尽量避免数据低维表示的冗余，为此，在mvml-fda方法中考虑投影方向的正交，即w^tw＝i；

另外，从式(7)可以看出，视角权重δt值越大，视图t在学习投影矩阵w时的作用就越大；式(7)达到最优时需要满足各视角权重的和为1；将式(7)中的权重δt改写为其中权重参数r起到类似模糊隶属度的作用且r值满足r>1；因此，mvml-fda的优化问题进一步表示为：

进一步地，步骤3中，对mvml-fda优化问题的求解为，由于式(8)是一个非线性非凸问题，使用迭代方法，通过交替计算来得到参数的局部最优解；

首先固定矩阵w，引入拉格朗日乘子λ，式(8)写成

此时式(9)对应的极值的必要条件为同时考虑得到：

经过化简，得δt的解析解：

接下来，固定δt值更新矩阵w，式(8)写成以下形式：

最优化问题(12)服从kyfan理论，转化为以下问题

通过特征分解求解得到w的最优解w^*，即计算最大的k个特征值对应的特征向量，得到w^*后，医学影像对之间的马氏距离可由式(2)得到，基于以上的分析，得mvml-fda模型。

进一步地，步骤4中，具体地检索过程为：

输入t个视角的医学影像，权重参数r，最大迭代次数t，最大近邻数k和收敛阈值ε；

step1：设置δ的初始值δ＝[1/t,1/t,...,1/t],使用式(13)计算w⁰；

fori＝1,...,t；

step2：使用式(11)计算δt；

step3：使用式(13)计算wⁱ；

step4：如果|wⁱ-w^i-1|＜ε,则转向step5；

step5：输出最优投影矩阵w^*：w^*＝wⁱ。

本发明达到的有益效果为：真实乳腺影像数据集的实验结果表明，mvml-fda模型有助于从乳腺影像的cc视角和mlo视角形成良好的距离度量来区分乳腺良性结节、恶性结节、良性钙化和恶性钙化。

附图说明

图1为本发明实施例中mvml-fda多视角学习模型示意图。

图2为本发明实施例中实验中所用的cc视角和mlo视角中良性结节、恶性结节、良性钙化和恶性钙化示意图。

图3为本发明实施例中特征提取的详细信息表格。

图4为本发明实施例中基于4种特征提取的4种对比算法在car、eer和auc指标上的性能比较表格。

图5为本发明实施例中mvml-fda方法不同参数r时基于4种特征提取的auc值。

图6为本发明实施例中mvml-fda方法不同参数k时基于4种特征提取的auc值。

图7为本发明实施例中显示了多种特征提取方式下的mvml-fda和4种对比算法在car、eer和auc指标上的结果。

图8为本发明实施例中5种算法在第4种特征提取方法下得到的roc曲线比较图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

在医学影像检索领域，相似度度量指利用给定的医学影像对来计算医学影像对特征向量之间的距离，常用来评判医学影像的类型。对医学影像而言，相似性度量包含语义相关和视觉相似。语义相关度量依赖于医学影像的类别标记，例如两张乳腺影像的标记都是健康的，那么说明这两张乳腺影像在语义上具有相关性。视觉相似度量描述的是特征相似性，通常从视觉角度描述医学影像的相似性。相似性度量的定义一般会考虑使用距离度量，常用的距离度量方法有欧式距离、夹角余弦距离、马氏距离和明可夫斯基距离等。传统的度量学习基于医学影像数据集的标记样本，标签信息则以样本的成对约束的形式出现。假设经过特征提取的医学影像数据集表示为xi表示输入空间的第i个样本，以马氏距离为例，两幅影像xi和xj之间的距离度量可以写成：

其中半正定的矩阵a可以分解为a＝w^tw，矩阵w^d×m(m≤d)称为度量矩阵。因此，式(1)可以表示为：

因此，计算马氏度量本质上是学习一个映射空间，使得相似影像对输出接近零的正值，不相似影像对输出较大的值。

在实际医学影像处理过程中，常会遇到多视角医学影像数据，这些数据来自于不同的视角切入对同一对象进行测量和诊断。而多视角学习基于一致性原理和互补性原理，在学习过程中利用多个视角间的关联性和差异性，能取得比单个视角学习更高效和鲁棒的性能。目前医学影像检索领域常用的多视角方法较多地探讨利用多视角技术解决特征融合的问题。目前提出了一种基于查询的医学影像检索的多视图特征融合方法,该方法通过融合用户示例中获得多个特征，迭代地学习最优子空间。此外，提出了一种多视图局部线性嵌入的医学影像检索方法，该方法根据局部线性嵌入准则保留了每个特征空间中局部几何结构，并为来自不同特征空间的分配不同的权重。最后，采用全局坐标对齐和交替优化技术，从不同的特性中学习平滑的低维嵌入。das等人提出了四种不同的特征提取技术-基于二值化、基于变换、基于纹理和基于形状的技术用于基于内容的多视图影像检索。

一种多视角判别度量学习的乳腺影像检索方法，包括如下步骤：

根据不同摄片位置得到的多视角医学影像数据集为{x¹,x²,...,x^t}，其中x^t表示第t个视角下的数据矩阵，x^t的第i个向量表示样本xi在第个视角下的特征向量。因此，第t个视角的医学影像对可以写为其中表示任一医学影像对，表示其相应的影像对标签，说明影像和在语义和视觉上都是相似的，lm,i＝-1说明影像和在语义或视觉上是不相似的。通过马氏度量学习，mvml-fda的目标是学习一个映射空间，使得相似样本之间的距离远小于不同样本之间的距离，即在新的空间中有更可分的类间距离和更紧凑的类内距离,图1给出了mvml-fda多视角学习模型示意图。

mvml-fda基于样本在空间的分布构建了多视角学习的类内k邻接图和类间k邻接图第t个视角的类内k邻接矩阵中的元素可以写成以下形式：

第t个视角的类间k邻接矩阵中的元素可以写成以下形式：

基于fisher判别，首先定义适用于多视角学习的类内相关矩阵和类间相关矩阵。第t个视角下的类内相关矩阵表示为：

其中n是样本的个数，和分别图的对角矩阵和拉普拉斯矩阵，

第t个视角下的类内相关矩阵表示为：

其中和分别图的对角矩阵和拉普拉斯矩阵，

mvml-fda方法中，每个视角的类内相关矩阵描述该视角中类内的紧致性，同时每个视角的类间相关矩阵描述该视角中类间数据的可分性。为了充分利用不同视角表示的互补信息，mvml-fda定义了一系列非负参数δ＝[δ1,δ2,...,δt]表示各视角的权重，从而mvml-fda定义的优化问题可以表示为：

在学习距离度量时，应尽量避免数据低维表示的冗余，为此，在mvml-fda方法中考虑投影方向的正交，即w^tw＝i。另外，从式(7)可以看出，视角权重δt值越大，视图t在学习投影矩阵w时的作用就越大。式(7)达到最优时需要满足各视角权重的和为1。这表明不同视角下的医学影像特征均会被充分利用，区别于单视角学习只选择最佳视角，提出的多视角判别度量学习模型能挖掘和平衡多视角下特征的不同表征信息，从而提高医学影像检索的能力。但在极端情况下有可能会出现δt趋近于1的情况，此时，第t个视角在式(7)中起到了绝对主导的作用，而其它视角的作用被削弱。为了避免这一情况，受模糊聚类的启发，式(7)中的权重δt改写为其中权重参数r起到类似模糊隶属度的作用且r值满足r>1。因此，mvml-fda的优化问题进一步可以表示为：

下面，描述mvml-fda的求解方法。式(8)是一个非线性非凸问题，使用迭代方法，通过交替计算来得到参数的局部最优解。首先固定矩阵w，引入拉格朗日乘子λ，式(8)可以写成

此时式(9)对应的极值的必要条件为同时考虑可得到：

经过化简，可得δt的解析解:

接下来，固定δt值更新矩阵w。式(8)可以写成以下形式：

最优化问题(12)服从kyfan理论，可以转化为以下问题

通过特征分解求解得到w的最优解w^*，即计算最大的k个特征值对应的特征向量。得到w^*后，医学影像对之间的马氏距离可由式(2)得到。基于以上的分析，可得mvml-fda模型，其算法描述如下。

输入t个视角的医学影像，权重参数r，最大迭代次数t，最大近邻数k和收敛阈值ε；

step1：设置δ的初始值δ＝[1/t,1/t,...,1/t],使用式(13)计算w⁰；

fori＝1,...,t；

step2：使用式(11)计算δt；

step3：使用式(13)计算wⁱ；

step4：如果|wⁱ-w^i-1|＜ε,则转向step5；

step5：输出最优投影矩阵w^*：w^*＝wⁱ。

接下来对本发明所述的检索方法进行实验验证，首先介绍了实验中所使用的数据集及实验设置，其次介绍了实验所用的特征选择方法。然后在真实数据集上对mvml-fda的性能进行评价，最后将mvml-fda与对比算法进行了比较。

实验的数据集来自于乳腺癌数字存储库(bcdr)数据集。该数据集由葡萄牙女性患者组成，年龄范围从28岁到82岁。bcdr由1010例患者组成，包括3703例mlo和cc乳房造影以及1044例临床确诊的病变。mlo和cc影像均为灰度数字化影像，影像为720×1167像素，灰度为256。除患者年龄和乳腺密度外，数据集还包括一组选定的二元属性，用于指示医生观察到结节、钙化和基质变形等异常信息。因此，bcdrf01数据集的每个实例的临床数据包括每个实例总共8个属性：与观察到的异常相关的6个二进制属性、乳腺密度的序数属性和包含研究时患者年龄的数字属性。实验中我们选取bcdr数据库中400对mlo和cc乳房造影，即800幅乳腺影像案例作为实验数据。mlo和cc分别作为多视角学习中的两个不同的视角。在800幅影像中选择每个视角的随机75％数据作为训练影像集，用于模型的训练，剩下25％的数据作为查询影像集，同一个患者的乳腺影像不会同时出现在训练影像集和查询影像集中。整个训练和测试过程执行5次，取5次的平均计算结果作为最终结果。图2给出了实验中所用的cc视角和mlo视角中良性结节、恶性结节、良性钙化和恶性钙化示意图。其中图2(a)和图2(b)来自于同一良性结节患者；图2(c)和图2(d)来自于同一恶性结节患者；图2(e)和图2(f)来自于同一良性钙化患者；图2(g)和图2(h)来自于同一恶性钙化患者。

对mvml-fda算法评价的实验中，设计了3种不同视角下的mvml-fda变换方法：mvml-fda-cc表示mvml-fda只考虑cc单视角下的乳腺影像；mvml-fda-mlo表示mvml-fda只考虑mlo单视角下的乳腺影像；mvml-fda-(mlo+cc)表示单视角下将cc视角和mlo视角的乳腺影像混合。对mvml-fda算法性能对比的实验中比较了4种算法，包括：自适应多视角学习机(amvl)、multi-viewcvm(mvcvm)、globalandlocalstructuralriskminimization(glsrm)和multi-viewlearningwithuniversum(mvu)。为了保证对比实验的公正，采用网格搜索的方式选择最佳的参数。具体而言，amvl中图近邻数设置为{5,10,15,20}；开方次数r设置为{2,4,...,10}。mvcvm使用高斯核其中每个视角的核宽参数σ以训练样本所对应视角的平均l2范数平方s为基准，并在网格{s/64,s/32,...,64s}中搜索选取；各视角惩罚因子在网格{1,10¹,...,10⁶}中搜索选取。glsrm中左右权重和偏移量{0.1,0.2,...,1}，正则化参数{10^-3，10^-2,...,10³}，学习率0.99，视角的松弛量10^-6。mvu中每个视角的学习率设为0.99，正则化参数{10^-2，10^-1,...,10²}，视角的松弛量10^-6。评价标准本文采用了分类精确率(classificationaccuracyrate，car)、等错误率(equalerrorrate,eer)和roc曲线下面积(areaundertheroccurve，auc)。

从强度描述(intensitystatistics)、纹理描述、多尺度纹理描述和影像梯度4个方面来提取乳腺影像的特征，特征提取的详细信息如图3的表格所示。加上实验中除了图3提取的特征外，还使用每个临床数据的8个特征。

使用构造的单视角方法mvml-fda-cc、mvml-fda-mlo和混合单视角方法mvml-fda-(mlo+cc)来验证所提多视角方法mvml-fda的有效性。图4显示了基于4种特征提取的4种对比算法在car、eer和auc指标上的性能比较。根据图4的结果得到以下结果:

1)mvml-fda-cc和mvml-fda-mlo方法在4种特征提取方法下的car、eer和auc性能均表现一般，其原因主要在于这2种方法均是单视角方法，虽然与mvml-fda方法的结构很类似，但它们均不具备不同视角的协调能力，这些方法在单视角框架下局限于样本本身，但由于样本之间的差异性，无法得到最优空间投影。

2)mvml-fda-(mlo+cc)将mlo视角和cc视角合并为一个数据集处理，mlo视角和cc视角在此数据集中分别转换成一个数据集子集。由于一部分mlo视角和cc视角得到的乳腺影像存在较大的差异，因此mvml-fda-(mlo+cc)在4种特征提取方法的car、eer和auc性能虽然高于mvml-fda-cc和mvml-fda-mlo方法，但还是明显低于mvml-fda方法。

3)mvml-fda具备多视角协同学习的能力，可以充分利用多个视角空间的信息来学习空间投影的最优值。因此，mvml-fda相比另3种方法有着明显的性能优势。

从式(5)可以看出，mvml-fda方法中涉及2个参数：权重指数r和最大近邻数k。下面讨论参数r和k值对mvml-fda性能的影响。图5-6显示了mvml-fda方法在4种特征提取方法下不同参数r和k值下的car、eer和auc的平均值。根据图中的结果，我们得到如下结论：

1)权重指数r是一个类似于模糊聚类中模糊指数的参数，是一个“模糊化”程度的参数；权重指数r也可以看成是平滑参数，控制着不同视角在mvml-fda方法构建中的重要程度。从图5中结果看出，权重指数r在乳腺影像中的敏感性较低，不同r值下car、eer和auc的平均值相差不大。因此，为了加快mvml-fda方法的训练，可以人工固定r的值。

2)最大近邻数k对所提mvml-fda方法的性能有着明显的影响。从式(3)-(4)可以看出，参数k表示类内相关矩阵和类间相关矩阵中的近邻数。近邻数k值过小时，只有与输入样本非常相似的影像样本才对mvml-fda方法起作用，在这种情况下，mvml-fda方法容易发生过拟合的现象，mvml-fda最终的性能误差会增加。近邻数k值过大时，构建类内相关矩阵和类间相关矩阵就需要使用较多的影像样本。在这种情况下，与输入影像样本较远的样本也会对模型的建立起作用，最终的分类结果易受到负面的影响。因此，mvml-fda方法中k值的选择需要考虑到数据集的分布和内在结构，使用交叉验证的方法来选择k值是合适的。

对比了mvml-fda方法与4种多视角方法glsrm、mvu、mvcvm和amvl在car、eer和auc指标上的性能比较。图7显示了多种特征提取方式下的mvml-fda和4种对比算法在car、eer和auc指标上的结果。通过图7的实验结果，可以得到以下结论:

1)5种多视角方法在car、eer和auc指标上的结果均优于表2中所示的单视角方法。说明多视角方法利用不同视角间的互补信息能提高医学影像检索的精度。

2)本文提出的mvml-fda方法得到的car、eer和auc均优于另4种多视角方法。因为mvml-fda方法在协同学习的基础上考虑了视角加权，提高了医学影像检索的能力。amvl是无监督方法，不能有效利用医学影像的语义信息。glsrm和mvu方法均使用欧式距离，而对于高维数据的度量欧式距离的效果往往不佳。mvcvm方法建立在多视角数据之间的分类间隔最大化理论上，同类别数据间的信息不能充分利用，同时mvcvm方法的逼近精度阈值也会影响算法的性能，在乳腺医学影像上的car、eer和auc性能差于mvml-fda方法。

3)另外，使用基于影像梯度的特征提取方法(即特征方法4)时，所有方法均取得了比其它特征方法高的car、eer和auc性能，也说明了基于影像梯度的特征提取方法比较适合用来提取乳腺医学影像的特征向量。

为了更好地对比mvml-fda与对比算法的性能比，图8比较了5种算法在第4种特征提取方法下得到的roc曲线。从图8可以看出mvml-fda优于另外4种多视角学习方法。实验结果在car、eer、auc和roc曲线4个性能指标上取得了一致的结果，说明使用这4个指标来评价乳腺医学影像的搜索结果是合适的。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。