医学图像的分析方法和分析系统以及存储介质与流程
本公开涉及计算机图像处理领域，具体而言，涉及由计算机实现的医学图像进行建模和分析的领域。
背景技术：
误诊指的是医生错误判断了病人的病情延误了病人治疗。该问题涉及到医疗人员的技术水平和诊断经验，难于通过管理制度进行改善。目前，各种计算机辅助诊疗和智能医疗系统(computeraideddiagnosis，cad)在医院广泛应用以降低误诊率。
在医疗误诊上，严重的误诊情况表现为将恶性的肿瘤(癌症)误诊为良性，由于癌症具有巨大的死亡风险，这种误诊导致严重的医疗事故；另一种表现为将良性的肿瘤误诊为恶性，通常在恶性肿瘤治疗过程中会使用化疗、放疗、手术等治疗方式，这些治疗方式有显著的副作用，严重影响病人生活质量。
应当注意，提供在上述背景部分中公开的信息仅用于更好地理解本公开的背景，并且因此可以包含未形成那些本领域技术人员已知的现有技术的信息。
技术实现要素：
本发明人发现，在国内复杂的医疗环境下，医生存在迫切的需求能够尽量避免上述对于肿瘤的误诊情况，以避免医患矛盾，提高诊疗效果。具体说来，本发明人认为，需要一种通过计算机实现的机器学习的分类方法，这种机器学习的分类方法能够准确高效地针对肿瘤的性质是恶性还是良性进行建模和确定，从而为医生提供诊断参考。
本发明人提出了本发明的例如如下技术方案来满足以上需求。
根据本发明的第一方案，提供一种医学图像的分析方法，所述方法由计算机实现，其特征在于，所述方法包括如下步骤：对用于训练的医学图像进行特征提取，所述用于训练的医学图像具有肿瘤性质的标签；利用所提取的特征和标签作为训练数据集，用adaboost方法(自适应增强方法)对lr(逻辑回归)弱分类器进行迭代，以得到lr强分类器。lr强分类器尤其适于肿瘤是良性还是恶性的二元分类，通过adaboost方法对lr弱分类器进行迭代以得到lr强分类器，可以增加正确率高的lr弱分类器在lr强分类器中的权值，降低错误率高的lr弱分类器在lr强分类器中的权值，从而提高lr强分类器的最终分类的正确率，最大限度地避免误诊。
对用于训练的医学图像进行特征提取的步骤包括：
利用至少一层稀疏自编码器神经网络对用于训练的医学图像进行特征提取。
优选地，利用至少一层稀疏自编码器神经网络对用于训练的医学图像进行特征提取的步骤包括：利用sift(尺度不变特征变换)算法对用于训练的医学图像进行处理，以提取出图像中的极值区域作为候选特征区域；从用于训练的医学图像中选择出具有候选特征区域的医学图像，以利用至少一层稀疏自编码器神经网络进行特征提取。如此，在至少一层稀疏自编码器神经网络之前利用sift(尺度不变特征变换)算法对用于训练的医学图像进行处理，可以排除掉那些不具有图像中的极值区域的医学图像。通常所采集的医学图像数量较大，并非所有医学图像中的信息对于诊断都有意义。相反，例如成像效果较差、包含大量例如噪声的干扰信息的医学图像中的信息甚至会干扰后续的诊断。
因此，从医学图像中挑选出那些对于诊断较有意义的医学图像能够提高处理效率、提高计算精度并降低计算成本。本发明人发现，与诊断相关联的候选特征区域通常与图像中的极值区域有关，例如，一幅噪声凌驾解剖信息或者成像效果较差的医学图像中通常就难以找到极值区域；由此，通过根据是否包含极值区域来判断医学图像是否用于后续的检测操作简单且高效。
优选地，在得到lr强分类器后：利用所提取的特征，用得到的lr强分类器进行分类；以及将分类的结果与对应的标签进行比较，如果不一致，则继续lr强分类器的迭代。
优选地，所述方法还包括：如果利用所提取的特征得到的分类结果都是错误的，则对所述至少一层稀疏自编码器神经网络进行参数调节。
优选地，所述至少一层稀疏自编码器神经网络具有两层或三层，并且后一层的稀疏自编码器神经网络的隐含层节点数小于或等于前一层的稀疏自编码器神经网络的隐含层节点数的1/2。
根据本发明的第二方案，还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现：
上述的计算机实现的医学图像的分析方法的各个步骤，以得到可用的lr强分类器；
对用于检测的医学图像进行特征提取；
基于所提取的特征，利用得到的lr强分类器进行分类，以得到表示肿瘤的性质的标签。
优选地，所述对用于检测的医学图像进行特征提取的步骤包括：利用至少一层稀疏自编码器神经网络对用于检测的医学图像进行特征提取。
优选地，所述利用至少一层稀疏自编码器神经网络对用于检测的医学图像进行特征提取的步骤包括：利用sift算法对用于检测的医学图像进行处理，以提取出图像中的极值区域作为候选特征区域；以及从用于检测的医学图像中选择出具有候选特征区域的医学图像，以利用至少一层稀疏自编码器神经网络进行特征提取。
优选地，所述至少一层稀疏自编码器神经网络具有两层或三层，并且后一层的稀疏自编码器神经网络的隐含层节点数小于或等于前一层的稀疏自编码器神经网络的隐含层节点数的1/2。
根据本发明的第三方案，还提供一种医学图像的分析系统，所述分析系统由计算机实现，其特征在于，所述医学图像的分析系统包括神经网络和lr强分类器；
所述神经网络被配置为对用于检测的医学图像进行特征提取，所述神经网络的输入层连接到第二输入单元，以从所述第二输入单元输入用于检测的医学图像，所述神经网络的输出层连接到所述lr强分类器；
所述lr强分类器被配置为基于用于训练的医学图像训练形成，所述用于训练的医学图像包含肿瘤且具有表示肿瘤的性质的标签。
优选地，所述lr强分类器被配置为由adaboost方法对lr弱分类器进行迭代训练而形成；所述神经网络包括至少一层稀疏自编码器神经网络。
优选地，所述分析系统还包括sift处理单元，所述sift处理单元被配置为对用于检测的医学图像进行预处理以提取出所述用于检测的医学图像中的稳定极值区域作为候选特征区域；并将用于检测的医学图像中具有候选特征区域的医学图像输出给所述至少一层稀疏自编码器神经网络。
应当理解，前面的一般描述和以下详细描述都仅是示例性和说明性的，而不是用于限制本公开。
本节提供本公开中描述的技术的各种实现或示例的概述，并不是所公开技术的全部范围或所有特征的全面公开。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1示出根据本公开的第一实施例的医学图像的分析方法，包括为医学图像针对肿瘤的性质进行建模的训练流程和利用建模所得到的lr强分类器为医学图像针对肿瘤的性质进行分类的检测流程；
图2示出根据本公开的第二实施例的对用于训练的医学图像进行特征提取的过程；以及
图3示出根据本公开的第三实施例的用adaboost方法对lr弱分类器进行迭代以得到lr强分类器的流程。
图4示出根据本公开的第四实施例的医学图像的分析系统的框图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。
在下述实施例中，术语“医学图像”指的是同一病灶器官的直接成像或经处理后的二次医学图像，且术语“医学图像”并不限于一幅医学图像，而是也可以表示多幅医学图像以及医学图像的集合；术语“标签”、“标注”等指的是在监督学习训练过程中的训练样本具有的参数或性质。
本公开的实施例提供了一种对医学图像进行分析的方法，以分析目标图片为包含良性肿瘤图像的医学图像或为包含恶性肿瘤图像的医学图像。
图1示出根据本发明的第一实施例的对医学图像进行分析的方法，该分析方法包括为医学图像针对肿瘤的性质进行建模的训练流程100和利用建模所得到的lr强分类器为医学图像针对肿瘤的性质进行分类的检测流程101。注意，为医学图像针对肿瘤的性质进行建模的训练流程100本身也构成对医学图像进行分析的方法的示例。
注意，检测流程101通常是临床在线执行的，而训练流程100可以是离线执行的，也就是说，临床医生可以利用训练流程100已经训练好的lr强分类器对用于检测的医学图像直接进行检测，完成检测的时间是临床可接受的。下述训练流程100和检测流程101可以经由计算机程序来实现，可以在任何一种计算机可读存储介质上存储有相应的计算机程序，所述计算机程序被处理器执行时可以实现下述训练流程100和检测流程101。
在一个实施例中，训练流程100包括如下步骤：对用于训练的医学图像102进行特征提取103，所述用于训练的医学图像具有肿瘤性质的标签104；利用所提取的特征和标签作为训练数据集105，用adaboost方法对lr弱分类器进行迭代106，以得到lr强分类器107。检测流程101包括如下步骤：对用于检测的医学图像109进行特征提取110；基于所提取的特征111，利用得到的lr强分类器107进行分类，以得到表示肿瘤的性质的标签108。
用于训练的医学图像和用于检测的医学图像均包含有同一病灶器官的同一肿瘤病症的肿瘤医学图像。在用于训练的医学图像(集)中，肿瘤医学图像是有标注的，以通过监督学习执行分类器的训练过程；在用于检测的医学图像(集)中，肿瘤医学图像为临床形成的无标注的肿瘤医学图像。
用于训练的医学图像关于所含肿瘤性质的标签化104可以通过多种方式实现，例如可以直接利用已经标注好肿瘤性质的标签的医学图像；或者，根据病人的病历中记载的活检结果来确定其为良性或者恶性；或者，通过向病人询问并由病人反馈其最终的肿瘤确诊结果为良性或者恶性。
在一个实施例中，用于训练的医学图像(集)包括从肿瘤影像库中随机挑选出的同一类型、同一病灶的多个肿瘤医学图像，这样的肿瘤影像库例如可以是肺癌影像数据库lidc、例如可以是癌症图像存档数据集tcia等。训练形成的lr强分类器用于对同一类型、同一病灶的肿瘤医学图像进行针对性的检测以提高检测的精确度。
无论是训练流程100还是检测流程101中，对于医学图像的特征提取103和110可以采用多种方式来实现，例如，可以采用卷积神经网络cnn、深度神经网络dnn、循环神经网络rnn等。在本公开的一个实施例中，利用至少一层稀疏自编码器神经网络sae对医学图像进行特征提取，从而获得医学图像的至少一层特征。使用sae而非其它类型的神经网络，可以在有限数据条件下通过无监督的学习过程获得输入的数据集中更深层的特征之间的关联性，在sae的输出将最后层的特征code输入到所连接的lr分类器，通过有标签样本的标签，通过监督学习进行调整，从而获得具有高度近线性的lr分类器。同样的，在检测过程101中，用于检测的医学图像集中的图像经过sae提取出的特征由于代表了图像中的深层关联特征，以训练形成的lr强分类器对其进行分类具有准确度高、效率高等优势。
在本公开的一个实施例中，为了加快特征提取103和110步骤的准确性和有效性，获得图像中更深层、更具有可分割性的特征，使用两层或三层的稀疏自编码器神经网络(ssae)，其中相对于前一层的稀疏自编码器神经网络，后一层的稀疏自编码器中的隐含层节点不高于前者的1/2。
参考附图2，其中使用了两层稀疏自编码器神经网络，
在一个实施例中，为了提高处理效率，降低稀疏自编码器神经网络的计算能力需求，可以结合使用sift和稀疏自编码器神经网络，如图2所示。图2示出了根据本公开的第二实施例的结合使用sift和稀疏自编码器神经网络对医学图像进行特征提取的过程。在稀疏自编码神经网络的输入接入有sift，通过sift方法对原始的医学图像进行第一层特征提取：利用高斯模糊(gaussianblur)建立图像的尺度空间，然后利用高斯差分方法寻找尺度空间中的极值区域(以dog尺度空间中的局部极值点为中心，以包含其的16*16像素区域作为对应该极值点的极值区域。在此基础上，可对该区域进行优化，例如将其划分为16个4*4的更细小区域，在每个细小区域统计其梯度方向和梯度分布，以获得更稳定的极值区域)，从高斯差分金字塔锥分层结构提取出图像中的极值区域作为候选特征区域，抛弃不稳定特征区域(对比度过低或位于边缘)；从医学图像中选择出具有稳定的候选特征区域的医学图像作为候选图像输入稀疏自编码器，以利用至少一层稀疏自编码器神经网络进行至少第二层特征提取。
在医学图像中，认为对比度合理且不位于边缘的区域才是具有稳定特征的区域，不包含极值区域的图像对诊断结果的有效性和准确性无显著影像。通常所采集的医学图像数量较大，并非所有医学图像中的信息对于诊断都有意义。相反，例如噪声的干扰信息甚至会干扰后续的诊断。因此，从医学图像中挑选出那些对于诊断较有意义的医学图像能够提高处理效率、提高计算精度并降低计算成本。本公开的发明人发现，与诊断相关联的候选特征区域通常与图像中的极值区域有关，例如，一幅噪声凌驾解剖信息的医学图像中通常就难以找到极值区域；由此，通过根据是否包含极值区域来判断医学图像是否用于后续的检测操作简单且高效。
通过结合sift算法，对具有第一层特征的同一量化等级的肿瘤图像送入稀疏自编码器进行第二层特征选取；所选取的第二层特征则用于对lr分类器进行训练，或者用于利用lr分类器进行检测。
在一个实施例中，为了提高sift运行速度，降低计算成本，稀疏自编码器运行于cpu(中央处理器)，sift运行于gpu(图像处理器)，每组原始图像的处理进入gpu的渲染管道，在可编程片段进行并行运算；利用gpu的共享显存为可编程片段提供数据；利用gpu的片上缓存来寄存每个候选特征点的位置并输出到gpu的锁定存储器(pinnedmemory)；cpu通过直接存储器存取(dma)从锁定存储器直接取得数据进行运算。
在一个实施例中，为了满足图像分析的需要，原始的医学图像统一处理为分辨率32*32像素大小的图像。
上述方法中，医学图像可以为各种类型的图像。例如，按照获取医学图像的设备划分，医学图像可以包括超声图像、x射线计算机断层摄影(computedtomography，ct)、核磁共振(magneticresonanceimaging，mri)图像、数字血管减影(digitalsubtractionangiography，dsa)和正电子断层摄影(positronemissioncomputedtomographypet)等。。当结合sift算法进行特征提取时，使用ct或者超声成像，以确保较好的特征提取效果。
上述方法中，医学图像可以为二维图像，也可以为三维图像。医学图像可以为灰度图像，也可以为彩色图像。
需要说明的是，在处理医学图像前，医学图像分析方法还可以包括对医学图像进行预处理的操作。预处理可以消除医学图像中的无关信息或噪声信息，以便于更好地对医学图像进行识别并分类。预处理例如可以包括对医学图像进行缩放、伽玛(gamma)校正、图像增强或降噪滤波等处理。例如，医学图像的滤波操作主要包括空域方法和频域方法。空域方法主要包括平滑和滤波操作，频域方法主要包括傅里叶变换等各种频域变换操作。
在本公开的一个实施例中，使用zca白化对医学图像进行预处理，以提高无监督特征学习过程的数据降维。
在本公开的一个实施例中，同时使用sift和稀疏自编码器来进行特征提取，例如使用一次sift和两层稀疏自编码器，输入维数为m×m(即输入图像的像素分辨率)，第一层隐藏神经元节点数量不高于m×m×1/2，以此类推，第二层隐藏神经元节点数量不高于第一层隐藏神经元节点数量的1/2。
下面对用adaboost方法对lr弱分类器进行迭代以生成最终的lr强分类器的步骤106进行举例说明。
如图3所示，具体步骤包括：
步骤301：给定训练数据集s＝{(xi,yi)|i＝1,2,...,n},i是样本序号，n是样本总数，xi表示第i个样本特征，yi表示第i个样本的标签，其中，yi＝1表示第i个样本中的肿瘤为良性，yi＝-1表示第i个样本中的肿瘤为恶性，设定迭代的最大次数t，t通常设定为不低于3次且可由医生来预先设置和调整；
步骤302：在第一次迭代时，初始化训练数据集的各个样本的权值分布，每一个训练样本最开始时被赋予相同的权值：1/n，也就是说初始权值
步骤303：使用权值分布为dm的训练数据集s进行训练，以得到第m个lr弱分类器gm(x)：χ→{-1，+1}；
步骤304：利用得到的第m个lr弱分类器对各个样本进行分类，得到标签gm(xi)；
步骤305：计算gm(x)在训练数据集上的分类误差
在此可以看到，各个样本的权值对第m个lr弱分类器在其上分类的误差进行了调整，那些权值较大的样本的误差在第m个lr弱分类器的总体分类误差中起到的贡献更大，也就是说，权值较大的样本被重点考虑；
步骤306：计算gm(x)的权值系数，αm表示gm(x)在lr强分类器g(x)中的重要程度：
从权值系数的算法可知，αm随着em的减小而增大，意味着分类误差越小的lr弱分类器在lr强分类器中的作用越大；通过多次迭代提高误判的权值，当下一次lr弱分类器再次错分这些点之后，会提高整体的错误率，这样就导致该lr弱分类器的权值变小，使这个lr弱分类器在最终的lr强分类器中的权值变小，通过多次迭代，让正确率低的分类器权值更低，从而提高最终分类器的正确率，最大限度的避免误诊；
步骤307：组合各个lr弱分类器，以得到lr强分类器，具体说来，lr强分类器
步骤308：利用所得到的lr强分类器对训练数据集s中的各个样本进行分类，判断是否有分类错误g(xi)≠yi？(i＝1,2,…,n)；如果步骤308的判断结果为否，则流程结束，所得到的lr强分类器即为最终的分类器，用于医学图像中肿瘤性质的检测；如果步骤308的判断结果为是，则流程进行到步骤309；
步骤309：判断迭代次数m是否小于等于最大设定迭代的最大次数t，如果否，则流程结束；如果是，则流程进行到步骤310；
步骤310：更新训练数据集的权值分布，用于下一轮迭代，更新后的用于下一轮迭代的各个样本的权值为
dm+1＝(wm+1，1，wm+1，2…wm+1，.i…，wm+1，n)，
其中，
从图3中的用于生成lr强分类器的迭代流程的前端扩展开，还可以利用所得到的lr强分类器的分类结果作为反馈，来对特征提取的步骤进行适应性调整。具体说来，如何利用训练数据集s训练迭代得到的所有lr强分类器都不能对训练数据集s进行正确的分类，则认为利用至少一层稀疏自编码器进行的特征提取步骤103需要改进，这可以通过对所述至少一层稀疏自编码器的参数调整来实现。例如，可以通过调整稀疏自编码器的参数，使得所提取的特征和标签作为训练数据集能够通过最小的迭代次数得到对训练数据集正确分类的lr强分类器，来得到稀疏自编码器的最优参数。注意，鉴于训练数据集的各个样本为特征和标签对，如此可以降低实质上对肿瘤性质的诊断无意义的特征的权值，改善稀疏自编码器的特征提取效率，也提高整体的分类效率。
尽管在上述中没有公开，本公开的实施例所用的稀疏自编码器可以采用常见的稀疏自编码器的参数设置。
在本公开的实施例中，如图4所示，提供了一种实现上述所用的医学图像分析方法的医学图像分析系统，包括处理器、存储器。
应该注意的是，图示的医学图像分析系统的组件只是示例性的，而非限制性的，根据实际应用需要，该医学图像分析系统还可以具有其他组件。该医学图像的分析系统也可以包括各个程序模块来执行相关图像分析功能。
例如，所述医学图像的分析系统包括神经网络和lr强分类器；所述神经网络被配置为对用于检测的医学图像进行特征提取，所述神经网络的输入层连接到第二输入单元，以从所述第二输入单元输入用于检测的医学图像，所述神经网络的输出层连接到所述lr强分类器；所述lr强分类器被配置为基于用于训练的医学图像训练形成，所述用于训练的医学图像包含肿瘤且具有表示肿瘤的性质的标签。例如，所述lr强分类器被配置为由adaboost方法对lr弱分类器进行迭代训练而形成；所述神经网络包括至少一层稀疏自编码器神经网络。
又例如，所述分析系统还包括sift处理单元，所述sift处理单元被配置为对用于检测的医学图像进行预处理以提取出所述用于检测的医学图像中的稳定极值区域作为候选特征区域；并将用于检测的医学图像中具有候选特征区域的医学图像输出给所述至少一层稀疏自编码器神经网络。
注意，这里的神经网络、lr强分类器和sift处理单元都是通过程序来实现的，并可以程序模块的方式存储在存储器上，在被处理器执行时即可执行相应的功能。
在一个实施例中，处理器、存储器可以通过网络连接进行直接或间接地通信。
例如，网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3g/4g/5g移动通信网络、蓝牙、zigbee或者wifi等通信方式。本公开对网络的类型和功能在此不作限制。
例如，处理器可以控制医学图像分析系统中的其它组件以执行期望的功能。处理器可以是中央处理单元(cpu)、现场可编程逻辑阵列(fpga)或者图形处理器(gpu)等具有数据处理能力和/或程序执行能力的器件。中央处理器(cpu)可以为x86或arm架构等。图形处理器gpu可以单独地直接集成到主板上，或者内置于主板的北桥芯片中。gpu也可以内置于中央处理器(cpu)上。由于fpga或gpu具有强大的图像处理能力，本公开实施例可使用fpga或gpu对神经网络进行训练以及基于神经网络进行图像处理。
例如，存储器可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器、闪存等。
在存储器上可以存储一个或多个计算机指令，处理器可以运行所述计算机指令，以实现上述的医学图像分析功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如样本图像、训练数据以及应用程序使用和/或产生的各种数据等。
例如，医学图像分析系统还可以包括输出设备(未示出)。输出设备可以用于输出分类结果。例如，输出设备可以为显示器、投影仪等，以显示检测结果和/或医学图像。医生可以通过显示器或投影屏幕等查看检测结果和/或医学图像以及医学图像中的肿瘤图像的分类结果。
例如，医学图像分析系统还可以包括输入设备(未示出)。输入设备例如可以为键盘、鼠标、遥控器或带触摸功能的触摸屏等。输入设备可被用于从外部计算机设备、从用户(例如医生)等处接收指令。医生可以利用该输入设备实现与医学图像分析系统进行交互。
例如，计算机指令被处理器执行时可以实现上述的医学图像分析方法。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！