基于宏操作变异神经架构搜索的色素性皮损图像分类方法

本发明涉及医学图像处理方法领域，更具体地，涉及一种基于宏操作变异神经架构搜索的色素性皮损图像分类方法。
背景技术：
：皮肤癌是最常见的癌症类型之一，其中黑色素瘤是最致命的皮肤癌，死亡率约占75％，早期准确识别黑色素瘤可显著提高患者的生存率。色素性皮损图像一般采用皮肤镜采集，由于皮肤颜色或毛发等方面的影响以及黑色素瘤和非黑色素瘤病灶高度的视觉相似性，医生可能会出现误诊或漏诊的情况。因此，研究色素性皮损自动分类方法可以辅助医生对黑色素瘤的识别准确率和工作效率。目前深度学习在医学图像处理任务中取得了较大进展，一些研究开始将深度学习方法应用于黑色素瘤的识别，尤其是使用卷积神经网络(convolutionalneuralnetwork，cnn)用于色素性皮损图像分类。实践证明，神经网络架构的设计对提取图像的特征和分类性能至关重要。然而，它的设计在很大程度上依赖于专家的经验，例如卷积核的选择、超参数的设置等。另外，人们现有的先验知识和固定的思维模式可能在一定程度上限制了新神经网络架构的发现。技术实现要素：本发明提供一种基于宏操作变异神经架构搜索的色素性皮损图像分类方法，该方法提高基于cnn的色素性皮损图像分类准确性。为了达到上述技术效果，本发明的技术方案如下：一种基于宏操作变异神经架构搜索的色素性皮损图像分类方法，包括以下步骤：s1：增加自定义的宏操作搜索空间，并对amoebanet原始的微操作搜索空间进行简化；s2：采用基于宏操作变异的进化搜索策略搜索最佳cell；s3：堆叠最佳cell构建色素性皮损分类神经网络，并在数据集上进行训练和测试。进一步地，所述步骤s1的具体过程是：s11：将inceptionv1、ps、fire、se宏操作加入到该搜索空间；s12：移除了在nasnet-a、amoebanet-a最佳cell中不出现的微操作，包括1×1卷积、5×5最大池化和7×7最大池化；s13：增加了3×3和5×5空洞卷积操作，用微操作和宏操作构造候选的normalcell和reductioncell。进一步地，所述步骤s2的具体过程是：s21：基于微操作搜索空间初始化p个神经架构形成种群；s22：进化种群：每次进化将从种群中随机选取s个神经架构，其中适应度最高的神经架构作为变异对象parent；s23：使用宏操作变异产生子代架构child，并对child进行性能评估，child和父代种群一起进入下一次迭代，直到满足收敛条件。进一步地，所述步骤s23中，宏操作变异的具体过程是：1)、随机确定神经架构的变异位点：从normalcell和reductioncell中随机选择变异的cell，再从组成cell的b个blocks中随机选择一个block，之后再随机选择block中的一个操作op；2)、从宏操作搜索空间中随机选择一个宏操作macroop对op进行替换，至此，神经架构的宏操作变异完成。进一步地，每个cell包括若干blocks组成，每个block由一个五元组构成，block的操作包括微操作或者宏操作，block的操作的输出相加作为该block的最终输出。其中，所述步骤s3中的数据集选用ham10000和isic2017；所述ham10000数据集具有10015张皮肤镜图像，包含了七种皮损图像：黑色素瘤、色素痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤和血管损伤；对ham10000数据集随机分成四等份，其中一等份2500张图像作为测试集，其它三等份5000张用于训练和验证；isic2017数据集共有2750张图像，包含了三种皮损图像：黑色素瘤、色素痣和脂溢性角化病；isic2017数据集已经划分了训练集2000张、验证集150张以及测试集600张。与现有技术相比，本发明技术方案的有益效果是：本发明将宏操作加入搜索空间：基于cell的搜索空间，将psp、fire、se和inceptionv1等宏操作加入到搜索空间中，使搜索空间既包含卷积层等基本操作，也包含这些人工设计的、精巧的宏操作，扩大了被搜索的神经架构范围。此外，对原nas搜索空间进行了简化，移除了1×1卷积、5×5最大池化和7×7最大池化等基本操作；在进化搜索过程中，通过使用宏操作变异改变父代的神经架构来产生子代；将宏操作作为变异的目标单元替换神经架构的操作类型，以及使用amoebanet中的连接变异方法来改变神经架构的连接方式。该方法在ham10000和isic2017色素性皮损数据集上取得了与前沿方法接近或者更好的分类性能，平均敏感度分别为72.4％和58.5％。附图说明图1为本发明方法流程框图；图2为通过mon-nas在ham10000上发现的最佳cell结构，包含了4个block.左：normalcell.右：reductioncell.其中，h[i-1]和h[i]是两个输入，i是层数，对所有没有后续连接的block的输出使用concat运算作为cell的最终输出；图3为在不同堆叠深度下(a)ham10000和(b)isic2017验证集的mc-sensitivity-epoch曲线。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。如图1所示，一种基于宏操作变异神经架构搜索的色素性皮损图像分类方法，包括以下步骤：s1：增加自定义的宏操作搜索空间，并对amoebanet原始的微操作搜索空间进行简化；s2：采用基于宏操作变异的进化搜索策略搜索最佳cell；s3：堆叠最佳cell构建色素性皮损分类神经网络，并在数据集上进行训练和测试。步骤s1的具体过程是：s11：将inceptionv1、ps、fire、se宏操作加入到该搜索空间；s12：移除了在nasnet-a、amoebanet-a最佳cell中不出现的微操作，包括1×1卷积、5×5最大池化和7×7最大池化；s13：增加了3×3和5×5空洞卷积操作，用微操作和宏操作构造候选的normalcell和reductioncell。步骤s2的具体过程是：s21：基于微操作搜索空间初始化p个神经架构形成种群；s22：进化种群：每次进化将从种群中随机选取s个神经架构，其中适应度最高的神经架构作为变异对象parent；s23：使用宏操作变异产生子代架构child，并对child进行性能评估，child和父代种群一起进入下一次迭代，直到满足收敛条件。具体的算法程序描述如下(算法1)：步骤s23中，宏操作变异的具体过程是：1)、随机确定神经架构的变异位点：从normalcell和reductioncell中随机选择变异的cell，再从组成cell的b个blocks中随机选择一个block，之后再随机选择block中的一个操作op；2)、从宏操作搜索空间中随机选择一个宏操作macroop对op进行替换，至此，神经架构的宏操作变异完成。具体的算法程序描述如下(算法2)：每个cell包括若干blocks组成，每个block由一个五元组构成，block的操作包括微操作或者宏操作，block的操作的输出相加作为该block的最终输出。步骤s3中的数据集选用ham10000和isic2017，ham10000数据集具有10015张皮肤镜图像，包含了七种皮损图像：黑色素瘤、色素痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤和血管损伤；对ham10000数据集随机分成四等份，其中一等份2500张图像作为测试集，其它三等份5000张用于训练和验证；isic2017数据集共有2750张图像，包含了三种皮损图像：黑色素瘤、色素痣和脂溢性角化病；isic2017数据集划分了训练集2000张、验证集150张以及测试集600张。具体实验：本实验采用pytorch1.5实现，主要系统环境为win10，inteli7-8700cpu，16gbddr4ram，gtx10808ggpu。实验主要包括搜索和测试两个阶段。在搜索阶段，通过使用本文提出的mom-nas方法在ham10000数据集上搜索出最佳cell。在测试阶段，采用搜索到的最佳cell构造神经网络，对比了不同cell堆叠深度(n，g)的神经网络在ham10000和isic2017数据集上的分类性能，并分别与inceptv3+attention、densenet-121、inception+resnet、vgg19及arl-cnn、sa+as、g-cnn、lin、amoebanet等sota方法进行了比较。实验采用ham10000数据集和isic2017数据集两个数据集的类分布如表1所示：表1ham10000和isic2017数据集的样本数量分布诊断类型hamisic2017黑色素瘤(mel)1113521色素痣(nv)67051843基底细胞癌(bcc)514-光化性角化病(akiec)327-良性角化病(bkl)1099-皮肤纤维瘤(df)115-血管损伤(vasc)142-脂溢性角化病(skl)-386总计100152750ham10000数据集具有10015张皮肤镜图像，包含了七种皮损图像：黑色素瘤、色素痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤和血管损伤。我们采用与相同的数据集划分方式，对ham10000数据集随机分成四等份，其中一等份作为测试集(2500张图像)，其它三等份用于训练和验证(5000张用于训练，2500张用于验证)。isic2017数据集共有2750张图像，包含了三种皮损图像：黑色素瘤、色素痣和脂溢性角化病。isic2017数据集已经划分了训练集(2000张)、验证集(150张)以及测试集(600张)。在搜索阶段，在算法1中涉及的参数默认设置为p＝5，s＝5，m＝50，b＝4。训练和评估候选神经网络时使用224×224图像，共训练5个epoch，批次大小为5，学习率为0.001，使用adam优化器。在测试阶段，同样使用224×224图像。在ham10000上，初始学习率为0.0005，使用betas为(0.9，0.999)及weightsdecay为3e-4的adam优化器。在isic2017上，初始学习率为0.00125，使用momentum为0.9及weightsdecay为3e-4的sgd优化器。训练时在每个epoch后均使用余弦退火来降低学习率(其中在ham10000上的最低值为0.0001，isic2017为0.001)。批次大小设置为5或8；共迭代训练120次。有表1可知数据集存在类别不平衡问题，所以搜索和测试阶段的损失函数均采用了加权损失函数。在评估指标方面，本文使用多类敏感性s(multi-classsensitivity，mc-sensitivity)来全面衡量分类准确性，其定义如下：其中，tp表示真阳性，fn表示假阴性，c表示类别数。首先，在ham10000数据集上搜索最佳cell。为了提高搜索效率，n不宜设置过大。其次，影响神经网络深度和视野范围的g值不宜太小或太大。g太小会导致视野范围过小，太大则会造成神经网络深度过大而搜索效率低。因此，分别选取n＝1，g＝5和n＝2，g＝5进行搜索。n＝1，g＝5时，搜索花费大约1.5gpudays，n＝2，g＝5时，耗时2.5gpudays。图2展示了在n＝1，g＝5上发现的最佳cell的结构。可以看到，normalcell(左)和reductioncell(右)不仅包含了微操作，还包含了宏操作(psp和se)，宏操作的出现是因为在进化过程中应用了宏操作变异。psp整合了不同尺度的特征，能够更好地进行特征表示，而se中的注意力机制能够更好地关注病灶信息。这样的微/宏操作组合在一定程度上提升了整个神经网络的泛化能力。采用cell堆叠的方式构建不同深度的候选神经网络，以确定在ham10000和isic2017数据集上最优的神经网络。优选cell堆叠方式：通过改变n(n＝1,2,3)和g(g＝3,4,5)来分析最佳cell的堆叠深度对ham10000和isic2017验证集分类性能的影响，以此分别确定各自最优的神经网络。图3显示了在不同堆叠深度下，ham10000和isic2017验证集的mc-sensitivity-epoch曲线图。由图3(a)可知，当n＝1，g＝3时，mom-nas在ham10000验证集上的性能表现要明显优于其他方式。而在isic2017验证集上的mc-sensitivity相差不明显，但当n＝1，g＝3或g＝4时，mc-sensitivity较高。为了优选cell堆叠方式，根据n值不同分成3组，并分别计算100～120epochs的mc-sensitivity平均值，以此作为堆叠方式优选的参考指标(有图3可知，在训练100epoch后，候选神经网络均已基本收敛)。当n一定时，mc-sensitivity平均值随着g的增大呈下降趋势。因此，我们优选了每组中mc-sensitivity平均值最高的堆叠方式进行测试。ham10000数据集测试结果：使用优选的堆叠方式的mom-nas与inceptv3+attention、inception+resnet等2种sota方法进行比较，有表2可知mom-nas(n＝1,g＝3)的mc-sensitivity与inceptv3+attention同为最高(约72.4％)。表2不同的方法在ham10000上的测试结果比较方法mc-sensitivityinceptv3+attention[21]72.4inception+resnet[23]63.1mom-nas(n＝1,g＝3)72.4为了验证最佳cell的可迁移性，继续在isic2017数据集上进行测试，并与arl-cnn、sa+as等2种sota方法进行了性能比较。如表3所示，优选的mom-nas神经网络在脂溢性角化病分类和三分类任务上的mc-sensitivity均超过了其它方法，特别是当n＝2，g＝3时，mom-nas在所有分类任务的mc-sensitivity都是最高的。表3不同的方法在isic2017上的测试结果比较相同或相似的标号对应相同或相似的部件；附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。当前第1页12