网络模型训练方法和皮肤病变确定装置与流程

1.本发明涉及网络模型训练方法和皮肤病变确定装置，属于图像处理技术领域。


背景技术：

2.随着生活环境的变化，患有皮肤病的患者越来越多。现有技术中，医生通过皮肤镜等方式采集皮肤图像，然后基于采集到的皮肤图像人工判断，显而易见的，现有方案中受医生经验水平的影响，医生的判断结果可能会有误且医生人工判断的效率也较低。


技术实现要素：

3.本发明的目的在于提供一种网络模型训练方法和皮肤病变确定装置，用于解决现有技术中存在的问题。
4.为达到上述目的，本发明提供如下技术方案：
5.根据第一方面，本发明实施例提供了一种网络模型训练方法，所述方法包括：
6.构建病变分割网络，所述病变分割网络用于分割图像中的皮肤病变区域；
7.构建病变分类网络，所述病变分类网络用于根据所述皮肤病变区域确定图像中的皮肤病变分类；
8.融合所述病变分割网络和所述病变分类网络，得到相互引导网络模型；
9.通过样本皮肤图像集训练所述相互引导网络模型，训练后的所述相互引导网络模型用于确定皮肤图像中的皮肤病变的分类。
10.可选的，所述病变分割网络为u
‑
net网络，所述病变分割网络包括卷积层、最大池化层、反卷积层以及relu非线性激活函数。
11.可选的，所述病变分割网络的编码由在imagenet数据集上预训练的resnet50构成。
12.可选的，所述resnet50中的第一个卷积层由1个7*7卷积层替换为2个3*3卷积层，所述2个3*3卷积层用于保持图像输入的大小。
13.可选的，所述病变分类网络由在imagenet数据集上预训练的xception网络构成。
14.可选的，所述病变分类网络由改进后的xception网络构成，改进后的xception网络不包括最后一层池化层。
15.可选的，改进后的xception网络的最后两层可分离卷积替换为可分离扩张卷积。
16.可选的，所述融合所述病变分割网络和所述病变分类网络，包括：
17.将所述病变分割网络输出作为所述病变分类网络的输入；
18.将所述病变分类网络输出的伪标签输入至所述病变分割网络，用于训练所述病变分割网络。
19.可选的，所述样本皮肤图像包括第一样本图像集和第二样本图像集，所述第一样本图像集中的图像设置有像素级分割注释，所述第二样本图像集中的图像设置有图像集注释，所述通过样本皮肤图像集训练所述相互引导网络模型，包括：
20.通过所述第一样本图像集训练所述病变分割网络；
21.通过所述第二样本图像集训练所述相互引导网络模型。
22.第二方面，提供了一种皮肤病变确定装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如下方法：
23.获取图像；
24.将所述图像输入至训练后的相互引导网络模型，通过训练后的所述相互引导网络模型输出所述图像中的皮肤病变的分类；所述相互引导网络模型通过第一方面所述的方法训练得到。
25.通过构建病变分割网络，所述病变分割网络用于分割图像中的皮肤病变区域；构建病变分类网络，所述病变分类网络用于根据所述皮肤病变区域确定图像中的皮肤病变分类；融合所述病变分割网络和所述病变分类网络，得到相互引导网络模型；通过样本皮肤图像集训练所述相互引导网络模型，训练后的所述相互引导网络模型用于确定皮肤图像中的皮肤病变的分类。解决了现有技术中医生人工判定时效率较低且准确率较差的问题，达到了可以通过相互引导网络模型自动确定得到病变分类，提高皮肤判定效率和准确率的效果。
26.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
27.图1为本发明一个实施例提供的网络模型训练方法的方法流程图；
28.图2为本发明一个实施例提供的病变分割网络的一种可能的网络结构示意图；
29.图3为本发明一个实施例提供的病变分类网络的一种可能的网络结构示意图；
30.图4为本发明一个实施例提供的相互引导网络模型的一种可能的网络结构示意图；
31.图5为本发明一个实施例提供的皮肤病确定方法的方法流程图。
具体实施方式
32.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
34.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是
两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
35.此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
36.请参考图1，其示出了本技术一个实施例提供的网络模型训练方法的方法流程图，如图1所示，所述方法包括：
37.步骤101，构建病变分割网络，所述病变分割网络用于分割皮肤图像中的皮肤病变区域；
38.在本实施例中，病变分割网络为u
‑
net网络，如图2所示，所述病变分割网络包括卷积层、最大池化层、反卷积层以及relu非线性激活函数。实际实现时，所述病变分割网络的编码由在imagenet数据集上预训练的resnet50构成，解码不变。而通过使用resnet50进行编码加深了编码阶段的层数，提高了网络的特征提取能力，进而提高网络的分割准确度。同时，resnet50的残差结构有效的防止了梯度消失和模型退化的问题。
39.此外，在本实施例中，为了使得resnet50的网络结构能够和u
‑
net的编码器结构匹配，在本实施例中，移除最后的平均池化层和全连接层，保持网络的全卷积结构；并且，为了使网络能够保持更多的细节信息，把第一个7
×
7卷积层替换为能够保持图像输入大小的两个3
×
3卷积层，同时尽可能的保证感受野的大小。
40.病变分割网络通过最小化dice系数损失来进行优化，其计算如下：
[0041][0042]
x表示病变分割网络预测的结果，y表示分割金标准。
[0043]
可选的，病变分割网络的输入为待处理的皮肤图像，输出为分割得到的病变区域。
[0044]
本实施例所述的皮肤图像可以为通过皮肤镜采集的图像，也可以为通过拍照得到的图像，对其具体采集方式并不做限定。
[0045]
步骤102，构建病变分类网络，所述病变分类网络用于根据所述皮肤病变区域确定皮肤图像中的皮肤病变分类；
[0046]
病变分类网络由在imagenet数据集上预训练的xception网络构成。并且，为了提高病变分类网络的分类性能，本技术使用改进后的xception网络。具体的，改进后的xception网络不包括最后一层池化层，进而扩大特征图的分辨率避免渐进降采样过程中小病变信息的丢失；另外，改进后的xception网络的最后两层可分离卷积替换为可分离扩张卷积，可分离扩张卷积的扩张率为预设数值。通过使用可分离扩张卷积可以补偿由于去下采样而引起的感受野减小。在执行全局平均池化(gap)后，生成的特征输入到一个新的全连接(fc)层，随后是一个softmax激活函数。
[0047]
输入的第4通道(即mask)的权值通过平均另3个通道(即rgb图像)的权值进行初始化，并通过最小化交叉熵损失来优化mask
‑
cn，其计算如下
[0048][0049]
其中y是标签，p是预测输出。
[0050]
实际实现时，病变分类网络的输入为病变分割网络输出的病变区域以及待处理的
皮肤图像。由于皮肤病变区域通常仅占皮肤图像的一小部分，图像的大部分是健康的皮肤组织、头发、血管和气泡等伪影的存在可能会干扰病变的分类结果，而本技术中病变分割网络分割得到的病变mask(病变区域)可以帮助病变分类网络聚焦病变区域，去除皮肤图像上的干扰，从而实现精确的皮肤病变分类。如图3所示，每张训练图像及其对应的病变mask被拼接为mask
‑
cn(病变分类网络)的输入，mask
‑
cn输出确定得到的分类以及伪标签。
[0051]
mask
‑
cn使用输出层的类权重对最后一个卷积层生成的特征映射进行加权，然后将所有通道上的加权特征映射求和，生成类激活映射(cam，class activation map)，该过程如图3所示，在得到cam之后，通过条件随机场(crf)对cam进行细化，得到伪分割标签并用于训练病变分割网络，实现弱监督语义分割，得到更准确的病灶分割。
[0052]
步骤103，融合所述病变分割网络和所述病变分类网络，得到相互引导网络模型；
[0053]
本步骤包括：
[0054]
第一，将所述病变分割网络输出作为所述病变分类网络的输入；
[0055]
第二，将所述病变分类网络输出的伪标签输入至所述病变分割网络，用于训练所述病变分割网络。
[0056]
可选的，请参考图4，其示出了融合后的相互引导网络模型的一种可能的网络结构示意图。如图4所示，待处理的图像通过病变分割网络分割得到病变区域(预测mask)，病变区域和皮肤图像一起输入至mask
‑
cn进而在得到cam之后，通过条件随机场(crf)对cam进行细化，得到伪标签和预测得到的分类，伪标签并用于训练病变分割网络。
[0057]
步骤104，通过样本皮肤图像集训练所述相互引导网络模型，训练后的所述相互引导网络模型用于确定图像中的皮肤病变的分类。
[0058]
所述样本皮肤图像包括第一样本图像集和第二样本图像集，所述第一样本图像集中的图像设置有像素级分割注释，所述第二样本图像集中的图像设置有图像集注释。
[0059]
具体的，第一样本图像集包含用于训练的2000张图像和用于测试的600张图像。训练图像包括374例黑素瘤，254例脂溢性角化病和1372例良性痣病例。测试图像包括117例黑色素瘤，97例脂溢性角化病和393例良性痣病例。该数据集中的每张图像都具有精确的像素级分割注释。
[0060]
第二样本图像集包含10015张图像，包括1113例黑色素瘤，6705例良性痣，514例基底细胞癌，327例光化性角化病，1099例脂溢性角化病，115例皮肤纤维瘤和142例血管病变病例。该数据集中的每张图像都只有图像级注释。
[0061]
实际实现时，为了加快网络的读取速度与计算效率，两个样本图像集的图像尺寸全部调整为450
×
600，同时保持图像原有的长宽比。
[0062]
相应的，本步骤包括：
[0063]
第一，通过所述第一样本图像集训练所述病变分割网络；
[0064]
实际实现时，为了增加样本数量进而提高网络训练的精度，本步骤还可以包括：
[0065]
(1)、对第一样本图像集进行数据增强。
[0066]
数据增强的方式包括：随机上下翻转、随机左右翻转和随机旋转中的至少一种。
[0067]
(2)、通过增强后的第一样本图像集训练病变分割网络。
[0068]
实际实现时，可以使用adam优化器来更新网络参数，训练周期120轮，初始学习率设为1
×
e
‑
4，批次大小设为4，并且每训练30轮学习率衰减为之前的0.1倍。
[0069]
第二，通过所述第二样本图像集训练所述相互引导网络模型。
[0070]
在训练过程中，将输入图像随机裁剪为224
×
224，并使用随机水平、垂直翻转等方法进行数据增强，模型使用随机梯度下降(sgd)来更新网络参数，病变分割网络和病变分类网络交替迭代更新，共使用了150个周期进行训练，初始学习率为1e
‑
4，并且每训练30轮学习率衰减为之前的0.1倍，训练批次大小设置为4。使用第一样本图像集中的测试集来监督每个网络的性能，并在网络陷入过拟合时终止训练过程。
[0071]
其中，相互引导网络模型输出的病变分类可以为黑素瘤、脂溢性角化病、良性痣、皮肤纤维瘤、基底细胞癌、光化性角化病、血管病变中的任一种，当然实际实现时，还可以为其他皮肤病，本实施例对此并不做限定。
[0072]
综上所述，通过构建病变分割网络，所述病变分割网络用于分割皮肤图像中的皮肤病变区域；构建病变分类网络，所述病变分类网络用于根据所述皮肤病变区域确定皮肤图像中的皮肤病变分类；融合所述病变分割网络和所述病变分类网络，得到相互引导网络模型；通过样本皮肤图像集训练所述相互引导网络模型，训练后的所述相互引导网络模型用于确定皮肤图像中的皮肤病变的分类。解决了现有技术中医生人工判定时效率较低且准确率较差的问题，达到了可以通过相互引导网络模型自动确定得到病变分类，提高皮肤判定效率和准确率的效果。
[0073]
请参考图5，其示出了本技术一个实施例提供的皮肤病确定方法的方法流程图，如图5所示，所述方法包括：
[0074]
步骤501，获取皮肤图像；
[0075]
步骤502，将所述皮肤图像输入至训练后的相互引导网络模型，通过训练后的所述相互引导网络模型输出所述皮肤图像中的皮肤病变的分类.
[0076]
所述相互引导网络模型通过以上实施例所述的方法训练得到。
[0077]
具体的，将皮肤图像输入训练后的所述u
‑
net分割网络，得到分割mask；皮肤图像和分割mask拼接在一起输入训练后的所述mask
‑
cn分类网络进行分析；mask
‑
cn分类网络识别出待测试皮肤图像的类别，并打上分类标签。
[0078]
综上所述，通过获取皮肤图像；将所述皮肤图像输入至训练后的相互引导网络模型，通过训练后的所述相互引导网络模型输出所述皮肤图像中的皮肤病变的分类解决了现有技术中医生人工判定时效率较低且准确率较差的问题，达到了可以通过相互引导网络模型自动确定得到病变分类，提高皮肤判定效率和准确率的效果。
[0079]
本技术还提供了一种皮肤病变确定装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以上所述的皮肤病确定方法。
[0080]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0081]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。