一种黑色素癌图像的分割方法及网络

1.本发明涉及医学图像处理的技术领域，尤其涉及一种黑色素癌图像的分割方法，以及黑色素癌图像的分割网络，其通过对输入的皮肤癌图像给出语义分割结果，为黑色素癌自动化监测系统提供可靠的待处理数据。


背景技术：

2.黑色素瘤是黑色素细胞恶变而来的肿瘤，恶性程度高，多发于皮肤。虽然黑色素瘤发病率和死亡率没有那么高，但以6％～7％的增长速度逐年递增，在美国肿瘤学年会(asco)的报道中，它已经成为发病率增长最快的肿瘤之一。尤其在我国，黑色素发病呈快速增长趋势，每年新发病例约2万人，死亡率也逐年快速上升。临床发现，黑色素瘤分期越早，治愈可能性越大；分期越晚，治疗难度越高，预后越差。因此，这种皮肤癌的早期检测至关重要。
3.目前，利用皮肤镜检查图像来诊断这种癌症是最常用的方法。然而，目前的皮肤镜检查图像大多由皮肤科医生手动分析，费时、费钱、费力，同时，每位皮肤科医生的诊断结果容易出现偏差。
4.近年来,随着硬件设备和神经网络理论的发展,深度学习已经在包括医学图像分析的诸多领域取得了惊人的表现。基于深度学习方法对皮肤镜图像的皮损区域更精准的分割可以帮助医生和计算机辅助系统更好地做出决策,进而帮助患者争取宝贵的治疗时间。
5.针对皮肤癌皮肤镜图像分割问题，目前的解决方案大都集中在先对皮肤镜图像进行图像预处理，之后基于深度学习的方法对图像进行进一步的特征提取与分割，最后经过条件随机场进行边界的进一步细化。在两个公开数据集上的结果表明，目前的方法可以达到不错的分割结果。但是，针对该问题，crf的后处理操作显得相对笨重，其导致训练相对变慢以及训练困难的问题。并且，随着技术的发展，获取测试图像的工具也在不断更新，当前的图像预处理方案可能具有应用的局限性，可能会影响分割结果的精度。


技术实现要素：

6.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种黑色素癌图像的分割方法，其能够实现端到端的训练模式，减轻网络结构，在保证精度的同时提升分割速度，最后达到可在较小机器上的迁移应用目的，为皮肤癌分割数据集提供了丰富的可分析案例，为该研究的继续深入研究提供了一定的帮助，传递认真对待皮肤癌病的意识，进一步减轻皮肤病医生的工作压力。
7.本发明的技术方案是：这种黑色素癌图像的分割方法，该方法包括以下步骤：
8.(1)对皮肤镜检查图像进行图像预处理；
9.(2)构建用于黑色素癌图像分割的轻量级皮肤癌分割网络，该网络采用编码器
‑
解码器的结构，包括以下分步骤：
10.(2.1)编码器利用深度可分离卷积和通道随机融合的手段在降低网络参数的同
时，保证通道间的信息交流，提取更加有用的特征信息；
11.(2.2)解码器采用注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率；
12.(2.3)通过全局平均池化层来计算得分获取分割结果。
13.本发明首先对皮肤镜检查图像进行图像预处理，然后构建用于黑色素癌图像分割的轻量级皮肤癌分割网络，将处理好的图像传入给轻量级皮肤癌分割网络，该网络结构采用了编码器
‑
解码器的结构，受深度可分离卷积的启发，编码器利用了深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息，解码器采用了注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率，最后通过全局平局池化层来计算得分获取分割结果，因此能够实现端到端的训练模式，减轻网络结构，在保证精度的同时提升分割速度，最后达到可在较小机器上的迁移应用目的，为皮肤癌分割数据集提供了丰富的可分析案例，为该研究的继续深入研究提供了一定的帮助，传递认真对待皮肤癌病的意识，进一步减轻皮肤病医生的工作压力。
14.还提供了一种黑色素癌图像的分割网络，其为用于黑色素癌图像分割的轻量级皮肤癌分割网络，该网络采用编码器
‑
解码器的结构，执行以下步骤：
15.(2.1)编码器利用深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息；
16.(2.2)解码器采用注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率；
17.(2.3)通过全局平均池化层来计算得分获取分割结果。
附图说明
18.图1是根据本发明的黑色素癌图像的分割方法的流程图。
19.图2是根据本发明的黑色素癌图像的分割网络的框架示意图。
20.图3是图像经过轻量级皮肤癌分割网络的处理示意图。
21.图4示出了深度分离随机通道模块的结构示意图。
22.图5示出了优化注意力模块的结构示意图。
23.图6示出了根据本发明的特征融合模块的结构示意图。
具体实施方式
24.如图1所示，这种黑色素癌图像的分割方法，该方法包括以下步骤：
25.(1)对皮肤镜检查图像进行图像预处理；
26.(2)构建用于黑色素癌图像分割的轻量级皮肤癌分割网络，该网络采用编码器
‑
解码器的结构，包括以下分步骤：
27.(2.1)编码器利用深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息；
28.(2.2)解码器采用注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率；
29.(2.3)通过全局平均池化层来计算得分获取分割结果。
30.本发明首先对皮肤镜检查图像进行图像预处理，然后构建用于黑色素癌图像分割的轻量级皮肤癌分割网络，将处理好的图像传入给轻量级皮肤癌分割网络，该网络结构采用了编码器
‑
解码器的结构，受深度可分离卷积的启发，编码器利用了深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息，解码器采用了注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率，最后通过全局平局池化层来计算得分获取分割结果，因此能够实现端到端的训练模式，减轻网络结构，在保证精度的同时提升分割速度，最后达到可在较小机器上的迁移应用目的，为皮肤癌分割数据集提供了丰富的可分析案例，为该研究的继续深入研究提供了一定的帮助，传递认真对待皮肤癌病的意识，进一步减轻皮肤病医生的工作压力。
31.优选地，所述步骤(1)中，对图像进行色彩恒常性处理，基于算法 frankle
‑
mccann retinex对原始图像进行预处理，使原始图像忽略不同光照条件下的影响，尽量还原图像本来的颜色；对图像进行形态学变化的闭合操作去除病变部分毛发的影响；对图像进行对比度增强，得到输送给卷积神经网络的数据。
32.优选地，所述步骤(2.1)中，深度分离随机通道模块利用1x1的像素级精度的卷积核对当前输入通道进行扩展，之后经过channel shuffle操作使通道间的信息能够充分的结合，之后将处理的结果经过3x3的深度卷积进一步获得特征图信息，最后经过1x1的pointwise卷积核进行降维，得到的特征图与原输入数据进行结合进行倒残差学习。
33.优选地，所述步骤(2.2)中，优化注意力模块使用全局平均池化去捕捉全局上下文信息并计算一个注意力向量去引导特征学习。
34.优选地，所述步骤(2.3)中，特征融合模块首先对两个分支提取到的特征进行串行的拼接操作，经传统卷积网络处理得到初步特征f，对特征f进一步利用全局平局池化得到统一的特征信息f',经过relu激活函数增加了特征学习的泛化能力，得到特征f”经过1x1的卷积将特征通道数再扩展到输入通道数相等，经过sigmoid激活函数得到每个权重的得分f
”’
，最后进行像素级元素之间的相加操作，将f和f
”’
进行结合。
35.本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种黑色素癌图像的分割网络，该网络通常以与方法各步骤相对应的功能模块的形式表示。
36.该网络采用编码器
‑
解码器的结构，执行以下步骤：
37.(2.1)编码器利用深度可分离卷积和通道随机融合的手段在降低网络参数的同时，保证通道间的信息交流，提取更加有用的特征信息；
38.(2.2)解码器采用注意力机制并结合新的特征融合方式，来保证低层阶段更相关的特征信息和高层阶段的特征信息进行融合，以提高分割的准确率；
39.(2.3)通过全局平均池化层来计算得分获取分割结果。
40.优选地，深度分离随机通道模块利用1x1的像素级精度的卷积核对当前输入通道进行扩展，之后经过channel shuffle操作使通道间的信息能够充分的结合，之后将处理的
结果经过3x3的深度卷积进一步获得特征图信息，最后经过1x1的pointwise卷积核进行降维，得到的特征图与原输入数据进行结合进行倒残差学习。
41.优选地，优化注意力模块使用全局平均池化去捕捉全局上下文信息并计算一个注意力向量去引导特征学习。
42.优选地，特征融合模块首先对两个分支提取到的特征进行串行的拼接操作，经传统卷积网络处理得到初步特征f，对特征f进一步利用全局平局池化得到统一的特征信息f',经过relu激活函数增加了特征学习的泛化能力，得到特征f”经过1x1的卷积将特征通道数再扩展到输入通道数相等，经过 sigmoid激活函数得到每个权重的得分f
”’
，最后进行像素级元素之间的相加操作，将f和f
”’
进行结合。
43.以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。