基于多尺度融合和注意力机制的肺癌病理图像分类系统

本发明涉及病理图像处理的，特别涉及一种基于多尺度融合和注意力机制的肺癌病理图像分类系统。

背景技术：

1、肺癌是肺部支气管黏膜或腺体的恶性肿瘤，对人体生命健康构成巨大威胁，每年肺癌的发病率和死亡率增长最快，给人类经济和社会发展带来了严重影响，因此，对肺癌病理种类的诊断、鉴别进行研究，并制定相应的治疗方案，能够提高肺癌患者的存活率。

2、目前，肺癌病理的诊断方式主要依赖于有经验的肺癌病理医生在显微镜下观察肺癌病理切片所得出的肺癌病理图像分类结果，然而肺癌病理图像多样复杂且信息量过大，仅靠病理医生人工分类肺癌病理图像容易出现误判，而且也大大增加了病理医生的工作量。另外，在经济落后的贫困地区和基层医院，严重缺乏有经验的肺癌病理医生，因此，在人工分类不满足实际需求的情况下，研究智能分类肺癌病理图像对于诊断肺癌病理具有重要意义。现有技术中公开了一种癌病理图像分类方法，首先进行数据获取及预处理，筛选肿瘤图块，然后搭建多尺度融合注意力的深度神经网络模型关注空间尺度信息和通道信息，模型以resnet-50为主干网络，引入金字塔卷积pyconv模块和通道注意力se模块，对模型训练的不同通道有所侧重，使得模型更容易探索与癌症分子分型相关的特征表现，提升了癌病理图像分类性能，但模型在主干网络resnet-50中加入了pyconv模块和se模块，结构复杂，模型的不同通道训练的侧重点不同，造成训练复杂度高和训练速度慢，影响癌病理图像分类效率。

技术实现思路

1、为解决在当前癌病理图像分类的方式中，分类效率低，不利于病理诊断的问题，本发明提出一种基于多尺度融合和注意力机制的肺癌病理图像分类系统，优化了肺癌病理图像分类模型的结构，提升了模型的灵活性和自适应性，降低训练复杂度，提高训练速度，从而提升了肺癌诊断效率和分类精度。

2、为了达到上述技术效果，本发明的技术方案如下：

3、一种基于多尺度融合和注意力机制的肺癌病理图像分类系统，所述系统包括：

4、病理图像采集模块，用于获取肺癌病理图像，组成第一图像数据集；

5、病理图像处理模块，用于对第一图像数据集中的肺癌病理图像进行预处理，得到第二图像数据集；

6、肺癌病理图像分类模型构建模块，用于构建肺癌病理图像分类模型，所述肺癌病理图像分类模型包括依次连接的多尺度特征提取融合模块及基于注意力机制的特征聚合模块；

7、训练模块，利用第二图像数据集对构建的肺癌病理图像分类模型进行训练，得到训练好的肺癌病理图像分类模型，所述训练好的肺癌病理图像分类模型用于肺癌病理图像的分类。

8、在本技术方案中，首先构建肺癌病理图像分类模型，肺癌病理图像分类模型包含依次连接的多尺度特征提取融合模块及基于注意力机制的特征聚合模块，利用了多尺度融合的方式增强肺癌病理图像分类模型的鲁棒性，进一步结合基于注意力机制的特征聚合模块，使得肺癌病理图像分类模型能够寻找感兴趣区域，接着对构建的肺癌病理图像分类模型进行训练，利用训练好的肺癌病理图像分类模型对肺癌病理图像进行分类，得到肺癌病理图像的分类结果，优化了肺癌病理图像分类模型的结构，提升了模型的灵活性和自适应性，降低训练复杂度，提高训练速度，从而提升了肺癌诊断效率和分类精度。

9、优选地，所述肺癌病理图像是从癌症基因组图谱的肺腺癌和肺鳞癌项目的公开图像数据中获取，并采用病理医生提供的诊断结果作为数据标签。

10、优选地，对第一图像数据集中的肺癌病理图像进行预处理的具体步骤为：

11、s11.将第一图像数据集的肺癌病理图像以下采样的形式录入电脑；

12、s12.将录入电脑的肺癌病理图像统一储存为rgb格式；

13、s13.将rgb格式的肺癌病理图像转化为hsv格式，对hsv格式的肺癌病理图像进行中值滤波，得到去噪肺癌病理图像；

14、s14.对去噪肺癌病理图像进行阈值分割，得到病理切片中的组织轮廓图像；

15、s15.对组织轮廓图像进行patch划分，得到k张patch图像；

16、s16.对k张patch图像进行四倍下采样，获得k张patch下采样图像。

17、优选地，在病理图像处理模块中，按照设定比例将第一图像数据集划分为训练集、验证集和测试集，将训练集和验证集组成第二图像数据集。

18、优选地，所述多尺度特征提取融合模块内设有第一全连接层及特征提取网络，所述第一全连接层连接特征提取网络，所述特征提取网络和第一全连接层分别用于提取和融合第一图像数据集中预处理的肺癌病理图像的特征，所述特征提取网络采用简化的resnet50网络，包括依次连接的卷积层、批量归一化层、relu激活函数层、最大池化层、第一残差卷积块、第二残差卷积块、第三残差卷积块及自适应均值空间池化层。

19、优选地，将每一张patch图像和每一张patch图像对应的patch下采样图像输入多尺度特征提取融合模块，所述多尺度特征提取融合模块对patch图像和patch下采样图像的具体处理过程为：

20、s21.利用特征提取网络提取每一张patch图像的1024维特征zki；利用特征提取网络提取每一张patch图像对应的patch下采样图像的1024维特征zkj；

21、s22.将zki和zkj连接，得到连接特征zk∈r1×2048，k＝1，2，…，k，zk的具体表达式为：

22、zk＝[zki,zkj]∈r1×2048

23、s23.利用第一全连接层和激活函数将连接的特征进行融合，输出融合特征hk。优选地，在步骤s23中，融合特征hk的计算表达式为：

24、hk＝relu(w1zk+b1)

25、其中，w1∈r512×2048和b1∈r512分别表示第一全连接层的两个训练参数，relu表示激活函数，满足以下关系式：

26、relu(x)＝max(x，0)

27、其中，x表示relu激活函数的输入。

28、优选地，所述特征聚合模块内设有注意力子模块，所述注意力子模块设有依次相连的第二全连接层和第三全连接层，将融合特征hk输入特征聚合模块，所述特征聚合模块对融合特征hk的具体处理过程为：

29、s31.利用注意力子模块提取提取融合特征hk之间的关联信息，对融合特征hk分配对应的注意力得分，使用softmax函数归一化注意力得分，具体计算表达式为：

30、

31、其中，ak表示融合特征hk的注意力得分，v∈r384×512和b∈r384×1分别表示第二全连接层的两个参数，w∈r1×384和b1∈r1×1分别表示第三全连接层的两个参数，tanh表示激活函数，满足以下关系：

32、

33、其中，x表示tanh激活函数的输入；

34、s32.将注意力得分ak作为权值，加权平均所有的hk，输出整张肺癌病理图像的聚合特征hslide∈r512，hslide的计算表达式为：

35、

36、优选地，所述肺癌病理图像分类模型还包括连接多尺度特征提取融合模块的分类模块，所述分类模块设有第四全连接层，将聚合特征hslide输入第四全连接层，由第四全连接层输出肺癌病理图像的分类概率p，所述分类概率p的计算表达式为：

37、p＝softmax(wclshslide+bcls)

38、其中，wcls∈r2×512和bcls∈r2×1表示第四全连接层的两个参数，softmax()表示softmax激活函数，满足以下关系：

39、

40、其中，n表示预测类别数，x和p分别是softmax函数的输入和输出，i和j是softmax输出层的神经元索引，pj是观察样本属于类别j的概率。

41、优选地，s41.利用交叉熵损失函数计算肺癌病理图像分类模型分类结果与数据标签的误差，具体计算公式如下：

42、

43、其中，lcross-emtropy表示肺癌病理图像分类模型分类结果与数据标签的误差，pk表示观察样本属于第k个类别的概率，表示肺癌病理图像分类模型正向传播输出预测结果中观察样本属于第k个类别的概率；

44、s42.利用肺癌病理图像分类模型的分类结果与数据标签的误差进行反向传播，更新肺癌病理图像分类模型的网络参数，直至肺癌病理图像分类模型预测精度收敛，肺癌病理图像分类模型的训练结束。

45、与现有技术相比，本发明技术方案的有益效果是：

46、本发明提出一种基于多尺度融合和注意力机制的肺癌病理图像分类系统，首先构建肺癌病理图像分类模型，肺癌病理图像分类模型包含依次连接的多尺度特征提取融合模块及基于注意力机制的特征聚合模块，利用了多尺度融合的方式增强肺癌病理图像分类模型的鲁棒性，进一步结合基于注意力机制的特征聚合模块，使得肺癌病理图像分类模型能够寻找感兴趣区域，接着对构建的肺癌病理图像分类模型进行训练，利用训练好的肺癌病理图像分类模型对肺癌病理图像进行分类，得到肺癌病理图像的分类结果，优化了肺癌病理图像分类模型的结构，提升了模型的灵活性和自适应性，降低训练复杂度，提高训练速度，从而提升了肺癌诊断效率和分类精度。