一种基于数据增强的活动性肺结核影像分类方法

本发明涉及肺结核影像分类方法，具体涉及一种基于数据增强的活动性肺结核影像分类方法。

背景技术：

1、活动性肺结核是一种严重的传染病，及早地准确诊断对于患者的治疗和控制疾病的传播至关重要。目前医学影像学检查仍然是发现、诊断活动性肺结核病症的主要手段之一，然而在医学图像的获取过程中由于巨大的图像获取成本、对阳性患者隐私的保护、病例数量的限制和数据标记困难等原因往往导致医学图像样本存在数据量少，类别不平衡，图像分辨率不高等问题。同时，医学图像的注释需要专业知识的放射科医生，而我国的医疗资源分配不均，并且医学图像的注释任务大多数非常耗时，收集医学数据需要研究人员和放射科医生的合作，是一个繁杂而昂贵的过程。因此生成医学图像数据以扩充医学图像数据集极具吸引力。

2、得益于计算机视觉和深度学习的不断发展，使得基于数据增强技术在很多领域得到了充分的应用，并展现了其优越的性能。采用分类训练方法进行优化分类时，发明人发现，存在小样本和样本不均衡时活动性肺结核影像分类效率和准确度的问题

技术实现思路

1、本发明的发明目的是：提供一种基于数据增强的活动性肺结核影像分类方法，旨在解决小样本和样本不均衡时活动性肺结核影像分类效率和准确度的问题。

2、为了实现上述目的，本发明提供一种基于数据增强的活动性肺结核影像分类方法，包括以下步骤：

3、s101、利用ct设备采集病人的活动性肺结核影像，然后按相应的病理类型进行分类，并给相同病理类型的影像贴上相同类型的标签；

4、s102、确定每种病理类型对应的活动性肺结核影像用于分类模型的训练样本数和测试样本数，并挑选出小样本病理类型对应的活动性肺结核影像；

5、s103、利用最大化均值差异-生成对抗网络(maximum mean discrepancy-generative adversarial network，mmd-gan)对小样本的活动性肺结核影像进行数据增强，生成符合分类模型要求的大量样本，得到样本均衡的目标活动性肺结核影像数据集；

6、s104、利用bi-directional long short-term memory 2d(2d双向长短期记忆网络)建立分类模型，并通过活动性肺结核影像训练集样本对模型进行训练，得到目标分类模型，利用测试集样本对目标分类模型进行测试；

7、s105、将ct设备采集到的活动性肺结核影像输入到目标分类模型，目标分类模型将自动对活动性肺结核影像进行深度特征提取和分析，输出所患活动性肺结核的病理类型。

8、进一步地，上述将ct设备采集病人的活动性肺结核影像按相应的病理类型进行分类，并给相同病理类型的影像贴上相同类型的标签具体为：

9、将ct设备采集病人的活动性肺结核影像交由专业的放射科医生进行标注，按相应的病理类型标注磨玻璃密度影(gun gale online，ggo)、晕征和反晕征、气道壁增厚、结核结节、空洞和肺实变等六类，并利用打标签软件给相同病理类型的影像贴上相同类型的标签。

10、进一步地，上述s102中确定每种病理类型对应的活动性肺结核影像用于分类模型的训练样本数和测试样本数，并挑选出小样本的病理类型对应的活动性肺结核影像，方便下一步对小样本的病理类型进行数据扩充，平衡数据集。

11、进一步地，上述s103中利用mmd-gan对小样本的活动性肺结核影像进行数据的增强，生成符合分类模型要求的大量样本，得到样本均衡目标活动性肺结核影像数据集，具体为：

12、(1)利用高斯噪声通过生成式对抗网络(gan)中的生成器g生成大量的小样本活动性肺结核影像，得到样本平衡的活动性肺结核影像。gan的优化目标如下所示：

13、

14、其中x表示真实数据，z表示噪声，pdata(x)表示真实数据的分布，pz(z)表示噪声的数据分布，e是期望分布，d(·)为判别器，g(·)为生成器，指的是logd(x)的期望，指的是[log(1-d(g(z)))]的期望；

15、(2)通过减小最大化均值差异的值来减少活动性肺结核影像数据分布的差异，使利用噪声生成的活动性肺结核影像近似真实的活动性肺结核影像，

16、其中mmd的表达式如下式所示：

17、

18、上式中，h代表再生核希尔伯特空间(rkhs)，是一个完全内积空间。φ(·)是到rhks的非线性映射。n1和n2分别表示真实的活动性肺结核影像数据集x和生成的活动性肺结核影像数据集y中的样本个数，xi为x中的第i个样本，yj为y中的第j个样本。mmd的值越小，说明两个数据集的数据分布差异越小。

19、进一步地，上述s104中建立目标分类模型具体为：

20、(1)建立bi-directional long short-term memory 2d(2d双向长短期记忆网络)分类模型。如图2所示，bilstm由两个普通的lstm组成，设为输入序列，为反向的输入序列，表示输入序列经过lstm处理后的输出，表示反向的输入序列会经过lstm处理后的输出；

21、(2)经过bilstm对输入序列进行处理后，两个方向的输出和被按顺序进行拼接，输出和拼接的过程描述如下：

22、

23、

24、式中，和都具有相同的超参数，即隐藏维度d，因此，h的维度为2d；表示将拼接起来；

25、(3)构建两个bilstm，其中一个用于获取ct图片的水平方向的正向序列和反向序列的信息，另一个用于获取垂直方向上的。对于bilstm2d的输入x，它被定义为其中是一组序列，如图4所示，输入图片x的h表示竖直方向上的序列数量，w表示水平方向序列数，c表示输入的通道数；

26、输入x的所有垂直方向的序列x:,w,:都被输入到隐藏维度为d的垂直bilstm中，这个过程被描述为:

27、

28、类似地，水平方向的被视为一组序列，垂直方向的所有序列被输入隐藏维度为d的水平bilstm中。

29、

30、根据图2示意的原理，正反向序列作为输入得到的结果并且最后通过全连接层对特征进行输出，该过程被计算为：

31、

32、这里，fc(·)表示全连接操作，输出向量的维度由活动性肺结核类型唯一确定；最后通过softmax函数进行输出，确定相应的活动性肺结核类别。softmax函数为：

33、

34、其中，xi为最后一层全连接层输出的特征值。所提出方法模型的损失函数选择交叉熵损失函数，它被描述为：

35、

36、其中m表示活动性肺结核类别的数量；yic表示符号函数，若样本i的标签值与c相同时取1，否则为0；pic表示表示样本i属于类别c的概率，n表示样本数。

37、进一步地，上述s104中的长短期记忆网络(long short-term memory，lstm)具体如下：

38、lstm主要包括了3个门结构，分别是遗忘门、输入门和输出门。这些门保证了信息能够有选择地通过，为了保证信息在传输时的不变性，传输单元的状态仅由一些简单的线性运算来获取。lstm通过有选择地保留时序信号的有效信息的方式对原始数据的深层特征进行学习，从而实现活动性肺结核影像分类。

39、遗忘门的输出通过与前一个时间步的记忆单元相乘，以此来决定当前候选记忆单元中是否保留前一个时间步的信息以及它们的保留程度。在此过程中当前的输入xt与上一序列的输出ht-1共同决定上一过程的记忆单元ct-1中的信息是否需要保留或保留多少。遗忘门的工作机制被描述为：

40、

41、式中，和表示当前输入xt和前一过程的输出ht-1的权重，bf表示偏置。ct-1表示前一个过程的隐藏状态，用于保留前一时刻的记忆信息，ft与ct-1相乘表示对前一过程记忆单元的遗忘程度，再通过输入门加入新的候选记忆单元的信息，更新新的记忆单元。输入门的操作过程可以被计算为式(11)，候选记忆单元及其更新过程由前一过程的记忆单元ct-1、输出ht-1和当前输入xt共同决定，这一过程被描述为式(12)和式(13)。

42、

43、

44、

45、其中，wxi、whi、wxc、whc表示权重，bi和bc为偏置，it表示对新信息的更新程度，表示当前的候选记忆单元，ft·ct-1表示经过遗忘门后保留的上一阶段的记忆单元信息，it·表示经过输入门的当前状态的记忆单元信息，ct表示当前记忆单元的状态。最后输出门决定是否输出或输出的程度，该过程被描述为：

46、

47、ht＝ot·tanh(ct)(15)

48、这里，和为权重，bo表示偏置，ot输出门的输出信息，ht表示隐藏层的输出，与ht-1相同，它将作为下一个隐藏层的输入。在lstm的操作过程中，σ(·)为sigmoid激活函数。

49、

50、tanh(·)被描述为：

51、

52、x只是个过渡变量，在不同的公式中带入即可，如在中，以及代入即可。

53、一种基于数据增强的活动性肺结核影像分类系统，包括，

54、图像获取分类贴标单元，用于获取活动性肺结核影像，并进行病理类型分类和相同病理类型分类贴相同标签；

55、训练样本数和测试样本数确定单元，用于确定每种病理类型对应的活动性肺结核影像的训练样本数和测试样本数，并挑选出小样本病理类型对应的活动性肺结核影像；

56、数据增强单元，利用最大化均值差异-生成对抗网络对小样本的活动性肺结核影像进行数据增强，生成符合分类模型要求的大量样本，得到样本均衡目标活动性肺结核影像数据集；

57、训练单元，利用2d双向长短期记忆网络建立分类模型，并通过活动性肺结核影像训练集样本对模型进行训练，得到目标分类模型，利用测试集样本对目标分类模型进行测试；

58、输出单元，用于将ct设备采集到的活动性肺结核影像输入到目标分类模型，目标分类模型将自动对活动性肺结核影像进行深度特征提取和分析，输出所患活动性肺结核的病理类型。

59、本发明的有益效果：与现有技术相比，本发明基于数据增强技术首先将ct设备采集病人的活动性肺结核影像按相应的病理类型进行分类，并给相同病理类型的影像贴上相同类型的标签；确定每种病理类型对应的活动性肺结核影像用于分类模型的训练样本数和测试样本数，并挑选出小样本的病理类型对应的活动性肺结核影像；利用最大化均值差异-生成对抗网络(maximum mean discrepancy-generative adversarial network，mmd-gan)对小样本的活动性肺结核影像进行数据的增强，生成符合分类模型要求的大量样本，得到样本均衡的标活动性肺结核影像数据集；建立bi-directional long short-term memory2d(2d双向长短期记忆网络)分类模型，并通过活动性肺结核影像训练集样本对模型进行训练，得到目标分类模型，利用测试集样本对目标分类模型进行测试；将ct设备采集到的活动性肺结核影像输入到目标分类模型，目标分类模型将自动对活动性肺结核影像进行深度特征提取和分析，输出所患活动性肺结核的病理类型。

60、与传统的方法相比，采用数据增强技术对小样本和样本不均衡的活动性肺结核影像数据集进行了扩充，综合考虑了部分病理类型的肺结核患者人群较少的关键性因素，可以让建立的初始分类模型获得更多的小样本类型的活动性肺结核影像数据进行训练，有效提高了训练数据类型的完整性和丰富性；同时，建立的bi-directional long short-termmemory 2d(2d双向长短期记忆网络)分类模型可以对活动性肺结核影像进行自适应的深度特征提取和分类，进而保证了活动性肺结核影像分类效率和准确度。