一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法与流程

本发明涉及图像处理领域，提供了一种改进resnext神经网络的轻量级多模态医学图像分类方法。

背景技术：

1、基于传统机器学习的方法：这类方法包括支持向量机、随机森林、朴素贝叶斯等，通过特征提取和特征选择等方法，将医学图像转化为数值特征，然后使用传统机器学习算法进行分类。这类算法是基于手工设计的特征进行分类的，它的特征提取通常基于滤波、边缘检测等操作，难以捕捉图像的高层次特征和语义信息。并且由于传统机器学习方法所用到的分类器通常是线性分类器，比如支持向量机(svm)，并不能很好的表示非线特征，因此难以处理高维和非线性的图像数据，分类器的泛化性能也有限。此外，传统机器学习方法因为需要手工提取特征，因此对数据量和数据质量的要求较高，需要大量的标注数据，并且数据质量对模型的性能有重要影响。

2、基于深度学习的方法：这类方法使用深度卷积神经网络(cnn)进行特征提取和分类，包括经典的模型如alexnet、vgg、resnet等。这类方法通常需要大量的标注数据和计算资源，如果训练数据不足可能会导致模型的过拟合或者欠拟合，特别是对于大规模的神经网络和复杂的图像分类任务，需要更多的数据量进行模型训练。并且由于深度学习模型的结构复杂，在深层网络中，巨额的参数量导致模型的可解释性较差，很难理解模型在进行分类决策时的内在逻辑，且网络模型复杂，在实际应用部署时十分麻烦。

3、传统机器学习方法需要手工设计特征提取器，特征表达能力有限，无法充分提取图像中的信息，基于深度学习的方法需要大量的数据和计算资源进行训练，且模型的参数数量庞大，难以部署在资源受限的移动设备上。在医学图像分类中，不同模态图像之间存在较大差异，传统机器学习额基于深度学习的方法对于多模态数据的处理能力较弱。

技术实现思路

1、本发明的目的在于解决医学图像分类中，不同模态图像之间存在较大差异，传统机器学习基于深度学习的方法对于多模态数据的处理能力较弱的问题。

2、为了实现上述目的本发明采用以下技术方案：

3、一种改进resnext神经网络的轻量级多模态医学图像分类方法，包括以下步骤：

4、步骤1：对来自两个不同模态的医学图像进行预处理，得到处理后的图像；

5、步骤2：将步骤1处理后的图像按照比例划分训练集、测试集和验证集；

6、步骤3：对训练集的数据进行数据增强；

7、步骤4：构建子网络，分别对两个模态的图像数据进行特征提取，得到不同维度的特征张量以后，将其拼接起来；

8、步骤5：构建改进后的resnext卷积神经网络作为分类模型；

9、步骤6：将步骤4的结果作为步骤5的输入，不同类别作为分类结果；

10、步骤7：对resnext卷积神经网络进行参数优化，将最终优化的分类模型保存下来；

11、步骤8：将预处理之后的数据送入已经优化好的分类模型中，通过分类模型的分类器输出分类结果。

12、上述技术方案中，步骤1中对输入的医学图像进行预处理，即将不同模态的图像对齐，使得它们的空间位置和方向一致，统一样本尺寸。

13、上述技术方案中，步骤3中对数据集进行数据增强包括对不同模态的图像进行随机旋转、翻转、缩放、裁剪。

14、上述技术方案中，步骤4中构建子网络包括构建的子网络alexnet和子网络densenet，步骤4具体包括以下步骤：

15、步骤4.1：构建子网络alexnet接收来自一个模态的图像数据并且提取其特征，得到它的特征表示，alexnet包含5个卷积层，每个卷积层后面都跟着一个relu激活函数和一个局部响应归一化层，然后再连接两个最大池化层；

16、步骤4.2：构建子网络densenet接收来自另一个模态的图像数据并且提取其特征，得到它的特征表示，densenet的卷积层由多个密集块dense block组成，每个密集块内的卷积层都会和前面的卷积层拼接起来作为当前卷积层的输入，保证信息充分传递，每个密集块内的卷积层都是3x3的卷积层，后面跟着一个batch normalization和relu激活函数；

17、步骤4.3：在两个子网络的卷积层和池化层后面加入一个全局平局池化层，将每个通道上的特征值取平均得到一个全局特征；

18、步骤4.4：将两个子网络的全局特征连接起来得到最终的特征，作为分类模型的输入。

19、上述技术方案中，步骤5具体包括以下步骤：

20、步骤5.1：接收步骤4处理完的结果，这个结果就是多模态数据拼接之后的特征向量，它作为分类模型的输入；

21、步骤5.2：经过第一个卷积层，该层为一个7x7的卷积核，步长为2，经过卷积操作之后得到输出维度为64的特征图；

22、

23、这里的卷积操作的具体公式为：

24、其中fout是输出特征图，fin是输入特征图，k是卷积核的大小，p是padding，填充的大小，s是stride步长的大小；

25、步骤5.3：经过第二个卷积层，用一个3x3的卷积核对步骤5.2的特征图进行卷积操作，输入通道为64，卷积完以后连接一个归一化层，再连接一个relu激活函数，得到通道数为128的特征图；

26、步骤5.4：然后经过第一个残差块，称为残差块1，该残差块1是用深度可分离卷积替换resnext残差块中的卷积层，并且在最后一层添加了通道注意力机制，首先用1x1的卷积核进行通道数变换，得到通道数为128，然后使用3x3的深度可分离卷积进行特征提取，将输入的图像进行分离，分别在深度方向和空间方向上进行卷积操作，将不同模态的数据逐个对应位置相加，再分别乘以不同的权重因子，最后将结果相加得到新的数据输入，减少参数量和计算量，实现轻量级的特征提取，之后连接一个通道注意力，使用sigmoid激活函数将特征图在通道维度上进行归一化，计算每个通道的权重，对不同通道的特征进行加权，提高重要特征的权重，然后连接一个多分支融合模块，多分支融合模块由多个分支组成，每个分支对应一个模态的特征图，分支内部采用3x3的卷积进行特征提取，然后采用双线性插值的方式将其上采样到同一尺寸，最后使用1x1的卷积核将输出通道数变成256；

27、步骤5.5：再连接一个残差块，称为残差块2，该残差块2和步骤5.3所述的结构一样，包括通道注意力和深度可分离卷积操作，不同之处在于通道数为256，输出通道数为512；

28、步骤5.6：再连接一个残差块，称为残差块3，该残差块和步骤5.3所述的结构一样，包括通道注意力和深度可分离卷积操作，不同之处在于通道数为512，输出通道数为1024；

29、步骤5.7：再连接一个残差块，称为残差块4，该残差块和步骤5.3所述的结构一样，包括通道注意力和深度可分离卷积操作，不同之处在于通道数为1024，输出通道数为2048；

30、步骤5.8：连接一个全局池化层，对每个通道上的特征图求平均值，输出一个全局特征向量；

31、步骤5.9：连接一个全连接层，对全局池化层的输出特征向量进行分类操作，将特征向量映射到预测类别的向量空间，输出最终预测结果；

32、步骤5.10：输出层，使用softmax激活函数对全连接层的输出进行归一化，将输出转换为预测类别的概率分布，分类模型预测的最终结果为具有最大概率值的类别。

33、因为本发明采用上述技术手段，因此具备以下有益效果：

34、本技术采用深度学习卷积神经网络模型，使用resnext作为主干网络，使用图像的不同模态作为网络的不同输入通道，将不同模态数据的特征进行融合，进而进行分类预测。这种方式可以利用resnext网络的强大特征提取能力，同时融合多模态特征，提高分类精度，该方法在提高精度的同时，采用了一些轻量级的技术，如深度可分离卷积和通道注意力机制等，能够降低模型的计算复杂度和存储复杂度，从而减少模型训练和推理的时间和资源消耗。单一模态的医学图像分类通常只能利用一种类型的图像数据进行分类，而且往往会受到许多因素的影响，从而导致其分类精度有限。不同类型的医学图像(如ct、mri、x光片等)具有不同的图像特征，使用同一种分类算法对不同类型的图像进行分类效果可能会受到限制。而且，对于一些特定类型的医学图像，单一模态的分类方法可能会表现出较差的性能。并且单一模态的医学图像分类算法通常需要大量的数据进行训练，以保证其分类精度，但由于医学图像数据的获取成本较高，数据量往往有限，这可能导致单一模态的分类算法表现不佳。此外，医学图像往往受到各种噪声的干扰，例如伪影、运动伪影、噪声等，这些噪声会影响医学图像的质量，从而影响分类算法的性能。单一模态的分类算法可能难以区分噪声和真实的特征，从而导致分类错误。因此，多模态的医学图像分类方法可以综合利用多种类型的医学图像数据，克服单一模态的分类方法存在的不足，提高分类精度和稳定性。