一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统

1.本发明基于医学人工智能领域，尤其是涉及一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统。


背景技术：

2.儿童肺炎是儿童类感染率前三的疾病，目前很多研究者都通过智能算法对儿童肺炎图像进行分析诊断，其中，x线胸片图像是研究的主要对象。
3.如公开号为cn114566276a的中国专利文献公开了一种基于肺部彩超的儿童肺炎辅助诊断模型的训练方法和训练装置，训练方法包括：获取包括多个儿童肺炎患者的彩超图像的诊疗信息数据库；根据数据库获取多个样本集合；对每个样本集合中的训练集进行训练处理，获得训练模型；根据每个样本集合的测试集对训练模型进行检验，获得训练模型的准确度；基于多个训练模型的准确度，确定诊断模型；其中，每个样本集合包括训练集及对应的测试集。
4.公开号为cn113241184a的中国专利文献公开了一种儿童肺炎辅助诊断模型及其训练方法，训练方法：获取儿童肺炎患者的医学图像及对应的医学诊断语句，所述医学图像作为训练图像集合，所述医学诊断语句则作为训练语句；通过cnn神经网络对所述图像训练集数据提取图像深度特征向量，得到深度特征图集，通过word2vec模型对所述训练语句进行词向量训练，得到深度特征向量词集；对所述深度特征图集和所述深度特征向量词集进行特征融合，后通过lstm神经网络进行训练，即能获得训练好的儿童肺炎辅助诊断模型。
5.儿童肺炎根据致病原因分为病毒性肺炎、支气管肺炎、细菌性肺炎、真菌性肺炎等种类，通过采用针对细分疾病的特殊治疗方案，可有效提高治愈率。但因为各种肺炎以及肺部相关的其它疾病的表现症状上有一定的相似度，而且由于儿童处于发育阶段，肺炎在不同的年龄段的分布和发病症状上有差异。所以儿童肺炎x线胸片图像在不同年龄段即有相同性，又有不同性，为全年龄段的统一分类模型带来挑战。
6.针对这一难题，很多研究者采用域泛化方法进行相似数据集的分类，比如领域泛化算法matchdg、具有域泛化功能的多视图时空图卷积网络(mstgcn)、领域泛化元学习模型等。其中，领域泛化元学习模型可用于多位点功能磁共振成像的诊断分类，在公共自闭症脑成像数据交换(abide)数据集上验证了所提出的网络，显著提高了在未见部位和可见部位的诊断分类性能。但该方法侧重于跨源提取领域不变信息来泛化目标领域，而忽略了与单个领域标签密切相关的有用领域特定信息。


技术实现要素：

7.本发明提供了一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统，可以让多年龄段儿童在同一模型上实现肺炎高性能分类。
8.一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算
机程序，所述计算机存储器中存有训练好的域泛化分类模型；所述的域泛化分类模型采用改进的f-conv网络模型，包括权重层、滤波器层、共享层三个部分；所述域泛化分类模型的训练过程如下：
9.(1)收集多年龄段的儿童x线胸片图像，对图像数据进行预处理；
10.(2)使用已训练好的resunet模型对儿童x线胸片图像中的肺部区域进行提取；
11.(3)基于肺部区域的特征，结合临床信息，使用无监督的kmeans++模型对图像进行聚类，根据聚类后的类别数目确定分组数目n及各组的中心c＝{c1,c2,
…
,cn}；
12.(4)将全部图像数据随机划分为训练集、验证集和测试集；
13.(5)将训练集送入到构建的域泛化分类模型中进行训练，利用验证集对域泛化分类模型的性能进行评估，根据评估的效果对模型的超参数进行调整，通过反复训练、验证，最终得到性能达标的域泛化分类模型；
14.所述计算机处理器执行所述计算机程序时实现以下步骤：
15.将待分类的x线胸片图像进行预处理后输入训练好的域泛化分类模型，在权重组，对于输入的图像，计算其特征组f与各组的中心c＝{c1,c2,
…
,cn}的距离d＝{di＝||f-ci||2,i∈[1,n]}，然后用softmax将距离d归一到[0,1]之间，从而获取此图像在不同分组内的权重通过权重组与滤波器层中对应的滤波器组进行点乘加权，将所有结果相加，获得滤波器层的输出；滤波器层的输出输入至共享层，通过多次2d的卷积，最终再通过全连接层获得模型的分类结果。
[0016]
进一步地，步骤(1)中，所述的预处理包括对图像进行数据归一化操作，并采用高斯滤波器滤除噪声。
[0017]
步骤(3)的具体过程为：
[0018]
根据分割后的肺部区域，提取大小、形状特征，结合临床信息中的年龄、性别、身高、体重特征，组成每例图像的特征组f，然后基于无监督的kmeans++模型对各图像进行聚类；根据聚类结果，确定分组的数目n和各组的中心c＝{c1,c2,
…
,cn}。
[0019]
步骤(4)中，将全部图像数据按7:1:2随机划分为训练集、验证集和测试集。
[0020]
步骤(5)中，采用监督训练方法对域泛化分类模型进行训练。
[0021]
在滤波器层，模型定义n+1个滤波器组filter＝{filter0,filter1,
…
,filtern}，编号为0的滤波器组filter0是共享滤波器组，用来学习所有年龄数据集上的共同特征，编号为1～n的滤波器组{filter1,filter2,
…
,filtern}分别用来学习不同分组的特征；每个滤波器都是标准的卷积滤波器，它包含了4维的数据，分别对应输入通道数、输出通道数、卷积核数和核的宽度。
[0022]
滤波器层的输出为：
[0023][0024]
其中，表示的是一个特征图，滤波器层的输出以及共享层的输入，w、fiter、x分别表示权重组、滤波器组和输入图像。
[0025]
所述的域泛化分类模型还构建了损失函数loss，用于模型的反向传播学习；
[0026]
损失函数loss包括基于肺炎标签的交叉熵、基于类内相似度的损失函数、基于滤波器权重组的交叉熵；其中，肺炎标签的交叉熵用于学习整体分类性能，基于类内相似度的损失函数用于使每个年龄段的数据的分类能更加接近，基于滤波器权重组的交叉熵用于学习到多年龄段的共同特征。
[0027]
与现有技术相比，本发明具有以下有益效果：
[0028]
本发明创新性地提出了采用域泛化的方法，在多年龄段儿童肺炎x线胸片图像进行多分类。基于resunet分割的肺部特征和临床特征可以组成图像的特征组，然后通过kmeans++方法进行无监督的聚类，避免只依据年龄进行分组，实现最符合实际情况的分组，然后建立域泛化的改进型f-conv模型，通过图像的特征组与各分组中心距离对不同滤波器进行加权，从而可以从x线胸片图像学习到最核心的通用特征，即不同肺炎的特征，又能学习到不同年龄段肺炎表现的差异性，使多年龄段儿童在同一模型上实现肺炎高性能分类。
附图说明
[0029]
图1为本发明一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统的分类流程图；
[0030]
图2为本发明用于肺部分割的resunet模型结构图；
[0031]
图3为本发明用于图像聚类的kmeans++模型结构图；
[0032]
图4为本发明中域泛化分类模型的整体结构图；
[0033]
图5为本发明域泛化分类模型中加权层的示意图
[0034]
图6为本发明域泛化分类模型中滤波器层的示意图；
[0035]
图7为本发明域泛化分类模型中共享层的示意图。
具体实施方式
[0036]
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
[0037]
一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机存储器中存有训练好的域泛化分类模型。
[0038]
如图1所示，利用本发明的系统进行多年龄段儿童胸片图像肺炎分类的流程如下：
[0039]
1、图像预处理
[0040]
收集来源于多年龄段的儿童x线胸片影像数据，包括病毒性肺炎、支气管肺炎、细菌性肺炎、真菌性肺炎、无肺炎四类。为了减少图像间差异对模型的影响，先对图像进行数据归一化操作，对于输入大小为(x,y)的x线片，首先求得每个通道的均值和标准差std，然后对不同通道，分别减去均值后除以标准差std，最后数据将分布在[-0.5,0.5]之间。最后用再采用高斯滤波器滤除噪声。
[0041]
2、肺部分割
[0042]
对于预处理后的图像，使用训练好的resunet进行肺部区域的分割，该训练好的模型在测试集上取得98％的dice得分。resunet模型的结构如图2所示，resunet是在unet网络
的基础上增加了res部分，输入图像先通过四个下采样部分，分别获取图像在不同维度的特征f
down_1
,f
down_2
,f
down_3
,f
down_4
，每次下采样后，将下采样的特征f
down_i
与未下采样的特征f
down_i-1fdown_i-1
进行合并，从而为下一层下采样提供更丰富的特征，同时避免了梯度消失和过拟合。在最后一个下采样层，先经历两次卷积，然后再进行四次上采样f
up_1
,f
up_2
,f
up_3
,f
up_4
，每次上采样结束后获得的特征f
up_i
，同样与未经历上采样的特征f
up_i-1
进行合并，然后再与对应相同大小的上采样的图像特征f
down_i
进行拼接，作为下一个上采样层的输入。最终，图像经过四次上采样，获得与原图大小一致的分割结果。
[0043]
3、聚类分组
[0044]
不同年龄段的儿童发育状况不同，但其发育状况并不与年龄成正比，儿童在低年龄段发育较快，在高年龄段发育缓慢，所以不能直接以年龄段进行分组。本发明通过肺部分割的结果得到肺部大小、形状等特征，结合临床信息中的年龄、性别、身高、体重等特征，组成每例图像的特征组f，然后基于无监督的kmeans++模型对各图像进行聚类。kmeans++模型的模型结构如图3所示，该聚类方法可以实现无定组的聚类，根据设定的阈值完成分类。根据聚类结果，确定分组的数目n和各组的中心c＝{c1,c2,
…
,cn}。
[0045]
4、数据分组
[0046]
对于全体数据集，根据随机原则，将70％的数据集作为训练集，10％的数据集作为验证集，20％的数据集作为测试集。
[0047]
5、域泛化分类模型的构建
[0048]
本发明选择改进型f-conv模型实现域泛化的分类学习，域泛化分类模型的结构如图4所示，模型建立的具体步骤如下：
[0049]
(1)如图5所示，首先在权重层，对于输入的图像，计算其特征组f与各组的中心c＝{c1,c2,
…
,cn}的距离d＝{di＝||f-ci||2,i∈[1,n]}，然后用softmax将距离d归一到[0,1]之间，从而获取此图像在不同分组内的权重
[0050]
(2)如图6所示，在滤波器层，模型定义n+1个滤波器组filter＝{filter0,filter1,
…
,filtern}，编号为0的滤波器组filter0是共享滤波器组，用来学习所有年龄数据集上的共同特征，编号为1～n的滤波器组{filter1,filter2,
…
,filtern}分别用来学习不同分组的特征。每个滤波器都是标准的卷积滤波器，它包含了4维的数据，分别对应输入通道数、输出通道数、卷积核数和核的宽度。
[0051]
(3)用将18个权重组对对应的滤波器组进行加权，其中共享滤波器组的权重为1，然后求和作为共享层的输入，公式如下：
[0052][0053]
其中，表示的是一个特征图，用来作为共享层的输入，w、fiter、x分别表示权重组、滤波器组和输入图像。
[0054]
如图7所示，在共享层，主要是一些2d卷积模组，最终通过线性层，得到最终的分类结果作为输出。
[0055]
(4)计算模型的损失函数loss。在f-conv模型训练过程中，首先需要计算模型在所
有数据集的预测肺炎类型与真实肺炎标签的差距，具体公式如下：
[0056]
l
crossdomain
＝∑
types
∑
x ce(p
x
,y
x
)
[0057]
其中，ce表示采用的是交叉熵算法，p
x
,y
x
分别表示模型对于图像x的预测类型与图像x其对应的肺炎实际类别标签，types表示肺炎的分类种类。
[0058]
6、模型训练和分类测试
[0059]
分类模型训练时，将训练集送入到域泛化分类模型中；验证集对模型的超参数进行调整，使用优化器更新参数，对网络进行优化，对学习率进行自动调参，得到训练完成的分类网络，参数更新过程如下：
[0060][0061]
其中，θy,分别表示训练时的网络权重和更新后的网络权重，δ表示此次更新的大小。
[0062]
当模型在训练集和验证集上取得较好性能后，在测试集进行分类，通过模型在测试集上的分类性能来评估的模型的泛化能力。
[0063]
7、评估阶段
[0064]
在测试集上，对模型的效果进行评估：对多分类任务的评估，需要计算五个指标：平均分类准确率(acc)、平均分类精确率(precision)、平均分类召回率(recall)、平均分类调和平均值f1值(f1score)、各类roc曲线下面积auc。对于每一类，模型将属于此类的图像正确地分为此类的数目为tp(true positive)，没有正确分为此类的数目为fp(fasle positive)，将不属于此类的图像正确分到非本类的数目为tn(true negative)，错误地将其它类的图像分为此类的数目为fn(false negative)。对于每一类，评估所用的前四个指标公式如下：
[0065][0066][0067][0068][0069]
roc曲线下面积auc是以假正率(fp_rate)和假负率(tp_rate)为轴的roc(receiver operating characteristic)曲线下面的面积。
[0070]
最终模型将根据四个类别的平均准确率、精确率、召回率(recall)、f1值、auc共同评估。
[0071]
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。