分类预测模型生成方法及分类预测方法、系统、平台与流程

1.本发明涉及神经网络技术领域，尤其涉及一种分类预测模型生成方法及分类预测方法、系统、平台。


背景技术：

2.肝纤维化是慢性肝病(如慢性乙肝)向肝硬化进展的关键步骤，其早期的临床干预可以减缓肝硬化的发展，降低肝癌的发病风险。肝纤维化发展阶段分为五个：f0无纤维化、f1轻度纤维化、f2中度纤维化、f3重度纤维化、f4肝硬化。准确诊断肝纤维化的发展阶段有助于监测病情发展并选择适当的治疗方法。
3.当前临床采用肝穿刺的方法作为诊断肝纤维化发展阶段的金标准。但是一方面，该方法的准确性受到采样位置的限制，另一方面，该方法为有创伤检测，约0.3％的患者穿刺后会发生严重的并发症甚至导致死亡。而采用实验室生化指标检查和图像学检查的方法，其诊断结果常常受医生主观经验、采样方法及设备的限制。
4.基于此种情况，通过人工智能方法对肝纤维化进行自动评估的方法应运而生，但是由于其预测模型简单，模态单一，难以对邻近的肝纤维化发展阶段进行区分，导致预测准确率低的问题


技术实现要素：

5.基于此，有必要针对上述技术问题，提供了一种分类预测模型生成方法及分类预测方法、系统、平台，以解决现有技术中存在难以对邻近肝纤维化发展阶段进行区分，且准确率低的问题。
6.第一方面，提供了一种分类预测模型生成方法，包括：
7.构建初始分类预测模型；
8.在候选样本数据集中随机选取预设数量的训练样本，并进行预处理，每个所述训练样本均包括一个病人的不同模态的肝部医学图像；
9.将预处理后的肝部医学图像输入至所述初始分类预测模型中，通过所述初始分类预测模型对预处理后的肝部医学图像进行特征提取，以获取每个模态对应的预设维度的特征向量；
10.通过所述初始分类预测模型将所述不同模态对应的预设维度的特征向量进行拼接，并对拼接后的特征向量进行分类预测，以确定所述训练样本对应的肝纤维化发展阶段；
11.对所述初始分类预测模型进行迭代训练，以生成实际分类预测模型。
12.在一实施例中，所述对所述初始分类预测模型进行迭代训练，包括：
13.对所述初始分类预测模型进行迭代训练，并通过代价敏感损失函数对所述初始分类预测模型的每次迭代训练产生的错误分类预测结果赋予惩罚代价；
14.根据所述惩罚代价对所述初始分类预测模型的参数进行调整，直至所述代价敏感损失函数符合目标阈值，以生成所述实际分类预测模型。
15.在一实施例中，所述通过所述初始分类预测模型对预处理后的肝部医学图像进行特征提取，以获取每个模态对应的预设维度的特征向量，包括：
16.通过骨干网络分别对所述不同模态的肝部医学图像进行特征提取，以获取特征图；
17.通过注意力机制对所述特征图进行特征融合和增强，以输出特征向量；
18.通过全局平均池化层对所述特征向量进行全局平均池化操作，以获取每个模态对应的预设维度的特征向量。
19.在一实施例中，所述通过注意力机制对所述特征图进行特征融合和增强，以输出特征向量，包括：
20.对所述特征图进行提升特征表示，以生成空间信息聚合后的特征图；
21.通过多层感知机对所述空间信息聚合后的特征图进行处理，以生成通道注意力图；
22.对所述通道注意力图进行逐元相加合并，以输出所述特征向量。
23.在一实施例中，所述对拼接后的特征向量进行预测分类，包括：
24.通过全连接层以及激活函数对拼接后的特征向量进行处理，以确定所述训练样本属于不同肝纤维化发展阶段的概率值；
25.对所述概率值进行对比，确定最大概率值，并将所述最大概率值对应的肝纤维化发展阶段作为分类预测结果。
26.在一实施例中，所述对所述初始分类预测模型进行迭代训练，包括：
27.对所述候选样本数据集中剩余样本进行预测，并为每一个剩余样本确定一个对应的预测矩阵；
28.通过预设查询策略以及所述预测矩阵，从所述剩余样本中选择信息量高于第一预设阈值的待训练样本；
29.将所述待训练样本与所述训练样本组合形成新的训练样本集，并通过所述新的训练样本集对所述初始分类预测模型的迭代训练。
30.在一实施例中，所述通过预设查询策略以及所述预测矩阵，从所述剩余样本中选择选择信息量高于预设阈值的样本，包括：
31.通过熵值采样策略以及所述预测矩阵，确定每个剩余样本对应的熵值；
32.将所述熵值进行对比，以确定所述熵值大于第二预设阈值的待训练样本。
33.第二方面，提供了一种分类预测模型生成系统，包括：
34.初始分类预测模型构建单元，用于构建初始分类预测模型；
35.训练样本选取单元，用于在候选样本数据集中随机选取预设数量的训练样本，并进行预处理，每个所述训练样本均包括一个病人的不同模态的肝部医学图像；
36.特征提取单元，用于将预处理后的肝部医学图像输入至所述初始分类预测模型中，通过所述初始分类预测模型对预处理后的肝部医学图像进行特征提取，以获取每个模态对应的预设维度的特征向量；
37.分类预测单元，用于通过所述初始分类预测模型将所述不同模态对应的预设维度的特征向量进行拼接，并对拼接后的特征向量进行分类预测，以确定所述训练样本对应的肝纤维化发展阶段；
38.实际分类预测模型生成单元，用于对所述初始分类预测模型进行迭代训练，以生成实际分类预测模型。
39.第三方面提供了一种分类预测方法，包括：
40.获取待预测患者的不同模态的肝部医学图像，并进行预处理；
41.将预处理后的不同模态的肝部医学图像，发送至上述所述的实际分类预测模型中；
42.通过骨干网络分别对所述不同模态的肝部医学图像进行特征提取，以获取特征图；
43.通过注意力机制对所述特征图进行特征融合和增强；
44.通过全局平均池化层对所述特征融合和增强后的特征图进行全局平均池化操作，以获取每个模态对应的预设维度的特征向量；
45.将所述不同模态对应的预设维度的特征向量进行拼接，并对拼接后的特征向量进行分类预测，以确定所述待预测患者对应的肝纤维化发展阶段。
46.第四方面，提供了一种分类预测系统，包括：
47.图像获取单元，用于获取待预测患者的不同模态的肝部医学图像，并进行预处理；
48.预处理单元，用于将预处理后的不同模态的肝部医学图像，发送至上述所述的实际分类预测模型中；
49.特征图获取单元，用于通过骨干网络分别对所述不同模态的肝部医学图像进行特征提取，以获取特征图；
50.注意力机制处理单元，用于通过注意力机制对所述特征图进行特征融合和增强；
51.特征向量获取单元，用于通过全局平均池化层对所述特征融合和增强后的特征图进行全局平均池化操作，以获取每个模态对应的预设维度的特征向量；
52.预测单元，用于将所述不同模态对应的预设维度的特征向量进行拼接，并对拼接后的特征向量进行分类预测，以确定所述待预测患者对应的肝纤维化发展阶段。
53.第五方面，提供了一种多模态分类预测平台，包括：
54.数据上传单元，用于上传的待测病人不同模态的肝部医学图像；
55.如上述所述的实际分类预测模型，用于对所述待测病人不同模态的肝部医学图像进行分类预测；
56.诊断生成单元，用于根据所述实际分类预测模型的分类预测结果，生成诊断报告。
57.在一实施例中，所述预测平台，包括：
58.模态区分单元，用于对所述待测病人不同模态的肝部医学图像，进行模态区分；以及
59.兴趣区域识别单元，用于对所述待测病人不同模态的肝部医学图像中的兴趣区域进行识别。
60.第六方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述所述分类预测方法的步骤。
61.第七方面，提供了一种可读存储介质，所述可读存储介质存储有计算机可读指令，，所述计算机可读指令被处理器执行时实现如上述所述分类预测模型生成方法的步骤。
62.上述提供了一种分类预测模型生成方法及分类预测方法、系统、平台，设备及介质，其方法实现，包括：构建初始分类预测模型；在候选样本数据集中随机选取预设数量的训练样本，并进行预处理，每个所述训练样本均包括一个病人的不同模态的肝部医学图像；将预处理后的肝部医学图像输入至所述初始分类预测模型中，通过所述初始分类预测模型对预处理后的肝部医学图像进行特征提取，以获取每个模态对应的预设维度的特征向量；通过所述初始分类预测模型将所述不同模态对应的预设维度的特征向量进行拼接，并对拼接后的特征向量进行分类预测，以确定所述训练样本对应的肝纤维化发展阶段；对所述初始分类预测模型进行迭代训练，以生成实际分类预测模型。本技术中，构建了一种肝纤维化分类预测模型，通过融合不同模态图像的特征，利用提取的互补信息准确区分相邻阶段，可对输入样本进行肝纤维化中不同发展阶段分类的预测，提高预测准确率，且提高了预测效率。
附图说明
63.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
64.图1是本发明一实施例中分类预测模型生成方法的流程示意图；
65.图2是本发明一实施例中分类预测模型的网络架构图；
66.图3是本发明一实施例中分类预测模型进行主动学习的网络架构图；
67.图4是本发明一实施例中分类预测模型生成系统的结构示意图；
68.图5是本发明一实施例中分类预测方法的一流程示意图；
69.图6是本发明一实施例中分类预测系统的一结构示意图；
70.图7是本发明一实施例中兴趣区域的裁剪位置示意图；
71.图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
72.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
73.在一实施例中，如图1示，提供一种多模态肝纤维化分分类预测方法，包括如下步骤：
74.在步骤s110中，构建初始分类预测模型；
75.在本技术实施例中，该分类预测模型可为多模态特征融合网络模型mmfn-al(multi-modal fusion network with active learning)，该mmfn-al可包括resnet50骨干网络、注意力模块、全局平均池化层(gap)以及全连接层。
76.其中，该注意力模块可为包括se(squeeze-excitation)的注意力模块(attention block)。
77.在步骤s120中，在候选样本数据集中随机选取预设数量的训练样本，并进行预处理，所述一个训练样本包括一个待预测病人的不同模态的肝部医学图像；
78.在本技术实施例中，该候选样本数据集可为合作医院提供的临床数据集，包括肝2d-ste、肝stq、肝b超和脾2d-ste四种模态和f0无纤维化、f1轻度纤维化、f2中度纤维化、f3重度纤维化、f4肝硬化五类肝纤维化发展阶段的医学图像。
79.在本技术实施例中，对于样本数量较少的类别，比如，f2中度纤维化的样本数量较少，则可采用过采样方法，即对样本数目少的类别中的样本进行多次重复采样，使数据趋于平衡，避免降低模型的特征学习能力。
80.可以理解的，对于样本数量较少的类别，还可以采用下采样或者其他方法进行采样，以使数据趋于平衡。
81.在本技术实施例中，该肝部医学图像可为医学灰度图像，在获取训练样本后，可将每个训练样本中的不同模态的肝部医学图像转换为rgb三通道图像。
82.在本技术实施例中，每个训练样本中，均可包括一个病人不同模态的各一张肝部医学图像，且两个模态之间不需要精确的配准关系。
83.在本技术实施例中，还可以对医学图像进行去噪和滤波等处理，以免超声图像中存在的部分图像阴影较多、数据质量较差的问题。
84.在步骤s130中，将预处理后的肝部医学图像输入至所述初始分类预测模型中，通过所述初始分类预测模型对预处理后的肝部医学图像进行特征提取，以获取每个模态对应的预设维度的特征向量；
85.在本技术实施例中，每个分类预测模型中包括多个模态的数据流，每个数据流中均包括一个resnet50骨干网络、注意力模块、全局平均池化层(gap)，不同模态的肝部医学图像预处理后，输入至该初始分类预测模型中后，不同的模态进入到不同的数据流中，并通过数据流中的resnet50骨干网络、注意力模块、全局平均池化层(gap)进行特征提取后，可形成一个256维的特征向量。即，每一个模态的肝部医学图像均可提取一个256维的特征向量。
86.在步骤s140中，通过所述初始分类预测模型将所述不同模态对应的预设维度的特征向量进行拼接，并对拼接后的特征向量进行分类预测，以确定所述训练样本对应的肝纤维化发展阶段。
87.在本技术实施例中初始分类预测模型对不同模态的肝部医学图像分别通过不同模态数据流进行特征提取后，每一个模态的肝部医学图像均可提取一个256维的特征向量，例如，有n个模态特征向量，则通过拼接后，可获取256*n维的融合特征向量，该融合特征向量经过一个全连接层和softmax函数，可得到五个概率值，分别表示该训练样本属于f0无纤维化、f1轻度纤维化、f2中度纤维化、f3重度纤维化、f4肝硬化五类肝纤维化发展阶段的概率值。其中，概率值最大的所对应的肝纤维化发展阶段即为预测分类结果。
88.在步骤s150中，对所述初始分类预测模型进行迭代训练，以生成实际分类预测模型
89.在本技术实施例中，通过训练样本集中的训练样本对该初始分类预测模型进行迭代训练，以便对初始分类预测模型进行调整，使得初始分类预测模型的预测准确性和效率更高，更加符合实际需求。
90.上述提供了一种分类预测模型生成方法，包括：构建初始分类预测模型；在候选样本数据集中随机选取预设数量的训练样本，并进行预处理，每个所述训练样本均包括一个病人的不同模态的肝部医学图像；将预处理后的肝部医学图像输入至所述初始分类预测模型中，通过所述初始分类预测模型对预处理后的肝部医学图像进行特征提取，以获取每个模态对应的预设维度的特征向量；通过所述初始分类预测模型将所述不同模态对应的预设维度的特征向量进行拼接，并对拼接后的特征向量进行分类预测，以确定所述训练样本对应的肝纤维化发展阶段；对所述初始分类预测模型进行迭代训练，以生成实际分类预测模型。本技术中，构建了一种肝纤维化分类预测模型，通过融合不同模态图像的特征，利用提取的互补信息准确区分相邻阶段，可对输入样本进行肝纤维化中不同发展阶段分类的预测，提高预测准确率，且提高了预测效率。
91.在一实施例中，本技术还提供了一种分类预测模型生成方法，包括如下步骤：
92.在步骤s110中，构建初始分类预测模型；
93.在本技术实施例中，该分类预测模型可为多模态特征融合网络模型mmfn-al(multi-modal fusion network with active learning)，该mmfn-al可包括resnet50骨干网络、注意力模块、全局平均池化层(gap)以及全连接层。
94.其中，该注意力模块可为包括se(squeeze-excitation)的注意力模块(attention block)。
95.在步骤s120中，在候选样本数据集中随机选取预设数量的训练样本，并进行预处理，所述一个训练样本包括一个待预测病人的不同模态的肝部医学图像；
96.在本技术实施例中，该候选样本数据集可为合作医院提供的临床数据集，包括肝2d-ste、肝stq、肝b超和脾2d-ste四种模态和f0无纤维化、f1轻度纤维化、f2中度纤维化、f3重度纤维化、f4肝硬化五类肝纤维化发展阶段的医学图像。
97.在本技术实施例中，对于样本数量较少的类别，比如，f2中度纤维化的样本数量较少，则可采用过采样方法，即对样本数目少的类别中的样本进行多次重复采样，使数据趋于平衡，避免降低模型的特征学习能力。
98.可以理解的，对于样本数量较少的类别，还可以采用下采样或者其他方法进行采样，以使数据趋于平衡。
99.在本技术实施例中，该肝部医学图像可为医学灰度图像，在获取训练样本后，可将每个训练样本中的不同模态的肝部医学图像转换为rgb三通道图像。
100.在本技术实施例中，每个训练样本中，均可包括一个病人不同模态的各一张肝部医学图像，且两个模态之间不需要精确的配准关系。
101.在本技术实施例中，还可以对医学图像进行去噪和滤波等处理，以免超声图像中存在的部分图像阴影较多、数据质量较差的问题。
102.在步骤s130中，将预处理后的肝部医学图像输入至所述初始分类预测模型中，通过所述初始分类预测模型对预处理后的肝部医学图像进行特征提取，以获取每个模态对应的预设维度的特征向量；
103.在本技术实施例中，通过所述初始分类预测模型对预处理后的肝部医学图像进行特征提取，以获取每个模态对应的预设维度的特征向量，包括：
104.通过骨干网络分别对所述不同模态的肝部医学图像进行特征提取，以获取特征
图；
105.通过注意力机制对所述特征图进行特征融合和增强，以输出特征向量；
106.通过全局平均池化层对所述特征向量进行全局平均池化操作，以获取每个模态对应的预设维度的特征向量。
107.在本技术实施例中，参见图2，一个预测分类模型(mmfn模块)中包括2个模态，2个数据流，不同模态的肝部医学灰度图像经过预处理后被转换为rgb三通道图像，并输入到mmfn模块中，则每个输入到mmfn模块中的图像可用表示，其中c，h，w分别表示图像的通道数、高和宽(像素)(c＝3，h＝224，w＝224)。用表示每个数据流中经过骨干网络resnet-50特征提取后的特征图，其中，c’＝2048，s＝32，f经过点卷积(point-wise convolution)后，降维至256。然后通过注意力机制进行特征融合和增强，并将经过注意力模块特征融合和增强后特征向量，通过全局平均池化层进行池化操作，使得每个模态得到256维的特征向量。
108.其中，骨干网络(backbone)为resnet50。
109.在本技术一实施例中，所述通过注意力机制对所述特征图进行特征融合和增强，以输出特征向量，包括：
110.对所述特征图进行提升特征表示，以生成空间信息聚合后的特征图；
111.通过多层感知机对所述空间信息聚合后的特征图进行处理，以生成通道注意力图；
112.对所述通道注意力图进行逐元相加合并，以输出所述特征向量。
113.在本技术实施例中，该注意力模块包括se(squeeze-excitation)，通过se模块对特征图进行提升特征表示：通过平均池化生成一个空间信息聚合后的特征该特征经过一个多层感知机(multi-layer perceptron)生成通道注意力图通过逐元相加合并输出特征向量。注意力模块的公式如下所示：
[0114][0115][0116]
其中，σ为sigmoid函数，w0和w1为多层感知机的权重，表示逐元相乘avgpool(f)为平均池化函数。
[0117]
在步骤s140中，通过所述初始分类预测模型将所述不同模态对应的预设维度的特征向量进行拼接，并对拼接后的特征向量进行分类预测，以确定所述训练样本对应的肝纤维化发展阶段。
[0118]
在本技术实施例中初始分类预测模型对不同模态的肝部医学图像分别通过不同模态数据流进行特征提取后，每一个模态的肝部医学图像均可提取一个256维的特征向量，例如，有n个模态特征向量，则通过拼接后，可获取256*n维的融合特征向量。
[0119]
在本技术一实施例中，所述对拼接后的特征向量进行预测分类，包括：
[0120]
通过全连接层以及激活函数对拼接后的特征向量进行处理，以确定所述训练样本
属于不同肝纤维化发展阶段的概率值；
[0121]
对所述概率值进行对比，确定最大概率值，并将所述最大概率值对应的肝纤维化发展阶段作为分类预测结果。
[0122]
在本技术实施例中，该拼接后的融合特征向量经过一个全连接层和softmax函数，可得到五个概率值，分别表示该训练样本属于f0无纤维化、f1轻度纤维化、f2中度纤维化、f3重度纤维化、f4肝硬化五类肝纤维化发展阶段的概率值。将5个概率值进行一一对比，确定最大概率值，其中，最大概率值所对应的肝纤维化发展阶段即为预测分类结果。
[0123]
在步骤s150中，对所述初始分类预测模型进行迭代训练，以生成实际分类预测模型
[0124]
在本技术实施例中，通过训练样本集中的训练样本对该初始分类预测模型进行迭代训练，以便对初始分类预测模型进行调整，使得初始分类预测模型的预测准确性和效率更高，更加符合实际需求。
[0125]
在本技术一实施例中，所述对所述初始分类预测模型进行迭代训练，包括：
[0126]
对所述初始分类预测模型进行迭代训练，并通过代价敏感损失函数对所述初始分类预测模型的每次迭代训练产生的错误分类预测结果赋予惩罚代价；
[0127]
根据所述惩罚代价对所述初始分类预测模型的参数进行调整，直至所述代价敏感损失函数符合目标阈值，以生成所述实际分类预测模型。。
[0128]
在本技术一实施中，在初始预测模型中添加了代价敏感损失函数(cost-sensitive learning)，采用权重矩阵(weighting matrices)。比如，在初始预测模型执行多分类时，可为不同的分类错误赋予不同的惩罚代价。惩罚矩阵(混淆矩阵)如下表一所示：
[0129]
类别f0f1f2f3f4f000.250.50.751f10.2500.250.50.75f20.50.2500.250.5f30.750.50.2500.25f410.750.50.250
[0130]
有上表一可知，例如，当f0错分为f1时，惩罚权重设为0.25，f0错分为f4时，惩罚权重设为1。用ξ
y＝1
＝{c(l，j)}表示类别为l的样本被分类为类别j的权重。损失函数如下所示：
[0131][0132]
其中，m为样本数目，yi为样本标签，θ为网络参数(包括特征提取及分类层网络参数)，为样本i的预测概率。l(
·
)为focal loss损失函数：使用focal loss可有效缓解类别不均衡问题。
[0133]
在本技术实施例中，通过设置该代价敏感损失函数，可对所述初始分类预测模型的错误分类预测结果赋予惩罚代价，并根据所述惩罚代价对所述初始分类预测模型的参数
进行调整，直至所述代价敏感损失函数符合目标阈值，在训练过程中，不断根据代价敏感损失函数对初始分类预测模型的参数进行调整，以生成实际分类预测模型。参见如下表二，示出了对肝ste+肝超声进行分类预测时，加入无代价敏感损失和有代价敏感损失的模型表现情况。括号中表示使用的从候选样本池中未被选择的样本对训练的比例。
[0134][0135]
由上表二可知，在采用resnet50-熵值采样策略的情况下，分别采用无代价敏感损失函数和有代价敏感损失函数时，采用有代价敏感损失函数的准确率比无代价敏感损失函数的准确率更高。即在mmfn模块中加入代价敏感损失函数后，模型的表现得到了更好的提升。
[0136]
其中，auc为roc(receiver operating characteristic,接受者工作特征曲线)曲线下面积，该指标同时考虑了分类器对于正例和负例的分类能力。
[0137]
在本技术实施例中，所述对所述初始分类预测模型进行迭代训练，包括：
[0138]
对所述候选样本数据集中剩余样本进行预测，并为每一个剩余样本确定一个对应的预测矩阵；
[0139]
通过预设查询策略以及所述预测矩阵，从所述剩余样本中选择信息量高于第一预设阈值的待训练样本；
[0140]
将所述待训练样本与所述训练样本组合形成新的训练样本集，并通过所述新的训练样本集对所述初始分类预测模型的迭代训练。
[0141]
具体的，参见图3，示出了从候选样本池中选择图片进入训练样本集中从而对初始分类预测模型进行调整的主动学习过程，其中，用s
l
(t)表示模态l的索引集合，l∈{lste，lus，lstq，sste}分别表示肝ste、肝b超、肝stq和脾ste四种模态图像。在主动学习的第t次迭代中，x(t)＝{xk(i，j)}表示候选样本池，xk(i，j)表示其中一个样本，(i，j)∈s
lste
(t)
×slus
(t)为样本索引。具体的，其中，为第t次迭代中的总候选样本数。
[0142]
在一次迭代后，mmfn模块为每个样本xk(i，j)输出一个预测矩阵pk＝[p
k1
，...，p
k5
]。利用主动学习的查询策略，根据pk选择的样本xk(i，j)将被从候选样本池删除，纳入训练样本集中，形成新的训练样本集。并通过该新的训练样本集对初始分类预测模型进行迭代训练，直到生成实际分类预测模型。
[0143]
在本技术实施例中，通过对未训练的样本进行预测，并获得预测值矩阵，以便对候选池中样本进行筛选，以获取可放入至训练样本集中的样本。
[0144]
在本技术实施例中，该预设查询策略可为熵值采样策略(entropy sampling strategy)或者其他随机查询策略。
[0145]
在本技术一实施例中，所述通过预设查询策略以及所述预测矩阵，从所述剩余样本中选择选择信息量高于预设阈值的样本，包括：
[0146]
通过熵值采样策略以及所述预测矩阵，确定每个剩余样本对应的熵值；
[0147]
将所述熵值进行对比，以确定所述熵值大于第二预设阈值的待训练样本。
[0148]
具体的，设p(yk＝1|xk)为输入xk被判断为类别l的概率，即p
k1
，则熵的计算公式为我们选择熵值大于该第二预设阈值的n
query
个样本作为新的纳入训练样本集的样本，对mmfn的迭代训练。反复迭代，直到模型性能收敛，或者达到最大迭代次数。主动选择部分未对训练的样本对初始分类预测模型的参数进行微调，与直接使用所有样本训练初始分类预测模型相比，可以增强分类预测模型的鲁棒性。
[0149]
在本技术实施例中，通过主动学习，可以使用较少的高质量数据得到表现更好的模型，下表三示出了部分单模态实验中采用主动学习的对比实验结果，以肝ste为例，括号中表示使用的从候选样本池中未被选择的样本对训练的比例。
[0150][0151]
由上述表三可知，采用查询策略时，预测分类模型的准确率高于没有采用查询策略的预测分类模型，且采用熵值采样策略比随机查询策略的预测分类模型的准确率更高。
[0152]
其中，auc为roc(receiver operating characteristic，接受者工作特征曲线)曲线下面积，该指标同时考虑了分类器对于正例和负例的分类能力。
[0153]
由此可知，结合主动学习的预测分类模型，在针对复杂的不同模态的肝纤维化超声图像，能够有效识别肝纤维化的不同发展阶段，精确区分五种类别。
[0154]
本技术实施例中，构建了一种肝纤维化分类预测模型，通过融合不同模态图像的特征，利用提取的互补信息准确区分相邻阶段，可对输入样本进行肝纤维化中不同发展阶段分类的预测，提高预测准确率，且提高了预测效率。
[0155]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0156]
在一实施例中，提供一种分类预测模型生成系统，该分类预测模型生成系统与上述实施例中分类预测模型生成方法一一对应。如图4所示，该分类预测模型生成系统，包括初始分类预测模型构建单元101、训练样本选取单元102、特征提取单元103、分类预测单元104以及实际分类预测模型生成单元105。各功能模块详细说明如下：
[0157]
初始分类预测模型构建单元101，用于构建初始分类预测模型；
[0158]
训练样本选取单元102，用于在候选样本数据集中随机选取预设数量的训练样本，
并进行预处理，每个所述训练样本均包括一个病人的不同模态的肝部医学图像；
[0159]
特征提取单元103，用于将预处理后的肝部医学图像输入至所述初始分类预测模型中，通过所述初始分类预测模型对预处理后的肝部医学图像进行特征提取，以获取每个模态对应的预设维度的特征向量；
[0160]
分类预测单元104，用于通过所述初始分类预测模型将所述不同模态对应的预设维度的特征向量进行拼接，并对拼接后的特征向量进行分类预测，以确定所述训练样本对应的肝纤维化发展阶段；
[0161]
实际分类预测模型生成单元105，用于对所述初始分类预测模型进行迭代训练，以生成实际分类预测模型。
[0162]
在一实施例中，实际分类预测模型生成单元105，还用于：
[0163]
对所述初始分类预测模型进行迭代训练，并通过代价敏感损失函数对所述初始分类预测模型的每次迭代训练产生的错误分类预测结果赋予惩罚代价；
[0164]
根据所述惩罚代价对所述初始分类预测模型的参数进行调整，直至所述代价敏感损失函数符合目标阈值，以生成所述实际分类预测模型。
[0165]
在一实施例中，特征提取单元103，还用于：
[0166]
通过骨干网络分别对所述不同模态的肝部医学图像进行特征提取，以获取特征图；
[0167]
通过注意力机制对所述特征图进行特征融合和增强，以输出特征向量；
[0168]
通过全局平均池化层对所述特征向量进行全局平均池化操作，以获取每个模态对应的预设维度的特征向量。
[0169]
在一实施例中，特征提取单元103，还用于：
[0170]
对所述特征图进行提升特征表示，以生成空间信息聚合后的特征图；
[0171]
通过多层感知机对所述空间信息聚合后的特征图进行处理，以生成通道注意力图；
[0172]
对所述通道注意力图进行逐元相加合并，以输出所述特征向量。
[0173]
在一实施例中，分类预测单元104，还用于：
[0174]
通过全连接层以及激活函数对拼接后的特征向量进行处理，以确定所述训练样本属于不同肝纤维化发展阶段的概率值；
[0175]
对所述概率值进行对比，确定最大概率值，并将所述最大概率值对应的肝纤维化发展阶段作为分类预测结果。
[0176]
在一实施例中，实际分类预测模型生成单元105，还用于：
[0177]
对所述候选样本数据集中剩余样本进行预测，并为每一个剩余样本确定一个对应的预测矩阵；
[0178]
通过预设查询策略以及所述预测矩阵，从所述剩余样本中选择信息量高于第一预设阈值的待训练样本；
[0179]
将所述待训练样本与所述训练样本组合形成新的训练样本集，并通过所述新的训练样本集对所述初始分类预测模型的迭代训练。
[0180]
在一实施例中，实际分类预测模型生成单元105，还用于：
[0181]
通过熵值采样策略以及所述预测矩阵，确定每个剩余样本对应的熵值；
[0182]
将所述熵值进行对比，以确定所述熵值大于第二预设阈值的待训练样本。
[0183]
关于分类预测模型生成系统的具体限定可以参见上文中对于分类预测模型生成方法的限定，在此不再赘述。上述分类预测模型生成系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0184]
参见图5，在一实施例中，本技术提供了一种多模态肝纤维化预测分类方法，包括如下流程：
[0185]
在步骤s210中，获取待预测患者的不同模态的肝部医学图像，并进行预处理；
[0186]
在本技术实施例中，该肝部医学图像可包括肝2d-ste、肝stq、肝b超和脾2d-ste四种模态的图像，且该肝部医学图像可为超声医学图像。
[0187]
在本技术实施例中，该肝部医学图像可为医学灰度图像，在获取训练样本后，可将每个训练样本中的不同模态的肝部医学图像转换为rgb三通道图像。
[0188]
在步骤s220中，将预处理后的不同模态的肝部医学图像，发送至如权利要求1-7任意一项所述的实际分类预测模型中；
[0189]
在步骤s230中，通过骨干网络分别对所述不同模态的肝部医学图像进行特征提取，以获取特征图；
[0190]
在步骤s240中，通过注意力机制对所述特征图进行特征融合和增强；
[0191]
在步骤s250中，通过全局平均池化层对所述特征融合和增强后的特征图进行全局平均池化操作，以获取每个模态对应的预设维度的特征向量；
[0192]
在本技术实施例中，一个预测分类模型(mmfn模块)中包括多个模态的多个数据流，不同模态的肝部医学灰度图像经过预处理后被转换为rgb三通道图像，并输入到mmfn模块中，则每个输入到mmfn模块中的图像可用表示，其中c，h，w分别表示图像的通道数、高和宽(像素)(c＝3，h＝224，w＝224)。用表示每个数据流中经过骨干网络resnet-50特征提取后的特征图，其中，c’＝2048，s＝32，f经过点卷积(point-wise convolution)后，降维至256。然后通过注意力机制进行特征融合和增强，并将经过注意力模块特征融合和增强后特征向量，通过全局平均池化层进行池化操作，使得每个模态得到256维的特征向量。
[0193]
其中，骨干网络为resnet50。
[0194]
在本技术实施例中，该注意力模块包括se(squeeze-excitation)，通过se模块对特征图进行提升特征表示：通过平均池化生成一个空间信息聚合后的特征该特征经过一个多层感知机(multi-layer perceptron)生成通道注意力图mc∈rc′×1×1，通过逐元相加合并输出特征向量。注意力模块的公式如下所示：
[0195][0196]
[0197]
其中，σ为sigmoid函数，w0和w1为多层感知机的权重，表示逐元相乘，avgpool(f)为平均池化函数。
[0198]
在步骤s260中，将所述不同模态对应的预设维度的特征向量进行拼接，并对拼接后的特征向量进行分类预测，以确定所述待预测患者对应的肝纤维化发展阶段。
[0199]
在本技术实施例中初始分类预测模型对不同模态的肝部医学图像分别通过不同模态数据流进行特征提取后，每一个模态的肝部医学图像均可提取一个256维的特征向量，例如，有n个模态特征向量，则通过拼接后，可获取256*n维的融合特征向量。
[0200]
在本技术实施例中，该拼接后的融合特征向量经过一个全连接层和softmax函数，可得到五个概率值，分别表示该训练样本属于f0无纤维化、f1轻度纤维化、f2中度纤维化、f3重度纤维化、f4肝硬化五类肝纤维化发展阶段的概率值。将5个概率值进行一一对比，确定最大概率值，其中，最大概率值所对应的肝纤维化发展阶段即为预测分类结果。
[0201]
在本技术实施例中，通过本技术生成的实际分类预测模型，对待测病患的不同模态的肝部医学图像进行分类预测，可以融合不同模态图像的特征，利用提取的互补信息准确区分相邻阶段，对输入样本进行五分类的预测。使得分类结果更加准确，且效率更高。
[0202]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0203]
在一实施例中，提供一种分类预测系统，该分类预测系统与上述实施例中分类预测方法一一对应。如图6所示，该分类预测模型生成系统，包括图像获取单元201、预处理单元202、特征图获取单元203、注意力机制处理单元204、特征向量获取单元205以及实际预测单元206。各功能模块详细说明如下：
[0204]
图像获取单元201，用于获取待预测患者的不同模态的肝部医学图像，并进行预处理；
[0205]
预处理单元202，用于将预处理后的不同模态的肝部医学图像，发送至上述所述的实际分类预测模型中；
[0206]
特征图获取单元203，用于通过骨干网络分别对所述不同模态的肝部医学图像进行特征提取，以获取特征图；
[0207]
注意力机制处理单元204，用于通过注意力机制对所述特征图进行特征融合和增强；
[0208]
特征向量获取单元205，用于通过全局平均池化层对所述特征融合和增强后的特征图进行全局平均池化操作，以获取每个模态对应的预设维度的特征向量；
[0209]
预测单元206，用于将所述不同模态对应的预设维度的特征向量进行拼接，并对拼接后的特征向量进行分类预测，以确定所述待预测患者对应的肝纤维化发展阶段。
[0210]
关于分类预测系统的具体限定可以参见上文中对于分类预测方法的限定，在此不再赘述。上述分类预测系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0211]
在本技术一实施例中，提供了一种分类预测平台，包括：
[0212]
数据上传单元，用于上传的待测病人不同模态的肝部医学图像；
[0213]
上述所述的实际分类预测模型，用于对所述待测病人不同模态的肝部医学图像进行分类预测；
[0214]
诊断生成单元，用于根据所述实际分类预测模型的分类预测结果，生成诊断报告。
[0215]
在本技术实施例中，该分类预测平台为以可视化交互软件，包括交互界面，该交互界面中设置有数据上传单元，用户可以选择含有待测病人不同模态的肝部医学图像文件夹，并通过数据上传单元进行上传，该实际分类预测模型可对上传的不同模态的肝部医学图像进行分类预测处理，以便确定该待测病人所属的肝部纤维化发展阶段，该诊断生成单元可以根据该预测结果生成诊断报告，并且，医生可以根据该预测结果，对诊断结果进行进一步确认以及调整，通过将可视化交互软件嵌入到分类预测模型中，可以辅助超声诊断和超声科医师教学，也可以加快数据收集和数据标注工作，降低医生的工作量。
[0216]
其中，该交互界面可包括菜单栏，该菜单栏中设置有模态组合选择按键，分类预测按键，用户可以在此选择需要模态组合，也可以选择是否需要进行分类预测操作，并且该交互界面还设置有图片上传区域，该图片上传区域包括4种模态的图片上传区域，且每个模态至少需要上传一张图片，此外还设置有结果显示区域，用于显示分类预测结果，该结果显示区域还设置有诊断报告生成按键，通过触发该按键，可自动生成诊断报告。
[0217]
在本技术一实施例中，所述预测平台，包括：
[0218]
模态区分单元，用于对上传的待测病人不同模态的肝部医学图像，进行模态区分；以及
[0219]
兴趣区域识别单元，用于对所述待测病人不同模态的肝部医学图像中的兴趣区域进行识别。
[0220]
在本技术实施例中，该模态区分单元可以对上传的待测病人不同模态的肝部医学图像进行模态区分，无需人工区分上传，操作简便，且可有效提高工作效率。
[0221]
在本技术实施例中，该兴趣区域识别单元，可对待测病人不同模态的肝部医学图像中的兴趣区域roi(region of interest)进行识别。具体的，识别roi的可分为两种情况，如果是灰度图，则可以固定坐标位置直接进行裁剪。参见图7，如果是二维剪切波超声图像，则可首先使用固定坐标裁剪右半部位置(a区域)，使用轮廓检测方法找到并裁剪出以圆心为中心，大小为224x224的图像。
[0222]
本技术实施例提供了一种分类预测平台，将可视化交互软件嵌入到分类预测模型中，可以辅助超声诊断和超声科医师教学，也可以加快数据收集和数据标注工作，降低医生的工作量。便于超声科医生进行临床验证，且操作简便。
[0223]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质。该可读存储介质存储有计算机可读指令。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种分类预测模型生成方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
[0224]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令
时实现如上述所述分类预测模型生成方法的步骤。
[0225]
在一实施例中，提供了一种可读存储介质，所述可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述所述分类预测模型生成方法的步骤。
[0226]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0227]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
[0228]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。