一种医学图像的分类方法、装置、设备及存储介质

1.本发明涉及医学图像处理技术领域，尤其涉及一种医学图像的分类方法、装置、设备及存储介质。


背景技术：

2.随着信息技术和医学影像成像技术的发展，医疗大数据时代已经到来。医学图像爆炸式增长需要更多的具有丰富经验的医师完成疾病的诊断，这无疑会给医师带来沉重的工作压力，误诊漏诊情况时有发生。计算机辅助诊断系统能够克服人工识别易受主观经验、疲劳程度等主观因素的影响,不但可以提高放射医师诊断的效率，还能提高其精度。目前神经网络算法在图像识别方面得到越来越多的应用，具有不需要过多人工干预、自动提取图像特征且学习能力强等优点。
3.现有的神经网络算法直接将医学图像作为目标图像分类模型的输入数据，对目标图像分类模型进行训练。但由于其输入数据过于简单，导致训练得到目标图像分类模型的分类准确率并不高。


技术实现要素：

4.本发明实施例提供了一种医学图像的分类方法、装置、设备及存储介质，以解决现有的目标图像分类模型的输入数据过于简单的问题，提高目标图像分类模型的分类准确率。
5.根据本发明一个实施例提供了一种医学图像的分类方法，该方法包括：
6.将获取到的待测医学图像以及与所述待测医学图像对应的临床特征数据输入到预先训练完成的目标图像分类模型中；其中，所述目标图像分类模型包括主干网络、类别分支网络和分类网络；
7.通过所述主干网络，基于输入的待测医学图像，确定待测特征图；
8.通过所述类别分支网络，基于所述临床特征数据和所述主干网络输出的待测特征图，确定融合特征图；
9.通过所述分类网络，基于所述类别分支网络输出的所述融合特征图，输出所述待测医学图像对应的目标分类结果。
10.根据本发明另一个实施例提供了一种医学图像的分类装置，该装置包括：
11.临床特征数据输入模块，用于将获取到的待测医学图像以及与所述待测医学图像对应的临床特征数据输入到预先训练完成的目标图像分类模型中；其中，所述目标图像分类模型包括主干网络、类别分支网络和分类网络；
12.待测特征图确定模块，用于通过所述主干网络，基于输入的待测医学图像，确定待测特征图；
13.融合特征图确定模块，用于通过所述类别分支网络，基于所述临床特征数据和所述主干网络输出的待测特征图，确定融合特征图；
14.目标分类结果输出模块，用于通过所述分类网络，基于所述类别分支网络输出的所述融合特征图，输出所述待测医学图像对应的目标分类结果。
15.根据本发明另一个实施例提供了一种电子设备，所述电子设备包括：
16.至少一个处理器；以及
17.与所述至少一个处理器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的医学图像的分类方法。
19.根据本发明另一个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的医学图像的分类方法。
20.本发明实施例的技术方案，通过将获取到的待测医学图像以及与待测医学图像对应的临床特征数据输入到预先训练完成的目标图像分类模型中；其中，目标图像分类模型包括主干网络、类别分支网络和分类网络，通过主干网络，基于输入的待测医学图像，确定待测特征图，通过类别分支网络，基于临床特征数据和主干网络输出的待测特征图，确定融合特征图，通过分类网络，基于类别分支网络输出的融合特征图，输出待测医学图像对应的目标分类结果，解决了现有的目标图像分类模型的输入数据过于简单的问题，提高了目标图像分类模型的分类准确率。
21.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明实施例一所提供的一种医学图像的分类方法的流程图；
24.图2为本发明实施例一所提供的一种图像增强模型的网络架构的示意图；
25.图3为本发明实施例一所提供的一种医学图像的分类方法的具体实例的流程图；
26.图4为本发明实施例二所提供的一种医学图像的分类方法的流程图；
27.图5为本发明实施例二所提供的一种类别感知模块的网络架构的示意图；
28.图6为本发明实施例二所提供的另一种类别感知模块的网络架构的示意图；
29.图7为本发明实施例三所提供的一种医学图像的分类装置的结构示意图；
30.图8为本发明实施例四所提供的一种电子设备的结构示意图。
具体实施方式
31.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
32.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.实施例一
34.图1为本发明实施例一所提供的一种医学图像的分类方法的流程图，本实施例可适用于对医学图像进行分类的情况，该方法可以由医学图像的分类装置来执行，该医学图像的分类装置可以采用硬件和/或软件的形式实现，该医学图像的分类装置可配置于终端设备中。如图1所示，该方法包括：
35.s110、将获取到的待测医学图像以及与待测医学图像对应的临床特征数据输入到预先训练完成的目标图像分类模型中。
36.其中，示例性的，医学图像包括但不限于胃部图像、头部图像、胸部图像、血管图像或上肢图像等等，此处对医学图像中包含的组织器官的类型不作限定。
37.其中，具体的，获取医学影像设备采集到的医学图像。示例性的，医学影像设备包括但不限于直接数字化x摄影系统(directdigit radiography，dr)、电子计算机断层扫描设备(computed tomography，ct)、磁共振成像设备(magnetic resonance imaging、mri)、正电子发射型计算机断层扫描设备(positron emission computed tomography，pet)或超声设备等等。此处对医学影像设备的设备类型不作限定。
38.其中，具体的，临床特征数据可用于表征与待测医学图像对应的被测对象的临床信息的编码数据。其中，示例性的，临床信息包括但不限于诊断结果信息、患者个人信息、用药信息和症状描述信息等等，采用的编码算法包括但不限于ascii编码、gb2312编码、utf-8编码或utf-16编码等等，此处对采集的临床信息和采用的编码算法不作限定。
39.在本实施例中，目标图像分类模型包括主干网络、类别分支网络和分类网络。
40.s120、通过主干网络，基于输入的待测医学图像，确定待测特征图。
41.其中，主干网络用于对输入的待测医学图像进行特征提取，得到可用于表示全局图像信息的被测特征图。其中，示例性的，主干网络的网络架构可以是cnn网络(convolutional neural networks，卷积神经网络)、fcn网络(fully convolutional networks，全卷积神经网络)、残差网络(resnet)、dnn网络(deep neural networks，深度神经网络)、rnn网络(recurrent neural network，循环神经网络)或transformer网络等等。此处对主干网络的网络架构不作限定。
42.s130、通过类别分支网络，基于临床特征数据和主干网络输出的待测特征图，确定融合特征图。
43.本实施例中的类别分支网络可以与任一主干网络进行结合使用，具备较强的可移植性。
44.在一个可选实施例中，类别分支网络包括类别感知模块(category-aware，ca)和临床信息融合(clinical information fusion，cif)模块，类别感知模块用于基于主干网络输出的待测特征图，输出类别特征图；临床信息融合模块用于基于临床特征数据和类别感知模块输出的类别特征图，输出融合特征图。
45.在一个可选实施例中，具体的，通过类别感知模块，将输入的待测特征图作为类别特征图，并将类别特征图输出给临床信息融合模块。
46.在一个可选实施例中，临床信息融合模块包括第一神经网络层、融合层和第二神经网络层，第一神经网络层用于将基于输入的临床特征数据确定的第一网络特征图输出给融合层；融合层用于对输入的第一网络特征图和类别特征图执行融合操作，输出参考特征图；第二神经网络层用于基于融合层输出的参考特征图，输出融合特征图。
47.在一个可选实施例中，第一神经网络层包括两层神经网络，每层神经网络分别包含256个神经元，第二神经网络层包含1024个神经元。此处对各神经网络层分别包含的神经元个数不作限定。具体的，每层神经网络可用于执行批标准化、relu激活函数和dropout操作。
48.s140、通过分类网络，基于类别分支网络输出的融合特征图，输出待测医学图像对应的目标分类结果。
49.在一个可选实施例中，分类网络包括全局平均池化层(global average pooling layer，gap)和全连接层(fully connected layer，fc)。其中，全局平均池化层可用于对融合特征图的数据结构进行降维和正则化操作，在减少网络参数的个数的同时，可以防止数据过拟合。全连接层可以把分布式特征整个到一起，从而降低特征位置对目标分类结果的影响。
50.其中，示例性的，目标分类结果可以是待测医学图像所属的类别或与至少两个预设类别分别对应的概率值。其中，用户可在目标图像分类模型的训练过程中，根据实际需求设置至少一个预设类别。此处对具体类别不作限定。
51.图2为本发明实施例一所提供的一种图像增强模型的网络架构的示意图。具体的，图像增强模型包括cnn网络架构的主干网络、类别分支网络和分类网络，其中，类别分支网络包括类别感知模块(ca模块)和临床信息融合模块(cif模块)，临床信息融合模块包括第一神经网络层、融合层和第二神经网络层。其中，第一神经网络层的输入数据为类别感知模块输出的类别特征图，融合层的输入数据包括第一神经网络层输出的第一网络特征图和临床特征数据。
52.在上述实施例的基础上，可选的，该方法还包括：基于获取到的训练数据集对初始图像分类模型的模型参数进行调整，以及基于获取到的验证数据集对初始图像分类模型的超参数进行选择，得到训练完成的参考图像分类模型；基于预设性能指标和获取到的测试数据集，确定参考图像分类模型对应的性能分数，并判断性能分数是否达到预设分数阈值，如果是，则将参考图像分类模型作为目标图像分类模型，如果否，则继续对初始图像分类模型进行训练。
53.其中，具体的，模型参数为初始图像分类模型的内部配置变量，在模型的训练过程中自动进行学习。如模型参数可以为线性回归模型中的系数、支持向量机中的支持向量以及神经网络模型中的权重等等。
54.其中，具体的，超参数为初始图像分类模型的外部配置变量，需要用户根据建模经验进行手动设置。如超参数包括但不限于学习速率和迭代次数等等。
55.其中，示例性的，预设性能指标包括但不限于准确率、灵敏度、特异度、f1参数、阳性预测值、阴性预测值和auc(area under curve，曲线下面积)等等，此处对预设性能指标不作限定。
56.在一个可选实施例中，该方法还包括：对获取到的训练数据集、验证数据集和测试数据集中的医学图像分别执行预处理操作，得到预处理后的训练数据集、验证数据集和测试数据集。其中，示例性的，预处理操作可以为裁剪操作、对比度调整操作、滤波操作和归一化操作中至少一种，此处对预处理操作不作限定。
57.这样设置的好处在于，由于医学影像设备直接采集到的医学图像中通常会存在噪声、强度分布不均匀等缺陷，通过预处理操作可以消除噪声和强度不均匀等因素对图像目标分类结果的影响。
58.图3为本发明实施例一所提供的一种医学图像的分类方法的具体实例的流程图。具体的，获取待训练的一系列医学图像，对各医学图像进行数据集划分，得到训练数据集、验证数据集和测试数据集，对训练数据集、验证数据集和测试数据集中的医学图像分别执行预处理操作，得到预处理后的训练数据集、验证数据集和测试数据集。其中，示例性的，预处理操作包括裁剪操作和对比度调整操作。基于训练数据集和验证数据集对初始图像分类模型进行模型训练，得到训练完成的参考图像分类模型，基于预设性能指标和获取到的测试数据集，确定参考图像分类模型对应的性能分数，并判断性能分数是否达标，如果是，则将参考图像分类模型作为目标图像分类模型进行保存，如果否，则继续对初始图像分类模型进行训练。将待测医学图像以及与待测医学图像对应的临床特征数据输入到目标图像分类模型中，得到输出的目标分类结果。
59.本实施例的技术方案，通过将获取到的待测医学图像以及与待测医学图像对应的临床特征数据输入到预先训练完成的目标图像分类模型中；其中，目标图像分类模型包括主干网络、类别分支网络和分类网络，通过主干网络，基于输入的待测医学图像，确定待测特征图，通过类别分支网络，基于临床特征数据和主干网络输出的待测特征图，确定融合特征图，通过分类网络，基于类别分支网络输出的融合特征图，输出待测医学图像对应的目标分类结果，解决了现有的目标图像分类模型的输入数据过于简单的问题，提高了目标图像分类模型的分类准确率。
60.实施例二
61.图4为本发明实施例二所提供的一种医学图像的分类方法的流程图，本实施例对上述实施例中的“类别感知模块”进行进一步细化。如图4所示，该方法包括：
62.s210、将获取到的待测医学图像以及与待测医学图像对应的临床特征数据输入到预先训练完成的目标图像分类模型中。
63.s220、通过主干网络，基于输入的待测医学图像，确定待测特征图。
64.s230、通过类别分支网络中的类别感知模块，基于主干网络输出的待测特征图，输出类别特征图。
65.在本实施例中，类别感知模块包括池化单元和输出层，其中，池化单元包括全局池化层、第一平均池化层和特征处理层，全局池化层用于对输入的待测特征图执行全局池化
操作，得到全局池化特征图；第一平均池化层用于对主干网络输出的待测特征图执行平均池化操作，得到第一平均池化特征图；特征处理层用于基于全局池化层输出的全局池化特征图和第一平均池化层输出的第一平均池化特征图，确定中间特征图；输出层用于基于特征处理层输出的中间特征图，输出类别特征图。
66.在一个可选实施例中，全局池化层包括全局最大池化层和第二平均池化层，其中，全局最大池化层用于对主干网络输出的待测特征图执行全局最大池化操作，得到最大池化特征图；第二平均池化层用于对全局最大池化层输出的最大池化特征图执行平均池化操作，得到全局池化特征图。
67.其中，示例性的，待测特征图用f∈rh×w×c表示，其中，h、w和c分别表示主干网络中输出层的通道高度、通道宽度和通道数量。预设类别的数量用m表示，探索各预设类别的区别表示所需的通道数用n表示。在一个可选实施例中，当c＞mn时，池化单元还包括卷积层，卷积层用于对故障网络输出的待测特征图执行卷积操作，得到通道缩减后的被测特征图。其中，具体的，卷积层的卷积核为1*1。相应的，全局最大池化层(global max pooling，gmp)和第一平均池化层的输入数据均为通道缩减后的被测特征图。其中，通道缩减后的被测特征图可用f'∈rh×w×
mn
表示。
68.其中，具体的，全局池化特征图可用于表征每个预设类别的影响因子，示例性的，全局池化特征图用if＝{if1,if2,...,ifi,...,ifm}表示，具体的，ifi满足公式：
[0069][0070]
其中，f
′
i,j
表示通过缩减后的被测特征图中与第i个预设类别的第j个通道对应的特征向量，gmp(f
′
i,j
)表示最大池化特征图中与第i个预设类别的第j个通道对应的特征向量。
[0071]
其中，第一平均池化特征图用f
′
avg
＝{f
′
1-avg
,f
′
2-avg
,...,f
′
i-avg
,...,f'
m-avg
}表示，具体的，f
′
i-avg
满足公式：
[0072][0073]
其中，f
′
i,j
表示通过缩减后的被测特征图中与第i个预设类别的第j个通道对应的特征向量，f
′
i-avg
∈rh×w×1。
[0074]
其中，具体的，中间特征图coef满足公式：
[0075][0076]
在本实施例中，通过输出层，将特征处理层输出的中间特征图作为类别特征图。具体的，类别特征图f
ca
＝coeff。
[0077]
图5为本发明实施例二所提供的一种类别感知模块的网络架构的示意图。具体的，主干网络输出的被测特征图f输入到类别感知模块中的卷积层，得到通道缩减后的被测特征图，gmp层和第一平均池化层的输入数据均为通道缩减后的被测特征图，最终得到类别感知模块输出的类别特征图f
ca
。
[0078]
在上述实施例的基础上，可选的，类别感知模块还包括通道注意力单元，通道注意
力单元用于基于主干网络输出的待测特征图，输出注意力特征图，相应的，输出层具体用于：基于特征处理层输出的中间特征图和通道注意力单元输出的注意力特征图，输出类别特征图。
[0079]
在一个可选实施例中，通道注意力单元包括全局平均池化层、卷积层、激活层和融合层，全局平均池化层用于对主干网络输出的待测特征图执行全局平均池化操作，得到全局平均特征图；卷积层用于对全局平均池化层输出的全局平均特征图执行卷积操作，得到卷积特征图；激活层用于对卷积层输出的卷积特征图执行激活操作，得到激活特征图；融合层用于基于主干网络输出的待测特征图和激活层输出的激活特征图，输出注意力特征图。
[0080]
其中，示例性的，通道注意力(efficient channel attention，eca)单元输出的注意力图用eca(f)表示。
[0081]
在本实施例中，通过输出层，将特征处理层输出的中间特征图与通道注意力单元输出的注意力特征图进行逐元素点乘处理，得到类别特征图f
ca
＝coeff
·
eca(f)。
[0082]
这样设置的好处在于，可以自适应地重新校准特征响应，以增强类别特征图的特征表达以及抑制无关信息，使得类别特征图具备更多有用的细节特征。
[0083]
图6为本发明实施例二所提供的另一种类别感知模块的网络架构的示意图。具体的，类别感知模块包括池化单元、eca单元和输出层。其中，eca单元中的融合层的输入数据为主干网络输出的待测特征图和激活层输出的激活特征图。
[0084]
s240、通过类别分支网络中的临床信息融合模块，基于临床特征数据和类别感知模块输出的类别特征图，输出融合特征图。
[0085]
s250、通过分类网络，基于类别分支网络输出的融合特征图，输出待测医学图像对应的目标分类结果。
[0086]
医学图像的分类任务不同于自然图像的分类任务，医学图像的分类任务会受到类间相似性、类内差异和数据分布不平衡等因素的影响，导致图像分类模型的分类效果差。本实施例的技术方案，通过设置目标图像分类模型中的类别感知模块包括池化单元和输出层，其中，池化单元包括全局池化层、第一平均池化层和特征处理层，全局池化层用于对输入的待测特征图执行全局池化操作，得到全局池化特征图；第一平均池化层用于对主干网络输出的待测特征图执行平均池化操作，得到第一平均池化特征图；特征处理层用于基于全局池化层输出的全局池化特征图和第一平均池化层输出的第一平均池化特征图，确定中间特征图；输出层用于基于特征处理层输出的中间特征图，输出类别特征图，克服了上述因素对医学图像的分类任务的影响，类别感知模块构建了不同预设类别的医学图像之间的关系，从而可以使得类别特征图具备更多有鉴别性的特征，从而进一步提高了图像分类模型的分类准确率。
[0087]
实施例三
[0088]
图7为本发明实施例三所提供的一种医学图像的分类装置的结构示意图。如图7所示，该装置包括：临床特征数据输入模块310、待测特征图确定模块320、融合特征图确定模块330和目标分类结果输出模块340。
[0089]
其中，临床特征数据输入模块310，用于将获取到的待测医学图像以及与待测医学图像对应的临床特征数据输入到预先训练完成的目标图像分类模型中；其中，目标图像分类模型包括主干网络、类别分支网络和分类网络；
[0090]
待测特征图确定模块320，用于通过主干网络，基于输入的待测医学图像，确定待测特征图；
[0091]
融合特征图确定模块330，用于通过类别分支网络，基于临床特征数据和主干网络输出的待测特征图，确定融合特征图；
[0092]
目标分类结果输出模块340，用于通过分类网络，基于类别分支网络输出的融合特征图，输出待测医学图像对应的目标分类结果。
[0093]
本实施例的技术方案，通过将获取到的待测医学图像以及与待测医学图像对应的临床特征数据输入到预先训练完成的目标图像分类模型中；其中，目标图像分类模型包括主干网络、类别分支网络和分类网络，通过主干网络，基于输入的待测医学图像，确定待测特征图，通过类别分支网络，基于临床特征数据和主干网络输出的待测特征图，确定融合特征图，通过分类网络，基于类别分支网络输出的融合特征图，输出待测医学图像对应的目标分类结果，解决了现有的目标图像分类模型的输入数据过于简单的问题，提高了目标图像分类模型的分类准确率。
[0094]
在上述实施例的基础上，可选的，类别分支网络包括类别感知模块和临床信息融合模块，类别感知模块用于基于主干网络输出的待测特征图，输出类别特征图；临床信息融合模块用于基于临床特征数据和类别感知模块输出的类别特征图，输出融合特征图。
[0095]
在上述实施例的基础上，可选的，临床信息融合模块包括第一神经网络层、融合层和第二神经网络层，第一神经网络层用于将基于输入的临床特征数据确定的第一网络特征图输出给融合层；融合层用于对输入的第一网络特征图和类别特征图执行融合操作，输出参考特征图；第二神经网络层用于基于融合层输出的参考特征图，输出融合特征图。
[0096]
在上述实施例的基础上，可选的，类别感知模块包括池化单元和输出层，其中，池化单元包括全局池化层、第一平均池化层和特征处理层，全局池化层用于对输入的待测特征图执行全局池化操作，得到全局池化特征图；第一平均池化层用于对主干网络输出的待测特征图执行平均池化操作，得到第一平均池化特征图；特征处理层用于基于全局池化层输出的全局池化特征图和第一平均池化层输出的第一平均池化特征图，确定中间特征图；输出层用于基于特征处理层输出的中间特征图，输出类别特征图。
[0097]
在上述实施例的基础上，可选的，全局池化层包括全局最大池化层和第二平均池化层，其中，全局最大池化层用于对主干网络输出的待测特征图执行全局最大池化操作，得到最大池化特征图；第二平均池化层用于对全局最大池化层输出的最大池化特征图执行平均池化操作，得到全局池化特征图。
[0098]
在上述实施例的基础上，可选的，类别感知模块还包括通道注意力单元，通道注意力单元用于基于主干网络输出的待测特征图，输出注意力特征图，相应的，输出层具体用于：基于特征处理层输出的中间特征图和通道注意力单元输出的注意力特征图，输出类别特征图。
[0099]
在上述实施例的基础上，可选的，通道注意力单元包括全局平均池化层、卷积层、激活层和融合层，全局平均池化层用于对主干网络输出的待测特征图执行全局平均池化操作，得到全局平均特征图；卷积层用于对全局平均池化层输出的全局平均特征图执行卷积操作，得到卷积特征图；激活层用于对卷积层输出的卷积特征图执行激活操作，得到激活特征图；融合层用于基于主干网络输出的待测特征图和激活层输出的激活特征图，输出注意
力特征图。
[0100]
本发明实施例所提供的医学图像的分类装置可执行本发明任意实施例所提供的医学图像的分类方法，具备执行方法相应的功能模块和有益效果。
[0101]
实施例四
[0102]
图8为本发明实施例四所提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本发明实施例所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0103]
如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器11执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0104]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0105]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如医学图像的分类方法。
[0106]
在一些实施例中，医学图像的分类方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的医学图像的分类方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行医学图像的分类方法。
[0107]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0108]
用于实施本发明的医学图像的分类方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0109]
实施例五
[0110]
本发明实施例五还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种医学图像的分类方法，该方法包括：
[0111]
将获取到的待测医学图像以及与待测医学图像对应的临床特征数据输入到预先训练完成的目标图像分类模型中；其中，目标图像分类模型包括主干网络、类别分支网络和分类网络；
[0112]
通过主干网络，基于输入的待测医学图像，确定待测特征图；
[0113]
通过类别分支网络，基于临床特征数据和主干网络输出的待测特征图，确定融合特征图；
[0114]
通过分类网络，基于类别分支网络输出的融合特征图，输出待测医学图像对应的目标分类结果。
[0115]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0116]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0117]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0118]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过
通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0119]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0120]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。