图像分类模型的训练方法、分类方法、装置和计算机设备

1.本说明书中实施方式关于图像处理领域，具体涉及一种图像分类模型的训练方法、分类方法、装置和计算机设备。


背景技术：

2.目前，医学影像检查对于辅助医生进行医学诊断具有重要作用。由于部分医学影像的尺寸较大，受到图像分类模型对于输入的图像尺寸的限制，难以将整张医学影像直接输入至分类模型中进行训练。现有的技术方案主要是采用多示例学习的弱监督学习方法，将医学影像切分为多个医学子图，将医学影像的标签类别作为与医学影像对应的医学子图的标签类别，进而对医学图像和医学子图进行分类。
3.由于不同病程阶段的医学影像的训练样本中病灶分布密度具有差异，如果将病灶分布密度较低的轻度医学影像的疾病类别作为该轻度医学影像的疾病类别，会引入较多的标签噪声从而在一定程度上限制了该分类模型对于医学影像分类的准确性。


技术实现要素：

4.本说明书中多个实施方式提供一种图像分类模型的训练方法、分类方法、装置和计算机设备，可以在一定程度上提升了医学影像分类的准确性。
5.本说明书的一个实施方式提供一种图像分类模型的训练方法，包括：获取分别标注有疾病类型的轻度医学影像和重度医学影像；所述轻度医学影像是疾病严重程度被标记为轻度的医学影像；所述重度医学影像是疾病严重程度被标记为严重的医学影像；其中，轻度医学影像包括表示部分区域的轻度医学影像子图；重度医学影像包括表示部分区域的重度医学影像子图；基于重度医学影像子图，和所述重度医学影像子图所属的重度医学影像的疾病类型训练初始图像分类模型，得到初级图像分类模型；将轻度医学影像子图输入至所述初级图像分类模型，得到所述轻度医学影像子图对应的预测疾病类型；在轻度医学影像子图的预测疾病类型与所述轻度医学影像子图所属的轻度医学影像的疾病类型相同的情况下，使用所述轻度医学影像子图训练所述初级图像分类模型，得到图像分类模型。
6.本说明书的一个实施方式提供一种图像分类方法，包括：将获取的医学影像按照预设个数进行切分，得到多个局部医学影像；将所述局部医学影像调整至指定分辨率，得到多个医学影像子图；使用如如上述实施方式所述的图像分类模型的训练方法确定所述医学影像子图对应的疾病类型；其中，所述疾病类型作为所述医学影像的疾病类型。
7.本说明书的一个实施方式提供一种图像分类模型的训练装置，包括：训练样本获取模块，用于获取分别标注有疾病类型的轻度医学影像和重度医学影像；所述轻度医学影像是疾病严重程度被标记为轻度的医学影像；所述重度医学影像是疾病严重程度被标记为严重的医学影像；其中，轻度医学影像包括表示部分区域的轻度医学影像子图；重度医学影像包括表示部分区域的重度医学影像子图；初级图像分类模型生成模块，用于基于重度医学影像子图，和所述重度医学影像子图所属的重度医学影像的疾病类型训练初始图像分类
模型，得到初级图像分类模型；轻度医学影像子图预测模块，用于将轻度医学影像子图输入至所述初级图像分类模型，得到所述轻度医学影像子图对应的预测疾病类型；图像分类模型生成模块，用于在轻度医学影像子图的预测疾病类型与所述轻度医学影像子图所属的轻度医学影像的疾病类型相同的情况下，使用所述轻度医学影像子图训练所述初级图像分类模型，得到图像分类模型。
8.本说明书的一个实施方式提供一种图像分类装置，包括：医学影像切分模块，用于将获取的医学影像按照预设个数进行切分，得到多个局部医学影像；医学影像子图生成模块，用于将所述局部医学影像调整至指定分辨率，得到多个医学影像子图；医学影像分类模块，用于使用如上述实施方式中所述的图像分类模型的训练方法确定所述医学影像子图对应的疾病类型；其中，所述疾病类型作为所述医学影像的疾病类型。
9.本说明书的一个实施方式提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述实施方式所述的方法。
10.本说明书的一个实施方式提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述实施方式所述的方法。
11.本说明书提供的多个实施方式，通过将医学影像分成包括疾病严重程度为轻型的轻度医学影像和疾病严重程度为严重的重度医学影像，首先利用重度医学影像对图像分类模型进行预训练得到初级图像分类模型，然后将轻度医学影像子图输入至初级分类模型得到预测结果，根据预测结果选择合适的轻度医学影像子图进行再次训练，从而得到图像分类模型，从而在一定程度上提升了图像分类模型对于医学影像分类的准确性。
附图说明
12.图1所示为本说明书的一个实施方式提供的一个场景示例中病理影像分类模型的示意图。
13.图2所示为本说明书的一个实施方式提供的一个场景示例中病理影像分类系统的交互图。
14.图3所示为本说明书的一个实施方式提供的一个图像分类模型的训练方法的流程示意图。
15.图4所示为本说明书的一个实施方式提供的一个图像分类方法的流程示意图。
16.图5所示为本说明书的一个实施方式提供的一个图像分类模型的训练装置的示意图。
17.图6所示为本说明书的一个实施方式提供的一个图像分类装置的流程示意图。
18.图7所示为本说明书的一个实施方式提供的一个计算机设备的示意图。
具体实施方式
19.为了使本技术领域的人员更好的理解本说明书方案，下面将结合本说明书实施方式中的附图，对本说明书实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅是本说明书一部分实施方式，而不是全部的实施方式。基于本说明书中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本说明书保护的范围。
20.概述
21.在相关技术中，由于病理影像的图像的数据量较大，难以直接通过图像压缩的方法对图像分类模型进行训练。因此，需要将病理影像切分成多个病理影像子图。为了获得病理影像子图的标签，临床医生除了对整张病理影像进行标注之外，还需要对每张病理影像的子图分别进行标注。这种基于全监督学习的图像分类模型训练方法需要花费医生大量的时间进行标注，且由于医生水平的差异，对于训练样本标注的质量也存在着差异，从而影响图像分类模型的精度。
22.为了减轻医生的标注负担，出现了部分尝试仅对每张病理影像进行标注对图像分类模型进行训练。具体的，包括：将病理影像进行切分，得到多个病理影像子图，并将病理影像的类别标签作为病理影像子图的类别标签，进而对病理影像子图以及病理影像进行分类。但不同病程阶段的病理样本中病灶分布密度具有差异，所以这些基于多示例学习的弱监督学习方法在训练过程中引入了标签噪声，限制了图像分类模型对于病理影像分类的准确性。
23.因此，有必要提供一种在对训练样本进行少量标注的情况下提升图像分类模型准确性的方法，通过将医学影像分成包括疾病严重程度为轻型的轻度医学影像和疾病严重程度为严重的重度医学影像，首先利用重度医学影像对图像分类模型进行预训练得到初级图像分类模型，然后将轻度医学影像子图输入至初级分类模型得到预测结果，根据预测结果选择合适的轻度医学影像子图进行再次训练，从而得到图像分类模型，从而在一定程度上提升了图像分类模型对于医学影像分类的准确性。
24.场景示例
25.请参阅图1，本说明书中提供一种病理影像分类模型训练方法的应用场景示例。为了获取患者身体部位的详细信息，医生可以从患者的身体部位上切除部分区域进行病理检查。然后，可以使用3dhistech切片扫描仪对病理切片进行扫描得到数字病理影像发送给客户端供医生查看。医生可以在客户端上标注数字病理图像的类型以及标注数字病理图像的疾病严重程度为严重、中等或轻度。服务器可以用于获取客户端中医生标注过的数字病理图像作为训练样本集。其中，训练样本集中疾病严重程度被标记为严重的重度医学影像、疾病严重程度被标记为中等的中度医学影像、疾病严重程度被标记为轻度的轻度医学影像，以及没有对应的疾病类型的无症状医学影像。其中，无症状医学影像可以被分为第一医学影像、第二医学影像和第三医学影像。
26.首先，可以将每张重度医学影像和第一医学影像分别切分成256个局部重度医学影像，或256个局部第一医学影像。分别选取局部重度医学影像或局部第一医学影像表示背景区域和总的像元个数的比值较低的100张局部重度医学影像或局部第一医学影像压缩至256*256的重度医学影像子图或第一医学影像子图。并且，可以将重度医学影像标记的疾病类型作为重度医学影像子图对应的疾病类型。将重度医学影像子图和第一医学影像子图输入至初始卷积神经网络模型进行训练，得到初级图像分类模型。
27.然后，可以将每张中度医学影像和第二医学影像分别切分成256个局部中度医学影像，或256个局部第二医学影像。分别选取局部中度医学影像或局部第二医学影像表示背景区域和总的像元个数的比值较低的100张局部中度医学影像或局部第二医学影像压缩至256*256的中度医学影像子图或第二医学影像子图。分别将中度医学影像子图和第二医学
影像子图输入至初级图像分类模型，得到中度医学影像子图和第二医学影像子图对应的疾病类别的概率。将概率值大于预设阈值0.5概率对应的疾病类别作为中度医学影像子图或第二医学影像子图预测的疾病类别。使用中度医学影像子图预测的疾病类别和中度医学影像被标记的类别相同的中度医学影像子图，以及将被预测为存在疾病类型的第二医学影像子图设置为不存在对应的疾病类型后训练初级图像分类模型，得到中级图像分类模型。
28.最后，可以将每张轻度医学影像和第三医学影像分别切分成256个局部轻度医学影像，或256个局部第三医学影像。分别选取局部轻度医学影像或局部第三医学影像表示背景区域和总的像元个数的比值较低的100张局部轻度医学影像或局部第三医学影像压缩至256*256的轻度医学影像子图或第三医学影像子图。分别将轻度医学影像子图和第三医学影像子图输入至中级图像分类模型，得到轻度医学影像子图和第三医学影像子图对应的疾病类别的相似度。将大于预设阈值0.5的相似度对应的疾病类别作为轻度医学影像子图或第三医学影像子图预测的疾病类别。使用轻度医学影像子图预测的疾病类别和轻度医学影像被标记的类别相同的轻度医学影像子图，以及将被预测为存在疾病类型的第三医学影像子图设置为不存在对应的疾病类型后训练中级图像分类模型，得到图像分类模型。
29.将医学影像进行切分后得到多个局部医学影像，然后将局部医学影像调整至指定分辨率256*256，得到多个医学影像子图。然后，将医学影像子图输入至图像分类模型，得到医学影像子图对应的疾病类型。可以将该医学影像子图对应的疾病类型作为与该医学影像子图对应的医学影像的疾病类型。此外，还可以将该医学影像子图对应的局部医学影像在所述医学影像中的位置作为该医学影像中病灶所在的区域。
30.以上所述仅为本说明书提供的一个场景示例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
31.系统架构
32.请参阅图2，本说明书实施方式提供一种医学影像分类系统，且本说明书提供的医学影像分类方法可以应用于该医学影像分类系统。该医学影像分类系统可以包括由医学成像设备110、客户端120和服务器130形成的硬件环境。医学成像设备110与客户端120连接，服务器130通过网络与客户端120通过通信网络相连。其中，通信网络可以是有线网络或无线网络。医学成像设备110对患者的身体部位进行检查并成像，得到医学影像。通过通信医学成像设备110将医学影像传输至客户端120。客户端120向服务器130发送医学影像，服务器130接收医学影像。其中，医学成像设备110可以但不限于是切片扫描仪、超声波医学设备、ct医学检查设备、mri医学检查设备中的至少一个。客户端120可以是具有网络访问能力的电子设备。具体的，例如，客户端可以是台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、导购终端、电视机、智能音箱、麦克风等。其中，智能可穿戴设备包括但不限于智能手环、智能手表、智能眼镜、智能头盔、智能项链等。或者，客户端也可以为能够运行于所述电子设备中的软件。本领域技术人员可以知晓，上述客户端120的数量可以一个或多个，其类型可以相同或者不同。比如上述客户端120可以为一个，或者上述客户端120为几十个或几百个，或者更多数量。本技术实施方式中对客户端120的数量和设备类型不加以限定。服务器130可以是具有一定运算处理能力的电子设备。其可以具有网络通信模块、处理器和存储器等。当然，所述服务器也可以是指运行于所述电子设备中的软体。所述服务
器还可以为分布式服务器，可以是具有多个处理器、存储器、网络通信模块等协同运作的系统。或者，服务器还可以为若干服务器形成的服务器集群。或者，随着科学技术的发展，服务器还可以是能够实现说明书实施方式相应功能的新的技术手段。例如，可以是基于量子计算实现的新形态的“服务器”。
33.示例的方法
34.请参阅图3，本说明书的一个实施方式提供一种图像分类模型的训练方法。所述图像分类模型的训练方法可以应用于电子设备。所述图像分类模型的训练方法可以包括以下步骤。
35.步骤s210：获取分别标注有疾病类型的轻度医学影像和重度医学影像；所述轻度医学影像是疾病严重程度被标记为轻度的医学影像；所述重度医学影像是疾病严重程度被标记为严重的医学影像；其中，轻度医学影像包括表示部分区域的轻度医学影像子图；重度医学影像包括表示部分区域的重度医学影像子图。
36.在一些情况下，由于训练样本的数据量过大，不能直接将训练样本输入至图像分类模型进行训练，需要将训练样本切分成多医学影像子图。但医学影像子图的类别并未进行标注，可以使用医学影像的类别作为医学影像子图的类别。由于医学影像在病程的各个阶段包含的病灶的密度各不相同。因此，可以根据医学影像表征的患者的疾病严重程度分成轻度医学影像和重度医学影像。
37.所述轻度医学影像可以是医生根据患者在进行医学影像检查后，将病灶区域在整个医学影像中占比较小的医学影像作为轻度医学影像。具体的，例如，获取的医学影像为对患者的身体部位进行切片处理后，然后经过3dhistech切片扫描仪进行扫描后得到的医学影像，扫描后得到的医学影像的数据量的范围在18039*27000至54290*41820之间。3dhistech切片扫描仪可以将医学影像发送给客户端，医生可以在客户端上标注医学影像疾病严重程度为严重或者轻度。当然，医学影像也可以是利用其它扫描仪对病理切片扫描得到的。医学影像还可以是通过超声波医学设备、ct医学检查设备、mri医学检查设备对患者的身体部位进行检查得到的。
38.所述重度医学影像可以是医生根据患者在进行医学影像检查后，将病灶区域在整个医学影像中占比较大的医学影像作为轻度医学影像。
39.所述疾病类型为医学影像所表征的患者的身体部位的类型。具体的，例如，使用3dhistech切片扫描仪对患者的肌肉活检染色后的病理图像进行扫描，那么该病理图像对应的疾病类型可以包括：坏死性肌肉病、肌营养不良等。再比如，对患者的肺部进行医学影像检查，医学影像所表征的疾病类型可以包括：肺结节、肺纤维化等。本说明书实施方式对于使用的训练样本中的疾病类型并不加以限制，以上所述的疾病类型可以进行任意的组合。
40.所述重度医学影像子图是通过对重度医学影像切分得到的。具体的，例如，可以按照固定的尺寸对医学影像进行切分，得到多个医学影像子图。其中，可以将医学影像子图的尺寸设置为256*256的数据量，并将相邻医学影像的重合度设置为0，也可以将相邻医学影像的重合度按照一定的阈值进行设置。例如，可以将两张相邻的图像按照在沿着横轴的方向按照重合度为20％进行划分，在纵轴上按照重合度为25％进行划分。当然，重度医学影像子图的切分方法还可以是在部分相邻的重度医学影像子图存在重合区域，部分相邻的重度
医学应子图不存在重合区域的组合形式。
41.所述轻度医学影像子图可以是通过对轻度医学影像切分得到的。轻度医学影像子图的生成方法可以和上述重度医学影像子图的生成方法相同，在此不再赘述。
42.步骤s220：基于重度医学影像子图，和所述重度医学影像子图所属的重度医学影像的疾病类型训练初始图像分类模型，得到初级图像分类模型。
43.在一些情况下，由于重度医学影像中表示病灶的区域范围较大，密度较高。因此，可以将重度医学影像对应的类别作为重度医学影像子图类别。然后基于重度医学影像子图和重度医学影像子图对应的类别训练图像分类模型，从而减少训练样本的标注量。
44.所述得到初级图像分类模型的方法可以是将医学影像子图输入至经典卷积神经网络lenet作为医学影像子图的分类模型。例如，在训练过程中，使用的学习率自适应方法为adam方法，初始学习率设定为exp(-5)，batch size设定为64，迭代次数设定为50次，并且使用交叉熵损失函数计算经典卷积神经网络lenet的损失函数，损失函数的公式如下：
[0045][0046]
其中，其中yi代表第i张重度病理图像样本的类别标签，x
ij
为第i张重度病理图像样本切分得到的第j张子图，函数f1为重度医学影像训练得到的初级图像分类模型，θ为函数f1的初始化参数。其中，本次训练共有30张重度医学影像，每张医学影像被切分为100个重度医学影像子图。
[0047]
所述初始图像分类模型还可以是卷积神经网络(convolutional neural network，cnn)、深度神经网络(deep neural network，dnn)或循环神经网络(recurrent neural network，rnn)等，本实施方式中对初级图像分类模型的具体类型不作限定。本实施方式中初级图像分类模型可以包括输入层、卷积层、池化层、连接层等神经网络层，本实施方式中对此不作具体限定。另外，本实施方式中对每一种神经网络层的个数也不作限定。
[0048]
步骤s230：将轻度医学影像子图输入至所述初级图像分类模型，得到所述轻度医学影像子图对应的预测疾病类型。
[0049]
在一些情况下，上述得到的初级图像分类模型已经具备了对医学影像的具体类别进行识别的能力。因此，可以将轻度医学影像子图输入至初级图像分类模型对轻度医学影像子图进行预测。
[0050]
所述预测疾病类型将轻度医学影像子图输入至初级图像分类模型得到的。具体的，例如，某个身体部位的医学影像表征的疾病类型可以包括a、b、c、d、e五种类型，初级图像分类模型输出的分别是某个身体部位的医学影像的一个子图和a、b、c、d、e这五种类型的相似度分别是0.8、0.6、0.54、0.47和0.21，根据设定的阈值为0.7，则该子图对应的疾病类型为a。在一些情况下，可能表示某个身体部位的医学影像的多个子图对应于不同的疾病类型，那么可能存在着初级医学影像分类模型对医学影像分类错误的情况，或者是该患者的医学影像表征出该患者存在多种疾病的现象。在此，我们可以将相似度大于0.7的轻度医学影像子图对应的疾病类别作为该轻度医学影像的疾病类别。
[0051]
步骤s240：在轻度医学影像子图的预测疾病类型与所述轻度医学影像子图所属的轻度医学影像的疾病类型相同的情况下，使用所述轻度医学影像子图训练所述初级图像分
类模型，得到图像分类模型。
[0052]
在一些情况下，由于初级图像分类模型所使用的训练样本(即重度医学影像子图)可能并没有与之对应的疾病类型，但在被当做训练样本的时候，被认为是重度医学影像对应的疾病类型，还需要对图像分类模型进一步修正。因此，可以将使用轻度医学影像子图的预测疾病类型和轻度医学影像对应的疾病类型相同的轻度医学影像进行再次的学习训练。
[0053]
所述得到所述图像分类模型的方法可以是使用轻度医学影像中的轻度医学影像子图被初级图像分类模型预测的疾病类型和轻度医学影像被标注的疾病类型相同的轻度医学影像子图对初级图像分类模型进一步的进行训练，从而得到图像分类模型。具体的，例如，轻度医学影像被标记的疾病类型为a，轻度医学影像子图被初级图像分类模型预测的疾病类型也是a，则该轻度医学影像子图可以用于参加修正初级图像分类模型的训练样本。再例如，在该轻度医学影像子图被初级图像分类模型预测的疾病类型为b的情况下，该轻度医学影像子图不被用于参加修正初级图像分类模型的训练样本。当然，在轻度医学影像被同时标记疾病类型a和b的情况下，被预测为疾病类型为a和/或b的轻度医学影像子图都可以用于参加修正初级图像分类模型的训练样本。在训练过程中，使用的学习率自适应方法为adam方法，初始学习率设定为exp(-5)。batch size设定为64，迭代次数设定为1次，使用的交叉熵损失函数如下所示：
[0054][0055]
其中，ki表示第i张轻度医学影像中初级图像分类模型对轻度医学影像子图的预测疾病类型和轻度医学影像相同的数目。
[0056]
通过将医学影像分成包括疾病严重程度为轻型的轻度医学影像和疾病严重程度为严重的重度医学影像，首先利用重度医学影像对图像分类模型进行预训练得到初级图像分类模型，然后将轻度医学影像子图输入至初级分类模型得到预测结果，根据预测结果选择合适的轻度医学影像子图进行再次训练，从而得到图像分类模型，从而在一定程度上提升了图像分类模型对于医学影像分类的准确性。
[0057]
在一些实施方式中，所述使用所述轻度医学影像子图训练所述初级图像分类模型，得到图像分类模型，可以包括：使用所述轻度医学影像子图，及所述重度医学影像子图训练所述初级图像分类模型，得到图像分类模型。
[0058]
在一些情况下，为了使得图像分类模型在训练过程中不会舍弃初级图像分类模型学习到的一些图像特征，还可以基于重度医学影像子图和预测疾病类型和与轻度医学影像的疾病类型相同的轻度医学影像子图共同训练初级图像分类模型，从而得到图像分类模型。
[0059]
在一些实施方式中，所述图像模型的训练方法还可以包括：获取标注有疾病类型的中度医学影像；其中，所述中度医学影像是疾病严重程度被标记为中等的医学影像；将所述中度医学影像输入至所述初级图像分类模型，得到所述中度医学影像子图对应的预测疾病类型；相应的，在轻度医学影像子图的预测疾病类型与所述轻度医学影像子图所属的轻度医学影像的疾病类型相同的情况下，使用所述轻度医学影像子图训练所述初级图像分类模型，得到图像分类模型，可以包括：在中度医学影像子图的预测疾病类型与所述中度医学
影像子图所属的中度医学影像的疾病类型相同的情况下，使用所述中度医学影像子图训练所述初级图像分类模型，得到中级图像分类模型；将所述轻度医学影像子图输入至所述中级图像分类模型，得到所述轻度医学影像子图对应的预测疾病类型；在所述轻度医学影像子图的预测疾病类型与所述轻度医学影像子图所属的轻度医学影像的疾病类型相同的情况下，使用所述轻度医学影像子图训练所述中级图像分类模型，得到图像分类模型。
[0060]
在一些情况下，由于仅仅使用两层的一个从重度医学影像到轻度医学影像的过渡并不能很好的体现出不同病程阶段医学影像的层次关系，还可以通过引入疾病类别被标记为中等的医学影像，构建一个三层的由易到难的差异化的医学影像子图的噪声，从而进一步提升图像分类模型的精度。
[0061]
在本实施方式中，在训练完重度医学影像子图得到初级图像分类模型后，可以将中度医学影像子图输入至初级图像分类模型，得到中度医学影像的预测疾病类型，并将预测疾病类型和中度医学影像被标注的疾病类型相同的医学影像对初级图像分类模型进行更新训练，得到中级图像分类模型。最后，将轻度医学影像子图输入至中级图像分类模型，得到轻度医学影像的预测疾病类型，并将预测疾病类型和轻度医学影像被标注的疾病类型相同的医学影像对中级图像分类模型进行更新训练，得到图像分类模型。当然，还可以根据业务场景的需要，构建更多级数的由易到难的训练过程，只需要先对病灶的密度更大或者范围更广的医学影像先进行训练，最后训练医学影像被标记为病程严重程度最轻的轻度医学影像，从而得到经过多层训练的图像分类模型。
[0062]
在一些实施方式中，所述使用所述轻度医学影像子图训练所述中级图像分类模型，得到图像分类模型，可以包括：使用所述轻度医学影像子图、所述预测疾病类型和与所述中度医学影像的疾病类型相同的中度医学影像子图，及所述重度医学影像子图训练所述中级图像分类模型，得到图像分类模型。
[0063]
在一些情况下，为了使得图像分类模型在训练过程中不会舍弃中级图像分类模型学习到的一些图像特征，还可以基于重度医学影像子图、预测疾病类型和与中度医学影像的疾病类型相同的中度医学影像子图以及预测疾病类型和与轻度医学影像的疾病类型相同的轻度医学影像子图共同训练初级图像分类模型，从而得到图像分类模型。当然，在疾病严重程度的类型为多级的情况下，可以将在其前面模型阶段训练过程中分类正确的结果作为本阶段中模型训练的训练样本，从而可以避免图像训练模型在本阶段的训练过程中舍弃了其余训练样本的特征，达到进一步提升图像分类模型对于医学影像分类准确性的目的。
[0064]
在一些实施方式中，所述图像分类模型的训练方法还可以包括：获取被标注为没有疾病的医学影像；其中，所述医学影像包括用于参与生成初级图像分类模型的第一医学影像和用于参与生成图像分类模型的第二医学影像；相应的，在基于重度医学影像子图和所述重度医学影像子图所属的重度医学影像的疾病类型训练初始图像分类模型，得到初级图像分类模型的步骤中，可以包括：基于重度医学影像子图和所述重度医学影像子图所属的重度医学影像的疾病类型，及第一医学影像子图训练初始图像分类模型，得到初级图像分类模型；其中，所述第一医学影像子图是所述第一医学影像的部分区域；相应的，在使用所述轻度医学影像子图训练所述初级图像分类模型，得到图像分类模型的步骤中，可以包括：使用所述轻度医学影像子图，及第二医学影像子图训练所述初级图像分类模型，得到图像分类模型；其中，所述第二医学影像子图是所述第二医学影像的部分区域。
[0065]
在一些情况下，还可以在图像分类模型的训练阶段提供一些图像分类模型的训练过程中，选择一些没有疾病的医学影像作为负样本标签输入至图像分类模型，让图像分类模型可以学习到在一些情况下，该医学影像子图不存在对应的疾病类别。
[0066]
在本实施方式中，首先可以将没有疾病的医学影像分成用于参与第一阶段生成初级图像分类模型的第一医学影像和用于参与第二阶段生成图像分类模型的第二医学影像。然后基于重度医学影像子图和所述重度医学影像子图对应的疾病类型，及第一医学影像子图训练初始图像分类模型，得到初级图像分类模型。最后，使用所述预测疾病类型和与所述轻度医学影像的疾病类型相同的轻度医学影像子图，及所述第二医学影像子图训练所述初级图像分类模型，得到图像分类模型。需要说明的是，本实施方式中对第一医学影像和第二医学影像所对应的训练阶段并不进行限定。此外，本实施方式中对于第一医学影像和第二医学影像的数量不作具体的限定；其中，第一医学影像和第二医学影像可以有部分重复。
[0067]
在一些实施方式中，使用所述轻度医学影像子图，及所述第二医学影像子图训练所述初级图像分类模型，得到图像分类模型的步骤，可以包括：将所述第二医学影像子图输入至所述初级分类模型，得到所述第二医学影像的第一预测结果；相应的，使用所述轻度医学影像子图，及第二医学影像子图的第一预测结果和所述第二医学影像子图所属的第二医学影像的疾病类型不同的第二医学影像子图，训练所述初级图像分类模型，得到图像分类模型。
[0068]
在一些情况下，在图像分类模型第二阶段的训练生成图像分类模型的过程中，为了减少图像分类模型的训练次数，并且能够提升图像分类模型性能的情况下，可以首先将第二医学影像子图输入至初级图像分类模型，得到第二医学影像子图的第一预测疾病类别。在第二医学影像子图对应的疾病类别预测错误的情况下，将第二医学影像子图对应的疾病类别纠正为不存在对应的疾病类别，然后使用第二医学影像子图的第一预测结果为错误的第二医学影像子图参与图像分类模型的训练过程。
[0069]
在一些实施方式中，图像分类模型的训练方法还可以包括：对所述重度医学影像按照预设个数进行切分，得到多个局部重度医学影像；其中，所述局部重度医学影像的个数与所述预设个数相同；根据所述局部重度医学影像中表示目标区域的像元个数和所述局部重度医学影像中的像元个数确定用于参加图像分类模型训练的局部重度医学影像；将所述用于参加图像分类模型训练的局部重度医学影像调整至目标分辨率，得到重度医学影像子图。
[0070]
在一些情况下，在对医学影像进行切分的过程中，由于部分医学影像子图中非目标区域的像元占比较大，不适合参与到图像分类模型的训练过程中。因此，可以将这些非目标区域的像元占比较大的医学影像子图从训练样本中剔除。
[0071]
所述目标区域可以是医学影像中表示身体部位的区域。具体的，例如，在一张ct影像中，需要获取患者的肺部ct影像，但在实际的扫描过程中，图像中还包括患者肺部周围的一些信息，然而这些信息却可能影响肺部图像的分类。因此，在选择训练样本的过程中，需要将这些影响肺部图像的分类的医学影像子图进行剔除。
[0072]
在本实施方式中，可以先将重度医学影像切分成数据量相同的多个重度医学影像子图。计算多个重度医学影像子图对应的非目标区域的像元占该重度医学影像子图中的像元的比值，并根据比值从低到高对重度医学影像子图进行排序。然后，根据设定的阈值个
数，选取排序靠前的重度医学影像子图参与生成初级图像分类模型的训练过程。具体的，例如，在对重度医学影像进行切分的过程中，选择数据量在横向和纵向上均为重度医学影像1/16的滑动窗口进行滑窗，相邻窗口之间不设定重叠区域。在滑窗的过程中计算窗口内非目标区域像元的比值，并选择非目标区域像元占滑窗的比值较低的前100个局部区域进行下采样处理，将其压缩为256*256数据量的重度医学影像子图，从而使得每张重度医学影像能够切分得到100张256*256数据量的重度医学影像子图。当然，本说明书中所述的中度医学影像子图、轻度医学影像子图、第一医学影像子图、第二医学影像子图等均可通过本实施方式中所述的方法得到，在此不再赘述。
[0073]
在一些实施方式中，将所述轻度医学影像子图输入至所述初级图像分类模型，得到所述轻度医学影像子图对应的预测疾病类型的步骤，可以包括：将所述轻度医学影像子图输入至所述初级图像分类模型，得到所述轻度医学影像子图和不同的疾病类型的相似度；在所述相似度大于预设阈值的情况下，将所述相似度对应的疾病类型作为所述轻度医学影像子图对应的预测疾病类型。
[0074]
在一些情况下，图像分类模型可以分别计算该医学影像子图和疾病类型的相似度，并且根据设定的阈值返回医学影像子图对应的疾病类别。因此，可以通过计算轻度医学影像子图和相应的疾病类型的相似度确定图像分类模型的预测疾病类型。
[0075]
在本实施方式中，可以根据轻度医学影像和不同疾病类别的相似度确定轻度医学影像对应的疾病类别。具体的，例如，轻度医学影像子图的疾病类别为a、b、c、d、e五种类型，经计算后，a、b、c、d、e五种类型和轻度医学影像子图的相似度分别为0.9、0.75、0.64、0.48、0.12，设定的阈值为0.7，那么轻度医学影像子图对应的疾病类型为a和b。当然，也可以根据阈值，以及将最大相似度对应的疾病类型作为轻度医学影像子图对应的疾病类型。当然，若a、b、c、d、e五种类型和轻度医学影像子图之间的相似度均小于0.7的情况下，将该轻度医学影像子图对应的疾病类别判断为不存在对应的疾病类别。
[0076]
在本实施方式中，轻度医学影像包括了五张含疾病类型的轻度医学影像子图。其中，这五张含疾病类型的轻度医学影像子图和其疾病类型对应的相似度分别为0.84、0.72、0.91、0.85、0.76，那么可以将该轻度医学影像子图对应有疾病类型的概率设置为0.91。
[0077]
请参阅图4，本说明书的一个实施方式提供一种图像分类方法。所述图像分类方法可以应用于电子设备。所述图像分类方法可以包括以下步骤。
[0078]
步骤s310：将获取的医学影像按照预设个数进行切分，得到多个局部医学影像。
[0079]
步骤s320：将所述局部医学影像调整至指定分辨率，得到多个医学影像子图。
[0080]
步骤s330：使用如上述实施方式中所述的图像分类模型的训练方法确定所述医学影像子图对应的疾病类型；其中，所述疾病类型作为所述医学影像的疾病类型。
[0081]
在一些情况下，由于部分医学影像的数据量较大，难以直接将医学影像进行压缩后输入图像分类模型进行判断。因此，可以将医学影像切分成多个医学影像子图，然后将医学影像子图输入至图像分类模型进行判断，得到医学影像子图对应的疾病类型，并可以将医学影像子图对应的疾病类型作为医学影像对应的疾病类型。
[0082]
本实施方式中所述的图像分类的方法和上述实施方式中所述的图像分类模型的训练方法得到的图像分类模型相同，在此不再赘述。但需要说明的是，本实施方式中可以对每张医学影像子图进行判断，为了保证对医学影像分类的准确性，并不需要剔除医学影像
子图中表示非目标区域的像元占该医学影像子图的像元的比值较大的像元。
[0083]
在一些实施方式中，图像分类方法还可以包括：将与包括疾病类型的医学影像子图对应的局部医学影像在所述医学影像中的位置作为所述医学影像中病灶的区域。
[0084]
在一些情况下，通过对医学影像中表示病灶的区域进行甄别，可以减少医生阅片的时间。具体的，例如，一张病理医学影像的像素个数为18000*27000。将其在横向和纵向上分别进行切分，从而得到600张900*900的医学影像子图。在这样的情况下，如果需要医生对整张医学影像进行查看，则需要浪费医生大量的时间。通过标注可能存在病灶区域的医学影像子图，医生只需要对医学影像中标注的区域进行查看，从而可以节约医生大量的时间，同时也可以避免医生长时间阅片产生的视觉疲劳，从而对该医学影像进行误判。
[0085]
示例的装置、电子设备、存储介质和软件
[0086]
请参阅图5，本说明书的一个实施方式还提供一种图像分类模型的训练装置。所述图像分类模型的训练装置可以包括：训练样本获取模块、初级图像分类模型生成模块、轻度医学影像子图预测模块和图像分类模型生成模块。
[0087]
训练样本获取模块，用于获取分别标注有疾病类型的轻度医学影像和重度医学影像；所述轻度医学影像是疾病严重程度被标记为轻度的医学影像；所述重度医学影像是疾病严重程度被标记为严重的医学影像；其中，轻度医学影像包括表示部分区域的轻度医学影像子图；重度医学影像包括表示部分区域的重度医学影像子图。
[0088]
初级图像分类模型生成模块，用于基于重度医学影像子图，和所述重度医学影像子图所属的重度医学影像的疾病类型训练初始图像分类模型，得到初级图像分类模型。
[0089]
轻度医学影像子图预测模块，用于将轻度医学影像子图输入至所述初级图像分类模型，得到所述轻度医学影像子图对应的预测疾病类型。
[0090]
图像分类模型生成模块，用于在轻度医学影像子图的预测疾病类型与所述轻度医学影像子图所属的轻度医学影像的疾病类型相同的情况下，使用所述轻度医学影像子图训练所述初级图像分类模型，得到图像分类模型。
[0091]
请参阅图6，本说明书的一个实施方式还提供一种图像分类装置。所述图像分类装置可以包括：医学影像切分模块、医学影像子图生成模块和医学影像分类模块。
[0092]
医学影像切分模块，用于将获取的医学影像按照预设个数进行切分，得到多个局部医学影像。
[0093]
医学影像子图生成模块，用于将所述局部医学影像调整至指定分辨率，得到多个医学影像子图。
[0094]
医学影像分类模块，用于使用如权利要求1-8任一项所述的方法确定所述医学影像子图对应的疾病类型；其中，所述疾病类型作为所述医学影像的疾病类型。
[0095]
本实施方式提供的图像分类装置中涉及的模块，可以参照前文实施方式对照解释，不再赘述。
[0096]
关于图像分类模型的训练装置和/或图像分类装置实现的具体功能和效果，可以参照本说明书其他实施方式对照解释，在此不再赘述。所述图像分割模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。所述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0097]
请参阅图7，本说明书实施方式还提供一种计算机设备，可以包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述任一实施方式中的图像分类模型的训练方法和/或图像分类方法。
[0098]
本说明书实施方式还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上述任一实施方式中的图像分类模型的训练方法和/或图像分类方法。
[0099]
本说明书实施方式还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述任一实施方式中的图像分类模型的训练方法和/或图像分类方法。
[0100]
可以理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本说明书实施方式，而非限制本发明的范围。
[0101]
可以理解，在本说明书中的各种实施方式中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本说明书实施方式的实施过程构成任何限定。
[0102]
可以理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本说明书实施方式对此并不限定。
[0103]
除非另有说明，本说明书实施方式所使用的所有技术和科学术语与本说明书的技术领域的技术人员通常理解的含义相同。本说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在限制本说明书的范围。本说明书所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。在本说明书实施方式和所附权利要求书中所使用的单数形式的“一种”、“上述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0104]
可以理解，本说明书实施方式的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施方式的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signalprocessor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施方式中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施方式所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0105]
可以理解，本说明书实施方式中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(eeprom)或闪存。易失性存储器可以是随机存取存储器(ram)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0106]
本领域普通技术人员可以意识到，结合本文中所公开的实施方式描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本说明书的范围。
[0107]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施方式中的对应过程，在此不再赘述。
[0108]
在本说明书所提供的几个实施方式中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0109]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0110]
另外，在本说明书各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0111]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0112]
以上所述，仅为本说明书的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本说明书的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。