多期相病灶分类方法、装置、设备及可读存储介质与流程

本技术涉及计算机，特别涉及一种多期相病灶分类方法、装置、设备及计算机可读存储介质。

背景技术：

1、在全球范围内，各类疾病对人类健康极具威胁性。通常情况下，癌症患者需要化疗才能缓解病情，也就是说，患者可能会因为误诊或诊断不及时而遭受难以想象的痛苦，因此，早期诊断可以帮助医生及时的制定治疗方案，从而显著提升癌症患者的存活率。然而，临床诊断通常都是由放射科医师人工完成，所以，即便是经验丰富的放射科医师也可能会因长期阅片而造成误诊，因此，设计高效且准确的病灶自动化分类系统可以帮助医生快速的完成客观且精确的病灶诊断，从而对后续的治疗阶段产生显著的积极影响。

2、在医学图像中，不同部位、不同类型的病灶都具有较复杂的特征和多样性，所以精确分类是一个极具挑战性的任务。具体来说，在医学图像中，不同病灶可能具有不同的形状、纹理、亮度和尺寸等，同时，医学影像对不同部位的成像方式可能也存在不同，因此，准确地诊断不同部位的病灶并非易事。

3、随着机器学习技术的不断发展，开发全自动的病灶分类系统变得不再困难。目前，可以利用卷积神经网络(convolutional neural network，cnn)等深度学习技术实现自动提取输入病灶图像中的特征并进行分类。例如，将3d形式的电子计算机断层扫描(computedtomography，ct)图像切片为多个2d图像,并以此作为输入数据，进而通过densenet来实现病灶分类；同样的，将3d形式的磁共振成像(magnetic resonance imaging，mri)图像切片化为2d图像，并通过改进的resnet进行病灶分类；利用vggnet提取各个期相的特征，再将多期相特征序列化并使用循环神经网络(recurrent neural network，rnn)进一步挖掘多期相信息，从而实现基于多期相cect图像的病灶分类。

4、然而，上述方法存在以下不足：

5、1)、对于大部分病灶而言(包括但不限于肝脏病灶、脑部病灶和肾部病灶)，利用多期相图像进行诊断可以产生更加精确的诊断结果。然而，现有病灶诊断方法(比如上述举例中的前两个方法)多是基于单期相图像，从而导致难以为最终诊断提供更具判别性的特征。

6、2)、现有多期相图像分类方法(比如上述举例中的第三个方法)对多期相图像的利用方式较为单一，并不能挖掘多期相在不同阶段融合的优势。

7、3)、上述方法只能在特定条件使用(只能适用于某种数据类型、病灶类型和病灶出现的部位)，并不是一种通用的多期相病灶分类方法。

技术实现思路

1、本技术提供了一种多期相病灶分类方法、装置、设备及计算机可读存储介质，采用的是一种通用的基于多期相图像的病灶分类方式，可以灵活地处理不同模态的多期相输入数据、应用于不同部位的病灶诊断中、诊断不同类型的病灶。

2、第一方面，本技术提供了一种多期相病灶分类方法，包括：

3、从多期相扫描图像中提取病灶区域，得到多期相病灶图像；

4、对于所述多期相病灶图像中的各个期相的病灶图像，分别使用至少一个独立特征提取模块对每个病灶图像进行特征提取，或使用一个共享特征提取模块对全部病灶图像进行特征提取，或使用至少两个共享特征提取模块分别对部分病灶图像进行特征提取，基于提取到的多期相特征对所述多期相扫描图像进行病灶分类；

5、或者，将所述多期相病灶图像中的各个期相的病灶图像进行图像融合，得到融合图像，基于所述融合图像对所述多期相扫描图像进行病灶分类；

6、或者，若存在至少两种病灶分类方式，则将采用每一种病灶分类方式得到的所述多期相病灶图像的特征，进行特征融合，基于融合特征对所述多期相扫描图像进行病灶分类。

7、可选的，所述得到多期相病灶图像之后，还包括：

8、根据所述多期相病灶图像的类型，对所述多期相病灶图像进行预处理，所述预处理包括图像去噪、图像增强、数据增强中的至少一种处理操作。

9、可选的，所述基于提取到的多期相特征对所述多期相扫描图像进行病灶分类，包括：

10、对提取到的多期相特征进行特征融合；

11、基于融合特征对所述多期相扫描图像进行病灶分类。

12、可选的，所述基于提取到的多期相特征对所述多期相扫描图像进行病灶分类，包括：

13、对提取到的多期相特征进行特征融合；

14、对融合特征进行特征提炼和增强；

15、基于提炼和增强的特征对所述多期相扫描图像进行病灶分类。

16、可选的，基于所述融合图像对所述多期相扫描图像进行病灶分类，包括：

17、对所述融合图像进行特征提取；

18、基于提取到的图像特征对所述多期相扫描图像进行病灶分类。

19、可选的，所述方法还包括：

20、对采用每一种病灶分类方式得到的病灶分类结果进行分类预测；

21、根据分类预测结果，确定所述多期相扫描图像的最终分类结果。

22、第二方面，本技术提供了一种多期相病灶分类装置，包括：

23、病灶区域提取单元，用于从多期相扫描图像中提取病灶区域，得到多期相病灶图像；

24、多期相病灶分类单元，用于对于所述多期相病灶图像中的各个期相的病灶图像，分别使用至少一个独立特征提取模块对每个病灶图像进行特征提取，或使用一个共享特征提取模块对全部病灶图像进行特征提取，或使用至少两个共享特征提取模块分别对部分病灶图像进行特征提取，基于提取到的多期相特征对所述多期相扫描图像进行病灶分类；或者，将所述多期相病灶图像中的各个期相的病灶图像进行图像融合，得到融合图像，基于所述融合图像对所述多期相扫描图像进行病灶分类；或者，若存在至少两种病灶分类方式，则将采用每一种病灶分类方式得到的所述多期相病灶图像的特征，进行特征融合，基于融合特征对所述多期相扫描图像进行病灶分类。

25、可选的，所述装置还包括：

26、图像预处理单元，用于在所述病灶区域提取单元在得到多期相病灶图像之后，根据所述多期相病灶图像的类型，对所述多期相病灶图像进行预处理，所述预处理包括图像去噪、图像增强、数据增强中的至少一种处理操作。

27、可选的，所述多期相病灶分类单元在基于提取到的多期相特征对所述多期相扫描图像进行病灶分类时，具体用于：对提取到的多期相特征进行特征融合；基于融合特征对所述多期相扫描图像进行病灶分类。

28、可选的，所述多期相病灶分类单元在基于提取到的多期相特征对所述多期相扫描图像进行病灶分类时，具体用于：对提取到的多期相特征进行特征融合；对融合特征进行特征提炼和增强；基于提炼和增强的特征对所述多期相扫描图像进行病灶分类。

29、可选的，所述多期相病灶分类单元在基于所述融合图像对所述多期相扫描图像进行病灶分类时，具体用于：对所述融合图像进行特征提取；基于提取到的图像特征对所述多期相扫描图像进行病灶分类。

30、可选的，所述装置还包括：

31、分类结果后处理单元，用于对采用每一种病灶分类方式得到的病灶分类结果进行分类预测；根据分类预测结果，确定所述多期相扫描图像的最终分类结果。

32、第三方面，本技术提供了一种电子设备，包括：处理器、存储器；

33、所述存储器，用于存储计算机程序；

34、所述处理器，用于通过调用所述计算机程序，执行上述多期相病灶分类方法。

35、第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述多期相病灶分类方法。

36、由以上本技术提供的技术方案可见，从多期相扫描图像中提取病灶区域，得到多期相病灶图像；对于多期相病灶图像中的各个期相的病灶图像，使用独立特征提取模块或者共享特征提取模块对各个病灶图像进行特征提取，基于提取到的多期相特征对多期相扫描图像进行病灶分类；或者，将多期相病灶图像中的各个期相的病灶图像进行图像融合，得到融合图像，基于融合图像对多期相扫描图像进行病灶分类；或者，若存在至少两种病灶分类方式，则将采用每一种病灶分类方式得到的多期相病灶图像的特征，进行特征融合，基于融合特征对多期相扫描图像进行病灶分类。本技术采用的是一种通用的基于多期相图像的病灶分类框架，可以灵活地处理不同模态的多期相输入数据、灵活地应用于不同部位的病灶诊断中、灵活地诊断不同类型的病灶。