一种影像样本数据扩增方法及装置与流程

本技术涉及人工智能图像处理，特别是涉及一种影像样本数据方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、医学影像是指为了医学目的对人体或人体某部分以非侵入的方式取得内部组织影像的技术与处理过程。医学影像在应用中可以用于多种疾病的检查和治疗，能够为医职人员提供极大的便利。其中，电子计算机断层扫描（ct，computed tomography）以及核磁共振成像（mri，magnetic resonance imaging）是医学影像技术的重要组成部分。

2、在医学应用中，为了提高影像技术的分析效率，通常会引入人工智能技术来辅助实现基于ct影像的图像分割技术。为了训练一个基于平扫ct影像的肝脏分割人工智能算法模型，在训练前期需要准备大量的人工标注的训练数据。然而在平扫ct下，由于存在肝脏分辨率低、纹理不清晰等问题，人工标注肝脏掩码的难度较大，在时间和人力成本上远高于其他影像模态。相应的，在公开数据库中，大量被专业医师进行人工标注的数据集，通常也为基于增强ct或核磁共振成像的数据集，几乎难以找到可以直接使用的平扫ct肝脏分割影像数据集。

3、目前，为了解决基于平扫ct的肝脏器官分割任务中数据获取困难的问题，通常需要在已有数据的基础上对训练样本的总数量进行扩增处理。在人工智能图像分割领域中，传统的训练数据扩增技术仅将人工手动标注的图像进行平移、旋转、拉伸、裁剪、高斯模糊、对比度调整等一系列几何变换或数值变换。通过上述的数据扩增技术可以一定程度上解决模型训练样本缺少的问题

4、然而，目前的训练样本数据扩增方法，存在如下的技术问题：

5、基于几何变换或数值变换的样本数据扩增方法仍然以已有数据为基础，如初始数据量过少，难以对算法模型的训练起到有效的提升作用，导致最终得到的算法模型准确度低，难以在应用于实际的业务场景时得到较好的效果。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够以影像合成的方式使得已标注的影像数据与未标注的影像数据融合，替代人工标注的数据，从而实现训练样本数据扩增的目的，提高最终得到的算法模型的准确度的一种影像样本数据扩增方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种影像样本数据扩增方法。所述方法包括：

3、获取影像数据集，所述影像数据集包括经过标注处理的第一图像样本以及未经标注处理的第二图像样本；

4、构建生成对抗网络模型，所述生成对抗网络模型包括第一阶段网络，所述第一阶段网络包括成对设置的生成网络以及判别网络，所述生成网络用于实现所述第一图像样本与所述第二图像样本之间的相互生成转化，与所述生成网络对应的所述判别网络用于对所述生成网络输出的结果进行真伪判别；

5、使用所述影像数据集将所述生成对抗网络模型训练至收敛，提取出所述生成对抗网络模型中用于将所述第一图像样本合成为所述第二图像样本的目标生成网络；

6、利用所述目标生成网络将所述影像数据集中的第一图像样本合成为合成第二图像样本，将所述合成第二图像样本与所述第一图像样本的标注信息配对拼接，得到第三图像样本。

7、在其中一个实施例中，所述生成对抗网络模型包括第一生成网络、第二生成网络、第一判别网络以及第二判别网络，所述使用所述影像数据集将所述生成对抗网络模型训练至收敛包括：

8、通过所述第一生成网络，基于所述第一图像样本以及合成第一图像样本生成合成第二图像样本；

9、通过所述第一判别网络对所述合成第二图像样本进行真伪判别，得到第一判别结果；

10、通过所述第二生成网络，基于所述第二图像样本以及所述合成第二图像样本生成所述合成第一图像样本；

11、通过所述第二判别网络对所述合成第一图像样本进行真伪判别，得到第二判别结果；

12、所述第一生成网络根据所述第一判别结果进行迭代，所述第二生成网络根据所述第二判别结果进行迭代。

13、在其中一个实施例中，所述第一生成网络根据所述第一判别结果进行迭代，所述第二生成网络根据所述第二判别结果进行迭代包括：

14、获取判别损失，在迭代中基于所述判别损失更新所述第一生成网络以及第二生成网络的参数，所述判别损失包括第一网络判别损失、第二网络判别损失、循环一致损失以及全局损失。

15、在其中一个实施例中，所述使用所述影像数据集将所述生成对抗网络模型训练至收敛包括：

16、对所述影像数据集中的图像样本进行预处理，所述预处理包括降采样处理，得到降采样影像数据集，基于所述降采样影像数据集将所述生成对抗网络模型训练至收敛。

17、在其中一个实施例中，所述生成对抗网络包括第二阶段网络，所述第二阶段网络包括第三生成网络以及第三判别网络，所述方法包括：

18、通过所述第三生成网络，基于所述降采样影像数据集中经降采样处理后的降采样第二图像样本，生成符合所述第二图像样本格式的复原第二图像样本；

19、通过所述第三判别网络，对所述复原第二图像样本进行真伪判别；

20、基于所述第三判别网络的输出结果对所述第三生成网络进行迭代直至收敛。

21、在其中一个实施例中，所述利用所述目标生成网络将所述影像数据集中的第一图像样本合成为合成第二图像样本包括：

22、将所述目标生成网络与收敛后的所述第三生成网络拼接，得到影像合成模型；

23、利用所述目标生成网络将所述降采样影像数据集中的降采样第一图像样本合成为降采样合成图像样本；

24、利用所述第三生成网络将所述降采样合成图像样本合成为符合所述第二图像样本格式的所述合成第二图像样本。

25、第二方面，本技术还提供了一种影像标注方法。所述方法包括：

26、获取待标注影像；

27、将所述待标注影像输入至影像分割模型，通过所述影像分割模型获取与所述待标注影像对应的标注信息，所述影像分割模型基于影像样本集训练得到，所述影像样本集包括第三图像样本，所述第三图像样本通过第一方面中任意一项所述的一种影像样本数据扩增方法得到。

28、第三方面，本技术还提供了一种影像样本数据扩增装置。所述装置包括：

29、数据获取模块，用于获取影像数据集，所述影像数据集包括经过标注处理的第一图像样本以及未经标注处理的第二图像样本；

30、网络构建模块，用于构建生成对抗网络模型，所述生成对抗网络模型包括第一阶段网络，所述第一阶段网络包括成对设置的生成网络以及判别网络，所述生成网络用于实现所述第一图像样本与所述第二图像样本之间的相互生成转化，与所述生成网络对应的所述判别网络用于对所述生成网络输出的结果进行真伪判别；

31、网络训练模块，用于使用所述影像数据集将所述生成对抗网络模型训练至收敛，提取出所述生成对抗网络模型中用于将所述第一图像样本合成为所述第二图像样本的目标生成网络；

32、样本扩增模块，用于利用所述目标生成网络将所述影像数据集中的第一图像样本合成为合成第二图像样本，将所述合成第二图像样本与所述第一图像样本的标注信息配对拼接，得到第三图像样本。

33、在其中一个实施例中，所述网络训练模块包括：

34、第一生成网络模块，用于通过所述第一生成网络，基于所述第一图像样本以及合成第一图像样本生成合成第二图像样本；

35、第一判别网络模块，用于通过所述第一判别网络对所述合成第二图像样本进行真伪判别，得到第一判别结果；

36、第二生成网络模块，用于通过所述第二生成网络，基于所述第二图像样本以及所述合成第二图像样本生成所述合成第一图像样本；

37、第二判别网络模块，用于通过所述第二判别网络对所述合成第一图像样本进行真伪判别，得到第二判别结果；

38、迭代训练模块，用于所述第一生成网络根据所述第一判别结果进行迭代，所述第二生成网络根据所述第二判别结果进行迭代。

39、在其中一个实施例中，所述迭代训练模块包括：

40、损失函数模块，用于获取判别损失，在迭代中基于所述判别损失更新所述第一生成网络以及第二生成网络的参数，所述判别损失包括第一网络判别损失、第二网络判别损失、循环一致损失以及全局损失。

41、在其中一个实施例中，所述网络训练模块包括：

42、图像预处理模块，用于对所述影像数据集中的图像样本进行预处理，所述预处理包括降采样处理，得到降采样影像数据集，基于所述降采样影像数据集将所述生成对抗网络模型训练至收敛。

43、在其中一个实施例中，所述装置还包括：

44、第三生成网络模块，用于通过所述第三生成网络，基于所述降采样影像数据集中经降采样处理后的降采样第二图像样本，生成符合所述第二图像样本格式的复原第二图像样本；

45、第三判别网络模块，用于通过所述第三判别网络，对所述复原第二图像样本进行真伪判别；

46、第三网络迭代模块，用于基于所述第三判别网络的输出结果对所述第三生成网络进行迭代直至收敛。

47、在其中一个实施例中，所述样本扩增模块包括：

48、网络拼接模块，用于将所述目标生成网络与收敛后的所述第三生成网络拼接，得到影像合成模型；

49、一阶段处理模块，用于利用所述目标生成网络将所述降采样影像数据集中的降采样第一图像样本合成为降采样合成图像样本；

50、二阶段处理模块，用于利用所述第三生成网络将所述降采样合成图像样本合成为符合所述第二图像样本格式的所述合成第二图像样本。

51、第四方面，本技术还提供了一种影像标注装置，所述装置包括：

52、获取模块，用于获取待标注影像；

53、应用模块，用于将所述待标注影像输入至影像分割模型，通过所述影像分割模型获取与所述待标注影像对应的标注信息，所述影像分割模型基于影像样本集训练得到，所述影像样本集包括第三图像样本，所述第三图像样本通过第一方面中任意一项所述的一种影像样本数据扩增方法得到。

54、第五方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项实施例所述的一种影像样本数据扩增方法或第二方面中所述的一种影像标注方法中的步骤。

55、第六方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任意一项实施例所述的一种影像样本数据扩增方法或第二方面中所述的一种影像标注方法中的步骤。

56、第七方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面中任意一项实施例所述的一种影像样本数据扩增方法或第二方面中所述的一种影像标注方法中的步骤。

57、上述影像样本数据扩增方法、装置、计算机设备、存储介质和计算机程序产品，通过独权中的技术特征进行推导，能够达到对应背景技术中的技术问题的如下有益效果：

58、获取经过标注的第一图像样本以及未经标注的第二图像样本，构建生成对抗网络模型，并以成对的生成网络和判别网络进行循环迭代，使得生成网络和判别网络的参数在循环迭代中进行调整，直到生成网络合成的图像样本得以通过判别网络的判别，此时提取出生成对抗网络模型中的用于将第一图像样本合成为第二图像样本的目标生成网络，从而可以利用目标生成网络使得第一图像样本生成第二图像样本，通过将生成的第二图像样本与标注信息匹配拼接，最终实现扩增样本的目的。最终扩增得到的图像样本基于已标注的第一图像样本得到，从而得以借助被广泛标注且数据量较大的第一图像样本转化得到不局限于几何变换以及数据变换的新样本，有助于提高样本的丰富性，最终提高影像模型的准确度。