一种基于自适应修正对抗网络的三维剂量分布预测方法与流程

本发明涉及图像处理领域，尤其涉及一种基于自适应修正对抗网络的三维剂量分布预测方法。

背景技术：

放射治疗(简称“放疗”)是恶性肿瘤患者在治疗过程中的主流方法之一。无论是根治性放疗还是姑息性放疗，其根本目的是在给予肿瘤区域治愈剂量的同时，将周围危及器官(organatrisk,oar)的受照剂量尽量减少。所以提高肿瘤和oar的剂量比就成为了提高患者治疗增益比(即肿瘤控制率与正常组织并发症率之比)的关键步骤。但放疗计划的质量存在以下两个问题：(1)放疗计划质量主要依赖于放疗物理师的知识水平、主观经验积累等，不同放疗物理师对同一患者所设计计划的剂量分布往往差异明显，导致放疗计划的质量难以得到保证。(2)临床放疗计划由于受统一规范标准的制约，导致了计划设计在满足临床规范的情况下，却忽略了患者之间的个体差异性。

相关研究发现，医学影像中体素的特定剂量与其几何解剖结构关联度密切，如何准确的从先前病例中提取两者之间的映射特征，并鲁棒性的为新患者制定出特定的剂量信息成为研究重点。目前对计划剂量分布的预测研究分为两个阶段，前一阶段是依据剂量学指征项(des)，剂量体积直方图(dose-volumehistogram,dvh)等二维剂量学信息进行建模；后一阶段是直接对三维剂量分布进行预测。

2009年wu等人提出了一种新的描述算子：重叠体积直方图(overlapvolumehistogram,ovh)，它与oar的dvh之间构成一种隐式关联，利用这种隐式关联便能得到相应dvh的指征项。此类方法的缺点是其剂量结果精度低，仍需要放疗物理师的进一步验证。zhu等人采取支持向量机的方法，提取从oar到dvh的关联特征。该方法把计划靶区和oar的体积以及特定体素之间的距离嵌入特征中，以此来约束dvh。其中特征向量从最初50个点通过主成分分析(principalcomponentanalysis,pca)的方式降维到三维，减少计算量的同时选取更贴近关键的特征。2012年johann等人提出了一种二元核密度估计算法，该方法主要是对oar中选取体素的剂量和该体素到计划靶区(planningtargetvolume,ptv)的欧式距离进行映射建模。因为若以全部dvh为实验样本，势必存在大量临床无意义的数据，导致模型复杂并且性能低效。受此启发，2015年song等人剔除了大量无意义信息，研究出拥有更契合临床的dvh指征项预测方法。其中一个重要概念是靶区距离分布图(distance-to-targethistogram,dth)，大体思路是对dth进行微分得到ddth(ddth和前述的重叠体积直方图的物理意义都体现了患者的结构特性)，然后学习得到一个线性模型，利用该模型预测病人的dvh指征项。

上述技术方案预测低效的一个最主要原因是dvh和剂量学指征项所包含的剂量学信息是二维或者一维的，不能充分反映出患者的三维剂量信息分布，因此阻碍了临床实际应用。

近年来，随着神经网络的快速发展，三维剂量预测分布成为一个热门研究。shiraishi等人在2017年使用神经网络的方法建立三维剂量分布预测模型。该方法通过手动调参来训练神经网络，达到拟合体素点的距离、角度和体积等特征信息与体素点剂量之间的映射。该方法的一个缺点是不同的oar使用不同模型来预测，因此单个建模扩展性不强并且消耗时间和精力，若是遇到oar更多的肿瘤，该方法就会失效。于是他们继续提出基于多任务学习的单模多器官预测模型，所谓多任务学习是虽然任务不同，但任务之间存在相互辅助的潜在因子，通过共享网络模型参数的方法达到更泛化更精准的结果。但该模型存在的不足是需要放疗物理师手动提取可能影响剂量的特征。这些特征往往直接决定预测性能的好坏，主观性的劣势使模型的剂量分布往往不佳。随着深度神经网络的发展，研究者发现神经网络具有自动提取特征和端到端预测等优势，可以避免放疗物理师手动提取特征的主观性，剂量预测性能往往优越于传统方式网络，2018年dannguyen团队和vasantkearney团队提出了基于u形网络的深度卷积网络，该网络模型在u形网络的基础上加入了跳连接来融合低维纹理特征的和高维的抽象特征；且加入了残差块，它有效避免了梯度消失和梯度爆炸的出现，使增加网络深度的同时，又能提高收敛速度和预测性能。

基于深度神经网络的三维剂量分布预测模型自动提取更全面的潜在特征，并且端到端的学习模式使直接输入患者的结构分割图就能学习到其对应的剂量。相比利用dvh和剂量学指征项的方法，无论是在剂量分布的精度上还是困难和代价上都有了明显的改善。

但上述方法都有一个影响性能好坏的十分重要的前提，就是输入图像和预测结果的特征空间分布要尽可能有关联且差异性要小，病例之间的特征分布要尽可能一致。但在剂量分布预测任务中，输入图像为患者的几何解剖结构图，预测的图像为剂量分布图，两者特征空间分布差异性较大，单纯依靠u形网络及其改造和传统的生成对抗网络往往不能够精确地学习剂量学特征与其几何解剖结构之间的关联性。

技术实现要素：

针对现有技术之不足，一种基于自适应修正对抗网络的三维剂量分布预测方法，所述预测方法包括：

步骤1：获取患者的ct图像、结构分割图和真实剂量图构成训练集，将训练集按照设定比例分为训练数据集和测试数据集；

步骤2：构建剂量分布预测模型，所述预测模型包括预测对抗网络和自适应修正对抗网络，其中所述预测对抗网络包括预测网络prenet和对抗网络advnet-p，所述自适应修正对抗网络包括自适应修正网络ar-net和对抗网络advnet-d，其中，

所述预测网络以患者ct图像及其对应的肿瘤靶区、oar的分割掩码作为输入，以预测的剂量分布图最大限度逼近放疗物理师所设计的真实剂量分布图为目标；

所述对抗网络advnet-p以预测网络所预测的剂量分布图与真实剂量分布图为输入，检验预测的剂量分布图是否为假；

所述自适应修正网络ar-net用于学习预测的剂量分布图与所述真实剂量分布图之间的差异性特征，从而估计出预测剂量分布图与所述真实剂量分布图之间的残差图；

所述对抗网络advnet-d所述自适应修正网络估计的残差图与真实的残差图为输入，检验估计的残差图是否为假；

步骤3：训练剂量分布预测模型，具体包括：

步骤31：将训练数据集中的ct图像、结构分割图和真实剂量分布图分成多个图像块，并采用数据增强的方式对训练数据集中的样本进行扩展得到增强数据集，将所述增强数据集输入到构建好的所述剂量分布预测模型中进行训练；

步骤32：训练预测对抗网络，将ct图像和结构分割图叠加到一起入预测网络prenet，预测出预测剂量分布图，将预测剂量图和真实剂量图送入对抗网络advnet-p，对二者进行鉴别，利用预测对抗网络prenet的三个损失函数求预测剂量图和真实剂量图之间的损失，利用反向传播算法和优化算法更新预测对抗网络使预测剂量图和真实剂量图的损失下降，不断迭代将图像送入网络并更新网络参数使最终的预测剂量图和真实剂量图变得无差别，使对抗网络advnet-p不能区分预测剂量图和真实剂量图，输出最终的预测剂量分布图；

步骤33：训练自适应修正对抗网络，将预测对抗网络生成的预测剂量图、ct解剖图像和结构分割图叠加到一起，送入自适应修正网络ar-net，预测出预测残差图，将预测剂量图与真实剂量图相减得到的真实残差图和预测残差图送入对抗网络advnet-d，对二者进行鉴别，利用自适应修正网络ar-net的三个损失函数求预测残差图和真实残差图之间的损失，利用反向传播算法和优化算法更新自适应修正对抗网络的网络参数使预测残差图和真实残差图的损失下降，不断迭代将图像送入网络并更新网络使最终的预测残差图和真实残差图变得无差别，使对抗网络advnet-d不能区分预测残差图和真实残差图，输出最终的预测残差图；

步骤34：当网络的损失函数曲线图收敛到一个稳定数值时，训练结束，将预测对抗网络得到的预测剂量分布图和自适应修正对抗网络得到的预测残差图合并为最终的剂量分布图；

步骤4：测试剂量分布预测模型，用测试集对训练好的剂量分布预测模型进行测试。；

步骤5：对所述剂量分布预测模型进行评价，在预测模型训练完毕后，至少采用dvh曲线、ptv覆盖率和ptv最大剂量评价指标对测试结果进行评测。

根据一种优选的实施方式，在所述预测网络prenet和所述自适应修正网络ar-net中引入注意力机制，具体为均嵌入了通道注意力模块和位置注意力模块。

根据一种优选的实施方式，所述预测网络和所述修正网络均采用u型结构网络，在编码器和解码器之间采用跳跃了解，补充上采样过程中丢失的低维细节信息。

本发明的有益效果在于：

1、本发明增加构建自适应修正网络，估计出预测图像与真实图像之间的残差图，并利用了生成对抗网络互相博弈的思想，能够准确地预测出肿瘤患者的个体化三维剂量分布信息。

2、本发明的技术方案能够克服当前依据剂量学指征项和二维剂量学信息的建模缺陷，包括患者个体化特征提取不充分，不能充分反映出患者的三维位置信息，无法解决患者几何解剖结构图和预测剂量分布图的特征空间分布差异性等

3、本发明的技术方案还能够提高三维剂量预测精度，为放疗计划初始目标和限制参数的设定提供精准的剂量分布依据，从而减少计划质量对物理师知识和经验的依赖，缩短计划优化中物理师的反复试错过程和时间，提高放疗计划质量。

附图说明

图1是本发明三维剂量分布预测模型的结构示意图；

图2是预测网络prenet或自适应修正网络ar-net的架构图；

图3是一例病人的预测剂量分布图；和

图4为一例测试病人的dvh曲线图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

下面结合附图进行详细说明。

本发明的分割掩码是指：靶区或危机器官的分割掩码是指分割出靶区或危机器官的结构的二值图像，即图像中靶区或危机器官的结构的区域的像素值为1，其他区域为0。

本发明的oar是指：周围危及器官，organatrisk；

针对现有技术存在的不足，本发明提出一种基于自适应修正对抗网络的三维剂量分布预测方法，自动精准地挖掘患者解剖结构和剂量沉积之间的内在关系，从而帮助放疗物理师在计划设计之前准确地预测出肿瘤患者的个体化三维剂量分布信息，为放疗计划的目标和限制参数设定提供参照依据，从而提高放疗计划质量。

本发明构建了一个基于自适应修正对抗网络(adaptiverectified-generativeadversarialnetworks,ar-gan)的预测模型。具体而言，gan在医学图像合成、医学图像分割、提高医学图像的分辨率和半监督学习中已经有了广泛的应用。gan由生成器和鉴别器两部分组成，它的思想是利用博弈论来使得生成器和判别器的功能越来越强大。与单纯只有生成器的深度卷积神经网络相比，gan的泛化性和抗噪性更优。

但在剂量分布预测任务中，源图像为患者的ct图像和分割的解剖结构图，目标图像为剂量分布图，两者特征空间分布差异性较大，单纯依靠传统的生成对抗网络和卷积神经网络往往不能够精确地学习两者之间的关联性。

为了更有效的学习剂量学特征与其几何解剖结构之间的映射并使网络具有更高的鲁棒性，本发明以生成对抗网络为基础架构，利用集成学习思想，提出一种基于自适应修正对抗网络的三维剂量分布预测模型。利用生成对抗网络中生成器和判别器互相博弈的思想，生成与目标剂量分布尽可能接近的剂量分布图。与此同时，训练自适应修正网络来拟合生成的和真实的剂量分布图之间的残差图。将生成器合成的剂量分布图和自适应修正网络得到的残差图叠加，得到修正后的更加理想的符合个体差异化的剂量分布。

图1是本发明三维剂量分布预测模型的结构图。如图1所示，本发明预测方法的步骤包括：

步骤1：获取患者的ct图像、结构分割图和真实剂量图构成训练集，将训练集按照设定比例分为训练数据集和测试数据集；

数据预处理，从患者dicom文件中获取oar和靶区的分割图；为了处理方便，把ct原图、oar和靶区的分割图和剂量图从dicom文件类型转换为mha类型。

步骤2：构建剂量分布预测模型。为了深度挖掘鼻咽肿瘤和oar的解剖结构与剂量分布之间的关联性，拟采用集成学习思想，提出基于自适应修正对抗网络的三维剂量分布预测模型。所述预测模型包括预测对抗网络和自适应修正对抗网络，其中所述预测对抗网络包括预测网络prenet和对抗网络advnet-p，所述自适应修正对抗网络包括自适应修正网络ar-net和对抗网络advnet-d，其中，

所述预测网络以患者ct图像和对应的肿瘤靶区和oar的分割掩码作为输入，得到逼近放疗物理师设计的真实剂量分布图的预测剂量分布图；以预测的剂量分布图最大限度逼近放疗物理师所设计的真实剂量分布图为目标；

技术背景中的已有方法便止步于此。但我们发现一个关键点，患者的几何解剖结构图和预测的剂量分布图的特征空间分布差异性较大，预测的图像始终与真实剂量图之间存在一定的差异，仅仅通过预测网络及其变体无法解决这个问题。

既然已经知道几何解剖结构图和剂量分布图之间的特征分布有无法弥补的差异，所以我们就设法捕捉到这种差异并修正它。受集成学习思想的启发，我们拟设计自适应修正网络用来学习预测剂量分布图与真实剂量分布图之间的差异性特征，从而估计出预测图像与真实图像之间的残差图。利用真实的剂量分布图减去预测的剂量分布图得到残差图来表示这种差异，所以在预测网络的基础上加入了自适应修正网络ar-net来自适应的弥补两者的差异化。

所述自适应修正网络用于学习预测剂量分布图与所述真实剂量分布图之间的差异性特征，从而估计出预测剂量分布图与所述真实剂量分布图之间的残差图。预测网络和修正网络均采用u型结构网络，在编码器和解码器之间采用跳跃连接，补充上采样过程中丢失的低维细节信息。为了生成更加准确的预测图和残差图，我们引用注意力机制，在网络中嵌入通道注意力模块和位置注意力模块。

预测网络prenet和自适应修正网络ar-net的架构是一致的，图2是预测网络prenet或自适应修正网络ar-net的架构图。如图2所示，图2上半部分为位置注意力模块，下半部为通道注意力模块，输入图像先经过残差网络resnet，得到所提取的原始特征图。然后将特征图输入到两个并行注意力模块中，以图2上半部分的位置注意力模块为例，通过以下三个步骤生成新的特征图。

第一步，生成一个位置注意力矩阵来描述原始特征图中任意两个像素之间的空间关系。

第二步，将位置注意力矩阵和原始特征图之间进行矩阵乘法。

第三步，对上述相乘的结果矩阵和原始特征图执行元素级的和运算，以获得最终的特征图。

如图2上半部分方框所示，a∈r^c*h*w表示原始特征图，通过卷积得到两个新特征图b和特征图c，b,c∈r^c*h*w，然后进行矩阵变维为r^c*n，n＝h*w表示像素的数量，接下来转置后的特征图c和特征图b进行矩阵相乘并对矩阵中的所有像素应用softmax函数得到位置注意力矩阵s∈r^n*n:

其中sji表示第i个的位置的像素对第j个位置的像素的作用。

与此同时，原始特征图a经过卷积操作得到特征图d∈r^c*h*w，特征图d和位置注意力矩阵s的转置矩阵相乘，并矩阵变维到r^c*h*w，将d和s相乘后得到的结果和原始特征图a进行像素级别的相加得到e∈r^c*h*w：

由式(2)知，e的每个位置都具有全局视野，并根据位置注意图选择性地聚合上下文。其中c表示特征图的通道数，h表示特征图的高，w表示特征图的宽，n表示特征图的像素的数量。

通道注意力模块和位置注意力模块相似，区别在于第一步是根据通道维数计算通道注意矩阵。

值得注意的是在计算两个通道的关系之前，我们没有使用卷积操作，因为它可以保持不同通道之间的关系，而是直接由a得到x∈r^c*c，进而得到e∈r^c*h*w：

最后，通过求和方式将两个注意模块的输出进行融合，再通过上采样得到最终的特征表示。

由于近来生成对抗网络在医学图像领域的广泛应用，本发明加入两个对抗网络(advnet-p、advnet-d)，对抗网络advnet-p意在把预测网络所预测的剂量分布图判别为假，把真实剂量分布图判别为真；对抗网络advnet-d意在把修正网络估计的残差图判别为假，把真实的残差图判别为真。两个对抗网络均是传统的卷积神经网络，对抗网络advnet-p以预测网络所预测的剂量分布图与真实剂量分布图为输入，检验前者是否为“赝品”，而对抗网络advnet-d则以修正网络估计的残差图与真实的残差图为输入，检验前者是否为“赝品”。将由生成器得到的剂量分布预测图与由修正网络得到的残差图相叠加，获得最终的剂量分布预测结果。

所述对抗网络advnet-p以预测网络所预测的剂量分布图与真实剂量分布图为输入，检验预测的剂量分布图是否为假；

所述对抗网络以advnet-d所述自适应修正网络估计的残差图与真实的残差图为输入，检验估计的残差图是否为假；

由生成器得到的预测剂量分布图与由所述自适应修正网络得到的残差图相叠加，获得最终的剂量分布预测结果。

步骤3：训练剂量分布预测模型，包括：

步骤31：将训练数据集中的ct图像、结构分割图和真实剂量图分成多个图像块，并采用数据增强的方式对训练数据集中的样本进行扩展得到增强数据集，将所述增强数据集输入到构建好的所述预测模型中进行训练；

训练过程是循环迭代的，每次迭代中先训练预测对抗网络，即prenet网络和advnet-p网络，然后训练自适应修正对抗网络，即ar-net网络和advnet-d网络，最后将前者得到的预测剂量分布图和后者得到的预测残差图合并为最终的预测剂量分布图。

步骤32：训练预测对抗网络，将ct解剖图像和结构分割图叠加到一起入预测网络prenet，预测出预测剂量分布图，将预测剂量图和真实剂量图送入对抗网络advnet-p，对二者进行鉴别，利用预测对抗网络的三个损失函数求预测剂量图和真实剂量图之间的损失，利用反向传播算法和优化算法更新预测对抗网络使预测剂量图和真实剂量图的损失下降，不断迭代将图像送入网络并更新网络使最终的预测剂量图和真实剂量图变得无差别，使对抗网络advnet-p不能区分预测剂量图和真实剂量图，输出最终的预测剂量分布图；

步骤33：训练自适应修正对抗网络，将预测对抗网络生成的预测剂量分布图、ct解剖图像和结构分割图叠加到一起，送入自适应修正网络ar-net，预测出预测残差图，将预测剂量分布图与真实剂量分布图相减得到的真实残差图和预测残差图送入对抗网络advnet-d，对二者进行鉴别，利用自适应修正网络ar-net的三个损失函数求预测残差图和真实残差图之间的损失，利用反向传播算法和优化算法更新自适应修正对抗网络使预测残差图和真实残差图的损失下降，不断迭代将图像送入网络并更新网络使最终的预测残差图和真实残差图变得无差别，使对抗网络advnet-d不能区分预测残差图和真实残差图，输出最终的预测残差图；

步骤34：当网络的损失函数曲线图收敛到一个稳定数值时，训练结束，将预测对抗网络得到的预测剂量分布图和自适应修正对抗网络得到的预测残差图合并为最终的预测剂量分布图。

步骤4：用测试集对训练好的剂量分布预测模型进行测试。测试的结果是：测试得到的剂量分布图和真实的剂量分布在定量和定性指标上都能达到很好的效果。

步骤5：对所述剂量分布预测模型进行评价，在所述预测模型训练完毕后，至少采用dvh曲线、ptv覆盖率和ptv最大剂量的评价指标对测试结果进行评价。

本发明除了考虑判别器的对抗损失，还引入l1范数的体素级损失函数和基于vgg网络的感知损失函数，使得合成的剂量分布图和残差图更加逼近其相应的真实图像。具体而言，网络的目标损失函数包括：

i.对抗网络损失

ii.基于体素级的l1范数损失

iii.基于vgg网络的感知损失

其中y为真实的剂量分布图，i为输入的ct图像，s为分割的肿瘤靶区和oar的分割掩码，d(·)表示判别器的系列操作，g(·)表示生成器网络的系列操作，ar(·)表示自适应修正网络的系列操作，vgg(·)表示vgg网络的系列操作。通过预测网络和修正网络的集成学习，可以有效克服剂量预测任务中的源图像与目标图像高度非线性相关问题，从而提高预测性能。

在测试集中随机选取的一例测试病人进行预测，图3为一例病人的预测剂量分布图。从图中可以直观看出，本发明基于自适应修正网络得到的预测剂量分布图结构比较清晰，能有效将医学图像的三维剂量分布预测出来。

在测试集中随机选取的一例测试病人进行预测，图4为一例测试病人的dvh曲线图，可见真实剂量图和预测剂量图的靶区和四个危机器官的dvh曲线拟合较好。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。