基于多分辨率层次化结构的梯度调节医学图像配准方法及系统

本发明属于医学图像配准，具体涉及一种基于多分辨率层次化结构的梯度调节医学图像配准方法及系统，本发明以多分辨率层次化结构进行配准，引入梯度调节方法便捷化损失权衡。

背景技术：

1、医学图像配准是医学影像处理领域中的一个重要技术，用于将来自不同时间点、不同模态或不同影像设备获取的医学图像进行空间或特征上的对齐。这项技术在临床诊断、手术规划、治疗监控等方面都有着广泛的应用。传统的配准方法通常需要计算量大的迭代优化，使其在实践中效率低下，而基于深度学习的图像配准方法显示出更具有竞争力的性能和运行时间优势。面对复杂多变的环境，基于多分辨率结构的图像配准方案也正式被提出，其从粗到细、从全局到局部的范围内对图像进行逐步调整，以获得更准确的匹配结果。

2、进一步的，在多分辨率结构的图像配准中，评估和优化的一大重点在于最小化复合目标函数，其中包括一个相似性损失以惩罚图像对的外观差异，以及一个正则化损失项以确保变形场的平滑性。通常，为了平衡变形场的配准精度和平滑度，在目标函数中引入超参数。然而，最佳超参数值在不同图像模态或结构中可能存在很大差异，即使很小的变化也会对准确性产生很大影响。经过人工评估或其他验证数据确定都需要大量的计算和人力，还可能会导致参数选择不理想、误导性的负面结果并阻碍进展，特别是当研究人员可能求助于使用文献中的值而这些值不足以满足其特定数据集或注册任务。因此，如何减少超参数搜索甚至规避超参数选择是开发、评估和部署配准方法的关键步骤。结合多分辨率不同层次配准重点提出两大挑战需要解决：一方面是利用传统超参数平衡损失时，各级最佳超参数的实验确定过于费时且冗余；另一方面在于各级配准损失平衡的针对性问题，如何结合各级特点设计出更合适的调节方案。基于此，本发明提出了一种基于多分辨率层次化结构的梯度调节医学图像配准方法及系统。

技术实现思路

1、本发明在多分辨率图像配准中引入分层次梯度调节方案，替代手动设置超参数调整损失平衡，解决因为搜索最佳超参数的费时问题，具体提出了一种基于多分辨率层次化结构的梯度调节医学图像配准方法及系统，实现更适合从粗到细图像配准的损失平衡。

2、本发明采取如下技术方案：

3、一种基于多分辨率层次化结构的梯度调节医学图像配准方法，包括如下步骤：

4、s1.获取医学图像数据集，划分训练集和测试集；

5、s2.构建多分辨率层次化网络架构，分辨率分为三层，从低到高进行配准；

6、s3.制定多层次梯度调节策略；

7、s4.确定优化使用的相似性损失函数和正则化损失函数；

8、s5.设计多分辨率层次化网络的梯度调节实施方案；

9、s6.将数据集中的训练集输入设计好的多分辨率层次网络架构中，通过各层梯度调节完成训练，并保存模型。

10、进一步的，所述步骤s1中，获取通过核磁共振成像的医学图像数据集，进行切片裁剪等操作，形成二维图像数据集，再将其按照1:4比例划分成测试集dtest和训练集dtrain；

11、进一步的，所述步骤s2中，配准架构以多层次的方式来估计形变场，每一层的配准网络由两部分组成：变形网络和空间变换网络。变形网络需要进行特征提取并生成形变场，而空间变换网络则根据形变场将移动图像转换成形变图像。多层次结构配准体现为从低层到高层的网络随着图像分辨率的增加自适应加深以调整对全局到局部位移的关注。这使得网络的浅层可以从低分辨率图像中学习全局变形，深层可以从高分辨率图像中学习精细变形。

12、进一步的，所述步骤s3中，图像配准问题可以通过公式来表示：固定图像f和运动图像m配对输入到fθ(通常采用神经网络)中，生成变形场而最优参数θ通常使用标准小批量梯度下降来更新，如下所示：

13、

14、其中，α是学习率；λ是平衡两种损失的超参数；lsim和lreg分别为相似性损失和正则化损失。

15、当前多分辨率结构图像配准每一层都采用相同的超参数进行调整，忽略了不同层次之间的差异性，为了适应分辨率不同级别特点，本发明提出在不同级别利用不同正则化效果调节。同时为了解决各层超参数调优的耗时问题，采用梯度调节方法来解决两约束梯度下降时影响平衡的冲突关系，将式子改写成非超参数的形式：

16、

17、其中i＝1,2,3，代表从低到高分辨率每一层配准；φi代表每一层特定主题梯度优化方案，表示如下：

18、对于低分辨率图像配准(i＝1)，更加注重全局变形，保证初始形变场信息有效传递给下一级较高分辨率图像完成中级配准。以较强正则化梯度作为影响相似性训练细节较少图片网络的方案可以更好满足粗训练要求。

19、本发明中，随着分辨率的上升(i＝2,3)，正则化的作用应该适当收敛，越来越多的细节信息需要被关注，要求高分辨率图像的生成更为精确(大于设定的阀值)。相比于正则化过度容易导致细节模糊问题，以逐渐降低的正则化损失梯度更能保证生成图像的精确性，完成层层训练。

20、对于中等分辨率图像配准(i＝2)，适度的正则化和相似性损失可能都是关键因素，为了获得更好的配准效果，通过调整正则化的强度和相似性损失的权重来实现平衡。在这一阶段，采用基于梯度对齐可能是一个稳定的选择，有助于提高整个流程的稳健性。；

21、对于高分辨率图像配准(i＝3)，需要全局细节信息，要求高分辨率图像的生成要求更为精确。相比于正则化过度容易导致细节模糊问题，以较弱正则化损失梯度更能保证生成图像的精确性，完成最后一层训练。

22、进一步的，所述步骤s4中，指导多分辨率结构图像配准训练优化的损失函数一般由两部分组成：相似性损失和正则化损失函数，分别保证图像配准的准确度和平滑性，其中相似性损失lsim可以选择均方误差(mse损失函数)：

23、

24、或者归一化互相关(ncc)损失函数：

25、

26、其中，p代表固定图像和移动图像中的像素点，ω代表整体图像区域，表示将m经过变形场处理的形变图像，那么和表示以体素p为中心的局部窗口内的平均体素值。

27、而正则化损失lreg选用l2正则化损失函数，促使某个位置的位移值与其邻近位置的位移值相似，表示为：

28、

29、其中，是位移场u中的像素点p在水平x和垂直y方向上的梯度，二维梯度通过前向查分来近似获得：

30、

31、两种损失函数分别指导小批量梯度下降，生成相似性损失梯度gsim和正则化损失梯度greg，之后两种梯度分别根据特定分辨率主题要求进行梯度操作后执行参数更新。

32、进一步的，所述步骤s5中，为了利用梯度调节来解决损失平衡问题，并引入不同正则化效果，首先通过反向传播算法计算模型参数相对于损失函数的梯度，其中梯度表示了损失函数关于每个参数的变化率，具有变化方向和大小。

33、两种损失梯度之间的角度关系可以分为两种：相似性损失梯度gsim和正则化损失梯度greg之间的角度为锐角时，表示会朝着共同的方向进行优化，此时可以根据主导梯度gsim单独进行网络更新；反之为钝角时，就需要减轻或者消除梯度影响。由此设计出三层不同情况的梯度调节方案：

34、首先在低分辨率层次训练过程中，为了最大化正则化梯度的作用并消除梯度冲突的影响，通过将gsim分解得到垂直于greg法平面的投影向量gsim⊥，正交分量不发生冲突。通过直接合成gsim⊥和greg，得到主要依赖于greg的综合梯度gtotal，公式计算如下：

35、

36、较高一层训练时结合在较高分辨率级别下使用相似性损失梯度为主导信息、正则化梯度辅助方向优化的应用，提出将gsim投影到greg的法平面上得到投影梯度，直接将这个投影梯度作为输出的综合梯度gtotal，gtotal在数值上都由gsim进行控制，方向上则受到greg影响，与其呈正交关系，在任何方向上都不会与greg产生梯度冲突。计算公式如下表示：

37、

38、最高分辨率层梯度调节应是满足在最小正则化作用下的情况，首先对gsim构建坐标轴，将greg沿着坐标轴分解得到垂直投影分量greg⊥，组合greg⊥和gsim得到新的综合梯度，此梯度此综合梯度主要依赖于gsim的大小和方向，降低了正则化的约束，更能满足要求。综合梯度gtotal计算公式如下：

39、

40、从低到高分辨率训练过程中梯度处理得到的综合梯度的更新方向逐渐向相似性损失梯度靠拢，同时正则化的影响也逐渐减小，表示了所采用的分层梯度更新调节处理方法与策略选择是紧密关联的。

41、进一步的，所述步骤s6中，将数据集中的训练集输入设计好的多分辨率层次网络架构中，从低分辨率配准得到的形变场和模型传递给较高级别分辨率层次，依次训练，得到最终模型。其中损失函数由步骤s3提到的损失提供，每一层梯度更新都按照s5中的梯度调节方案完成。

42、本发明还公开了一种基于多分辨率层次化结构的梯度调节图像配准系统，基于上述方法，其包括如下模块：

43、数据集制作模块：收集医学图像，制成数据集，并划分成训练集和测试集；

44、多分辨率层次化网络架构模块：构建三层不同分辨率上中下层次化网络架构，上层网络配准得到的模型会与上采样分辨率图像结合训练，得到新模型；

45、梯度调节策略模块：制定从低到高分辨率层次配准的损失平衡优化方案，从梯度调节入手，制定高分辨率的弱正则化和低分辨率的强正则化梯度调节策略；

46、调节损失函数模块：确定优化使用的相似性损失函数和正则化损失函数；控制训练优化的损失函数由两部分组成，一是保证图像配准固定图像和配准图像准确度的相似性损失，而是保证平滑形变的正则化损失，两者相互协调；

47、梯度调节实施模块：设计多分辨率层次化网络的梯度调节实施方案；根据策略模块，设计具体实施的分层次梯度调节方案，利用梯度操作等方法处理损失函数梯度，将两者梯度正交相关量重构，得到新的优化梯度；

48、训练模型保存模块：将训练集输入到多分辨率层次网络架构中，进行层层训练，同时不同层次利用对应梯度调节方式调整损失梯度，进行梯度更新，保存模型。

49、与现有技术相比，本发明基于多分辨率层次化结构的梯度调节医学图像配准方法及系统，利用多分辨率层次化结构对医学图像从全局到局部完成多尺度配准，本发明提出的梯度调节策略利用分辨率层次越高，正则化效果应该越弱的思想有效解决了现阶段多分辨率配准中损失权衡单一的问题；同时梯度调节方法利用损失梯度构建坐标系后得到的正交分量，将其经过合成等处理进行梯度更新，剔除了费时费力的手工设置超参数方法，有效解决相似性损失和正则化损失之间的冲突关系。