基于改进U-Net网络的医学图像配准方法、装置和计算机设备

本发明涉及图像处理，尤其涉及一种基于改进u-net网络的医学图像配准方法、装置和计算机设备。

背景技术：

1、医学影像是现代医学的一个重要组成部分，其可以为医生直观地提供大量信息，辅助医生诊断，对提高医疗质量、优化医疗流程、促进医学研究等方面具有重要意义。例如在肿瘤治疗等关键领域中，医疗影像可以帮助医生快速定位病灶、治疗方案制定、跟踪病理变化、评估治疗效果。而在辅助诊疗的过程中，单一的医学图像往往难以满足临床需要，医生经常要面对来自不同成像设备的图像，或者同一设备不同时间拍摄所得的图像序列。仅仅依靠医生的主观经验，推测融合这些图像信息将会极大地增加医生的工作量，并且准确性难以保障。需要医学图像配准将这些来自不同时间点、不同成像技术或不同视角的多个图像准确对齐，多源信息有效整合。现有医学图像配准方法主要有两大类，传统的医学图像配准算法根据图像类型手工设计、抽取图像特征，再将不同图像的特征点进行配对，并根据配对结果计算空间变换参数。此类方法可解释性较强，通过精心地设计，可以达到很高的配准精度。另一类则基于深度学习方法，使用深度神经网络对空间变换（常为形变场）进行预测，比如fcn、u-net等。深度学习方法具备快速，通用的优势。但如今以上方法都存在如下一些问题：

2、对于传统医学图像配准算法，选取特征的好坏将直接影响最终配准效果。针对不同器官，不同成像设备有针对性地设计特征，目前来说仍是一项巨大的挑战。在此场景下，特征抽取方法比较复杂，且设计的特征往往只能用于该模态中，抗干扰、抗噪声性能较差，方法的可扩展性较低。另外，由于特征点数量多，计算复杂性高，导致模型的匹配效率低下，配准的速度往往难以满足临床需求。

3、对于使用深度学习的方法，若使用有监督学习方法，则需要大量的数据对模型进行训练。然而，在医学领域中，医疗影像数据来源稀缺，数据标注成本昂贵。训练数据的匮乏限制了模型的配准效果；若使用无监督训练，虽避免了数据标注的大量需求，但是由于人体组织解剖结构的复杂性，模型的损失函数难以定义，造成模型优化困难。另为有效地学习人体复杂组织结构之间的联系，模型往往结构复杂，参数规模巨大，造成模型训练成本高昂。

技术实现思路

1、鉴于上述问题，提出了本发明以便克服上述问题的一种基于改进u-net网络的医学图像配准方法、装置和计算机设备。

2、本发明的一个方面，提供了一种基于改进u-net网络的医学图像配准方法，所述方法包括：

3、s1、获取待配准的医学图像对(,)中的固定图像和浮动图像；

4、s2、分别对所述固定图像和所述浮动图像进行逐级迭代下采样，获得侧源固定图像组和侧源浮动图像组，其中，为k级固定图像，表示进行了k-1次迭代下采样后的固定图像，为k级浮动图像，表示进行了k-1次迭代下采样后的浮动图像，k为图像处理层级，相同图像处理层级用于处理相同图像大小的图像数据；

5、s3、分别将k级固定图像和k级浮动图像输入预设的特征提取网络模型相同图像处理层级的输入端，通过特征提取网络模型计算与各个k级固定图像一一对应的k级固定图像特征数据和与各个k级浮动图像一一对应的k级浮动图像特征数据，以获得固定图像特征数据组和浮动图像特征数据组；

6、s4、将k级固定图像特征数据和k级浮动图像特征数据输入预设的形变场预测网络模型相同图像处理层级的输入端，通过形变场预测网络模型计算与各个图像处理层级一一对应的初始形变场序列，并对各个k级初始形变场顺次进行变换上采样获得精配准形变场；

7、s5、根据所述精配准形变场对所述浮动图像施加变换，获得浮动图像到固定图像的转化图像，以获得所述待配准图像对(,)的配准结果。

8、进一步地，若当前方法流程处于模型训练阶段，所述方法还包括：

9、s6、判断当前方法流程是否处于模型训练阶段；

10、s7、若处于模型训练阶段，则计算各个图像处理层级的k级图像相似度损失和k级形变场平滑度损失；

11、s8、对同一图像的处理层级的k级图像相似度损失和k级形变场平滑度损失进行加权计算获得当前图像的处理层级的k级模型损失，对各个图像的处理层级的k级模型损失进行加权计算获得模型损失；

12、s9、基于模型损失采用预设的优化器模型对所述特征提取网络模型和/或所述形变场预测网络模型的模型参数进行优化，并返回执行步骤s1。

13、进一步地，所述特征提取网络模型包括编码路径和解码路径，所述编码路径包括多个顺次连接的图像处理层级依次增加编码层，所述解码路径包括多个顺次连接的图像处理层级依次减小的解码层，相同图像处理层级的编码层和解码层之间通过跳层连接将编码层数据输入到解码层，步骤s3具体包括：

14、s31、将k级固定图像和k级浮动图像输入特征提取网络模型编码路径的k级编码层中，以获得不同图像处理层级的固定图像特征编码数据组和浮动图像特征编码数据组：

15、 （1）

16、 （2）

17、（3）

18、（4）

19、其中，表示特征提取网络模型编码路径的级编码层，表示下采样器；

20、s32、通过跳层连接将相同图像处理层级的编码层数据输入到解码层，以获得解码后的固定图像特征数据组和浮动图像特征数据组：

21、（5）

22、 （6）

23、（7）

24、（8）

25、其中，表示特征提取网络模型解码路径的级解码层，表示上采样器，表示特征提取网络模型中卷积、整流、激活操作中的一项或多项。

26、进一步地，所述形变场预测网络模型包括多个顺次连接的图像处理层级依次减小的空间变换层，步骤s4具体包括：

27、s41、将k级固定图像特征数据和k级浮动图像特征数据输入形变场预测网络模型的k级空间变换层中，以获得初始形变场序列：

28、（9）

29、 （10）

30、其中，○表示对图像施加形变场变换，表示级空间变换层中的卷积、整流、激活操作中的一项或多项，表示上采样器；

31、s42、对各个k级初始形变场顺次进行形变场变换上采样迭代操作获得精配准形变场：

32、 （11）。

33、进一步地，步骤s7具体包括：

34、s71、根据当前图像处理层级的k级初始形变场和与当前层级相邻的下一图像处理层级k+1级初始形变场计算各个图像处理层级的k级中间形变场：

35、（12）

36、（13）

37、其中，○表示对图像施加形变场变换，表示上采样器；

38、s72、根据k级中间形变场对k级浮动图像施加变换，获得k级浮动图像到k级固定图像的转化图像，以获得k级待配准图像对(,)的k级中间配准结果;

39、s73、基于各个k级中间配准结果计算各个图像处理层级的图像相似度损失；基于各级k级中间形变场计算各个图像处理层级的形变场平滑度损失。

40、进一步地，步骤s8具体包括：

41、s81、获取图像相似度损失和形变场平滑度损失之间的正则化系数，根据所述正则化系数对同一图像处理层级的k级图像相似度损失和k级形变场平滑度损失进行加权计算获得当前图像处理层级的k级模型损失：

42、 （14）

43、s82、获取不同图像处理层级之间的模型损失权重系数，根据所述模型损失权重系数对各个图像处理层级的k级模型损失进行加权计算获得模型损失：

44、 （15）

45、其中，模型损失权重系数满足。

46、进一步地，在执行步骤s1之前，所述方法还包括：

47、s01、获取医学图像数据集，所述医学图像数据集中包含多对待配准的医学图像对；

48、s02、根据待配准的医学图像对的图像类型确定模型参数和训练超参数；

49、s03、对所述医学图像数据集中的各个医学图像对进行图像预处理，获得预处理后的医学图像对；

50、s04、对预处理后的各个医学图像对进行数据集划分，获得训练集与测试集,所述训练集用于模型训练阶段，所述测试集用于模型测试阶段。

51、进一步地，所述判断当前方法流程是否处于模型训练阶段包括：

52、判断模型损失是否大于预设的损失阈值，若大于则处于模型训练阶段；或，

53、判断训练次数是否达到预设的训练次数上限，若未达到则处于模型训练阶段。

54、本发明的另一个方面，提供了一种基于改进u-net网络的医学图像配准装置，所述装置包括：

55、获取模块，用于获取待配准的医学图像对(,)中的固定图像和浮动图像；

56、图像下采样模块，用于分别对所述固定图像和所述浮动图像进行逐级下采样，获得侧源固定图像组和侧源浮动图像组，其中，为k级固定图像，表示进行了k-1次下采样后的固定图像，为k级浮动图像，表示进行了k-1次下采样后的浮动图像，k为图像处理层级，相同图像处理层级用于处理相同图像大小的图像数据；

57、特征提取模块，用于分别将k级固定图像和k级浮动图像输入预设的特征提取网络模型相同图像处理层级的输入端，通过特征提取网络模型计算与各个k级固定图像一一对应的k级固定图像特征数据和与各个k级浮动图像一一对应的k级浮动图像特征数据，以获得固定图像特征数据组和浮动图像特征数据组；

58、形变场预测模块，用于将k级固定图像特征数据和k级浮动图像特征数据输入预设的形变场预测网络模型相同图像处理层级的输入端，通过形变场预测网络模型计算与各个图像处理层级一一对应的初始形变场序列，并对各个k级初始形变场顺次进行变换上采样获得精配准形变场；

59、图像配准模块，用于根据所述精配准形变场对所述浮动图像施加变换，获得浮动图像到固定图像的转化图像，以获得所述待配准图像对(,)的配准结果。

60、本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时，实现如上任一项所述的基于改进u-net网络的医学图像配准方法的步骤。

61、本技术实施例提供的一种基于改进u-net网络的医学图像配准方法、装置和计算机设备，该方法为了缓解原始u-net网络模型连续下采样造成的数据丢失的问题，本发明开创性地引入侧源信息通道，对原始数据流进行信息补充，增强了模型远程空间关系理解能力，增强图像配准的精度。同时可以无监督地从图像中抽取特征，具有较快的速度以及良好的泛用性，同时对噪声具有一定的抵抗作用，并能够避免模型对数据标签的大量依赖。本发明实施例引入多尺度图像配准技术，针对不同尺度形变位移场景下的配准需求，分层设计配准网络，逐层学习对应粒度的形变位移信息，输出多尺度形变场，并整合、利用形变场所包含的预测信息，微调输出最终的精配准形变场结果。该方法使模型兼具大位移大形变的全局感知能力和解剖组织结构小微形变的捕捉能力，提高图像配准的准确性。

62、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。