三维图像引导摆位的方法、系统及存储介质

1.本发明是关于一种用于放射治疗中基于人工智能技术和dr系统的三维图像引导摆位的方法、系统及存储介质，涉及放射治疗患者摆位图像引导领域。


背景技术：

2.放射治疗中患者的摆位验证速度和精度是影响患者治疗效率和疗效的重要因素，特别是在粒子精准放射治疗技术中，患者摆位占用了较多的治疗时间，极大地降低了放射治疗的效率，增加了治疗成本，影响患者的放疗效果。因此，如何快速有效地引导患者进行摆位操作及验证，是图像引导放疗技术的关键之一。当前的图像引导系统经常作为一个独立的医疗设备，大多数使用数字x射线成像(dr)系统、锥形束ct(cbct)成像系统及轨道ct(ct
‑
on
‑
rail)系统获取患者的摆位位置信息，对患者进行摆位引导和验证。
3.常规基于dr图像的引导系统，需要使用两个大角度(接近或者等于90度正交)相交的dr成像设备或者c型臂联接旋转dr设备生成两张大角度相交的dr图像，与患者治疗计划ct图像生成的数字重建放射影像(drr)进行配准，获得患者的摆位位置偏移量，引导患者摆位，没有实现真正意义上的三维(3d)摆位引导。另外，cbct及轨道ct成像系统会给患者增加额外的辐射剂量，增加患者并发症发生的风险，而且cbct及轨道ct成像系统价格昂贵，获得的cbct图像密度分辨率不高，与患者计划ct配准的精度和速度也不高。


技术实现要素：

4.针对上述问题，本发明的目的是提供一种能够实现精准3d图像引导，获得患者摆位信息的基于人工智能技术和dr系统的三维图像引导摆位的方法、系统及存储介质。
5.为实现上述目的，本发明采取以下技术方案：
6.第一方面，本发明提供一种三维图像引导摆位的方法，包括：
7.将患者的3d
‑
ct图像集采用自动分割算法自动分割出组织器官和肿瘤靶区，并通过组织器官模型重建算法，重建患者治疗计划的组织器官和肿瘤靶区的轮廓数据；
8.基于患者的实时dr图像，采用人工智能网络算法生成患者的虚拟3d
‑
ct图像集；
9.将患者的虚拟3d
‑
ct图像集采用自动分割算法自动分割出虚拟组织器官和肿瘤靶区，并通过组织器官模型重建算法，重建患者的虚拟组织器官和肿瘤靶区轮廓数据；
10.将患者治疗计划的组织器官和肿瘤靶区轮廓数据和虚拟组织器官和肿瘤靶区轮廓数据进行配准，输出患者摆位偏移量参数，判断偏移量参数是否符合放射治疗条件：如果不符合，则引导患者重新摆位；如果符合条件，则完成摆位。
11.进一步地，患者的实时dr图像通过采用dr成像设备进行获取。
12.进一步地，所述dr成像设备包括一套x射线源及与之对应的成像平板；
13.所述x射线源安装在治疗室顶部，所述成像平板安装在治疗室地面部分，各自使用小角度轨道进行运动；或者，
14.所述x射线源和成像平板使用c型臂连接整体进行小角度运动。
15.进一步地，人工智能网络算法通过训练验证获得，包括：
16.使用dr成像设备拍摄患者的dr图像，同时使用ct系统拍摄同一患者同一部位的3d
‑
ct图像，使该患者的dr图像和3d
‑
ct图像一一对应，建立dr图像及与之对应的3d
‑
ct图像数据集；将建立的数据集中部分数据作为训练数据集，另一部分作为验证数据集，构建神经网络模型进行训练验证，并通过运算不断迭代获得人工智能网络的权重及参数，进而获得训练好的人工智能网络模型。
17.进一步地，自动分割算法采用基于深度学习卷积神经网络模型，能够根据输入的ct图像自动分割出组织器官及肿瘤靶区。
18.进一步地，组织器官重建算法能够重建出所有或者指定组织器官的3d模型，并能够对不同的组织器官进行不同颜色和模态的渲染显示，便于使用者观察分辨操作。
19.进一步地，配准采用组织器官配准算法进行手动和/或自动3d模型配准。
20.第二方面，本发明还提供一种三维图像引导摆位的系统，该系统包括：
21.器官重建单元，被配置为将患者的3d
‑
ct图像集采用自动分割算法自动分割出组织器官和肿瘤靶区，并通过组织器官模型重建算法，重建患者治疗计划的组织器官和肿瘤靶区的轮廓数据；
22.虚拟图像生成单元，基于患者的实时dr图像，采用人工智能网络算法生成患者的虚拟3d
‑
ct图像集；
23.虚拟器官重建单元，将患者的虚拟3d
‑
ct图像集采用自动分割算法自动分割出虚拟组织器官和肿瘤靶区，并通过组织器官模型重建算法，重建患者的虚拟组织器官和肿瘤靶区轮廓数据；
24.摆位判断单元，将患者治疗计划的组织器官和肿瘤靶区轮廓数据和虚拟组织器官和肿瘤靶区轮廓数据进行配准，输出患者摆位偏移量参数，判断偏移量参数是否符合放射治疗条件：如果不符合，则引导患者重新摆位；如果符合条件，则完成摆位。
25.第三方面，本发明还提供一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器运行所述计算机程序时执行以实现本发明第一方面所述三维图像引导摆位的方法。
26.第四方面，本发明还提供一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本发明第一方面所述三维图像引导摆位的方法。
27.本发明由于采取以上技术方案，其具有以下优点：
28.1、本发明根据少量dr图像生成患者摆位虚拟3d
‑
ct图像，将患者的治疗计划3d
‑
ct和虚拟3d
‑
ct进行3d重建和配准，获得患者摆位信息，实现精准3d图像引导放疗，解决常规dr图像和cbct图像引导中的缺陷和不足；
29.2、本发明使用人工智能技术将实时2d
‑
dr图像转化为虚拟3d
‑
ct图像，将虚拟3d
‑
ct图像和治疗计划3d
‑
ct图像进行3d重建和配准，实现真正意义上的3d引导；
30.3、本发明只需要单个dr成像设备，成本较低；与cbct系统相比，在降低设备成本实现3d定位引导的同时，成像时对患者的额外辐射剂量也较低。
31.综上，本发明适合任何放射治疗系统的患者摆位引导中。
附图说明
32.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：
33.图1为本发明实施例提供的3d图像引导摆位的方法流程图；
34.图2为本发明实施例的dr设备坐标原理图；
35.图3为本发明实施例的人工智能网络算法原理图。
具体实施方式
36.下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
37.应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。
38.为了便于描述，可以在文中使用空间相对关系术语来描述如图中示出的一个元件或者特征相对于另一元件或者特征的关系，这些相对关系术语例如为“内部”、“外部”、“内侧”、“外侧”、“下面”、“上面”等。这种空间相对关系术语意于包括除图中描绘的方位之外的在使用或者操作中装置的不同方位。
39.计算机技术特别是人工智能技术在计算机视觉及医学图像处理分割和多模态图像生成上表现出优异的性能，多模态图像的生成和自动分割技术实现的越来越多。因此，研发基于人工智能技术在降低图像引导设备价格的同时实现3d高精度患者摆位图像引导和验证的方法是可行且必要的。
40.实施例1
41.如图1所示，本实施例提供的基于人工智能技术和dr系统的3d图像引导摆位的方法，包括内容：
42.s1：设置单个dr成像系统设备
43.具体地，根据图2所示的dr成像设备原理图，本实施例的dr成像设备包括一套x射线发射源1及与之对应的成像平板2，用于获取患者实时的dr图像。该系统设备可以将x射线源1安装在治疗室顶部，成像平板2安装在治疗室地面部分，各自使用小角度轨道进行运动，运动模式由相应控制系统控制，保证运动方向的一致性和位置的精确性；当然根据需要也可以将x射线源1和成像平板2使用c型臂连接在一起，作为一个整体进行小角度运动。
44.在一些实现中，本实施例的dr成像设备能够以治疗室中心点为原点，进行小角度旋转成像，生成不同角度的dr图像，其中，治疗室坐标轴xyz中，坐标原点是治疗室的束流等
中心点，x轴平行于治疗室地面，指向治疗床零度方向，y轴平行于治疗室地面，指向治疗床90
°
方向，z轴垂直于治疗室地面，指向治疗室顶部。
45.在另一些实现中，本实施例的小角度定义
‑
15度～+15度之间。
46.s2：建设dr图像及与之对应的患者放射治疗用3d
‑
ct图像数据集，该3d
‑
ct图像数据集用于人工智能网络算法模型的训练及验证。
47.具体地，使用dr成像设备拍摄患者的dr图像，同时使用ct系统拍摄同一患者同一部位的3d
‑
ct图像，使该患者的dr图像和3d
‑
ct图像一一对应，建立数据集。将建立的数据集中80％数据作为训练数据集，20％作为验证数据集，先构建模型然后训练验证。
48.s3：构建人工智能网络算法模型，算法模型原理如图3所示，该算法采用神经网络进行实现，能够实现输入少量dr图像，输出虚拟3d
‑
ct数据集；
49.s4：以步骤s2的dr图像集及与之对应的3d
‑
ct图像训练验证步骤s3的人工智能网络算法模型，获得人工智能网络模型的权重及参数，该参数包括网络模型每个神经元的权重及神经元参数；
50.具体地，人工智能网络算法模型，在进行训练验证时，输入的n幅dr图像及与之对应的m层3d
‑
ct图像。其中n的值取值范围大于等于1，每一张dr图像拍摄角度是不同的，虽然在理论上n的值越大越好，但是随着n的值的增大，所要拍摄的dr图像越来越多，给患者增加的额外辐射剂量也越来越多，所产生的经济成本也越大，因此n值不宜超过8。m的层数参考治疗计划ct层数确定，一般m的层数接近或者等于治疗计划ct，层厚也应该和治疗计划ct层厚相同和尽量接近，以便将虚拟3d
‑
ct和治疗计划3d
‑
ct进行配准。
51.s5：获取患者实时dr图像，以实时生成的dr图像，使用人工智能网络算法和人工智能网络权重及参数，生成当前患者的虚拟3d
‑
ct图像，组织器官是根据患者的3d
‑
ct分割生成的；
52.具体地，实时dr图像，是指患者在进行当前分次治疗前或者治疗中所拍摄的dr图像，该dr图像用于引导及验证患者当前的治疗摆位。
53.s6：构建基于深度学习的组织器官自动分割算法，该算法通过使用ct图像及与之对应的医生手动分割组织器官进行训练验证后，可以根据ct图像自动精准分割出ct图像上的组织器官(如，皮肤，骨骼等)和肿瘤靶区；
54.具体地，基于深度学习的组织之器官自动分割算法，该算法使用深度学习卷积神经网络模型，能够根据输入的ct图像自动分割出组织器官，该算法的训练验证数据来自于有丰富经验的医师手动勾画的组织器官及对应的ct，训练证数据集的质量必须得到保证，该算法能够输出所有或者指定的组织器官和肿瘤靶区轮廓集，用于下一步的三维重建和配准。
55.s7：构建3d组织器官模型重建算法，该算法实现输入3d
‑
ct图像自动生成的组织器官轮廓集，当前患者的治疗计划ct数据和/或组织器官轮廓集能够重建输出3d组织器官(如皮肤、骨骼等)模型，也可以根据需要选择重建ct中的全部器官或者特定器官；
56.具体地，3d组织器官重建算法，该算法能够重建出指定的所有或者特定组织器官，并对不同的组织器官进行不同颜色不同模态的渲染显示，便于使用者观察分辨操作。
57.s8：使用3d组织器官重建算法，根据患者虚拟ct数据和/或组织器官轮廓集进行三维重建，得到患者虚拟的3d组织器官如皮肤、骨骼等模型；
58.s9：构建常规3d模型配准算法，该算法能够将输入的多个3d模型配准，输出配准后3d模型的偏移量；
59.具体地，3d组织器官配准算法，可以根据重建出的3d组织器官模型，进行手动和(或)自动3d模型配准，精准输出两个模型之间的偏移量参数。
60.s10：使用3d模型配准算法，将患者虚拟的3d组织器官和患者计划和实时的部分或全部治疗3d组织器官及轮廓集作为输入进行自动和/或手动配准计算。在本发明中，仅在患者完成摆位后或者治疗前计算一次以及在治疗中间隔3
‑
10分钟计算一次验证患者的摆位精度即可，输出当前患者的摆位偏移量数据；
61.s11：判断步骤s10输出的偏移量数据是否符合设定的放射治疗要求：如果不符合患者的治疗要求，则引导患者根据摆位偏移量数据重现摆位，重新摆位后转移到步骤s5，开始继续进行摆位验证流程；如果摆位偏移量数据符合治疗要求，则结束摆位验证，开始实施治疗。其中，是否符合治疗要求的标准，该标准有医师联合研究及工程技术人员根据放疗法律法规和行业标准制定获得。
62.综上所述，本发明使用人工智能技术将简单2d
‑
dr图像进行3d重建，得到患者实时的虚拟3d
‑
ct图像，将重建的虚拟3d
‑
ct和患者治疗计划3d
‑
ct图像三维重建和配准，得到患者精准的3d摆位偏移量参数，引导并验证患者摆位，保证放射治疗的效果。
63.实施例2
64.基于上述实施例1内容，本实施例对基于人工智能技术和dr系统的3d图像引导摆位的方法的具体应用过程进行详细说明，具体过程为：
65.第一，在治疗室内安装一套可以小角度[
‑
15
°
,+15
°
]运动的dr成像系统，设备以治疗之中心点为轴心运动。
[0066]
第二，使用构建的人工智能神经网络，该网络能够将n[1～8]张dr图像重建出患者的虚拟3d
‑
ct图像。使用标注好的dr图像及对应的3d
‑
ct图像进行训练验证，得到该人工智能神经网络模型的权重参数。
[0067]
第三，使用构建的深度学习卷积神经网络，该网络能够自动精准分割ct图像，得到ct图像中的组织器官和肿瘤靶区。使用经验丰富的医生手动分割的ct图像进行训练验证，得到该网络模型的权重参数。
[0068]
第四，在患者开始本次治疗时或者在治疗过程中，使用上述安装的dr成像系统，拍摄n[1～8]张实时dr图像，将该图像导入第二步建设并训练后的人工智能神经网络中，输出虚拟3d
‑
ct图像。
[0069]
第五，将第四步输出的虚拟3d
‑
ct和患者治疗计划3d
‑
ct图像进行自动组织器官分割，获得组织器官和肿瘤靶区的轮廓数据。
[0070]
第六，将第五步输出的组织器管和肿瘤靶区进行三维重建，重建后进行三维配准计算，输出患者摆位偏移量参数。判断是否符合放射治疗条件：如果不符合，则根据输出参数引导患者重新摆位，重新进入第四步；如果符合条件，则完成摆位，可以开始治疗。
[0071]
实施例3
[0072]
上述实施例1提供了3d图像引导摆位的方法，与之相对应地，本实施例提供一种3d图像引导摆位的系统。本实施例提供的引导系统可以实施实施例1的3d图像引导摆位的方法，该引导系统可以通过软件、硬件或软硬结合的方式来实现。例如，该引导系统可以包括
集成的或分开的功能模块或功能单元来执行实施例1各方法中的对应步骤。由于本实施例的引导系统基本相似于方法实施例，所以本实施例描述过程比较简单，相关之处可以参见实施例1的部分说明即可，本实施例的引导系统的实施例仅仅是示意性的。
[0073]
本实施例提供一种三维图像引导摆位的系统，该系统包括：
[0074]
器官重建单元，被配置为将患者的3d
‑
ct图像集采用自动分割算法自动分割出组织器官和肿瘤靶区，并通过组织器官模型重建算法，重建患者治疗计划的组织器官和肿瘤靶区的轮廓数据；
[0075]
虚拟图像生成单元，基于患者的实时dr图像，采用人工智能网络算法生成患者的虚拟3d
‑
ct图像集；
[0076]
虚拟器官重建单元，将患者的虚拟3d
‑
ct图像集采用自动分割算法自动分割出虚拟组织器官和肿瘤靶区，并通过组织器官模型重建算法，重建患者的虚拟组织器官和肿瘤靶区轮廓数据；
[0077]
摆位判断单元，将患者治疗计划的组织器官和肿瘤靶区轮廓数据和虚拟组织器官和肿瘤靶区轮廓数据进行配准，输出患者摆位偏移量参数，判断偏移量参数是否符合放射治疗条件：如果不符合，则引导患者重新摆位；如果符合条件，则完成摆位。
[0078]
实施例4
[0079]
本实施例提供一种与本实施例1所提供的3d图像引导摆位的方法对应的处理设备，处理设备可以是用于客户端的电子设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例1的方法。
[0080]
所述处理设备包括处理器、存储器、通信接口和总线，处理器、存储器和通信接口通过总线连接，以完成相互间的通信。总线可以是工业标准体系结构(isa，industry standard architecture)总线，外部设备互连(pci，peripheral component)总线或扩展工业标准体系结构(eisa，extended industry standard component)总线等等。存储器中存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本实施例1所提供的3d图像引导摆位的方法。
[0081]
在一些实现中，存储器可以是高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
[0082]
在另一些实现中，处理器可以为中央处理器(cpu)、数字信号处理器(dsp)等各种类型通用处理器，在此不做限定。
[0083]
实施例5
[0084]
本实施例1的3d图像引导摆位的方法可被具体实现为一种计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例1所述的方法的计算机可读程序指令。
[0085]
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
[0086]
需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。流程图或框图中的每个方框
可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围。