用于预测放射疗法剂量分布的放射疗法治疗计划的学习模型的系统和方法与流程
本申请要求于2016年9月7日提交的题为“learningmodelsofradiotherapytreatmentplanstopredicttherapydosedistributions”的美国临时专利申请号62/384,192的全部权益和优先权，出于所有目的，其公开内容通过引用全部并入本文。
本发明一般涉及放射疗法系统。更具体地，所公开的发明的实施方式提出用于开发和实现利用机器学习算法和神经网络的放射治疗系统内的放射治疗计划的系统和方法。
背景技术：
已经利用放射疗法来治疗人类(和动物)组织中的肿瘤。强度调制放射疗法(imrt)和体积调制电弧疗法(vmat)已经成为现代癌症放射疗法关注的标准，与较早的疗法方法相比提供靶照射的更高精确度和对附近敏感组织的更好保护。遗憾的是，创建个体患者治疗计划(例如，对于imrt或vmat等)可以是计算密集过程和尝试错误过程两者。获得向靶递送规定剂量的辐射同时不损害关键器官或健康的周围组织的最佳治疗计划会要求比在繁忙的临床日程表中可利用的时间更多的时间以及/或者会产生误差(例如，由所提出的计划导致的过剂量热斑或者治疗不足的肿瘤肿块)。
此外，通过操纵程序约束并且然后重新计算注量图和替选地或另外地剂量图来调整治疗计划。如本文中所使用的，“注量图”描绘患者体内能量的局部沉积。例如，考虑到诸如穿透组织，注量图可以描绘所施加的辐射每秒穿过3d图像中的每个体素(体积元素)的粒子或光子的数目。此外，如本文中所使用的，“剂量图”描绘在特定位置(例如，射束角度)下要从放射疗法装置递送至患者的辐射剂量，并且利用具体的放射疗法装置信息例如机架和多叶准直器运动约束或者放射疗法系统的其他递送约束。
这些操纵对重新计算的注量图/剂量图的影响可能难于预料。例如，甚至调整程序约束的顺序也可能影响注量图/剂量图。因此，治疗计划通常取决于有经验的从业人员的主观判断。已经通过定义指标(例如，剂量体积直方图、交叠体积直方图)来解决确保治疗计划品质的困难并且使用这些指标可以帮助识别相关的高品质治疗计划。但甚至最有经验的从业人员也不能保证治疗计划的最佳性或者附加的努力是否可以找到更好的治疗计划。
创建治疗计划的尝试错误过程是本领域已知的。例如，初始治疗可能会由于在执行治疗计划过程中健康护理专业人员需要时间量而被延迟。已经存在如下所示的研究：与imrt相比，vmat的治疗计划可能需要基本上更多的治疗计划时间(例如，最多高达imrt获得优化的治疗计划的计划时间的5至6.8倍)。
这些方法对于缺乏深入局部专业知识和/或新设备的治疗诊所尤其成为问题，并且可能不适于在自适应疗法中使用。例如，可能先于一组放射疗法的开始开发通常的放射疗法治疗计划，所述一组放射疗法将包括遍及多周(例如，多达8周)的多个治疗期(例如，多达每周5天)。相比之下，自适应放射疗法评估患者相对于原始治疗计划的变化，并且为了增加治疗精确度，调整原始治疗计划。调整原始治疗计划需要重复的治疗计划。例如，自适应治疗计划在治疗实施之前需要附加成像、治疗计划、室内成像、图像配准和校正。清楚地，放射疗法治疗计划系统可以从更优化且一致的治疗计划方法中受益。
因此，需要有效地生成注量图和剂量图的新的系统和方法以优化用于规定的放射疗法治疗的治疗计划。可以通过从一组同一类型的示例性治疗计划中得到治疗计划过程的模型来辅助这样的系统和方法。
技术实现要素：
如本文中使用的，“机器学习算法”指代可以基于现有信息或知识来学习模型或模式并且使用新的信息或知识的输入来预测或估计输出的任何算法。监督学习是给定一组训练数据推断预测模型的机器学习的一个分支。训练数据的每个单独的采样是包含数据集(例如，一个或更多个图像或成像数据)和期望输出值或数据集的对。监督学习算法分析训练数据并且产生预测器函数。一旦通过训练得到预测器函数，预测器函数能够对有效输入合理地预测或估计正确的输出值或数据集。可以基于各种机器学习模型、算法和/或过程来用公式表示预测器函数。本公开内容涉及用于通过使用通过神经网络部件实现的机器学习方法来开发放射疗法治疗计划的系统和方法。
在一个实施方式中，提供放射疗法治疗系统以预测放射疗法剂量。该系统包括：图像获取装置，其用于获取一个或更多个三维医学图像；非暂态机器可读介质，其用于存储一个或更多个三维医学图像、神经网络模型、一个或更多个三维解剖图以及一个或更多个三维剂量分布；以及图像处理装置。图像处理装置被配置成训练神经网络模型以基于一个或更多个三维医学图像以及一个或更多个三维解剖图来预测注量图和剂量图中至少之一，以及基于神经网络的预测来生成三维剂量分布。
在另一个实施方式中，提供包括用于获取一组训练数据的图像获取装置的放射疗法治疗系统以预测放射疗法剂量。训练数据包括一个或更多个三维医学图像、神经网络模型、一个或更多个三维解剖图以及一个或更多个三维剂量分布。另外，该系统包括用于存储训练数据、第一神经网络模型和第二神经网络模型的非暂态机器可读介质。该系统还包括用于使用训练数据来训练第一神经网络模型以预测第一剂量分布的图像处理装置。图像处理器还使用训练数据来训练第二神经网络模型以预测第二剂量分布。通过将第一剂量分布与第二剂量分布进行比较来确定误差，以及使用该误差来进一步训练第一神经网络模型。
提供用于预测放射疗法剂量的方法。该方法包括从图像获取装置接收一个或更多个三维医学图像。该方法还将三维医学图像、神经网络模型、一个或更多个三维解剖图和一个或更多个三维剂量分布存储在非暂态计算机可读介质中。使用处理器，该方法训练神经网络以基于一个或更多个三维医学图像和一个或更多个三维解剖图以及一个或更多个三维剂量分布来预测注量图和剂量图中至少之一。然后，该方法基于神经网络的预测来生成三维剂量分布。
本发明的实施方式的有益效果很多，并且可以包括降低计划放射治疗并向患者实施放射治疗的花费和延迟、降低计划设计的主观性、为计划开发提供有用的指导或见解、预测现有计划的性能、以及为缺乏深入局部专业知识的治疗诊所提供帮助。在任何情况下，该过程替换现有技术实现方式的低效的尝试错误方面，并且提供优于先前实现方式的计划准确度和性能的改进。此外，并入并且构成该说明书的一部分的附图示出本发明的若干实施方式并且与说明书一起用于解释本发明的原理。
附图说明
构成该说明书的一部分的附图示出了若干实施方式，并且与说明书一起用于解释所公开的原理。
图1示出了根据本公开内容的一些实施方式的示例性放射疗法系统。
图2示出了可以包括被配置成提供疗法射束的放射疗法输出装置的示例性放射疗法系统。
图3示出了包括组合的放射疗法系统和成像系统例如计算机断层扫描(ct)成像系统的示例性系统。
图4示出了包括组合的放射疗法系统和成像系统例如核磁共振(mr)成像系统的示例性系统的局部剖视图。
图5示出了用于对放射疗法射束进行成形、引导或对放射疗法射束的强度进行调制的示例性准直器配置。
图6示出了示例性伽马刀放射治疗系统。
图7示出了本发明的系统的实施方式的综合流程图。
图8示出了根据本公开内容的一些实施方式的用于输出图生成的示例性深度卷积神经网络(dcnn)模型。
图9描绘了在示例性放射疗法系统中输出图的生成和使用。
图10示出了根据本公开内容的一些实施方式的用于输出图生成的示例性系统。
图11描绘了示出用于训练dcnn模型的示例性训练过程的流程图。
图12描绘了示出使用通过图11的过程获得的训练过的dcnn模型的示例性输出图生成过程的流程图。
图13示出了前列腺的ct断面。
图14示出了根据本公开内容的实施方式的到图13的人类前列腺的示例性放射剂量分布的轴向视图。
图15(从左至右，分别)示出了患者符号距离图、预期剂量分布和17000次训练迭代的估计剂量分布。
图16示出了图15的预期剂量分布和估计剂量分布的强度分布。
图17(从左至右，分别)示出了患者符号距离图、预期剂量分布和60000次训练迭代的估计剂量分布。
图18示出了图17的预期剂量分布和估计剂量分布的强度分布。
图19示出了根据本公开内容的一些实施方式的用于其中体素间距和学习速率保持相同的各种数目的迭代的剂量体积直方图(dvh)。
具体实施方式
图1示出了用于向患者提供放射疗法的示例性放射疗法系统10。放射疗法系统10包括图像处理装置12。图像处理装置12可以被连接至网络20。网络20可以被连接至互联网22。网络20可以将图像处理装置12与数据库24、医院数据库26、肿瘤文献信息系统(ois)28、放射疗法装置30、图像获取装置32、显示装置34和用户接口36中的一个或更多个连接。例如，网络20可以将图像处理装置12与数据库24或医院数据库26、显示装置34和用户接口36连接。还例如，网络20可以将图像处理装置12与放射疗法装置30、图像获取装置32、显示装置34和用户接口36连接。图像处理装置12被配置成生成要由放射疗法装置30使用的放射疗法治疗计划。另外，图像处理装置12还可以包括通信上耦接至图像处理器14的用户接口和显示器(未示出)。
如本文中所使用的，图像数据和成像数据指代表示物体的图像或视图的信息，包括例如可以被用于获得或构建物体的一个或更多个图像的信息。例如，肿瘤的图像可以由其中每个像素与参数例如亮度和颜色的图像数据相关联的像素值阵列来表示。这样的参数可以使用各种约定或方案中的任何一种，例如，可以使用rgb、cmyk、cie或hsv颜色模型来表示颜色。图像数据可以以任何格式来存储，包括例如以各种图像、ascii、数字、压缩或标准格式中任何一种格式存储一个或更多个计算机文件。图像可以是多维的，包括二维(2d)和三维(3d)，并且可以使用多维的图像数据来获得较小维度的图像。例如，3d图像数据可以包括根据其可以获得多个不同的2d图像或者根据其可以呈现各种3d等位面的数据。类似地，4d图像数据(例如，3d图像的时间序列)可以包括根据其可以获得多个不同的2d或3d图像的数据。
图像处理装置12可以包括存储器装置16、处理器14例如图像处理器、神经网络47和通信接口18。神经网络47可以包括深度卷积神经网络(dcnn)架构，并且可以通过存储器装置16中存储的软件、通过耦接至图像处理装置12的外部硬件(例如硬件加速器或图形处理单元)或者通过所存储的软件和外部硬件的组合来实现。存储器装置16可以以非暂态方式存储计算机可执行指令，例如操作系统43、放射疗法治疗计划42(例如，原始治疗计划、调整的治疗计划等)、软件程序44(例如，人工智能、神经网络47的全部或部分和放射疗法治疗计划软件)和要由处理器14执行的任何其他计算机可执行指令。在一个实施方式中，软件程序44可以通过生成合成图像例如伪ct图像来将一种类型(例如，mri)的医学图像转换成另一种类型(例如，ct)。如本文中所使用的，“医学图像”指代表示对象例如用于医学目的的人或动物的解剖区域的图像，以及包括“患者图像”。可以通过成像模式例如ct、磁共振成像(mri)、功能性mri(例如，fmri、dce-mri和扩散mri)、锥形束计算机断层扫描(cbct)、螺旋ct、正电子发射断层扫描(pet)、单光子发射计算机断层扫描(spect)、x射线、光学断层扫描、荧光成像、超声成像和放射疗法射野成像等来获取医学成像数据。可以以任何一种格式包括dicom格式、jpeg、tiff、gif、eps、png、pdf、伸缩矢量图形、位图或任何其他常规或非常规图像数据格式来存储医学成像数据。“2d医学图像”或“切片”可以指代从特定视点来看的对象例如人或动物的解剖区域的平面表示。“3d医学图像”可以指代表示对象例如人或动物的解剖区域的体积的图像。例如，软件程序44可以包括图像处理程序以训练用于将一种模式中的医学图像46(例如，mri图像)转换成不同模式的合成图像(例如，伪ct图像)的预测模型；替选地，训练过的预测模型可以将ct图像转换成mri图像。存储器装置16可以存储数据，包括医学图像(包括医学成像数据)46、患者数据45以及创建和实现放射疗法治疗计划42所需的其他数据。
除了存储软件程序44的存储器16以外，预期的是，软件程序44可以被存储在除了固定存储介质以外或者替换固定存储介质可以使用的可移动计算机介质上，所述可移动介质包括诸如硬盘驱动器、计算机硬盘、cd-rom、dvd、hd、蓝光dvd、usb闪存盘、sd卡、记忆棒或者耦接至处理器14的任何其他适当的非暂态介质的装置。软件程序44当下载至图像处理装置12或者由图像处理装置12可得到时，可以由图像处理器14来执行。
处理器14可以通信上耦接至存储器装置16和神经网络47，并且处理器14可以被配置成执行其上存储的计算机可执行指令。处理器14可以将医学图像例如存储在位置46中的医学图像发送至或接收到存储器16或神经网络47中的任一区域。例如，处理器14可以经由通信接口18通过网络20从图像获取装置32接收医学图像以被存储在存储器16中。处理器14还可以经由通信接口18将存储在存储器16、46中的医学图像发送至网络20以被存储在数据库24或医院数据库26中。
此外，处理器14可以利用软件程序44(例如，治疗计划软件)和神经网络47连同医学图像46和患者数据45一起来创建放射疗法治疗计划42。医学图像46可以包括成像数据例如用于解释或处理图像的数据、与患者解剖区域、器官或关注的体积相关联的数据和分割数据。患者数据45可以包括信息例如(1)功能性器官建模数据(例如，串行和并行器官、适当的剂量响应模型等)；(2)放射剂量数据(例如，剂量体积直方图(dvh)信息)；或者(3)关于患者和治疗过程的其他临床信息(例如，其他手术、化学疗法和先前的放射疗法)。
另外，处理器14可以例如通过由神经网络47实现的模型利用软件程序来生成中间数据例如要使用的更新的参数，或者生成可以随后被存储在存储器16中的中间2d或3d图像。随后，处理器14就可以将可执行的放射疗法治疗计划42经由通信接口18通过网络20传送至将使用该放射疗法计划利用辐射来治疗患者的放射疗法装置30。另外，处理器44可以执行软件程序44以实现诸如图像转换、图像分割、深度学习、神经网络训练、神经网络评估和人工智能的功能。例如，处理器44可以执行训练医学图像或对医学图像画轮廓的软件程序44，这样的软件44在被执行时可以训练边界检测器或者利用形状词典。
处理器14可以包括处理装置，并且可以包括一个或更多个通用处理装置例如微处理器、中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)、硬件加速器等。更具体地，处理器14可以包括复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、实现其他指令集的处理器或实现指令集的组合的处理器。处理器14还可以由一个或更多个专用处理装置例如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)等来实现。如本领域技术人员可以理解的，在一些实施方式中，处理器14可以是专用处理器而非通用处理器。处理器14可以包括一个或更多个已知的处理装置，例如来自由inteltm制造的pentiumtm、coretm、xeontm或
存储器装置16可以存储医学图像(包括成像数据)46。在一些实施方式中，医学图像46可以包括一个或更多个mri图像(例如，2dmri、3dmri、2d流式mri、4dmri、4d体积mri、4d电影mri等)、功能性mri图像(例如，fmri、dce-mri、扩散mri)、数字相机图像(例如，jpeg、raw、tiff或gif格式)、计算机图形图像、计算机断层扫描(ct)图像(例如，2dct、锥形射束ct、3dct、4dct)、超声图像(例如，2d超声、3d超声、4d超声)、正电子发射断层扫描(pet)图像、x射线图像、萤光透视影像、放射疗法射野图像、单光子发射计算机断层扫描(spect)图像、计算机生成合成图像(例如，伪ct图像)、用户生成图像等。此外，医学图像46还可以包括训练图像、预期结果图像、基准图像、虚构图像、处理图像和轮廓图像。在一个实施方式中，可以从数据库24、26接收医学图像46。在另一个实施方式中，可以从图像获取装置32接收医学图像46。因此，图像获取装置32可以包括能够提供成像数据的任何装置，包括例如mri成像装置、ct成像装置、pet成像装置、超声成像装置、荧光透视装置、spect成像装置、集成直线加速器和mri成像装置或者用于获得患者的医学图像的其他医学成像装置。可以以图像处理装置12能够使用以执行与公开的实施方式一致的操作的任何类型的数据或任何类型的格式接收并存储医学图像(包括医学成像数据)46。存储器装置16可以是非暂态计算机可读介质，例如只读存储器(rom)、相变随机存取存储器(pram)、静态随机存取存储器(sram)、闪存、随机存取存储器(ram)、动态随机存取存储器(dram)例如同步dram(sdram)、电可擦除可编程只读存储器(eeprom)、静态存储器(例如，闪存、闪存盘、静态随机存取存储器)以及其他类型的随机存取存储器、高速缓存、寄存器、光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储装置、盒式磁带、其他磁存储装置或者任何其他非暂态介质，所述任何其他非暂态介质可以用于存储包括图像、数据或能够由处理器14或任何其他类型的计算机装置访问的计算机可执行指令(例如，以任何格式存储)的信息。计算机程序指令可以由处理器14访问、从rom或任何其他适当的存储器位置读取并且加载至ram中以供处理器14执行。例如，存储器16可以存储一个或更多个软件应用程序。存储器16中存储的软件应用程序可以包括例如用于公共的计算机系统以及用于软件控制的装置的操作系统43。此外，存储器16可以存储全部的软件应用程序或软件应用程序的仅可以由处理器14执行的一部分。例如，存储器装置16可以存储一个或更多个放射疗法治疗计划42。在又一个实施方式中，可以从数据库和装置(例如，装置通过识别改变的特征来提供数据库中存储的图像的更新版本)两者来接收医学图像数据46。
图像处理装置12可以经由通信上耦接至处理器14、存储器16和神经网络47的通信接口18与网络20进行通信。通信接口18可以提供图像处理装置12与放射疗法系统10部件之间的通信连接(例如，允许与外部装置的数据交换)。例如，在一些实施方式中，通信接口18可以具有连接至用户接口36的适当的接口电路，其可以是用户能够通过其将信息输入至放射疗法系统10中的硬件键盘、小键盘或触摸屏。
通信接口18可以包括例如，网络适配器、线缆连接器、串行连接器、usb连接器、并行连接器、高速数据传输适配器(例如，诸如光纤、usb3.0、雷电接口等)、无线网络适配器(例如，诸如wifi适配器)、电信适配器(例如，3g、4g/lte等)等。通信接口18可以包括允许图像处理装置12经由网络20与其他机器和装置例如远程定位部件进行通信的一个或更多个数字和/或模拟通信装置。
网络20可以提供局域网(lan)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务等)、客户端服务器、广域网(wan)等的功能。例如，网络20可以是可以包括其他系统s1(38)、s2(40)和s3(41)的lan或wan。系统s1、s2和s3可以与图像处理装置12相同或者可以是不同的系统。在一些实施方式中，网络20中的一个或更多个系统可以形成协作地执行本文中描述的实施方式的分布式计算/模拟环境。在一些实施方式中，一个或更多个系统s1、s2和s3可以包括获得ct图像(例如，医学图像46)的ct扫描仪。另外，网络20可以被连接至互联网22以与远程地驻留在互联网上的服务器和客户端进行通信。在另外的实施方式中，一个或更多个系统s1、s2和s3可以包括外部可接入的神经网络或相关的计算设施。
因此，网络20可以允许图像处理装置12与许多各种其他的系统和装置例如ois28、放射疗法装置30和图像获取装置32之间的数据传输。此外，由ois28和/或图像获取装置32生成的数据可以存储在存储器16、数据库24和/或医院数据库26中。根据需要，数据可以通过通信接口18经由网络20来传输/接收以便由处理器14访问。
图像处理装置12可以通过网络20与数据库24进行通信以发送/接收数据库24上存储的多个各种类型的数据。例如，数据库24可以包括为与放射疗法装置30、图像获取装置32或和放射疗法有关的其他机器相关联的信息的机器数据。机器数据信息可以包括辐射射束尺寸、弧放置、射束开关持续时间、控制点、段、多叶准直器(mlc)配置、机架速度、mri脉冲序列等。数据库24可以是非暂态存储装置。本领域技术人员应当理解，数据库24可以包括以中心或分布式方式定位的多个装置。
在一些实施方式中，数据库24可以包括处理器可读非暂态存储介质(未示出)。尽管在一个实施方式中处理器可读存储介质可以是单个介质，但是术语“处理器可读存储介质”应被视为包括存储一个或更多个计算机可执行指令集或数据集的单个介质或多个介质(例如，中心或分布式数据库和/或相关联的高速缓存和服务器)。术语“处理器可读存储介质”将还被视为包括能够存储或编码供处理器执行的指令集并且使处理器执行本公开内容的任何一种或更多种方法的任何介质。术语“处理器可读存储介质”将相应地被视为包括但不限于固态存储器、光学和磁性介质。例如，处理器可读存储介质可以是一个或更多个易失性、非暂态或非易失性有形处理器可读介质。
图像处理器14可以与数据库24进行通信以将图像读取至存储器16中或者将图像从存储器16存储至数据库24。例如，数据库24可以被配置成存储数据库24从图像获取装置32接收的多个图像(例如，3dmri、4dmri、2dmri切片图像、ct图像、2d荧光图像、x射线图像、来自mr扫描或ct扫描的原始数据、医学数字成像和通信(dfmcom)数据等)。数据库24可以存储当执行软件程序44时或者当创建放射疗法治疗计划42时要由图像处理器14使用的数据。图像处理装置12可以从数据库24、放射疗法装置30(例如，mri-linac)和/或图像获取装置32接收成像数据46(例如，2dmri切片图像、ct图像、2d荧光图像、x射线图像、3dmri图像、4dmri图像等)以生成治疗计划42。
在一个实施方式中，放射疗法系统10可以包括可以获取患者的医学图像(例如，磁共振成像(mri)图像、3dmri、2d流式mri、4d体积mri、计算机断层扫描(ct)图像、锥形射束ct、正电子发射断层扫描(pet)图像、功能性mri图像(例如，fmri、dce-mri和扩散mri)、x射线图像、萤光透视影像、超声图像、放射疗法射野图像、单光子发射计算机断层扫描(spect)图像等)的图像获取装置32。图像获取装置32可以例如是mri成像装置、ct成像装置、pet成像装置、超声装置、荧光透视装置、spect成像装置或者用于获得患者的一个或更多个医学图像的任何其他适当的医学成像装置。由图像获取装置32获取的图像可以作为成像数据和/或测试数据存储在数据库24内。通过示例，由图像获取装置32获取的图像还可以作为医学图像数据由图像处理装置12存储在存储器16中。
在一个实施方式中，例如，图像获取装置32可以可选地与放射疗法装置30集成为单个设备30a(例如，与也被称为“mri-linac”的直线加速器组合的mri装置)。例如，可以使用这种mri-linac来确定患者体内的靶器官或靶肿瘤的位置，以根据放射疗法治疗计划42将放射疗法准确地指向预定靶。
图像获取装置32可以被配置成获取患者的关注区域(例如，靶器官、靶肿瘤或两者)的解剖结构的一个或更多个图像。每个图像，通常2d图像或切片可以包括一个或更多个参数(例如，2d切片厚度、取向和位置)。在一个示例中，图像获取装置32可以获取任意取向上的2d切片。例如，2d切片的取向可以包括矢状取向、冠状取向或轴向取向。处理器14可以调整一个或更多个参数例如2d切片的厚度和/或取向以包括靶器官和/或靶肿瘤。在一个示例中，可以根据诸如3dmri体积的信息来确定2d切片。这种2d切片可以在患者正在进行放射疗法治疗时例如，当使用放射疗法装置30时由图像获取装置32“实时地”获取。“实时地”意味着在至少几毫秒或更短的时间内获取数据。
图像处理装置12可以生成并且存储一个或更多个患者的放射疗法治疗计划42。放射疗法治疗计划42可以提供关于要施加至每个患者的特定放射剂量的信息。放射疗法治疗计划42还可以包括其他放射疗法信息例如，射束角度、剂量直方图体积信息、诸如要在疗法期间使用的辐射射束的数目、每个射束的最大剂量或机架速度的递送参数等。
图像处理器14可以通过使用软件程序44例如治疗计划软件诸如由佐治亚州亚特兰大市的医科达公司制造的
为了相对于oar描绘靶器官或靶肿瘤，可以通过图像获取装置32非侵入式地获得正在进行放射疗法的患者的医学图像例如mri图像、ct图像、pet图像、fmri图像、x射线图像、超声图像、放射疗法射野图像、spect图像等以揭露身体部位的内部结构。基于来自医学图像的信息，可以获得有关解剖部位的3d结构。另外，在治疗计划过程期间，可以考虑许多参数以达到靶肿瘤的有效治疗(例如，使得靶肿瘤接收用于有效治疗的足够放射剂量)与oar的低辐射(例如，oar接收尽可能低的辐射剂量)之间的平衡。可以考虑的其他参数包括靶器官和靶肿瘤的位置、oar的位置和靶相对于oar的运动。例如，可以通过描画mri或ct图像的每个2d层或切片内的靶或oar的轮廓并且将每个2d层或切片的轮廓组合来获得3d结构。可以手动地(例如，由医生、剂量师或医护人员)或自动地(例如，使用程序例如由瑞典斯德哥尔摩的医科达ab公司制造的基于atlas的自动分割软件abastm)生成轮廓。在某些的实施方式中，可以由治疗计划软件自动地生成靶肿瘤或oar的3d结构。
在靶肿瘤和一个或更多个oar已经被定位且描绘之后，剂量师、医生或医护人员可以确定要施加至靶肿瘤的辐射剂量，以及可以由接近肿瘤的oar(例如，左右腮腺、视神经、眼睛、晶状体、内耳、脊髓、脑干等)接收的剂量的任何最大量。在确定用于每个解剖结构(例如，靶肿瘤、oar)的辐射剂量之后，可以执行被称为逆向计划的过程以确定实现期望的辐射剂量分布的一个或更多个治疗计划参数。治疗计划参数的示例包括体积描绘参数(例如，所述参数限定靶体积或轮廓敏感的结构)、靶肿瘤和oar周围的边缘、射束角度选择、准直器设置和射束打开时间。在逆向计划过程期间，医生可以限定设置oar可以接收多少辐射的边界的剂量约束参数(例如，对肿瘤靶限定全部剂量并且对任何oar限定零剂量；对靶肿瘤限定95％的剂量；限定脊髓、脑干和晶状体分别接收<45gy、<55gy和<54gy)。逆向计划的结果可以构成可以存储在存储器16或数据库24中的放射疗法治疗计划42。这些治疗参数中的一些参数可以被相互关联。例如，为了改变治疗计划，调整一个参数(例如，不同靶的权重，例如增加对靶肿瘤的剂量)可以影响至少一个其他参数，这又可以引起开发不同治疗计划。因此，图像处理装置12可以生成具有这些参数的定制的放射疗法治疗计划42以便放射疗法装置30向患者提供放射疗法治疗。
另外，放射疗法系统10可以包括显示装置34和用户接口36。显示装置34可以包括显示医学图像、接口信息、治疗计划参数(例如，轮廓、剂量、射束角度等)、治疗计划、靶、定位靶以及/或者跟踪靶或者与用户或患者相关的任何信息的一个或更多个显示屏幕。用户接口36可以是键盘、小键盘、鼠标、触摸板、触摸屏或者用户可以将信息输入至放射疗法系统10的任何类型的装置。替选地，显示装置34和用户接口36可以被集成为装置例如平板计算机诸如苹果
此外，放射疗法系统10的任何部件和所有部件可以被实现为虚拟机(例如，vmware、hyper-v等)。例如，虚拟机可以是用作硬件的软件。因此，虚拟机可以至少包括一起用作硬件的一个或更多个虚拟处理器、一个或更多个虚拟存储器和一个或更多个虚拟通信接口。例如，图像处理装置12、ois28或图像获取装置32可以被实现为虚拟机。鉴于可用的处理功率、存储器和计算能力，整个放射疗法系统10可以被实现为虚拟机。
图2示出了包括放射源例如x射线源或直线加速器、多叶准直器(未示出)、诊察台216、成像检测器214和放射疗法输出装置204的示例性放射疗法装置202。放射疗法装置202可以被配置成发射辐射射束208以向患者提供疗法。放射疗法输出装置204可以包括一个或更多个衰减器或准直器例如如下面在图5的示出性示例中描述的多叶准直器(mlc)。
返回参照图2，可以使用桌子或诊察台216将患者定位在区域212中以接收根据放射疗法治疗计划的放射疗法剂量。放射疗法输出装置204可以被安装至或附接至机架206或其他机械支承件。当诊察台216在治疗区域中时，一个或更多个底盘电机(未示出)可以使机架206和放射疗法输出装置204围绕诊察台216旋转。在一个实施方式中，当诊察台216在治疗区域中时，机架206可以围绕诊察台216连续地可旋转。在另一个实施方式中，当诊察台216在治疗区域中时，机架206可以旋转至预定位置。例如，机架206可以被配置成使疗法输出装置204围绕轴(“a”)旋转。诊察台216可以独立于机架206和疗法输出装置204移动，围绕由“r”表示的贯轴(“t”)旋转，以及平行于横轴(“l”)、贯轴(“t”)和剩余轴(“a”)平移。通信上连接至疗法装置202的控制器(未示出)可以控制诊察台216的运动或旋转以根据放射疗法治疗计划将患者正确地定位在放射射束208中或外。因为诊察台216和机架206两者能够在多个自由度上彼此独立地移动，所以患者可以被定位成使得放射射束208可以精确地瞄准肿瘤。
图2中示出的坐标系统(包括轴a、t和l)可以具有位于等中心点210处的原点。等中心点可以被定义为其中放射疗法射束208与坐标轴的原点相交的位置，以便将规定的辐射剂量递送至患者身体上或内的位置。例如，对于如由机架206围绕轴a定位的放射疗法输出装置204的各个旋转位置，等中心点210可以被定义为其中放射疗法射束208与患者相交的位置。
机架206还可以具有附接的成像检测器214。优选地，成像检测器214与放射源204相对定位，并且在一个示例中，成像检测器214可以位于疗法射束208的场内。
成像检测器214可以被安装在机架206上优选地与放射疗法输出装置204相对，以便保持与疗法射束208对准，在这种情况下成像检测器214随着机架206旋转而围绕旋转轴旋转。在一个实施方式中，成像检测器214可以是平板检测器(例如，直接检测器或闪烁检测器)。以这种方式，可以使用成像检测器214来监视疗法射束208或者可以使用成像检测器214用于对患者的解剖结构进行成像，例如射野成像。放射疗法装置202的控制电路可以被集成在系统202内或者远离系统202。
在说明性的示例中，可以自动地定位诊察台216、疗法输出装置204或机架206中的一个或更多个，并且疗法输出装置204可以根据特定疗法递送实例的指定剂量来建立疗法射束208。可以根据放射疗法治疗计划例如使用机架206、诊察台216或疗法输出装置204的一个或更多个不同的取向或位置来指定一序列疗法递送。疗法递送可以顺序地发生，但可以在患者身体上或内的期望疗法部位中例如在等中心点210处相交。因此，可以将放射疗法的规定累积剂量递送至疗法部位同时减少或避免对疗法部位附近的组织的伤害。
图3示出了可以包括组合的直线加速器和成像系统例如计算机断层扫描(ct)成像系统的示例性放射疗法装置302。ct成像系统可以包括成像x射线源318例如以千电子伏特(kev)能量范围提供x射线能量的x射线源。成像x射线源318可以提供指向成像检测器322例如平板检测器的扇形和/或锥形射束320。放射疗法系统302可以与关于图2描述的系统302类似，例如包括放射疗法输出装置304、机架306、平台316和另一平板检测器314。x射线源318可以提供相对较低能量的射束以用于成像而不是用于疗法。
在图3的说明性示例中，放射疗法输出装置304和x射线源318可以安装在同一旋转机架306上，彼此旋转分开90度。在另一示例中，两个或更多个x射线源可以沿机架306的圆周安装，例如每个具有其自己的检测器布置以同时提供多个角度的诊断成像。类似地，可以提供多个放射疗法输出装置304。
图4描绘了与所公开的实施方式一致的可以包括组合的放射疗法装置402和成像系统例如核磁共振(mr)成像系统430(在本领域中被称为mr-linac)的示例性放射疗法系统400。如所示，系统400可以包括诊察台(未示出)、图像获取装置430和辐射递送装置424。系统400根据放射疗法治疗计划将放射疗法递送至患者。在一些实施方式中，图像获取装置430可以对应于图1中的可以获取第一模式的原始图像(例如，ct或mri图像)的图像获取装置32。
诊察台(未示出)可以在治疗期期间支承患者。在一些实施方式中，诊察台可以沿水平的平移轴(标记为“a”)移动，使得诊察台可以将患者移动至系统400中和/或外。诊察台还可以围绕中心垂直旋转轴旋转，横向于平移轴。为了允许这种移动或旋转，诊察台可以具有能够使诊察台在各个方向上移动并且沿各个轴旋转的电机(未示出)。控制器(未示出)可以控制这些移动或旋转以根据治疗计划正确地定位患者。
在一些实施方式中，图像获取装置430可以包括用于在治疗期之前、期间和/或之后获取患者的2d或3dmri图像的mri机器。图像获取装置430可以包括用于生成用于磁共振成像的主磁场的磁体。在一些实施方式中，磁体中的一个或更多个线圈可以被间隔成使得磁体的中心窗口没有线圈以允许来自源404的治疗射束的进入。在其他实施方式中，磁体中的线圈可以足够薄或者具有降低的密度使得其对由放射疗法装置400生成的辐射波长基本上是透明的。图像获取装置430还可以包括可以生成约相等幅度且相反极性的磁体外部的磁场的一个或更多个屏蔽线圈以消除或降低磁体外部的任何磁场。
在一些实施方式中，图像获取装置430可以是除mri以外的成像装置，例如x射线、ct、cbct、螺旋ct、pet、spect、光学断层扫描、荧光成像、超声成像或放射疗法射野成像装置等。如由本领域普通技术人员所认识的，图像获取装置430的以上描述涉及特定的实施方式并且不旨在限制。
放射疗法装置400可以包括放射源404例如x射线源或直线加速器以及多叶准直器(mlc)。放射疗法装置机架406可以安装在底盘上。当诊察台通过轴“a”插入治疗区域时，一个或更多个底盘电机(未示出)可以使底盘围绕诊察台旋转。在一个实施方式中，当诊察台插入治疗区域时，底盘可以围绕诊察台连续地可旋转。底盘还可以具有附接的辐射检测器(未示出)，优选地与放射源404相对定位并且其中底盘的旋转轴定位在放射源404与检测器(未示出)之间。此外，装置400可以包括用于控制例如患者诊察台、图像获取装置430和放射疗法输出装置424中的一个或更多个的控制电路(未示出)。放射疗法装置400的控制电路可以集成在系统内或者远离系统，并且功能上由图1中所示的用户接口36来表示。
图2、图3和图4一般地示出了被配置成向患者提供放射疗法治疗的放射疗法装置的示例，包括其中放射疗法输出装置可以围绕中心轴(例如，轴“a”)旋转的配置。可以使用其他放射疗法输出装置配置。例如，放射疗法输出装置可以安装至具有多个自由度的机器臂或操纵器。在又一个实施方式中，疗法输出装置可以被固定，例如位于与患者横向地分开的区域中，并且可以使用支承患者的平台将放射疗法等中心点与患者体内的指定靶部位对准。
如上所讨论的，通过图2、图3和图4描述的放射疗法装置可以包括用于对到患者体内的指定靶部位的放射疗法射束进行成形、指引或对放射疗法射束的强度进行调制的多叶准直器。图5示出了包括可以自动地被定位成限定接近肿瘤截面或投影540的孔径的叶片532a至叶片532j的示例性多叶准直器(mlc)532。叶片532a至叶片532j允许放射疗法射束的调制。叶片532a至叶片532j可以由被指定用于根据放射治疗计划衰减或阻挡除了孔径以外的区域中的辐射射束的材料制成。例如，叶片532a至叶片532j可以包括例如包括钨的金属板或叶片，其中叶片的长轴和叶片的端平行于射束方向定位，以及具有与射束方向正交的叶片运动。mlc532的“状态”可以在放射疗法治疗的过程期间被自适应地调整，以便建立更接近肿瘤540或其他靶部位的形状或位置的疗法射束。
图6示出了根据本公开内容的一些实施方式的另一类型的放射疗法装置600的示例(例如，莱克塞尔(leksell)伽玛刀)。在放射疗法治疗期中，患者602可以穿戴坐标框架620以保持正在进行手术或放射疗法的患者身体部位(例如，头部)稳定。坐标框架620和患者定位系统622可以建立在对患者成像时或在放射手术期间可以使用的空间坐标系。放射疗法装置600可以包括保护壳体614以包围多个辐射源612。辐射源612可以生成穿过射束通道616的多个毫米宽的辐射束(例如，小射束)。多个辐射束可以被配置成从不同方向聚焦在等中心点618上。尽管每个单独的辐射束可以具有相对低的强度，但是当来自不同辐射束的多个剂量在等中心点618处累积时，等中心点618可以接收相对高水平的辐射。在特定的实施方式中，等中心点618可以对应于手术或治疗中的靶例如肿瘤。
图7示出了本发明的实施方式的流程图700的概述，包括三个阶段：训练准备阶段725、网络训练阶段726和网络推断阶段727。
在训练准备阶段725中，准备和处理训练输入720以供在训练神经网络部件(图1，47)中使用。选择705网络模型以供在训练中使用，这种模型选择可以包括例如深度卷积神经网络架构和适当的处理层配置的识别(如下面关于作为示例实施方式的图8更详细地讨论的)。利用初始层配置、初始连接配置、权重集和偏差集将神经网络部件模型(图1，47)初始化。除了医学图像710和预期结果(也被相关领域技术人员称为“基准”数据)715以外，对于作为训练数据720的输入可以指定其他参数(如下面更全面地描述的)。在一个实施方式中，训练数据720还可以包括实际患者或测试对象的数据。在另一个实施方式中，可以综合地创建训练数据720，例如基于理论上可能的情况或者出于模型测试目的而制定的计算机生成的图像。
在神经网络部件模型(图1，47)的一个实施方式和配置中，输入患者数据与3d信息对应，而来自网络的输出数据与2d医学图像(或图像函数)例如3d医学图像或结构的轴向部分对应。该实施方式可以被优化成与对2d图像进行操作的深度学习网络交互操作。在一个实施方式中，训练数据720可以包括作为整个训练数据集720的不相交集的患者的训练数据和患者的测试数据两者。该配置改进在随后的训练阶段期间网络迭代收敛的准确度测试。
在各个实施方式中，准备阶段725包括将训练数据720中的所有成像数据重新采样至公共网格尺寸和网格间距，其中解剖结构和剂量对准并且解剖结构以患者图像的轴向视图为中心。图像强度可以被重新采样并且插入至与输出图像对应的通道(例如，rgb通道)中。然后，剂量值可以在训练数据720中的所有患者之间被重新采样至公共尺度以基于提供至网络的训练数据来改进学习性能和收敛。在这种训练数据准备之前，在一个实施方式中训练数据720包括一起取向且记录在共同的坐标系中的医学(患者)图像、与患者图像相关联的图像函数、患者解剖结构和患者剂量分布。在数据准备之后，训练数据和测试数据表示患者图像和包括基准数据的对应剂量。
网络训练阶段726开始于训练数据720被呈现给来自步骤705的配置过且经初始化的神经网络模型(没有指定输入剂量)。神经网络部件(图1，47)根据患者图像数据来估计结果735并且产生估计结果例如注量图或剂量图。然后，在来自步骤735的估计结果与对应于医学图像数据710的预期结果715之间进行比较，并且基于预期结果715与估计结果735之间的差来生成误差(“训练误差”)图。将误差图与评估标准745进行比较。例如，可以使用损失函数例如平均绝对误差函数(mae，下面将更深入地描述)来确定是否满足误差标准。如果误差不满足误差阈值标准，则神经网络(图1，47)的模型参数(例如，权重和偏差)被更新750，例如以根据学习算法(例如，正则化梯度下降优化方法)使误差最小化，并且训练数据被重新呈现730给具有神经网络的新分配的模型参数的神经网络(图1，47)。
在一个实施方式中，确定是否满足标准745包括将不同于训练图像(但没有指定输入剂量)的一个或更多个测试患者图像呈现给如当前地被配置成对这样的测试患者图像生成患者剂量的评估的网络模型。然后，所得到的剂量估计可以与基准/预期剂量进行比较以评估网络参数模型的品质。该测试数据的预期剂量与估计剂量之间的差为“测试误差”。在任何情况下，从步骤750至步骤730、至步骤735和740、至步骤745的迭代继续直到满足误差阈值标准，因此，训练过程725得出755，其中训练过的神经网络部件模型准备好与真实的患者图像和数据(图1，45，46)一起使用。
一旦经过训练，神经网络部件模型(图1，47)可以被存储在存储器(图1，16)中、网络部件(图1，47)的非暂态存储器内或者数据库(图1，24)中。然后，当与期望放射治疗计划的患者数据(图1，45，46)一起呈现时，训练过的网络模型可以在网络推断步骤727中使用以计算有用的输出(例如，注量图或剂量图)。例如通过加载用于特定训练过的网络配置的所存储的权重和偏差来配置训练过的神经网络765。将患者数据输入呈现给训练过且配置过的神经网络部件(图1，47)以获得预测结果。在优选实施方式中，预测结果包括注量图信息和剂量图信息中之一；然后，可以使用注量图信息或剂量图信息来完成患者的放射治疗计划。因此，对于关注的患者，将患者图像和/或数据760呈现给训练过且配置过的神经网络模型770以产生预测结果775。在又一个实施方式中，预测结果又被处理以供治疗计划系统780使用，例如用于生成供在治疗计划系统中(例如，在由瑞典斯德哥尔摩的医科达ab公司制造的
本发明的实施方式提供涉及内部辐射源以及外部辐射源的注量图和剂量图计算。实施方式包括提供用于内部近距离放射疗法应用的计算的那些注量图和剂量图计算。近距离放射疗法一般涉及辐射源直接在肿瘤点处的放置。确定最佳治疗方案的计算通常需要在各种优化的例程中利用线性玻尔兹曼输运方程来进行复杂的计算和估计。通过训练本发明的神经网络来从理想化的输入数据(例如，患者图像和期望结果)中识别注量图，可以支持近距离放射疗法应用。
在本发明的各种实施方式中，近距离放射疗法计划从与外部射束疗法类似的起始点(具有靶和oar描绘的计划ct或mr图像，以及靶规定和oar约束)继续进行以实现满足计划标准的剂量分布。因此，在各种实施方式中，应用深度学习以预测近距离放射疗法剂量分布与外部射束分布预测相似。对于这两个疗法，网络模型学习从图像中的结构到剂量图的映射，并且使用其来预测用于新患者的剂量图。该经学习的映射忽略疗法管理的机制细节。
本发明关于近距离放射疗法的其他方面提供深度卷积神经网络(dcnn)的使用以在所施加的辐射源的衰变期间在变化的时间处提供估计剂量。在这些方面中，采样的时间是训练集中的附加参数并且4d分析(涉及照射靶时间或治疗时间)可以基于特定的(一个或多个)辐射源来提供累积剂量。这些实施方式的预测结果有助于确定辐射源在患者的靶治疗区域中的放置、要递送至治疗靶的辐射剂量强度和随着时间推移剂量递送的持续时间。
在另一个实施方式中，可以结合近距离放射疗法使用实时mri图像。mri装置提供肿瘤和周围器官的良好的软组织对比度以及精确成像。这允许提高近距离放射疗法源植入的准确度、改进靶和危险器官(oar)的描绘和改进剂量规定。来自mri装置的实时mri图像(例如，其中mri装置和近距离放射疗法装置同时进行操作)可以提供用于近距离放射疗法施加器和近距离放射疗法放射源的正确放置的实时可视化以(1)避免穿孔以及(2)将源引导至靶以便提供近距离放射疗法治疗。mri优于基于ct的图像的另一优点是mri可以比ct提供更准确的靶轮廓，这能够实现靶结构的更好描绘和更高程度的剂量优化。尽管与ct相比mri改进靶结构的可视性，但是靶轮廓仍提供与图像引导过程相关的不确定性。通过使用mri能够跟踪源和施加器两者允许1)植入调整，2)源停留位置测量(例如，通常在5毫米距离处有20个源位置以及每个源位置0.5秒的停留时间)，以及3)具有患者体内真正的辐射剂量分布的剂量计划。在又一个实施方式中，可以将功能性mri(fmri)用于前列腺近距离放射疗法。功能性mri可以改进前列腺病变的识别，这对于抢救前列腺近距离放射疗法和子体积增强具有特别的意义。
输入数据可以包括医学图像。输入数据可以包括解剖数据和计划元参数中至少之一。在一些方面中，计划元参数可以包括装置约束、诊断信息和关于放射疗法的计划过程的其他信息。装置约束可以包括射束机架角度、小射束矢量和关于放射递送的类似限制。
如图9中所描绘的，本发明的系统和方法的实施方式可以用于根据输入数据生成注量图930和剂量图950。例如，系统900可以被配置成根据输入数据910生成供放射疗法装置960使用的剂量图950。剂量图950可以描绘经受由放射装置160施加的约束的患者体内的能量的局部沉积。注量图930通常会与剂量图950不同，并且所公开的系统和方法可以被配置成减小该差异。在一些方面中，如在替选路径935中所描绘的，系统900可以被配置成直接根据输入数据910使用神经网络920生成剂量图950。输入数据910可以包括医学图像912、解剖图914和计划元数据916。可以使用成像模式从患者获取医学图像912。解剖图可以指示患者的一组限定靶和敏感器官。在一些方面中，限定靶可以包括肿瘤。可以将输入数据910提供至神经网络920。如下面更加完整地和上面关于图7描述的，可以训练神经网络920以根据输入数据910生成注量图930(以及，替选地剂量图950)。神经网络920可以包括卷积神经网络，并且在一些方面中，注量图930可以包括神经网络920的输出。图9中示出的神经网络920可以包括与图1中示出的神经网络部件47和图8中示出的神经网络920相同或类似的架构。
另外，图9的神经网络920可以包括深度卷积神经网络(dcnn)。dcnn模型的架构包括将输入转换成输出的不同层的堆叠。不同层的示例可以包括一个或更多个卷积层、非线性操作层(例如修正线性单元(relu)函数、sigmoid函数或双曲正切函数)、池化或子采样层、全连接层、最终损耗层、反卷积层、反池化或上采样层、逐像素预测层和/或复制和裁剪操作层。每个层可以连接一个上游层和一个下游层。输入可以被认为是输入层，并且输出可以被认为是最终的输出层。
为了提高dcnn模型的性能和学习能力，可以选择性地增加不同层的数目。从输入层至输出层的中间不同层的数目可以变得非常大，从而增加dcnn模型的架构的复杂度。本公开内容采用强大学习dcnn模型以生成注量图和/或输出图。与所公开的实施方式一致，系统900可以被配置成使用接收输入数据910的训练过的dcnn模型(在神经网络920中实现)来生成注量图930或剂量图950。有利地，本公开内容的实施方式中的用于生成注量图和剂量图的dcnn模型允许这种图的自动生成而无需手动的特征提取。
如本文中所使用的，由所公开的生成方法使用的dcnn模型可以指代基于卷积神经网络的框架用公式表示、调整或修改的任何神经网络模型。例如，本公开内容的实施方式中的用于生成注量图和/或剂量图的dcnn模型可以选择性地包括输入层与输出层之间的中间层，例如一个或更多个卷积层、非线性操作层、池化或子采样层、全连接层、最终损耗层、反卷积层和/或反池化或上采样层。
所公开的用于生成输出图的系统和方法一般包括两个阶段：使用训练数据集“训练”或“学习”dcnn模型的训练阶段，以及其中训练过的dcnn模型使用训练数据集和输入数据来生成输出图的预测或推断阶段。如上提到的，前面提到的训练阶段一般与如图7中描绘的网络训练726相关联。如本文中使用的，“训练”dcnn模型指代确定dcnn模型中的至少一个层的一个或更多个参数。例如，dcnn模型的卷积层可以包括至少一个滤波器或内核。可以通过例如基于反向传播的训练过程来确定至少一个滤波器的一个或更多个参数例如内核权重、尺寸、形状和结构。
前面提到的预测阶段一般与如图7中所描绘的网络推断727相关联。如关于本文中描述的实施方式使用的，来自dcnn模型的“预测”指代使用包括来自任何类型的成像模式的2d和3d注量图和/或剂量图两者的医学图像912来生成注量图和/或剂量图。
用于输出图生成的dcnn模型
图8示出了根据本公开内容的一些实施方式的实现用于输出图生成(例如注量图和/或剂量图的生成)的深度卷积神经网络架构的示例性神经网络920。神经网络920可以包括深度卷积神经网络。如图8中所示，神经网络920可以接收使用一个或更多个第一成像模式获取的医学图像912作为输入。如本文中使用的医学图像可以包括但不限于输入数据(图9，910)的内容，包括医学图像912、解剖图914和计划元数据916。神经网络920可以产生与注量图或剂量图对应的输出840。输出840可以涉及与输入医学图像中之一相同的主题。例如，当医学图像912包括相邻图像的堆叠时，输出840可以涉及与堆叠912中间的图像中之一相同的主题。例如，当医学图像912包括奇数个图像时，输出840可以涉及与堆叠的中间图像相同的主题。替选地，当医学图像912包括偶数个图像时，输出840可以涉及与堆叠的两个中间图像中之一相同的主题。
如图8中所示，本发明的神经网络920的实施方式可以一般包括两个部分：第一特征提取部分820和第二输出图构建部分830。特征提取部分820可以提取医学图像912的一个或更多个特征。特征提取部分820使用深度卷积神经网络方法来接收医学图像912并且输出表示输入堆叠的特征的至少一个特征向量或矩阵。因此，特征提取部分820可以以不同尺度和不同复杂水平提取特征，特征提取部分820的每个层接收前一层的潜在表示作为其输入。输出图构建部分830可以使用特征提取部分820的输出来生成输出840，如前面提到的，输出840可以包括注量图或剂量图。第二部分可以逐渐地从粗分辨率到精细分辨率重新构建输出图，直到达到期望的图像分辨率或图像尺寸为止。
在一些实施方式中，神经网络920可以被配置有从特征提取部分820中的层的输出至输出图构建830中的层的输入的直接连接。在一些方面中，这样的连接可以仅是从特征提取部分820的最终层的输出至输出图构建830的初始层的输入。在各个方面中，神经网络920可以被配置有特征提取部分820与输出图构建830之间的一个或更多个附加连接。这些连接可以涉及特征提取部分820的非最终层和输出图构建830的非最终层、特征提取部分820的最终层和输出图构建830的非最终层以及/或者特征提取部分820的非最终层和输出图构建830的最终层。
在一些实施方式中，可以一起训练特征提取部分820和输出图构建830。例如，可以在模型训练的每个迭代期间一起更新特征提取部分820和输出图构建830的参数。在各个实施方式中，可以单独地训练特征提取部分820和输出图构建830。例如，特征提取部分820可以包括已知模型例如vgg图像分类模型，并且可以在训练期间仅更新输出图构建830的参数。
有利地，当医学图像912包括包含依赖结构信息的相邻2d图像的堆叠时，神经网络920的准确度会增加。当训练时以及当以注量图或剂量图的形式生成输出图时两种情况下，神经网络920可以被配置成使用这样的相邻2d图像的堆叠。如本文中所使用的，依赖结构信息可以指代沿与2d图像的的解剖平面正交的轴在相邻2d图像的堆叠中示出的解剖结构之间的空间依赖关系。作为非限制示例，由堆叠的第一图像中的第一组像素表示的解剖结构的形状和类型还可以由与第一图像相邻的第二图像中的第二组像素来表示。这是因为第一图像和第二图像沿与解剖平面正交的轴的空间相邻允许这些图像中示出的解剖结构的一些依赖性或连续性。因此，一个图像中的解剖结构的形状、尺寸和/或类型可以提供另一相邻图像中的沿同一平面的解剖结构的形状、尺寸和/或类型信息。依赖结构信息的影响可能取决于堆叠中的相邻图像的数目、医学图像912中描绘的解剖结构和/或用于获得图像的成像模式。
下面详细地描述在本公开内容的实施方式中使用的神经网络920的各个部件和特征。
用于特征提取的dcnn
在一些实施方式中，神经网络920的特征提取部分820包括输入层例如医学图像912。在一些实施方式中，医学图像912可以包括多个图像。在一些方面中，医学图像912可以包括一组或更多组医学图像。例如，医学图像912可以包括一个或更多个3dct图像。在各个方面中，医学图像912可以包括相邻2dct图像的堆叠。如上所述，相邻切片可以向神经网络920提供能够实现更准确或更强的预测的依赖结构信息。
在一些实施方式中，神经网络920的特征提取部分820包括输入层，例如医学图像912的函数或解剖图914的函数。在一些实施方式中，可以以二进制掩码或图像对患者解剖信息进行编码，在二进制掩码或图像中，所描绘的结构如放射疗法靶和附近的危险器官由固定的像素值来表示并且结构外的所有像素被设置为背景值。在一些实施方式中，患者解剖信息可以被编码为其中每个像素值等于到结构边界的最短距离的符号距离图，在符号距离图中结构内的像素被分配正值而结构外的像素被分配负值。在一些实施方式中，患者解剖信息可以被编码为通过算法将原始图像转换成其中强调例如解剖结构边缘的新图像的函数。这些实施方式对可以用在特征提取中的内容是说明性的，而不以任何方式进行限制。
在一些实施方式中，输入层具有其空间维度由2d图像的宽度和高度确定并且其深度由包括医学图像912的图像数目部分地确定的体积。
在一些实施方式中，神经网络920的特征提取部分820可以包括一个或更多个卷积层822。每个卷积层822可以具有多个参数，例如由上输入层(例如，卷积层822的输入尺寸)和该层中的滤波器或内核的数目(“n”)及其尺寸确定的宽度(“w”)和高度(“h”)。滤波器的数目可以被称为卷积层的深度。因此，每个卷积层822可以根据如图8中所示的3d体积来描述。每个卷积层822的输入可以与一个滤波器进行卷积以产生与该滤波器对应的特征图。可以对每个卷积层的每个滤波器执行这样的卷积。所得到的特征图可以具有宽度和高度，并且可以沿深度维度堆叠，以生成3d输出。该输出可以包括到下一个卷积层的输入。
在一些实施方式中，神经网络920的特征提取部分820可以包括一个或更多个池化层(未示出)。池化层可以被添加在神经网络920中的两个连续的卷积层822之间。池化层对输入(例如，来自先前卷积层的特征图)的每个深度切片独立地进行操作，并且通过执行非线性下采样的形式来减小其空间维度。如图8中所示的，池化层可以逐渐地减小所提取的特征图的空间维度以减少网络中的参数量和计算量。这还可以控制过度拟合。可以基于各种因素，例如卷积网络架构的设计、输入的尺寸、卷积层822的尺寸和/或神经网络920的应用来确定池化层的数目和放置。
可以使用各种非线性函数来实现池化层。例如，可以使用最大池化。最大池化可以将输入的图像切片分割成具有预定步幅的一组交叠或非交叠的子区域。对于每个子区域，最大池化可以沿其宽度和其高度两者输出输入的每个切片的最大下采样，同时使深度维度保持不变。可以使用其他适当的函数例如平均池化或l2规范池化用于实现池化层。
在各个实施方式中，神经网络920的特征提取部分820可以包括一个或更多个附加层。作为非限制示例，可以在卷积层之后选择性地添加relu层(未示出)以生成中间激活图或特征图。relu层可以增加预测器函数和整个神经网络920的非线性属性而不影响卷积层822的各个维度。另外，relu层可以在反向传播训练过程期间减少或避免饱和。
作为另一非限制示例，可以在卷积层和/或池化层之后添加一个或更多个全连接层824。全连接层824可以具有与先前层的所有激活图或特征图的完全连接。例如，全连接层824可以将最后一个卷积层或最后一个池化层的输出作为矢量形式的输入，并且执行高水平的确定以及输出沿深度维度排列的特征向量。输出向量可以被称为输出层。该向量可以包含神经网络920的医学图像912的输入堆叠中的解剖结构信息。
用于输出图构建的卷积神经网络
如上所述的，神经网络920的输出图构建830可以使用由特征提取部分820输出的一个或更多个特征来生成输出图840。如其他地方提到的，输出图840可以包括注量图或剂量图，并且可以包括关于图7，775讨论的预测结果。
如图8中所示，神经网络920的输出图构建830可以将特征提取部分820的粗的输出特征图(例如，特征向量)转换成输出图840。可以使用各种函数来实现逐像素预测层，例如向后上采样或反池化(例如，双线性或非线性插值)和向后卷积(反向卷积)。在一些方面中，神经网络920的输出图构建830可以包括神经网络920的特征提取部分820的镜像版本。尽管特征提取部分820可以逐渐地减少所提取的激活图或特征图的空间维度，但是输出图构建部分830可以使用反卷积层826和/或反池化层(未示出)来逐渐地扩大特征图。反池化层(例如，上采样层)可以接收特征图中的像素，并且输出较大的特征图，其中特征图的像素返回至其先前或原始的池化位置，由此生成扩大但稀疏的激活图或特征图。可以使用反卷积层将输入激活图或特征图的每个像素与多个输出像素相关联，由此扩大并增加激活图或特征图的密度。因此，输出图构建部分830可以与特征提取部分820一起被训练和使用以生成输出图840。
如由本领域技术人员所理解的，可以在本公开内容的实施方式中调整、修改和/或使用用于生成输出图840的其他适当的方法。
基于dcnn模型的输出图生成系统
图10示出了根据本公开内容的一些实施方式的显示用于使用至少一个cnn模型来生成输出图的输出图生成系统1000的本发明的示例性实施方式。如图10中所示，输出图生成系统1000可以包括用于执行两个阶段训练阶段和生成阶段的部件。为了执行训练阶段，输出图生成系统1000可以包括训练数据库1011和训练系统1010。为了执行输出图生成阶段，输出图生成系统1000可以包括预测系统1020和预测数据库1021。在一些实施方式中，输出图生成系统1000可以包括图10中示出的部件中的更多部件或更少部件。例如，当预先训练并提供用于输出图生成的dcnn模型时，输出图生成系统1000可以仅包括预测系统1020和预测数据库1021。输出图生成系统1000可以可选地包括网络1030。在一些实施方式中，网络1030可以由有线数据通信系统或装置来替换。
在一些实施方式中，输出图生成系统1000的各个部件可以彼此远程地或在不同的空间中被定位，并且通过如图10中示出的网络1030来连接。在一些替选实施方式中，输出图生成系统1000的某些部件可以被定位在同一站点上或在一个装置内。例如，训练数据库1011可以位于具有训练系统1010的站点上，或者为训练系统1010的一部分。作为另一示例，训练系统1010和预测系统1020可以在同一计算机或处理装置内。
如图10中所示，训练系统1010可以与训练数据库1011进行通信以接收训练数据。可以从医学图像数据库，例如包含先前在放射疗法治疗期期间获取的医学图像的医学图像数据库获得存储在训练数据库1011中的训练数据。训练数据中的每一项可以包括在一个或更多个原始成像模式中获取的一个或更多个医学图像、一个或更多个解剖图、计划元数据和相应的预定输出图。
在各个方面中，一个或更多个训练图像可以包括具有预定空间关系的医学图像。在一些方面中，一个或更多个训练图像可以包括以原始成像模式获取的3d医学图像。系统1000可以被配置成将3d医学图像分为相邻2d医学图像的一个或更多个顺序堆叠。可以基于各种因素，例如3d图像的尺寸、cnn模型的特定框架、相邻2d图像中的沿与2d图像正交的轴的解剖结构之间的关系和/或输出图生成的应用来确定每个堆叠中的相邻2d图像的数目。
在一些实施方式中，当一个或更多个训练图像包括一个或更多个原始成像模式下的医学图像的堆叠时，输出图可以在空间上对应于堆叠的中间图像(例如，具有奇数个图像的堆叠的中心图像，和具有偶数个图像的堆叠的两个中间图像中之一)。
与所公开的实施方式一致，可以使用各种成像模式，包括mri、功能性mri(例如，fmri、dce-mri和扩散mri)、ct、cbct、螺旋ct、pet、spect、x射线、光学断层扫描、荧光成像、超声成像和放射疗法射野成像等来获取一个或更多个训练图像。在一些实施方式中，可以从肿瘤学信息系统收集一个或更多个训练图像。
在各个方面中，一个或更多个解剖图可以包括与一个或更多个训练图像对应的分割信息。例如，一个或更多个解剖图可以包括一个或更多个训练图像中的靶体积和正常标准器官的描绘。例如，解剖图可以包括将像素或体素与解剖结构或者训练图像的每个像素或体素表示的解剖结构的预测相关联的标签。可以根据本领域技术人员已知的方法例如手动分割或基于图谱的自动分割来生成这些解剖图。还可以使用机器学习方法来生成解剖图。
在一些方面中，计划元数据可以包括关于计划过程的信息。例如，计划元数据可以包括关于患者的诊断、放射疗法装置的类型和特点的信息或类似信息。例如，计划元数据可以包括射束机架角度、小射束向量和类似信息。
训练系统1010可以使用从训练数据库1011接收的训练数据来训练cnn模型用于以注量图和/或剂量图的形式生成输出图。训练系统1010可以包括处理器和非暂态计算机可读介质(结合图1详细地讨论的)。处理器可以通过执行计算机可读介质中存储的训练过程的指令来进行训练。训练系统1010另外地可以包括输入接口和输出接口(结合图1详细地讨论的)以与训练数据库1011、网络1030和/或用户接口(未示出)进行通信。用户接口可以用于选择训练数据(即，以一个或更多个原始成像模式和目的成像模式下的图像)、调整训练过程的一个或更多个参数(例如，每个堆叠中的相邻图像切片的数目)、选择或修改dcnn模型的框架和/或手动地或半自动地编辑用于训练的图像。下面进一步参照图11详细地描述训练过程的示例。
与一些实施方式一致，训练系统1010可以利用由执行训练过程的软件(例如，如图1和图7中公开的)具体地编程的硬件(例如，如图1中公开的)来实现。
预测系统1020可以从训练系统1010接收至少一个训练过的cnn模型。预测系统1020可以包括处理器和非暂态计算机可读介质(结合图1详细地讨论的)。处理器可以执行非暂态计算机可读介质中存储的图像生成过程指令，使预测系统1020执行用于生成输出图的操作。预测系统1020另外地可以包括输入接口和输出接口(结合图1详细地讨论的)以与预测数据库1021、网络1030和/或用户接口(未示出，但在一个实施方式中与图1，36对应)进行通信。用户接口可以用于选择一个或更多个医学图像作为用于生成输出图的基础、初始化生成过程、输出该输出图和/或基于输出图执行其他分析。
与一些实施方式一致，预测系统1020可以利用由配置预测系统1020以生成输出图的软件(例如，如图12中公开的)具体地编程的硬件(例如，如图1中公开的)来实现。
预测系统1020可以与预测数据库1021进行通信以接收输入数据。在一些方面中，输入数据可以包括一个或更多个医学图像。例如，可以从包含放射疗法治疗期的2d和/或3d图像的医学图像数据库获得存储在预测数据库1021中的医学图像。如本文中描述的，医学图像可以包括可以从由医学成像装置，例如图像获取装置图1，32获取的2d投影图像重新构建的3d医学图像。
与所公开的实施方式一致，可以使用各种成像模式，包括mri、功能性mri(例如，fmri、dce-mri和扩散mri)、ct、cbct、螺旋ct、pet、spect、x射线、光学断层扫描、荧光成像、超声成像和放射疗法射野成像等来获取医学图像。在一些实施方式中，预测数据库1021可以是预测系统1020的集成部分，或者位于预测系统1020的同一站点上，例如在放射疗法治疗室中。
在一些方面中，输入数据还可以包括解剖图。如上所述，一个或更多个解剖图可以包括对应于一个或更多个医学图像的分割信息。例如，一个或更多个解剖图可以包括一个或更多个医学图像中的靶体积和正常标准器官的描绘。在一些方面中，输入数据还可以包括计划元数据。例如，计划元数据可以包括关于患者的诊断、放射疗法装置的类型和特点的信息或类似信息。例如，计划元数据可以包括射束机架角度、小射束向量和类似信息。
预测系统1020可以使用从训练系统1010接收的至少一个训练过的cnn模型以生成输出图。当完成该生成时，预测系统1020可以输出该输出图。输出图可以被显示在用户接口中，以及/或者存储在预测数据库1021中以进一步在治疗计划中使用。在一些实施方式中，输出图可以自动地存储在训练数据库1011中。例如，输出图可以与所接收的医学图像、所接收的解剖图和计划元数据相关联。可以将这些相关联的项目中的一个或更多个作为训练数据存储在训练数据库1011中。
网络1030可以提供图像分割系统1000中的任何上述部件之间的连接。例如，网络1030可以是局域网(lan)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务)、客户端服务器、广域网(wan)等。
示例性dcnn模型训练过程
上面关于图7并且下面参照图11另外详细地描述由输出图生成的所公开的系统和方法执行的示例性训练过程，图11描绘示出根据本公开内容的一些实施方式的用于训练dcnn模型的示例性训练过程1100的流程图。在一些实施方式中，可以由训练系统1010执行训练过程1100。
当训练系统1010接收训练数据(步骤1105)时，训练过程1100可以开始。如上所述，训练数据可以包括使用一个或更多个成像模式获取的至少一个或更多个医学图像和相应的输出图。医学图像可以是3d或2d医学图像。例如，医学图像可以包括患者的解剖区域例如头部、躯干、腹部和/或四肢的ct图像。在一些实施方式中，ct图像可以是3dct图像或2d图像的一个或更多个堆叠。输出图可以包括注量图或剂量图。在一些方面中，训练数据还可以包括一个或更多个解剖图。在各个方面中，训练数据还可以包括计划元数据。
在一些实施方式中，训练系统1010可以被配置成预处理训练数据。例如，当一个或更多个医学图像包括一个或更多个3d医学图像时，训练系统1010可以被配置成根据一个或更多个3d医学图像生成相邻2d图像的一个或更多个堆叠。一个或更多个堆叠可以基本上构成整个3d训练图像。一个或更多个堆叠可以包括交叠图像(例如，相同或基本上类似的图像可以存在于堆叠中的不止一个堆叠中)。如上所述，相邻2d医学图像的堆叠可以共同地包括沿与解剖平面正交的轴的依赖结构信息。当输出图包括3d医学图像时，训练系统1010可以被配置成根据3d输出图生成2d输出图。当一个或更多个解剖图包括一个或更多个3d图像时，训练系统1010可以被配置成根据一个或更多个3d解剖图生成相邻2d解剖图的一个或更多个堆叠。在相邻2d解剖图的一个或更多个堆叠中的2d解剖图可以对应于相邻2d医学图像的一个或更多个堆叠中的2d医学图像。在一些实施方式中，训练系统1010可以被配置成将医学图像的一个或更多个堆叠和相应的输出图共同地用作一批训练数据以训练dcnn模型。在各个实施方式中，训练系统1010可以被配置成还使用相邻2d解剖图的一个或更多个堆叠和/或计划元数据。
在一些实施方式中，医学图像的一个或更多个堆叠可以沿三个解剖平面例如轴向平面、矢状平面或冠状平面中的选定平面。在这种情况下，过程1100可以针对该选定平面输出训练过的dcnn模型(例如，用于根据沿着该选定平面的医学图像来生成输出图)。在一些实施方式中，可以重复过程1100以输出分别被训练用于沿三个解剖平面生成输出图的三个不同的dcnn模型。
在其他实施方式中，相邻2d图像的一个或更多个堆叠可以沿两个或更多个选定的解剖平面。可以执行过程1100以输出可以用于沿两个或更多个选定的解剖平面中的任意一个生成输出图的一个训练过的dcnn模型。在其他实施方式中，相邻2d图像的一个或更多个堆叠可以沿三个解剖平面中的任意一个，例如对于每个解剖平面选定相邻2d图像的至少一个堆叠。可以执行过程1100以获得可以用于沿三个解剖平面中的任意一个来生成输出图的一个训练过的cnn模型。在这样的情况下，使用沿所有三个解剖平面的相邻2d图像的组合堆叠来训练dcnn模型。
可以迭代地执行步骤1105至步骤1125以训练dcnn模型直到dcnn模型输出令人满意的输出图。可以通过各种停止标准来确定迭代的数目。在一些实施方式中，可以使用最大数目的迭代。在每次迭代时，可以接收或者根据先前接收的数据生成新的一批训练数据。可以使用新的一批训练数据用于训练dcnn模型直到达到最大数目的迭代。另外或替选地，在训练dcnn模型之前可以预先确定预期准确度。可以重复地执行dcnn模型参数的批次选定和更新直到输出2d和/或3d标签图的准确度满足预期准确度为止。
如上所述，可以在步骤1105中接收和预处理训练数据。训练系统1010可以被配置成将选定批次的训练数据输入至dcnn模型以用于在步骤1110中进行训练。训练系统1010可以利用其当前参数例如滤波器权重来使用dcnn模型以计算与原始医学图像的输入堆叠对应的输出图。在一些实施方式中，可以通过函数y*＝f(x；θ)来象征性地捕获dcnn模型的动作，其中y*是dcnn模型的计算的输出以及θ＝(θ1，θ2，…，θl)是dcnn模型的参数。使用数据集{x，y}i，i＝1，...，n来训练dcnn，其中xi包括输入的图像数据(例如，医学图像、解剖图、图像或解剖图的函数、计划元数据)以及yi是相应的输出图。
在步骤1120中，训练系统1010可以将计算的输出图与在步骤1105中接收的训练数据进行比较，并且计算相应的误差图。训练系统1010可以基于在步骤1120中获得的误差图来确定或更新θ。例如，可以使用反向传播方法基于计算的输出图与训练图之间的差来确定或更新θ。反向传播方法可以通过使关于dcnn模型中的参数的损失函数最小化来优化参数。本领域技术人员熟悉各种损失函数，例如，模型预测的平均绝对误差(mae)或l1范数j(θ*)＝argminθ||y＝y*||1，或者平方误差(mse)或l2范数j(θ*)＝argminθ||y＝y*||2，其中θ*包括使y与y*之间的差最小化的参数的选择。可以使用反向传播算法来计算误差函数相对于模型参数或权重的梯度。然后，可以使用随机梯度下降算法迭代地更新θ以收敛于θ*。
在一些方面中，成本函数可以将数据近似函数表示为问题变量的概率函数或者给定x观测y并且受参数θ的值限制的被表示为p(y|x；θ)的条件似然，针对其通过使对训练数据求和的似然θml＝argmaxθp(y|x；θ)或者替选地
在步骤1125中，训练系统1010可以确定是否满足停止标准。如上所述，在一些实施方式中，停止标准可以被表示为最大数目的迭代。因此，例如，训练系统1010可以确定迭代索引是否等于或大于预定的最大数目索引。另外或替选地，训练系统1010可以例如通过确定损失函数是否小于阈值来确定输出图的准确度是否满足或超过预期准确度。如果训练系统1010确定还未满足停止标准，则过程1100可以返回至步骤1105并且接收训练数据，或者根据先前接收的训练数据来生成新的训练数据以用于训练dcnn模型。如果训练系统1010确定已经满足停止迭代的标准，则训练过程1100可以继续行进至步骤1130，在步骤1130中训练系统1010可以被配置成保存具有更新的参数的dcnn模型并且/或者输出训练过的dcnn模型。
在一些实施方式中，可以使用超过一个训练图像数据集(例如，超过一个3d原始医学图像和相应的3d目的医学图像，以及可选地解剖图和/或计划元数据)来训练dcnn模型。在这样的情况下，当在步骤1105中接收训练数据时，训练系统1010可以被配置成选择一个或更多个训练图像数据集，并且然后选择(或生成)输入数据。然后，步骤1110至步骤1125可以如上所述地类似地继续行进。
示例性基于dcnn模型的输出图生成过程
下面参照图12详细地描述由所公开的系统和方法执行的示例性输出图生成过程，图12描绘了示出示例性输出图生成过程1200的流程图。输出图生成过程1200可以由预测系统1020执行。
如图12中所示，预测系统1020可以被配置成在步骤1210中接收训练过的dcnn模型(例如，神经网络920)。可以通过关于图11描述的过程1100或者通过另一过程来获得训练过的dcnn模型。预测系统1020可以被配置成对于特定视点例如沿特定的解剖平面执行输出图生成过程1200。例如，预测系统1020可以被配置成从三个解剖平面例如轴向平面、矢状平面或冠状平面中进行选择。所接收的训练过的dcnn模型可能已经利用沿选定的解剖平面的切片(或切片的堆叠)被训练或者可能已经利用沿包括选定的解剖平面的多个解剖平面的切片(或切片的堆叠)被训练。
在步骤1220中，预测系统1020可以被配置成接收输入数据。输入数据可以包括一个或更多个医学图像。一个或更多个医学图像可以包括一个或更多个3d医学图像。3d医学图像可以描绘患者的头部、躯干、腹部、四肢或其他解剖区域中的至少一部分。预测系统1020可以被配置成预处理原始医学图像。例如，当医学图像包括一个或更多个3d医学图像时，预测系统1020可以被配置成将一个或更多个3d医学图像转换成2d医学图像的一个或更多个堆叠。如上所述，2d医学图像的一个或更多个堆叠可以是顺序的并且可以具有一个或更多个交叠图像，使得堆叠的中间图像基本上一起构成整个3d医学图像。
预测系统1020可以被配置成选择在步骤1220中接收的3d图像的平面，并且可以被配置成基于接收的输入数据和选定的平面来生成原始医学图像的一个或更多个堆叠。在一些方面中，预测系统1020可以根据沿选定的解剖平面的医学图像中的一个或更多个来生成切片。在各个方面中，预测系统1020可以根据沿选定的解剖平面的解剖图像中的一个或更多个来生成切片。在一些方面中，预测系统1020可以生成一序列的单独的医学切片或可选地生成一序列的解剖切片。在各个方面中，预测系统1020可以生成一序列的切片的堆叠，其中每个堆叠中的中间切片对应于所生成的输出图。
在一些实施方式中，预测系统1020可以被配置成使用在其上训练dcnn模型的同一类型的医学图像来生成输出图。例如，预测系统1020可以被配置成根据使用同一成像模式获取的图像作为训练图像来生成输出图。例如，当在ct图像上训练dcnn模型时，预测系统1020可以被配置成使用ct图像生成输出图。当在3dct图像上训练dcnn模型时，预测系统1020可以被配置成使用3dct图像生成输出图。此外，当在相邻医学图像的堆叠上训练dcnn模型时，预测系统1020可以被配置成将该模型应用于相邻医学图像的同一类型的堆叠。
在一些实施方式中，预测系统1020可以被配置成为具有与从其收集训练数据的患者相同的一般诊断的当前患者生成输出图。例如，当前患者可以在与从其收集训练数据的患者的相同的位置处具有同一类型的癌症和/或肿瘤。
在一些实施方式中，预测系统1020可以被配置成使用在其上训练dcnn模型的同一类型的解剖图来生成输出图。例如，当在将像素或体素与关键结构和靶相关联的解剖图上训练dcnn模型时，预测系统1020可以被配置成使用将像素或体素与关键结构和靶类似地相关联的解剖图来生成输出图。
在步骤1230中，将训练过的dcnn模型应用于输入数据。如上面关于图8至图11所述的，预测系统1020可以使用输入数据确定输出图。在步骤1240中，输出图生成过程1200还可以包括输出一个或更多个输出图的预测系统1020。例如，预测系统1020可以被配置成输出在步骤1230中生成的输出图。输出可以包括显示一个或更多个输出图以供进一步分析或观察、将一个或更多个输出图存储在非暂态介质中或者将一个或更多个输出图提供给计算机过程、程序和/或应用。非暂态介质以及计算机过程、程序和/或应用可以是远程系统。
在一些实施方式中，预测系统1020可以被配置成将一个或更多个输出图组装成3d输出图。如上所述，预测系统1020可以被配置成沿三个解剖平面中的两个或更多个解剖平面处理输入数据。在这样的情况下，过程1200可以包括生成最终的3d输出图。在一些方面中，预测系统1020可以被配置成通过融合针对两个或更多个解剖平面确定的两个或更多个3d输出图来确定最终的3d输出图。在一些实施方式中，融合的3d输出图的体素的值可以是平均值。作为非限制性示例，当三个融合的3d输出图具有0.7、0.8和0.3的注量值时，则体素可以具有0.6的ct值。如本文中所述，可以使用任何适当的方法来融合在输出图生成过程1200中确定的三个3d输出图。
用于前列腺放射疗法的数据准备、神经网络训练和训练过的神经网络的评估
178个前列腺患者的医学图像的数据库被选择为训练数据。如下，为每个患者准备前列腺放射疗法治疗计划以用作训练数据的预期结果。首先，审查轮廓(相关解剖对象的轮廓)并且重新绘制很多轮廓以符合放射疗法肿瘤学组和rtog基金会有限公司(www.rtog.org/)的组合解剖学指南。然后，使用
训练数据中的患者的医学图像在许多方面变化。这些变化显示疾病特征的范围，从非常小至非常大的前列腺精囊治疗体积。该范围在像素密度和切片厚度(从1.25毫米至3毫米)方面变化。靶区域在视场内的位置也不同。为了使这些可变的源最小化，数据被重新采样至相同的3d网格尺寸和间距，并且靶被重新定位成一致地位于视场内。首先，将数据从dicom格式转换成itk格式。在一个具体的配置中，图像、结构和剂量数据则被重新采样为体素间距为2.25mm×2.25mm×2.25mm的(x，y，z)＝(256，256，n)网格，其中n是沿z轴跨越3d剂量分布所需的轴向切片的数目。首先，定位ptv质心，以及然后与轴向中心处的ptv一致地转换剂量。测量剂量的z跨度，并且在与剂量切片的相同的z位置处产生n个重新采样的ct图像。然后，将数据转换回dicom格式。
肠道气体表现为呈现给神经网络的医学图像中的空隙。这在估计剂量分布中产生伪影。在dcnn训练的进一步准备中，气体体素被识别以及其强度由从软组织强度范围的随机采样值替换，并且处理过的图像被呈现给神经网络。先前观察到的伪影不再存在于所估计的剂量分布中。
若干格式的解剖图像被考虑并呈现给神经网络模型，包括详细记录到解剖对象的边界的最近距离的符号距离图、ct图像本身、图像的增强版本(拉普拉斯锐化、倒置)和索贝尔边缘检测版本的ct图像。此外，将3d重构应用于这些图像以确定患者外部轮廓和每个视图的符号距离图。
尽管通常使用dcnn的rgb通道层来指定正被输入至dcnn的图像的颜色数据，但是本发明的实施方式以新颖的方式来使用rgb通道层。使用三个单独的但相关的图像，dcnn的rgb通道可以填充有与患者的外部轮廓符号距离图相关的图像、危险器官的相应的轴向符号距离图和患者的计划治疗体积的符号距离图。一旦三个rgb通道被这样填充，就可以使用复合颜色图像来训练dcnn。在图14中如下所述地示出了在训练中要使用的预期结果，所述预期结果对应于为该患者预先建立的“金标准”治疗计划。现将利用训练图像13和如图14中所示的预期结果来训练dcnn(参见图7和图11上面描述训练过程的描述)，目标是选择适当数目的训练迭代和学习速率参数以允许学习算法收敛于产生与预期结果适当地类似的注量图并且满足其他诊断标准的网络配置。
图13描绘了在下面的附图中进一步分析的轴向ct图。图14示出了对应于预期(基准)剂量的选定的轴向视图，所述预期(基准)剂量要用于使用患者的解剖结构和治疗信息来测试训练过的网络准确度。在训练中要使用的预期结果对应于为该患者预先建立的“金标准”治疗计划。
初始训练-2.25mm×2.25mm×2.25mm的网格体素间距
选定的网络模型是由以下描述的u-net：ronneberger,o.,fischer,p.和brox,t.,u-net:convolutionalnetworksforbiomedicalimagesegmentation(用于生物医学图像分割的卷积网络)，arxiv:1505.0459/vl,2015，其全部内容通过引用并入本文。该网络将在若干尺度下的学习特征与在同一尺度下的反池化特征合并。
该网络是由以下描述的在开源caffe平台上使用的模型：jia,y.,shelhammer,e.,donahue,j.,karayev,s.,girshick,r.,guadarrama,s.,darrell,t.,caffe:convolutionalarchitectureforfastfeatureembedding(用于快速特征嵌入的卷积架构),arxiv:1408:5093vl,2014，其全部内容通过引用并入本文。输入图像和剂量尺寸是256×256，并且选择“增强”选项。利用该选项，caffe随机地裁剪图像和剂量对的224×224中心部分，利用随机偏移将数据呈现给网络以降低过度拟合。
编写接收来自caffe的2d剂量图像输出并且在本地dicom剂量文件中重新构建dicom剂量目标的程序。将该剂量添加至现有的dicom患者数据集，并且读入monaca程序中以用于与erasmus-icycle程序的剂量进行比较。使用剂量体积直方图(dvh)绘制解剖对象的体积的百分比(纵坐标)与由剂量覆盖的解剖对象的百分比(横坐标)以评估结果。
训练集被呈现给配备有nvidia图形处理器单元的计算机上的dcnn模型。学习速率初始地被设置为0.01，并且该速率每30,000次迭代被降低0.1。具有nvidiatitanx卡的计算机完成约10000次迭代/天，以及具有nvidiatesla卡的计算机完成3000次迭代/天。然后，测试集中的图像中的每个被呈现给训练过的模型中的每个。网络提供强大且可视的剂量估计。这对于训练中的较大的迭代计数和较小的迭代计数(例如，约10k次迭代)都是如此。
为了执行训练，首先，学习速率被设置为0.01，并且使用17400次训练迭代来训练深度学习模型以产生图15中所示的结果，其中图示的左侧示出了输入图像，中间图像示出了输入至训练算法的基准或预期结果，以及标记为“unet结构”的最右侧图像示出了对应于在完成17400次训练迭代之后dcnn产生的输入数据的预测结果输出图(注量图)。
图16描绘了预期结果(左图)和预测结果(右图)的剂量分布。图16的可视检查示出了利用该训练集(2.25mm×2.25mm×2.25mm体素间距，17400次迭代和学习速率为0.01)的预测结果与预期结果的合理近似。
图17示出了相同训练数据的训练场景的状态，其中现在处于60000次迭代下以及学习速率现在为0.001。与使用仅17400次迭代的先前的图15相比，图17的右侧示出的预测输出(注量图)更加紧密地接近图17中间的基准预期结果。相应地，图18中的剂量直方图示出了预期结果(左)与预测输出(右)之间的较紧密的匹配，当与图16相比时，特别是在曲线的下降峰值处。
对于体素间距和学习速率保持相同的各个迭代数目，准备了剂量体积直方图(dvh)(图19中所示)。在不同的训练试验中使用10k、20k、60k和90k次迭代，以及直方图示出在90k次迭代训练周期下基准数据与预期结果之间的非常紧密的拟合。在dvh中，ptv以绿色表示，膀胱图为蓝色以及直肠图为红色。如果训练算法的预测结果精确地匹配基准(或预期结果)，则基准和产生优化的预测结果的特定迭代数目的dvh曲线基本上相同。可以通过检查用于训练时间间隔的dvh图如何紧密地收敛于预测结果来实验地确定与体素间距尺寸和学习速率一起使用的训练迭代的数目。
在本文中描述了可以被实现或定义为软件代码或指令的各种操作或功能。这样的内容可以是直接可执行的(“对象”或“可执行”形式)源代码或不同的代码(“增量”或“补丁”代码)。可以经由在其上存储有代码或指令的制品或者经由操作通信接口以通过通信接口发送数据的方法来提供本文中描述的实施方式的软件实现。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以能够由机器(例如，计算装置、电子系统等)访问的形式存储信息的任何机制，例如可记录/非可记录介质(例如，只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光学存储介质、闪存装置等)。通信接口包括与硬连线介质、无线介质、光学介质等中的任何一种对接以与另一装置例如存储器总线接口、处理器总线接口、互联网连接、硬盘控制器等进行通信的任何机制。可以通过提供配置参数和/或发送信号配置通信接口，以使通信接口准备提供描述软件内容的数据信号。可以经由发送至通信接口的一个或更多个命令或信号来访问通信接口。
本发明还涉及用于执行本文中的操作的系统。可以为所需目的具体地构造该系统，或者该系统可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这种计算机程序可以存储在计算机可读存储介质中，例如但不限于，包括软盘、光盘、cd-rom和磁光盘中的任一类型的硬盘、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁卡或光卡或者适于存储电子指令的任何一种类型的介质，每个介质耦接至计算机系统总线。
除非另有说明，否则本文中示出和描述的本发明的实施方式中的操作的实施或执行的顺序不一定。也就是说，除非另有说明，否则可以以任何顺序执行操作，并且本发明的实施方式可以包括与本文中公开的这些操作相比附加或更少的操作。例如，预期的是，在另一操作之前、同时或之后实施或执行具体的操作在本发明的方面的范围内。
可以利用计算机可执行指令来实现本发明的实施方式。计算机可执行指令可以被组织成一个或更多个计算机可执行部件或模块。可以利用任何数目和组织的这样的部件或模块来实现本发明的方面。例如，本发明的方面不限于附图中示出的以及本文中描述的具体的计算机可执行指令或者具体的部件或模块。本发明的其他实施方式可以包括具有比本文中示出和描述的功能更多或更少的功能的不同的计算机可执行指令或部件。
尽管本文中描述了所公开的原理的示例和特征，但是在不偏离所公开的实施方式的精神和范围的情况下，修改、调整和其他实现是可行的。此外，词语“包括”、“具有”、“包含”和“包括有”以及其他类似的形式旨在在含义上等同并且被理解为开放式的，使得这些词语中的任何一个之后的一项或更多项不意味着是一项或更多项的穷尽列表，或者不意味着限于仅所列的一项或更多项。并且，除非上下文另有明确规定，否则单数形式“一(a)”、“一个(an)”和“该(the)”旨在包括复数引用。
已经详细地描述了本发明的方面，将明显的是，在不偏离如所附权利要求书中限定的本发明的方面的范围的情况下，修改和变化是可行的。由于在不偏离本发明的方面的范围的情况下可以在上述构造、产品和方法中进行各种改变，所以上述说明书中包含的以及附图中示出的所有内容旨在应被理解为说明性的而非限制意义。
- 还没有人留言评论。精彩留言会获得点赞！