使用机器学习的放射疗法治疗计划优化的制作方法

使用机器学习的放射疗法治疗计划优化
1.相关申请的交叉引用
2.本技术要求2019年7月16日提交的美国申请序列第16/512,972号的优先权的权益，该美国申请通过引用整体并入本文。
技术领域
3.本公开内容总体上涉及放射疗法或放射疗法优化问题。


背景技术：

4.放射疗法用于治疗哺乳动物(例如，人和动物)组织中的癌症和其他疾病。放射束的方向和形状应当被准确地控制，以确保肿瘤接受处方放射，并且射束的布置应当使得对周围的健康组织(通常称为危及器官(oar))的损害最小化。治疗计划可以用于控制放射束参数，并且放射疗法装置通过向患者递送空间上变化的剂量分布来实现治疗。
5.常规地，对于每个患者，可以使用基于临床和剂量测定的目标和约束(例如，对肿瘤和关键器官的最大剂量、最小剂量和平均剂量)的优化技术来创建放射疗法治疗计划(“治疗计划”)。治疗计划过程可以包括使用患者的三维(3d)图像来识别靶区(例如，肿瘤)以及识别肿瘤附近的关键器官。创建治疗计划会是耗时的过程，在该过程中，计划者试图在考虑各项治疗目标或约束(例如，剂量体积直方图(dvh)目标)的各自重要性(例如，权重)的情况下遵从各项治疗目标或约束，以产生临床上可接受的治疗计划。该任务可能是耗时的试错过程，该试错过程由于各种oar而复杂化，因为随着oar的数目的增加(例如，在头颈部治疗中通常被分割为21个)，过程的复杂性也会增加。远离肿瘤的oar可以容易地免受放射，而靠近靶肿瘤或与靶肿瘤交叠的oar可能难以免受放射。
6.可以执行分割以识别oar和要治疗的区域(例如，计划靶体积(ptv))。在分割之后，可以针对患者创建剂量计划，该剂量计划指示要由一个或更多个ptv(例如，靶)和/或一个或更多个oar接收的期望放射量。ptv可能具有不规则的体积，并且其大小、形状和位置可能是唯一的。可以在对大量的计划参数进行优化之后计算治疗计划，以确保向ptv提供足够的剂量同时向周围的健康组织提供尽可能低的剂量。因此，可以通过平衡治疗肿瘤与使任何oar免受伤害的剂量的高效控制来确定放射疗法治疗计划。通常，放射治疗计划的质量可能取决于计划者的经验水平。由于患者之间的解剖结构变化可能会引起进一步的并发症。


技术实现要素：

7.在一些实施方式中，提供了一种计算机实现的方法、非暂态计算机可读介质以及包括存储器和处理器的系统，以用于通过以下方式来求解放射疗法治疗计划优化问题：由处理器电路接收放射疗法治疗计划优化问题；由处理器电路利用机器学习模型处理放射疗法治疗计划优化问题以估计放射疗法治疗计划优化问题的一个或更多个优化变量，其中，训练机器学习模型以建立多个训练放射疗法治疗计划优化问题的参数与一个或更多个优化变量之间的关系，其中，机器学习模型包括深度神经网络；以及由处理器电路基于所估计
的放射疗法治疗计划优化问题的一个或更多个优化变量来生成对放射疗法治疗计划优化问题的解，其中，该解包括放射治疗装置参数、注量图、等中心位置、射束角度或射束开启次数中的至少一个。
8.在一些实现方式中，机器学习模型包括在机器学习模型的后续迭代中使用的一个或更多个中间估计优化变量。
9.在一些实现方式中，通过以下操作执行处理放射疗法治疗计划优化问题：利用机器学习模型处理放射疗法治疗计划优化问题以估计一个或更多个初始优化变量；以及使用不同的学习或非学习优化过程，从一个或更多个初始优化变量开始求解放射疗法治疗计划优化问题。
10.在一些实现方式中，非学习优化过程包括以下中的至少一种：单纯形法、内点法、牛顿法、拟牛顿法、高斯牛顿法、列文伯格-马夸尔特(levenberg-marquardt)法、线性最小二乘法、梯度下降法、投影梯度法、共轭梯度法、增广拉格朗日(augmented lagrangian)法、nelder-mead法、分支定界法、割平面法、模拟退火或序列二次规划法。
11.在一些实现方式中，多个训练放射疗法治疗计划优化问题包括以下中的至少一个：从先前放射疗法治疗计划得出的优化问题；或综合生成的问题。
12.在一些实现方式中，放射疗法治疗计划优化问题包括以下中的至少一个：患者体积或患者的图像、患者体积的分割、剂量核、剂量体积直方图约束或剂量约束。
13.在一些实现方式中，放射疗法治疗计划优化问题是约束优化问题，并且另外提供了用于基于价值函数(merit function)将放射疗法治疗计划优化问题转换为无约束优化问题的计算机实现的方法、非暂态计算机可读介质和系统；以及利用机器学习模型处理经转换的放射疗法治疗计划优化问题以估计一个或更多个优化变量。
14.在一些实现方式中，利用机器学习模型处理放射疗法治疗计划优化问题以估计一个或更多个优化变量通过以下操作来执行：选择放射疗法治疗计划优化问题的约束的第一子集；基于所选择的约束的第一子集，利用机器学习模型执行对放射疗法治疗计划优化问题处理的第一迭代，以生成一个或更多个优化变量的第一估计；选择放射疗法治疗计划优化问题的约束的第二子集；以及基于所选择的约束的第二子集，利用机器学习模型执行对放射疗法治疗计划优化问题处理的第二迭代，以生成一个或更多个优化变量的第二估计。
15.在一些实现方式中，执行一个或更多个附加迭代包括选择约束的子集并且利用机器学习模型来处理放射疗法治疗计划优化问题。
16.在一些实现方式中，随机地选择约束的第一子集和第二子集。
17.在一些实施方式中，提供了一种用于通过以下操作来训练机器学习模型以求解放射疗法治疗计划优化问题的计算机实现的方法、非暂态计算机可读介质以及包括存储器和处理器的系统：由处理器电路接收多个训练放射疗法治疗计划优化问题；以及通过建立多个训练放射疗法治疗计划优化问题的参数与一个或更多个优化变量之间的关系，训练机器学习模型以生成放射疗法治疗计划优化问题的一个或更多个优化变量的估计。
18.在一些实现方式中，基于对多个训练放射疗法治疗计划优化问题的多个解，以有监督方式训练机器学习模型。
19.在一些实现方式中，以有监督方式迭代地训练机器学习模型，其中，在机器学习模型的后续训练迭代中使用包括中间估计优化变量的、机器学习模型的一个训练迭代的中间
输出。
20.在一些实现方式中，多个训练放射疗法治疗计划优化问题包括约束优化问题，并且计算机实现的方法、非暂态计算机可读介质以及系统还执行：基于价值函数将多个训练放射疗法治疗计划优化问题转换为无约束优化问题；以及基于经转换的放射疗法治疗计划优化问题来训练机器学习模型。
21.在一些实现方式中，以无监督方式训练机器学习模型。
22.以上发明内容旨在提供对本专利申请的主题的概述。其并不旨在提供对本公开内容的排他性或详尽说明。包括具体实施方式以提供关于本专利申请的进一步信息。
附图说明
23.在不一定按比例绘制的附图中，贯穿若干视图，相同的附图标记描述基本上相似的部件。具有不同字母后缀的相同附图标记表示基本上相似的部件的不同实例。附图通过示例的方式而非通过限制的方式总体上示出了本文中讨论的各种实施方式。
24.图1示出了根据一些示例的适于执行治疗计划生成处理的示例性放射疗法系统。
25.图2a示出了根据本公开内容的一些示例的示例性图像引导放射疗法装置。
26.图2b示出了根据本公开内容的一些示例的放射疗法装置，伽玛刀。
27.图3示出了根据本公开内容的一些示例的用于训练和使用机器学习技术以求解放射疗法治疗计划优化问题的示例性数据流。
28.图4至图6示出了根据本公开内容的一些示例的用于训练和使用机器学习技术以求解放射疗法治疗计划优化问题的示例性操作的流程图。
具体实施方式
29.本公开内容包括以下各种技术，通过使用机器学习(ml)模型以估计放射疗法治疗计划优化问题的一个或更多个优化变量，然后所述一个或更多个优化变量可以用于求解放射疗法治疗计划优化问题，来生成放射疗法治疗计划。技术益处包括减少了生成放射疗法治疗计划和求解放射疗法治疗计划优化问题的计算处理时间，以及伴随的对用于生成放射疗法治疗计划和求解放射疗法治疗计划优化问题的处理、存储器和网络资源的改进。这些放射疗法治疗计划可以应用于各种医学治疗和诊断设置或放射疗法治疗装置和设备。因此，除了这些技术益处之外，本技术还可以产生许多明显的医学治疗益处(包括提高放射疗法治疗的精度、减少对非预期放射的暴露等)。
30.放射疗法是用于治疗癌症的主要方法之一，并且被推荐用于所有癌症患者中超过50％的癌症患者。治疗计划通过涉及数学优化问题的复杂设计过程来创建，其捕获剂量递送的期望特性——通常需要到达靶的剂量足够高，同时使到达健康组织的剂量最小化。优化问题的整体结构对于大多数形式的放射疗法是相同的，包括基于直线加速器的治疗(3d-crt、imrt、vmat)、质子治疗、伽玛刀放射外科和近距离放射治疗。最终结果是递送剂量分布所需的放射疗法装置配置(例如控制点)。
31.当前的计划软件通常使用标准数学优化方法来求解最小化问题。这些方法可能是缓慢的，造成患者和临床医生不必要的等待。利用实时成像的未来应用甚至可能需要实时治疗计划，这无法使用常规的优化问题求解器来执行。
32.所公开的技术解决了这些挑战，并且提高了通过利用ml模型或参数化方法来求解放射疗法治疗计划优化问题的速度和效率。特别地，ml模型用于估计给定放射疗法治疗计划优化问题的一个或更多个优化变量，其简化了放射疗法治疗计划优化问题并且允许使用所估计的优化变量来更快地求解放射疗法治疗计划优化问题。通过提高求解放射疗法治疗计划优化问题的速度，所公开的技术可以使得能够执行实时治疗计划并且减少患者和临床医生的等待时间。估计优化变量是指生成给定优化问题的一个或更多个决策变量的估计值。
33.具体地，所公开的技术接收放射疗法治疗计划优化问题，并且利用机器学习模型处理放射疗法治疗计划优化问题，以估计放射疗法治疗计划优化问题的一个或更多个优化变量。训练机器学习模型以建立多个训练放射疗法治疗计划优化问题的参数与一个或更多个优化变量之间的关系。基于所估计的放射疗法治疗计划优化问题的一个或更多个优化变量来生成放射疗法治疗计划优化问题的解。然后，可以通过所求解的放射疗法治疗计划优化问题来确定和生成给定设备的放射疗法装置参数(例如，控制点)。
34.图1示出了适于使用本文中所讨论的方法中的一种或更多种来执行放射疗法计划处理操作的示例性放射疗法系统100。执行这些放射疗法计划处理操作以使放射疗法系统100能够基于捕获的医学成像数据和疗法剂量计算或放射疗法机器配置参数的特定方面向患者提供放射疗法。具体地，以下处理操作可以被实现为治疗处理逻辑120的一部分。然而，将理解，可以提供以下训练模型和治疗处理逻辑120的许多变型和使用实例，包括数据验证、可视化以及其他医学评估和诊断设置。
35.放射疗法系统100包括放射疗法处理计算系统110，放射疗法处理计算系统110托管治疗处理逻辑120。放射疗法处理计算系统110可以连接至网络(未示出)，并且这样的网络可以连接至因特网。例如，网络可以将放射疗法处理计算系统110与以下各者连接：一个或更多个私人和/或公共医疗信息源(例如，放射科信息系统(ris)、医疗记录系统(例如，电子医疗记录(emr)/电子健康记录(ehr)系统)、肿瘤学信息系统(ois))、一个或更多个图像数据源150、图像获取装置170(例如，成像模式)、治疗装置180(例如，放射疗法装置)和治疗数据源160。
36.作为示例，放射疗法处理计算系统110可以被配置成接收受试者的治疗目标(例如，从一个或更多个mr图像)并且通过执行来自治疗处理逻辑120的指令或数据来生成放射疗法治疗计划，作为生成将由治疗装置180使用和/或在装置146上输出的治疗计划的操作的一部分。在实施方式中，治疗处理逻辑120求解优化问题以生成放射疗法治疗计划。治疗处理逻辑120使用经训练的ml模型来求解放射疗法优化问题，该经训练的ml模型已经被训练以建立多个训练放射疗法治疗计划优化问题的参数与一个或更多个优化变量之间的关系。在示例中，治疗处理逻辑120将接收到的优化问题分类成特定类型，并且然后标识已经被训练以求解该特定类型的优化问题的给定ml模型。将给定的ml模型应用于接收到的优化问题以估计接收到的优化问题的优化变量。然后，基于所估计的优化变量，使用常规优化问题求解器(例如，单纯形法、内点法、牛顿法、拟牛顿法、高斯牛顿法、列文伯格-马夸尔特法、线性最小二乘法、梯度下降法、投影梯度法、共轭梯度法、增广拉格朗日法、nelder-mead法、分支定界法、割平面法、模拟退火或序列二次规划法)来求解优化问题。
37.一般放射疗法治疗计划优化问题可以定义为式1：
[0038][0039]
其中f：是目标函数，x∈x是决策变量，并且是可行变量的集合。通常，函数f可以是非线性的，并且集合ω是非凸的。通常使用某种形式的迭代方案来求解优化问题。例如，如果f是平滑和凸的，并且ω是凸的，则可以使用投影梯度方案以求解式(1)并且内容如下：
[0040][0041]
其中，projω：x
→
x是投影到ω上，是步长，并且x
→
x是梯度。虽然这些算法通常可证明是收敛的(例如，给定足够的时间(和正确的参数选择)，算法将收敛至极小)，但是它们并不总是非常快和高效的。实际上，若干算法可能需要数百甚至数千次迭代以实现近似收敛。由于每个步骤可能计算开销高，这可能意味着几分钟甚至几小时的运行时间。根据所公开的技术，使用经训练的ml模型通过估计这样的问题的一个或更多个优化变量(例如，x)并且然后应用常规方法求解优化问题，以加速求解这样的优化问题。在某些方法中，ml模型提供在期望或预期解的偏差阈值内的优化问题的解。在这样的情况下，可能不需要常规方法，因为ml模型估计出了优化问题的解。
[0042]
特别地，所公开的实施方式提高了使用基于深度学习的优化来求解优化问题的速度和效率。即，选择针对手头问题类型进行微调的优化方案。深度学习优化方法以深度神经网络的形式将更多参数添加到优化问题，并且然后挑选尽可能好地求解优化问题的参数(例如，与最优解相距指定阈值偏差)。
[0043]
放射疗法处理计算系统110可以包括处理电路112、存储器114、存储装置116、以及诸如用户接口142、通信接口(未示出)等的其他硬件和软件可操作的功件。存储装置116可以存储暂态或非暂态计算机可执行指令，例如操作系统、放射疗法治疗计划、训练数据、软件程序(例如，图像处理软件、图像或解剖可视化软件、诸如由深度学习模型、ml模型和神经网络(nn)等提供的人工智能(ai)或ml实现方式和算法)以及要由处理电路112执行的任何其他计算机可执行指令。
[0044]
在示例中，处理电路112可以包括处理装置，例如，诸如微处理器、中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)等的一个或更多个通用处理设备。更特别地，处理电路112可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、实现其他指令集的处理器或实现指令集的组合的处理器。处理电路112也可以由诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)等的一个或更多个专用处理装置来实现。
[0045]
如本领域技术人员将认识到的，在一些示例中，处理电路112可以是专用处理器而不是通用处理器。处理电路112可以包括一个或更多个已知的处理设备，例如来自由intel
tm
制造的pentium
tm
、core
tm
、xeon
tm
或系列的微处理器以及来自由amd
tm
制造的turion
tm
、athlon
tm
、sempron
tm
、opteron
tm
、fx
tm
、phenom
tm
系列的微处理器或者由太阳微系统公司(sun microsystems)制造的各种处理器中的任何处理器。处理电路112也可以包括诸
如来自由nvidia
tm
制造的制造的系列以及由intel
tm
制造的gma、iris
tm
系列或由amd
tm
制造的radeon
tm
系列的gpu的图形处理单元。处理电路112还可以包括诸如由intel
tm
制造的xeon phi
tm
系列的加速处理单元。所公开的实施方式不限于以其他方式被配置成满足识别、分析、维护、生成和/或提供大量数据或操纵这样的数据以执行本文中公开的方法的计算需求的任何类型的处理器。另外，术语“处理器”可以包括多于一个的物理(基于电路)或基于软件的处理器，例如多核设计或各自具有多核设计的多个处理器。处理电路112可以执行存储在存储器114中并且从存储装置116访问的暂态或非暂态计算机程序指令的序列，以执行将在下面更详细地说明的各种操作、过程和方法。应当理解，系统100中的任何部件可以单独地被实现并作为独立设备工作，并且可以耦接至系统100中的任何其他部件以执行本公开内容中描述的技术。
[0046]
存储器114可以包括只读存储器(rom)、相变随机存取存储器(pram)、静态随机存取存储器(sram)、闪速存储器、随机存取存储器(ram)、例如同步dram(sdram)的动态随机存取存储器(dram)、电可擦除可编程只读存储器(eeprom)、静态存储器(例如，闪速存储器、闪存盘、静态随机存取存储器)以及其他类型的随机存取存储器、高速缓冲存储器、寄存器、致密盘只读存储器(cd-rom)、数字多功能盘(dvd)或其他光存储装置、盒式磁带、其他磁存设备、或者可以用于存储能够由处理电路112或者任何其他类型计算机设备访问的包括图像、训练数据、一个或更多个ml模型或技术参数、数据或者暂态或非暂态计算机可执行指令(例如，以任何格式存储)的信息的任何其他非暂态介质。例如，计算机程序指令可以由处理电路112访问，可以从rom或任何其他合适的存储器位置被读取，并且可以被加载到ram中以由处理电路112执行。
[0047]
存储装置116可以构成包括暂态或非暂态机器可读介质的驱动单元，在该暂态或非暂态机器可读介质上存储有由本文中描述的方法或功能中的任何一个或更多个(在各种示例中，包括治疗处理逻辑120和用户接口142)实施或利用的一个或更多个暂态或非暂态指令集和数据结构(例如，软件)。在放射疗法处理计算系统110执行指令期间，指令还可以全部或至少部分地驻留在存储器114和/或处理电路112内，其中存储器114和处理电路112也构成暂态或非暂态机器可读介质。
[0048]
存储器114和存储装置116可以构成非暂态计算机可读介质。例如，存储器114和存储装置116可以将用于一个或更多个软件应用的暂态或非暂态指令存储或加载在计算机可读介质上。利用存储器114和存储装置116存储或加载的软件应用可以包括例如用于通用计算机系统以及用于软件控制的设备的操作系统。放射疗法处理计算系统110还可以操作包括用于实现治疗处理逻辑120和用户接口142的软件代码的各种软件程序。此外，存储器114和存储装置116可以存储或加载能够由处理电路112执行的整个软件应用、软件应用的一部分或者与软件应用相关联的代码或数据。在其他示例中，存储器114和存储装置116可以存储、加载和操纵一个或更多个放射疗法计划、成像数据、分割数据、治疗可视化、直方图或测量、一个或更多个ai模型数据(例如，所公开的实施方式的ml模型的权重和参数)、训练数据、标签和映射数据等。可以预期，软件程序不仅可以存储在存储装置116和存储器114上，而且可以存储在诸如硬盘驱动器、计算机磁盘、cd-rom、dvd、蓝光dvd、usb闪存驱动器、sd卡、记忆棒的可移除计算机介质上或任何其他合适的介质上；也可以通过网络传送或接收这样的软件程序。
[0049]
尽管未描绘，但是放射疗法处理计算系统110可以包括通信接口、网络接口卡和通信电路。示例通信接口可以包括例如网络适配器、线缆连接器、串行连接器、usb连接器、并行连接器、高速数据传输适配器(例如，光纤、usb 3.0、雷电接口(thunderbolt)等)、无线网络适配器(例如，ieee 802.11/wi-fi适配器)、电信适配器(例如，与3g、4g/lte和5g网络等进行通信)等。这样的通信接口可以包括一个或更多个数字和/或模拟通信设备，所述一个或更多个数字和/或模拟通信设备允许机器经由网络与例如位于远处的部件的其他机器和设备进行通信。网络可以提供局域网(lan)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务等)、客户端-服务器、广域网(wan)等的功能。例如，网络可以是可以包括其他系统(包括与医学成像或放射疗法操作相关联的附加图像处理计算系统或基于图像的部件)的lan或wan。
[0050]
在示例中，放射疗法处理计算系统110可以从图像数据源150(例如，mr图像)获得图像数据152，以托管在存储装置116和存储器114上。在又一示例中，软件程序可以代替患者图像的功能，例如强调图像信息的一些方面的图像的经处理的版本或符号距离功能。
[0051]
在示例中，放射疗法处理计算系统110可以从图像数据源150获得图像数据152或者将图像数据152传送到图像数据源150。在其他示例中，治疗数据源160接收或更新作为由治疗处理逻辑120生成的治疗计划的结果的计划数据。图像数据源150还可以提供或托管用于在治疗处理逻辑120中使用的成像数据。
[0052]
在示例中，计算系统110可以与治疗数据源160和输入装置148通信以生成：多个训练放射疗法治疗计划优化问题的训练参数和一个或更多个训练优化变量的对；多个训练放射疗法治疗计划优化问题的训练参数和一个或更多个训练优化变量以及多个训练放射治疗优化问题的解的对；以及给定类型的多个训练放射疗法治疗计划优化问题的训练参数和一个或更多个训练优化变量的对。
[0053]
处理电路112可以通信地耦接至存储器114和存储装置116，并且处理电路112可以被配置成执行存储在其上的来自存储器114或存储装置116的计算机可执行指令。处理电路112可以执行指令以使来自图像数据152的医学图像在存储器114中被接收或获得并且被使用治疗处理逻辑120处理以生成治疗计划。特别地，治疗处理逻辑120接收基于所接收的医学图像得出的优化问题。治疗处理逻辑实现经训练的ml模型，该ml模型被应用于优化问题以估计优化问题的一个或更多个优化变量。一旦估计了优化变量，就使用所估计的优化变量求解所接收的优化问题，以生成治疗计划。
[0054]
另外，处理电路112可以利用软件程序来生成中间数据，例如要由nn模型、机器学习模型、治疗处理逻辑120或如本文中讨论的治疗计划的生成所涉及的其他方面使用的更新参数。此外，这样的软件程序可以使用本文中进一步讨论的技术，利用治疗处理逻辑120以产生新的或更新的治疗计划参数，以用于部署到治疗数据源160和/或呈现在输出装置146上。然后，处理电路112可以随后经由通信接口和网络将新的或更新的治疗计划参数传送至治疗装置180，在该治疗装置180中，放射疗法计划将被用于经由治疗装置180利用放射对患者进行治疗，这与由治疗处理逻辑120实现的经训练的ml模型的结果一致(例如，根据以下结合图3讨论的处理)。
[0055]
在本文的示例中，处理电路112可以执行软件程序，该软件程序调用治疗处理逻辑120以实现ml、深度学习、nn的功能以及用于根据输入的放射疗法医疗信息(例如，ct图像、
mr图像和/或sct图像和/或剂量信息)生成治疗计划的人工智能的其他方面。例如，处理电路112可以执行软件程序，该软件程序根据如本文中所讨论的接收到的放射疗法医疗信息来训练、分析、预测、评估和生成治疗计划参数。
[0056]
在示例中，图像数据152可以包括一个或更多个mri图像(例如，2d mri、3d mri、2d流式mri、4d mri、4d体积mri、4d影像mri等)、功能mri图像(例如，fmri、dce-mri、扩散mri)、计算机断层扫描(ct)图像(例如，2d ct、2d锥形束ct、3d ct、3d cbct、4d ct、4d cbct)、超声图像(例如，2d超声、3d超声、4d超声)、正电子发射断层扫描(pet)图像、x射线图像、荧光镜图像、放射疗法射野图像、单光子发射计算机断层扫描(spect)图像、计算机生成的合成图像(例如，伪ct图像)等。此外，图像数据152还可以包括医学图像处理数据或者与医学图像处理数据相关联，医学图像处理数据例如是训练图像、真值图像(ground truth image)、轮廓图像和剂量图像。在其他示例中，可以以非图像格式(例如，坐标、映射等)来表示解剖区域的等效表示。
[0057]
在示例中，可以从图像获取装置170接收图像数据152，并且该图像数据152可以存储在图像数据源150(例如，图片存档和通信系统(pacs)、供应商中立档案库(vna)、医疗记录或信息系统、数据仓库等)中的一个或更多个中。因此，图像获取装置170可以包括mri成像设备、ct成像设备、pet成像设备、超声成像设备、荧光镜设备、spect成像设备、集成的线性加速器和mri成像设备、cbct成像设备、或者用于获得患者的医学图像的其他医学成像设备。可以以图像获取装置170和放射疗法处理计算系统110可以用来执行与所公开的实施方式一致的操作的任何数据类型或任何格式类型(例如，以医学数字成像和通信(dicom)格式)接收和存储图像数据152。此外，在一些示例中，本文中讨论的模型可以被训练成对原始图像数据格式或其衍生进行处理。
[0058]
在示例中，图像获取装置170可以与治疗装置180集成为单个装置(例如，与线性加速器组合的mri设备，也被称为“mri-linac”)。例如，这样的mri-linac可以用于确定患者中的靶器官或靶肿瘤的位置，以根据放射疗法治疗计划将放射疗法准确地引导至预定靶。例如，放射疗法治疗计划可以提供关于要施加至每个患者的特定放射剂量的信息。放射疗法治疗计划还可以包括其他放射疗法信息(包括放射疗法治疗装置的控制点)，例如治疗床位置、射束强度、射束角度、剂量-直方图-体积信息、在治疗期间要使用的放射束的数量、每束的剂量等。
[0059]
放射疗法处理计算系统110可以通过网络与外部数据库进行通信，以发送/接收与图像处理和放射疗法操作有关的多个各种类型的数据。例如，外部数据库可以包括机器数据(包括设备约束)，该机器数据提供与治疗装置180、图像获取装置170或者与放射疗法或医疗过程有关的其他机器相关联的信息。机器数据信息(例如，控制点)可以包括放射束大小、弧形位置、射束开启和关闭持续时间、机器参数、段、多叶准直器(mlc)配置、台架速度、mri脉冲序列等。外部数据库可以是存储装置并且可以配备有适当的数据库管理软件程序。此外，这样的数据库或数据源可以包括以集中式或分布式方式定位的多个设备或系统。
[0060]
放射疗法处理计算系统110可以使用一个或更多个通信接口经由网络收集并获得数据并且与其他系统进行通信，一个或更多个通信接口通信地耦接至处理电路112和存储器114。例如，通信接口可以提供放射疗法处理计算系统110与放射疗法系统部件之间的通信连接(例如，允许与外部设备交换数据)。例如，在一些示例中，通信接口可以具有与输出
装置146或输入装置148的适当的接口电路以连接至用户接口142，用户接口142可以是用户可以通过其将信息输入至放射疗法系统中的硬件键盘、小键盘或触摸屏。
[0061]
作为示例，输出装置146可以包括显示装置，该显示装置输出：用户接口142的表示；以及医学图像、治疗计划、以及这样的计划的训练、生成、验证或实现方式的状态的一个或更多个方面、可视化或表示。输出装置146可以包括一个或更多个显示屏，一个或更多个显示屏显示医学图像、接口信息、治疗计划参数(例如，轮廓、剂量、射束角度、标记、图等)、治疗计划、靶、对靶进行定位和/或对靶进行跟踪或者任何与用户相关的信息。连接至用户接口142的输入装置148可以是键盘、小键盘、触摸屏或者用户可以用于放射疗法系统100的任何类型的装置。替选地，输出装置146、输入装置148以及用户接口142的特征可以被集成到诸如智能电话或平板计算机(例如，applelenovosamsung等)的单个设备中。
[0062]
此外，放射疗法系统的任何部件和所有部件都可以被实现为虚拟机(例如，经由vmware、hyper-v等虚拟化平台)或独立装置。例如，虚拟机可以是用作硬件的软件。因此，虚拟机可以包括共同用作硬件的至少一个或更多个虚拟处理器、一个或更多个虚拟存储器以及一个或更多个虚拟通信接口。例如，放射疗法处理计算系统110、图像数据源150或类似部件可以被实现为虚拟机或被实现在基于云的虚拟化环境内。
[0063]
图像获取装置170可以被配置成针对关注区域(例如，靶器官、靶肿瘤或二者)获取患者解剖结构的一个或更多个图像。每个图像——通常是2d图像或切片——可以包括一个或更多个参数(例如，2d切片厚度、取向和位置等)。在示例中，图像获取装置170可以获取任何取向的2d切片。例如，2d切片的取向可以包括矢状取向(sagittal orientation)、冠状取向(oronal orientation)或轴向取向。处理电路112可以调整一个或更多个参数(例如2d切片的厚度和/或取向)，以包括靶器官和/或靶肿瘤。在示例中，可以根据诸如3d cbct或ct或mri体积的信息来确定2d切片。当患者正在经受放射疗法治疗时(例如当使用治疗装置180时)，可以由图像获取装置170“近乎实时地”获取这样的2d切片(其中，“近乎实时地”意味着至少以数毫秒或更短的时间获取数据)。
[0064]
放射疗法处理计算系统110中的治疗处理逻辑120实现ml模型，其涉及使用经训练的(经学习的)ml模型。该ml模型可以由被训练为nn模型的一部分的nn来提供。一个或更多个教师ml模型可以由不同实体或者在相对于治疗处理逻辑120的场外设施处提供，并且可以通过向场外设施发出一个或更多个查询来访问。
[0065]
有监督机器学习(ml)算法或ml模型或技术可以概括为函数逼近。从例如专家临床医生或现有优化计划求解器获取包括某种类型的输入-输出对的训练数据(例如，多个训练放射疗法治疗计划优化问题的一个或更多个训练优化变量和训练参数)，并且“训练”函数以近似该映射。一些方法涉及nn。其中，选择参数化函数aθ的集合，其中θ是通过使训练数据上的平均误差最小化而选择的参数的集合(例如，卷积核和偏差)。如果由(xm，ym)表示输入-输出对，则可以通过求解诸如式2的最小化问题来使函数形式化：
[0066][0067]
一旦网络已经被训练(例如，已经选择了θ)，函数aθ就可以应用于任何新的输入。例如，在放射疗法治疗计划优化问题变量的上述设置中，可以将之前从未见过的放射疗法治疗计划优化问题馈送到aθ中，并且估计与优化问题求解器将发现的相匹配的一个或更多个放射疗法治疗计划优化问题变量。
[0068]
简单的nn包括输入层、中间层或隐藏层以及输出层，每个层包含计算单元或节点。一个或多个隐藏层的节点具有来自所有输入层节点的输入，并且连接至输出层中的所有节点。这样的网络被称为“全连接”。每个节点根据其输入之和的非线性函数将信号传送至输出节点。对于分类器，输入层节点的数目通常等于被分类到类中的对象的集合中的每个对象的特征的数目，并且输出层节点的数目等于类的数目。通过以下操作对网络进行训练：向网络呈现已知类的对象的特征，并且通过被称为反向传播的算法来调整节点权重以减小训练误差。因此，经训练的网络可以对其类未知的新对象进行分类。
[0069]
神经网络具有发现数据与类或回归值之间的关系的能力，并且在某些条件下可以模拟包括非线性函数的任何函数y＝f(x)。在ml中，假设训练和测试数据二者都通过同一数据生成过程p
data
生成，其中每个{xi，yi}样本都相同且独立地分布(i.i.d.)。在ml中，目标是使训练误差最小化，并且使训练误差和测试误差之间的差异尽可能小。如果训练误差太大，则会发生欠拟合；在训练-测试误差差距太大时，会发生过拟合。两种类型的性能缺陷都与模型容量有关；大容量可以很好地拟合训练数据，但会导致过拟合；而小容量可能导致欠拟合。
[0070]
图2a示出了示例性图像引导的放射疗法装置232，该图像引导的放射疗法装置232包括：诸如x射线源或线性加速器的放射源、床246、成像检测器244和放射疗法输出部234。放射疗法装置232可以被配置成发射放射疗法束238以向患者提供治疗。放射疗法输出部234可以包括一个或更多个衰减器或准直器(例如mlc)。
[0071]
作为示例，患者可以被放置在由治疗床246支承的区域242中，以根据放射疗法治疗计划接收放射疗法剂量。放射疗法输出部234可以安装或附接至台架236或其他机械支承件。当床246插入到治疗区域中时，一个或更多个底盘马达(未示出)可以使台架236和放射疗法输出部234绕床246旋转。在示例中，当床246插入到治疗区域中时，台架236可以绕床246连续地旋转。在另一示例中，当床246插入到治疗区域中时，台架236可以旋转到预定位置。例如，台架236可以被配置成使治疗输出部234绕轴(“a”)旋转。床246和放射疗法输出部234两者均能够独立地移动到患者周围的其他位置，例如，能够沿横向方向(“t”)移动、能够沿侧向方向(“l”)移动或者能够绕一个或更多个其他轴旋转，例如绕横轴(指示为“r”)旋转。通信地连接至一个或更多个致动器(未示出)的控制器可以根据放射疗法治疗计划控制床246的移动或旋转，以将患者适当地定位在放射疗法束238中或放射疗法束238外。床246和台架236两者均可以以多个自由度彼此独立地移动，这允许患者被安置成使得放射疗法束238可以精确地瞄准肿瘤。
[0072]
坐标系(包括轴a、t和l)可以具有位于等中心240处的原点。等中心240可以被定义
为如下位置，在该位置处，放射疗法束238的中心轴与坐标轴的原点相交，例如以将规定的放射剂量递送至患者身上的位置或患者体内的位置。替选地，等中心240可以被定义为如下位置，在该位置处，对于如由台架236定位的放射疗法输出部234绕轴a的各种旋转位置，放射疗法束238的中心轴与患者相交。
[0073]
台架236还可以具有附接的成像检测器244。成像检测器244优选地位于与放射源(输出部234)相对的位置，并且在示例中，成像检测器244可以位于疗法束238的场内。成像检测器244可以安装在台架236上，优选地与放射疗法输出部234相对，以保持与放射疗法束238对准。随着台236旋转，成像检测器244绕旋转轴旋转。在示例中，成像检测器244可以是平板检测器(例如，直接检测器或闪烁体检测器)。以这种方式，成像检测器244可以用于监测放射疗法束238，或者成像检测器244可以用于对患者的解剖结构进行成像，例如射野成像。放射疗法装置232的控制电路可以集成在放射疗法系统100内或者远离放射疗法系统100。
[0074]
在说明性示例中，床246、疗法输出部234或台架236中的一个或更多个可以被自动定位，并且疗法输出部234可以根据用于特定疗法递送实例的指定剂量来建立疗法束238。可以根据放射疗法治疗计划例如使用台架236、床246或疗法输出部234的一个或更多个不同取向或位置来指定疗法递送的序列。疗法递送可以顺序地发生，但是可以在患者身上或在患者体内的期望治疗位点处例如在等中心240处相交。由此，可以将放射疗法的规定的累积剂量递送至疗法位点，同时可以减少或避免对疗法位点附近的组织的损害。
[0075]
因此，图2a具体地示出了放射疗法装置232的示例，该放射疗法装置232可操作成向患者提供与放射疗法治疗计划一致的放射疗法治疗或根据放射疗法治疗计划提供放射疗法治疗，该放射疗法装置232具有放射疗法输出部可以围绕中心轴(例如，轴“a”)旋转的配置。可以使用其他放射疗法输出配置。例如，可以将放射疗法输出部安装至具有多个自由度的机器人臂或操纵器。在又一示例中，疗法输出部可以是固定的，例如位于与患者侧向分开的区域中，并且可以使用支承患者的平台来将放射疗法等中心与患者体内的指定靶位点对准。在另一示例中，放射疗法装置可以是线性加速器和图像获取装置的组合。如本领域普通技术人员将认识到的，在一些示例中，图像获取装置可以是mri、x射线、ct、cbct、螺旋ct、pet、spect、光学层析成像、荧光成像、超声成像或放射疗法射野成像设备等。
[0076]
图2b示出了放射疗法装置130，其中可以使用本公开内容的伽玛刀。患者202可以佩戴坐标架220，以使正在经受手术或放射疗法的患者的身体部位(例如头部)保持稳定。坐标架220和患者定位系统222可以建立空间坐标系，该空间坐标系可以在对患者成像时或者在放射手术期间使用。放射疗法装置130可以包括保护壳体214，以包围用于生成穿过射束通道216的放射束(例如子射束)的多个放射源212。多个射束可以被配置成从不同位置聚焦在等中心218上。虽然每个单独的放射束可以具有相对低的强度，但是当来自不同放射束的多个剂量在等中心218处累积时，等中心218可以接收相对高水平的放射。在某些实施方式中，等中心218可以对应于接受手术或治疗的靶(例如肿瘤)。
[0077]
作为实施方式的示例，输出元素可以包括要施加至特定oar的体素的剂量。此外，可以使用特征元素来确定输出元素。特征元素可以包括oar中的体素与靶肿瘤中的最近边界体素之间的距离。因此，特征元素可以包括符号距离x，用于指示oar中的体素与用于放射疗法的靶中的最近边界体素之间距离。输出元素可以包括oar的体素中的剂量d，根据该剂
量d测量x。在一些其他实施方式中，每个训练样本可以对应于靶或oar中的特定体素，使得训练数据内的多个训练样本对应于靶或oar的整个体积和经受放射疗法的其他解剖部分。
[0078]
图3示出了根据本公开内容的一些示例的用于训练和使用机器学习模型来求解放射疗法治疗计划优化问题的示例性数据流。数据流包括训练输入310、ml模型(技术)训练330和模型使用350。
[0079]
训练输入310包括模型参数312和训练数据320，训练数据320可以包括成对的训练数据集322(例如，输入-输出训练对)和约束326。模型参数312存储或提供机器学习模型的对应模型的参数或系数。在训练期间，基于训练数据集322的输入-输出训练对来适配这些参数312。在适配参数312之后(在训练之后)，经训练的治疗模型360使用该参数来在新的数据集合370上实现经训练的机器学习模型中的相应一个。
[0080]
训练数据320包括约束326，约束326可以限定给定放射疗法装置的物理约束。成对的训练数据集322可以包括输入-输出对的集合，例如多个训练放射疗法治疗计划优化问题的训练参数和一个或更多个训练优化变量的对；多个训练放射疗法治疗计划优化问题的训练参数和一个或更多个训练优化变量以及多个训练放射疗法治疗优化问题的解的对；以及给定类型的多个训练放射疗法治疗计划优化问题的训练参数和一个或更多个训练优化变量的对。训练输入310的一些组成部分可以与其他组成部分分开地存储在不同的一个或多个场外设施中。在实施方式中，可以在已经被分类的特定类型的优化问题上训练每个机器学习模型特别地，可以根据类型对训练数据230中的分类问题进行分组，并且每个特定类型的训练数据用于训练对应的机器学习模型。以这种方式，当遇到或接收到新的优化问题时，对新的优化问题进行分类以确定其类型，并且可以访问关于该特定类型训练的对应ml模型，从而估计新的优化问题的优化变量。
[0081]
机器学习模型训练330基于成对训练数据集322的输入-输出对的集合来训练一个或更多个机器学习技术例如，模型训练330可以基于多个训练放射疗法治疗计划优化问题中的对应一个问题的对应的训练参数和一个或更多个训练优化变量通过使第一损失函数最小化来训练ml模型参数312。
[0082]
使多个训练数据集合的损失函数最小化的结果对对应ml模型的模型参数312进行训练、适配或优化。以这种方式，训练ml模型以建立多个训练放射疗法治疗计划优化问题的参数与一个或更多个优化变量之间的关系。
[0083]
在一些实施方式中，训练ml模型以用封闭形式估计治疗计划优化问题的一个或更多个优化放射疗法变量。在这样的情况下，一个或更多个优化变量可以用于直接求解给定的放射疗法治疗计划优化问题。特别地，闭式解定义了将f(优化问题函数)映射到最优解x
*
的近似的神经网络λ
θ
。
[0084]
在一个实现方式中，根据有监督学习技术来对ml模型进行训练，该ml模型被训练以应用并提供闭式解。有监督学习技术假设：根据先前求解优化问题，已知在这样的情况下，定义距离函数d，使得由表示到解的距离。在这样的情况下，为了训练ml模型λ
θ
，检索先前针对其他患者(和/或包括综合生成的问题)求解的多个训练优化问题以及它们对应的训练参数(例如，优化变量和解)。将ml模型
应用于第一批训练优化问题以估计给定的参数集合(例如，优化变量和/或解)。该批训练优化问题可以用于利用ml模型的相同参数训练ml模型，并且可以在从一个训练优化问题到所有训练问题的范围内。将ml模型的输出或结果与第一批训练优化问题的对应训练参数进行比较，并且使用以下讨论的损失函数l(θ，f)或l(θ)来计算输出或结果与第一批训练优化问题的对应训练参数之间的偏差。基于该偏差，计算ml模型的更新参数。然后将ml模型与更新参数一起应用于第二批训练优化问题以再次估计给定参数的集合，以用于与先前针对第二批训练优化问题所确定的参数进行比较。再次更新ml模型的参数，并且该训练过程的迭代持续指定数目的迭代或时期，或者直到已经满足给定的收敛标准。
[0085]
如在本公开内容中提及的，“目标函数”f可以包括以下中的任何一个或组合：优化问题的真正目标函数；扩展目标函数，其在可行集合上与真正目标函数一致但在可行集合外是无限的；价值函数，其是扩展目标函数的“更柔性”版本，其中价值函数在可行集合上与真正目标函数一致，并且离可行集合越远增长得越大(但是仍然有限)；和/或目标函数的松弛。例如，整数规划问题的线性规划松弛消除了完整性约束，并且因此允许非整数有理解。组合优化中复杂问题的拉格朗日松弛惩罚了某些约束的违反，从而使得能够更容易地求解松弛问题。松弛技术补充或增补组合优化的分支定界算法；线性规划和拉格朗日松弛用于获得整数规划的分支定界算法中的边界。
[0086]
在一个实现方式中，根据无监督学习技术对ml模型进行训练，该ml模型被训练以应用并提供闭式解，其中，不使用真正解(不管它是否已知)。由f(λ
θ
(f))定义闭式函数值。在这样的情况下，为了训练ml模型λ
θ
，检索针对其他患者(和/或包括综合生成的问题)的多个训练优化问题。将ml模型应用于第一批训练优化问题以估计给定的参数集合(例如，优化变量、约束的有效集合(例如在解处有效的约束)和/或解)。该批训练优化问题可以用于利用ml模型的相同参数训练ml模型，并且可以在从一个训练优化问题到所有训练问题的范围内。使用以下讨论的损失函数l(θ，f)或l(θ)来评估ml模型的输出或结果，以获得关于当前迭代的损失/效用的反馈。基于该损失函数，计算ml模型的更新参数。然后将ml模型与更新参数一起应用于第二批训练优化问题以再次估计给定的参数集合。再次更新ml模型的参数，并且该训练过程的迭代持续指定数目的迭代或时期，或者直到已经满足给定的收敛标准。
[0087]
在一些实施方式中，训练ml模型以用迭代方式估计放射疗法治疗计划优化问题的一个或更多个优化变量。在这样的情况下，ml模型估计用于求解优化问题的一个或更多个迭代的一个或更多个中间优化变量。在一些实现方式中，来自利用ml模型处理优化问题的一次迭代的中间优化变量由利用ml模型处理优化问题的另一迭代递归地处理。在一定次数的迭代之后或者当满足停止标准时，可以输出优化问题的解，并且将其用于生成放射疗法治疗计划。替选地，在满足停止标准之后，可以使用其他优化问题求解技术进一步求解具有最后估计的中间优化变量的优化问题。迭代解定义初始猜测x0和神经网络λ
θ
，神经网络λ
θ
将每次迭代映射到下一x
n+1
＝γ
θ
(f，xn，...，x0)，其中目标是xn→
x
*
。
[0088]
在一个实现方式中，根据有监督训练技术来对ml模型进行训练，该ml模型被训练以应用并提供迭代形式解。在这样的情况下，定义距离函数d，使得在n次迭代之后到解的距离为在一些情况下，训练ml模型以估计优化变量，使得在给定数目的n次迭代之
后的误差尽可能小，即在其他情况下，训练ml模型以估计优化变量，使得达到指定误差所需的迭代次数尽可能小，即在另外其他情况下，训练ml模型以估计优化变量，使得给定的迭代集合上的加权平均函数值尽可能小，即l(θ，f)＝∑
n wnd(xn，x
*
)。在一些情况下，为了训练迭代ml模型λ
θ
，检索先前针对其他患者(和/或包括综合生成的问题)迭代求解(针对一些指定的固定迭代次数或者已经求解完成)的多个训练优化问题以及它们对应的迭代训练参数(例如，针对每次迭代的优化变量和解或者与解对应的最终参数集合)。将ml模型应用于第一批训练优化问题以估计给定的中间参数集合(例如，优化变量和/或解)。该批训练优化问题可以用于利用ml模型的相同参数训练ml模型，并且可以在从一个训练优化问题到所有训练问题的范围内。将ml模型的输出或结果与第一批训练优化问题的对应训练参数进行比较，并且使用以下讨论的损失函数l(θ，f)或l(θ)来计算输出或结果与第一批训练优化问题的对应训练参数之间的偏差。基于该偏差，计算ml模型的更新参数。然后将ml模型与更新参数一起应用于第二批训练优化问题以再次估计给定的参数集合，以用于与先前针对第二批训练优化问题所确定的参数进行比较。再次更新ml模型的参数，并且该训练过程的迭代持续指定数目的时期或者直到所有训练优化问题被处理。
[0089]
在一个实现方式中，根据无监督学习技术对ml模型进行训练，该ml模型被训练以应用并提供迭代解，其中不使用真正解(不管它是否已知)。在这样的情况下，为了训练ml模型λ
θ
，检索针对其他患者(和/或包括综合生成的问题)的多个训练优化问题。将ml模型应用于第一批训练优化问题以估计给定的参数集合(例如，优化变量、约束的有效集合(例如在解处有效的约束)和/或解)。将ml模型递归地和迭代地应用于第一批训练优化问题，使得来自利用ml模型处理优化问题的一次迭代的中间优化变量由利用ml模型处理优化问题的另一迭代递归地处理，直到一定次数的迭代或者当满足停止标准时。在满足停止标准之后，使用以下讨论的损失函数l(θ，f)或l(θ)来评估ml模型的输出或结果，以获得关于当前迭代的损失/效用的反馈。即，对于一些在固定次数的迭代之后的函数值，l(θ，f)＝f(xn)。计算加权平均函数值l(θ，f)＝∑
n wnf(xn)，其中wn是权重。基于该损失函数，计算ml模型的更新参数。然后将ml模型与更新的参数一起迭代地和递归地应用于第二批训练优化问题，以再次迭代地估计给定的参数集合。再次更新ml模型的参数，并且该训练过程的迭代持续指定数目的迭代或时期，或者直到已经满足给定的收敛标准。
[0090]
具体地，基于损失函数，以有监督或无监督的方式训练ml模型，使得由ml模型针对给定优化问题所估计的中间参数集合表示在指定的固定次数的迭代之后对给定优化问题的解或者在问题已经完全求解之后对给定优化问题的解。训练ml模型直到满足停止标准(例如，已经达到最大迭代次数、实现目标值的降低、满足步长等)或者当解在给定优化问题的最终解的指定阈值误差内或在指定的迭代次数之后的解的指定阈值误差内。以这种方式，该经训练的ml模型可以应用于新的优化问题以估计新优化问题的一个或更多个优化变量。在一些情况下，可以通过针对多次迭代递归地应用ml模型，使用所估计的优化变量来迭代地和递归地求解新的优化问题。在一些情况下，递归地求解新的优化问题所需的迭代次数小于使用常规技术利用初始优化变量求解优化问题所花费的迭代总次数。在一些情况下，可以使用其他优化求解技术来求解具有由应用ml模型产生的估计优化变量的新优化问
题。
[0091]
在一些情况下，被训练的ml模型取决于训练集合中的优化问题的分类。例如，如果通过图像(例如，剂量计划和断层摄影图像)对目标函数f参数化，则闭合形式ml模型可以是可以用于预测最佳决策变量的u-net。对于用于提供迭代解的ml模型，可以使用由以下给出的学习投影梯度方案：其中x
→
x是深度神经网络并且θ＝(θ1，...，θn)是它们的参数。
[0092]
损失函数都是针对特定的优化问题定义的，但是实际上需要求解的问题是未知的。因此，优化求解器不能专门求解仅一个特定的优化问题。而是，求解器需要处理一系列相关问题。因此损失函数应当仅取决于参数选择l(θ)。为此，假设f是从赋予概率分布的可能优化问题的一些集合中随机抽取的。
[0093]
在每一个训练机器学习模型(有时称为λ
θ
)之后，可以接收包括一个或更多个患者输入参数(例如，放射疗法治疗计划优化问题)的新数据370。可以将经训练的机器学习技术应用于新数据370以生成包括放射疗法治疗计划优化问题的一个或更多个所估计的优化变量的生成结果380。然后，将所生成的放射疗法治疗计划优化问题的一个或更多个估计优化变量用于求解所接收的优化问题，例如通过使用以下方法：单纯形法、内点法、牛顿法、拟牛顿法、高斯牛顿法、列文伯格-马夸尔特法、线性最小二乘法、梯度下降法、投影梯度法、共轭梯度法、增广拉格朗日法、nelder-mead法、分支定界法、割平面法、模拟退火和/或序列二次规划。
[0094]
在一些实现方式中，可以使用由ml模型提供的估计优化变量来求解新的放射疗法治疗计划优化问题(其包括以下中的至少一个：患者体积或患者的图像、患者体积的分割、剂量核、剂量体积直方图约束或剂量约束)。优化问题的解包括以下中的至少一个：放射疗法装置参数、注量图、照射位置或射束开启时间。在某些情况下，为了进一步简化求解受约束的新的放射疗法治疗计划优化问题(例如，以某些约束为条件的优化问题)，可以首先将新的放射疗法治疗计划优化问题转换成无约束优化问题。这可以在针对新的放射疗法治疗计划优化问题由ml模型估计优化变量之前、期间或之后进行。为了将受约束的放射疗法治疗计划优化问题表示为无约束优化问题，可以使用价值函数。如果在由ml模型估计优化变量之前将优化问题转换为无约束优化问题，则无约束优化问题可以由ml模型来处理，以估计新的优化问题的优化变量，然后将该优化变量用于求解新的优化问题。
[0095]
作为示例，一般放射疗法治疗计划优化问题通常可以写为：
[0096][0097]
服从ci(x)＝0，i∈ε
[0098]ci
(x)≥0，i∈i
[0099]
其中f是目标函数，x是决策变量，并且{ci}是函数的集合，其中ε和i是分别与等式和不等式约束对应的索引的集合。
[0100]
非线性规划问题的示例价值函数包括l1惩罚函数：
[0101]
[0102]
正标量μ是惩罚参数，其确定分配给相对于目标的最小化的约束满足的权重。l1罚函数是精确价值函数的示例，其意味着如果μ足够大，则优化问题的任何局部解是φ(x；μ)的局部极小。因此，所公开的技术可以利用针对无约束优化的合适算法对无约束问题：执行固定但少量次数的迭代，并且使用该结果作为用于约束优化的普通求解器的初始猜测。具体地，在将价值函数应用于放射疗法治疗计划优化问题以从约束优化问题转换为无约束优化问题之后，可以使用较不复杂的无约束优化问题求解器。在无约束优化问题求解器的适当次数的迭代之后，可以由约束优化问题求解器处理无约束优化问题。
[0103]
在一些情况下，在无约束优化问题求解器的适当次数的迭代之后，将ml模型应用于无约束优化问题以估计一个或更多个放射疗法治疗计划优化变量。然后可以将所估计的一个或更多个放射疗法治疗计划优化变量应用于可以由约束优化问题求解器来求解的放射疗法治疗计划优化问题。
[0104]
可以将放射疗法治疗计划优化问题的目标函数分解为单独的部分。例如，一些部分包括与肿瘤被靶向的程度有关的不同目标，并且其他部分集中于不伤害健康组织。同样，可以分解放射疗法治疗计划优化问题的可行变量的集合。例如，每个射束开启时间可能必须是正的。这引起优化问题，其可以定义为：
[0105][0106]
服从
[0107]
在这些情况下，迭代优化算法可以考虑该结构以加速优化。例如，在随机化约束投影中，在每次迭代中仅对所有约束的子集执行投影：
[0108][0109][0110]
具体地，为了进一步加速求解放射疗法治疗计划优化问题，可以(例如随机地)选择约束的第一集合，并且在第一迭代中基于所选择的约束的第一集合求解放射疗法治疗计划优化问题。随后，在一个或更多个进一步的迭代中，可以(例如随机地)选择约束的第二集合，并且在一个或更多个进一步的迭代中基于所选择的约束的第二集合求解放射疗法治疗计划优化问题。在一些情况下，在每次迭代时，可以如下在每次迭代时应用适合于提供迭代解或中间优化变量的集合的ml模型：
[0111][0112][0113]
作为示例，可以训练第一ml模型以为在第一次迭代(例如，求解优化问题的一次迭代)之后考虑特定约束集(例如，特定数目的约束)的给定放射疗法治疗计划优化问题，提供中间迭代优化问题变量(例如，解)。在这样的情况下，在第一迭代中，可以将ml模型应用于新的放射疗法治疗计划优化问题，针对该新的放射疗法治疗计划优化问题选择了随机的约束的集合(对应于一定数量的约束)。ml模型提供新的放射疗法治疗计划优化问题的中间迭
代优化问题变量(例如，优化问题决策变量的中间解或更新值)。在第二迭代中，可以选择放射疗法治疗计划优化问题的第二约束集，并且可以利用第二约束集将第一ml模型或第二ml模型应用于放射疗法治疗计划优化问题，以提供新的放射疗法治疗计划优化问题的经更新的中间迭代优化问题变量。在一些情况下，可以训练第二ml模型以为在第二次数的迭代(例如，求解优化问题的两次迭代)之后考虑特定约束集(例如，特定数目的约束)的给定放射疗法治疗计划优化问题，提供中间迭代优化问题变量(例如，优化问题决策变量的中间解或更新值)。经更新的中间迭代优化问题变量对应于在执行两次迭代之后产生的放射疗法治疗计划优化问题变量。该过程可以重复附加迭代任何次数n。
[0114]
在一些实施方式中，利用机器学习模型处理放射疗法治疗计划优化问题以估计一个或更多个优化变量包括：选择放射疗法治疗计划优化问题的约束的第一子集；基于所选择的约束的第一子集，利用机器学习模型执行处理放射疗法治疗计划优化问题的第一迭代，以生成一个或更多个优化变量的第一估计；选择放射疗法治疗计划优化问题的约束的第二子集；以及基于所选择的约束的第二子集，利用机器学习模型执行处理放射疗法治疗计划优化问题的第二迭代，以生成一个或更多个优化变量的第二估计。在一些情况下，随机地选择约束的第一子集和第二子集。
[0115]
图4是示出根据示例实施方式的在执行过程400时的治疗处理逻辑120的示例操作的流程图。过程400可以包含在由一个或更多个处理器执行的计算机可读指令中，使得可以部分地或整体地由治疗处理逻辑120的功能部件来执行过程400的操作；因此，下面通过示例的方式参考其来描述过程400。然而，在其他实施方式中，过程400的操作中的至少一些可以部署在各种其他硬件配置上。因此，过程400不旨在限于治疗处理逻辑120，并且可以全部或部分地由任何其他部件来实现。过程400的操作的一些或全部可以是并行的、无序的或完全省略的。
[0116]
在操作410处，治疗处理逻辑120接收训练数据。例如，治疗处理逻辑120接收多个训练放射疗法治疗计划优化问题的训练参数和一个或更多个训练优化变量的对；多个训练放射疗法治疗计划优化问题的训练参数和一个或更多个训练优化变量以及多个训练放射疗法治疗优化问题的解的对；以及给定类型的多个训练放射疗法治疗计划优化问题的训练参数和一个或更多个训练优化变量的对。
[0117]
在操作420处，治疗处理逻辑120接收用于训练的约束。
[0118]
在操作430处，治疗处理逻辑120执行模型的训练。例如，治疗处理逻辑120可以基于多个训练放射疗法治疗计划优化问题中的对应一个问题的对应的训练参数和一个或更多个训练优化变量通过使第一损失函数最小化来训练ml模型参数312(图3)。以这种方式，训练ml模型以建立多个训练放射疗法治疗计划优化问题的参数与一个或更多个优化变量之间的关系。可以以有监督或无监督方式执行训练，并且生成闭合形式或迭代方式的模型。
[0119]
在操作440处，治疗处理逻辑120输出经训练的模型。例如，经训练的模型可以被输出并存储在存储器中，或者模型的参数可以在显示设备上呈现给临床医生。
[0120]
在操作450处，治疗处理逻辑120利用经训练的模型来生成结果。例如，在训练每一个机器学习模型(有时称为λ
θ
)之后，可以接收包括一个或更多个患者输入参数(例如，放射疗法治疗计划优化问题)的新数据370。经训练的机器学习技术可以应用于新数据
370以生成包括放射疗法治疗计划优化问题的一个或更多个估计的优化变量的生成结果380。可以使用由ml模型提供的所估计的优化变量来求解新的放射疗法治疗计划优化问题(包括患者体积或患者的图像、患者体积的分割、剂量核、剂量体积直方图约束或剂量约束中的至少一个)。
[0121]
图5是示出根据示例实施方式的在执行过程500时的治疗处理逻辑120的示例操作的流程图。过程500可以体现在由一个或更多个处理器执行的计算机可读指令中，使得可以部分地或整体地由治疗处理逻辑120的功能部件来执行过程500的操作；因此，下面通过示例的方式参考其来描述过程500。然而，在其他实施方式中，过程500的操作中的至少一些可以部署在各种其他硬件配置上。因此，过程500不旨在限于治疗处理逻辑120，并且可以全部或部分地由任何其他部件来实现。过程500的操作的一些或全部可以是并行的、无序的或完全省略的。
[0122]
在操作510处，治疗处理逻辑120接收放射疗法治疗计划优化问题。
[0123]
在操作520处，治疗处理逻辑120利用机器学习模型处理放射疗法治疗计划优化问题以估计放射疗法治疗计划优化问题的一个或更多个优化变量，其中，训练机器学习模型以建立多个训练放射疗法治疗计划优化问题的参数与一个或更多个优化变量之间的关系。
[0124]
在操作530处，治疗处理逻辑120基于所估计的放射疗法治疗计划优化问题的一个或更多个优化变量来生成放射疗法治疗计划优化问题的解。
[0125]
图6是示出根据示例实施方式的在执行过程600时的治疗处理逻辑120的示例操作的流程图。过程600可以包含在由一个或更多个处理器执行的计算机可读指令中，使得可以部分地或整体地由治疗处理逻辑120的功能部件来执行过程600的操作；因此，下面通过示例的方式参考其来描述过程600。然而，在其他实施方式中，过程600的操作中的至少一些可以部署在各种其他硬件配置上。因此，过程600不旨在限于治疗处理逻辑120，并且可以全部或部分地由任何其他部件来实现。过程600的操作一些或全部可以是并行的、无序的或完全省略的。
[0126]
在操作610处，治疗处理逻辑120接收多个训练放射疗法治疗计划优化问题。
[0127]
在操作620处，治疗处理逻辑120训练机器学习模型以通过建立多个训练放射疗法治疗计划优化问题的参数与一个或更多个优化变量之间的关系来生成放射疗法治疗计划优化问题的一个或更多个优化变量的估计。
[0128]
如先前所讨论的，各个电子计算系统或设备可以实现如本文中所讨论的方法或功能操作中的一个或更多个。在一个或更多个实施方式中，放射疗法处理计算系统110可以被配置、适配或用于控制或操作图像引导放射疗法装置232、执行或实现来自图3的训练或预测操作、操作经训练的治疗模型360、执行或实现用于过程400至600的流程图的操作或者执行本文中所讨论的其他方法中的任何一个或更多个(例如，作为治疗处理逻辑120的一部分)。在各种实施方式中，这样的电子计算系统或设备作为独立设备进行操作或者可以连接(例如，联网)至其他机器。例如，这样的计算系统或设备可以在服务器-客户端网络环境中以服务器或客户端机器的能力进行操作，或者在对等式(或分布式)网络环境中作为对等机器进行操作。计算系统或设备的特征可以由个人计算机(pc)、平板pc、个人数字助理(pda)、蜂窝电话、web设备或者能够执行指定要由该机器执行的动作的指令(顺序的或以其他方式)的任何机器来实施。
[0129]
同样如上所述，以上讨论的功能可以通过机器可读介质上的指令、逻辑或其他信息存储来实现。尽管可能已经在各种示例中参考单个介质描述了机器可读介质，但是术语“机器可读介质”可以包括存储一个或更多个暂态或非暂态指令或数据结构的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓冲存储器和服务器)。术语“机器可读介质”也应当被认为包括任何有形介质，该有形介质能够存储、编码或携载用于由机器执行并且使机器执行本公开内容的方法中的任何一种或更多种方法的暂态或非暂态指令，或者该有形介质能够存储、编码或携载由这样的指令利用或与这样的指令相关联的数据结构。
[0130]
以上的具体实施方式包括对附图的参考，这些附图形成具体实施方式的一部分。附图通过说明的方式而不是通过限制的方式示出了其中可以实践本公开内容的具体实施方式。这些实施方式在本文中也被称为“示例”。这样的示例可以包括除了示出的或描述的元素之外的元素。然而，本公开内容还预期了仅提供示出的或描述的那些元素的示例。此外，本公开内容还预期了使用关于特定示例(或者特定示例的一个或更多个方面)或关于在本文中示出或描述的其他示例(或者其他示例的一个或更多个方面)示出的或描述的那些元素(或者那些元素的一个或更多个方面)的任何组合或排列的示例。
[0131]
本文中参考的所有出版物、专利和专利文献都通过引用以其全部内容并入本文中，就好像通过引用单独地并入一样。如果在本文与通过引用并入的那些文献之间存在不一致用法，则并入的(一个或更多个)参考文献中的用法应当被视为对本文的用法的补充；对于矛盾的不一致之处，以本文中的用法为准。
[0132]
在本文中，在介绍本公开内容的各个方面或其实施方式中的元素时，如在专利文献中常见的那样，使用无量词术语(“a”、“an”)、“该”和“所述”以包括一个元素或多于一个的元素或更多个元素，独立于“至少一个”或者“一个或更多个”的任何其他实例或用法。在本文献中，除非以其他方式指示，否则术语“或”被用来表示非排他性的或，使得“a或b”包括“a而非b”、“b而非a”以及“a和b”。
[0133]
在所附权利要求中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等同物。此外，在所附权利要求中，术语“包括(comprising)”、“包括(including)”和“具有”旨在是开放性的，以意指除了所列出的元素之外可能还存在其他元素，使得在权利要求中的这样的术语(例如，包括(comprising)、包括(including)、具有)之后的仍被认为落入该权利要求的范围内。此外，在所附权利要求中，术语“第一”、“第二”和“第三”等仅被用作标记，并不旨在对其对象施加数值要求。
[0134]
本公开内容还涉及被适配、被配置或被操作成用于执行本文中的操作的计算系统。该系统可以是针对所需目的而专门构建的，或者该系统可以包括通过存储在计算机中的计算机程序(例如，指令、代码等)选择性地启动或重新配置的通用计算机。除非另有说明，否则本文中示出和描述的本公开内容的实施方式中的操作的运行或执行的顺序不是必须的。也就是说，除非另有说明，否则可以以任何顺序来执行操作，并且与本文中公开的操作相比，本公开内容的实施方式可以包括另外的操作或更少的操作。例如，预期以下落入本公开内容的各个方面的范围内：在另一操作之前、与另一操作同时或在另一操作之后运行或执行特定操作。
[0135]
鉴于以上内容，将看到，实现了本公开内容的若干目的并且获得了其他有利的结果。已经详细描述了本公开内容的方面，将明显的是，在不脱离如所附权利要求中所限定的本公开内容的方面的范围的情况下，修改和变化是可能的。由于可以在不脱离本公开内容的各方面的范围的情况下对上述构造、产品和方法作出各种改变，因此意图以上描述中所包含的并且在附图中示出的所有内容应当被解释为说明性的而非限制性的意义。
[0136]
本文中描述的示例可以在各种各样的实施方式中实现。例如，一个实施方式包括计算装置，该计算装置包括处理硬件(例如，处理器或其他处理电路)和存储器硬件(例如，存储装置或易失性存储器)，存储器硬件包括在其上实施的指令，使得所述指令在由处理硬件执行时使计算设备实现、执行或协调用于这些技术和系统配置的电子操作。本文中讨论的另一实施方式包括一种例如可以由机器可读介质或其他存储装置实施的计算机程序产品，所述计算机程序产品提供用于实现、执行或协调用于这些技术和系统配置的电子操作的暂态或非暂态指令。本文中讨论的另一实施方式包括一种方法，该方法能够在计算设备的处理硬件上操作以实现、执行或协调用于这些技术和系统配置的电子操作。
[0137]
在其他实施方式中，可以在分布式或集中式计算系统——包括关于(诸如台式计算机或笔记本个人计算机、诸如平板计算机、上网本和智能电话的移动设备、客户端终端和服务器托管的机器实例等的)计算系统的任何数量的形式因子——中提供实现上述电子操作的各方面的逻辑、命令或者暂态或非暂态指令。本文中讨论的另一实施方式包括将本文中讨论的技术合并到其他形式中，包括其他形式的编程逻辑、硬件配置或者专用的部件或模块，包括具有执行这样的技术的功能的各个器件的装置。用于实现这样的技术的功能的各个算法可以包括上述电子操作中的一些或全部的序列或者在附图和以上具体实施方式中所描绘的其他方面。
[0138]
以上描述旨在是说明性而非限制性的。例如，上述示例(或示例的一个或更多个方面)可以彼此组合地使用。另外，在不脱离本公开内容的范围的情况下，可以作出许多修改以使特定情况或材料适应本公开内容的教导。虽然本文中描述的材料的尺寸、类型和示例参数、功能以及实现方式旨在限定本公开内容的参数，但是它们绝不是限制性的，而是示例性实施方式。在回顾以上描述之后，许多其他实施方式对本领域技术人员而言将是明显的。因此，应当参考所附权利要求连同这些权利要求所赋予的等同物的全部范围来确定本公开内容的范围。
[0139]
另外，在上面的具体实施方式中，各种特征可以被结合在一起以组织本公开内容。这不应当被解释成意为：对于任何权利要求而言，未要求保护的公开特征均是必要的。而是，发明主题可能在于少于特定公开的实施方式的所有特征。因此，所附权利要求书在此并入具体实施方式中，其中每项权利要求自身作为独立的实施方式存在。应当参考所附权利要求连同这些权利要求所赋予的等同物的全部范围来确定本公开内容的范围。