训练用于放射疗法的人工智能模型的制作方法

本申请总体上涉及生成、训练和运行人工智能(ai)计算机模型，以预测放射疗法治疗程序。

背景技术：

1、放射疗法治疗规划(rttp)是一个复杂的过程，其包含如临床医生、医疗设备制造商、治疗医生等不同医疗专业人员所采用的特定指南、协议和说明。由于放射治疗机所发出的辐射的极端性质，必须精确地计算和遵循治疗属性。如在rttp的范畴中所使用的治疗属性是指当患者接受处方规定的放射疗法剂量时如何实施患者治疗以及如何将剂量输送到患者的器官的各种属性(包括放射治疗机的属性)。例如，开处方的医生可以识别来源位置(例如待治疗的患者器官或待根除的肿瘤)和相应的剂量。因此，其他方(例如临床医生或机器制造商)可以确定机架和卧榻上的患者的定位属性(例如角度)以及应该如何将剂量输送给患者以接受最佳治疗。

2、按照惯例，识别和应用用于实施放射疗法的指南由临床医生/技术人员执行。例如，为患者选择治疗属性(例如优化剂量体积直方图(dvh)目标和剂量分布规划)已经委托给使用其主观理解和技能的临床医生。例如，人类规划者可以与imrt治疗的规划生成界面交互，并且可手动修改规划(例如由不同器官接收的剂量)，直到达到可接受的规划。然而，这种传统的方法效率低下，因为其耗时、繁琐、容易出错，并且严重依赖于临床医生的主观理解和技能。

3、为了解决上述问题，许多医疗专业人员使用ai软件解决方案。例如，医疗专业人员可以使用这些软件解决方案来确定治疗属性和不同器官接收的剂量。这些软件解决方案使用基于先前执行的放射疗法治疗所训练的ai模型，如rttp和患者治疗的实施方式(有时称为训练数据集和/或基准真值数据)。ai模型可以发现隐藏的模式/解决方案，并重新配置自己。然而，传统的ai训练方法面临着技术上的不足。例如，传统的训练方法需要大量的训练数据点且计算密集、成本高昂，并且需要较长的训练周期。

技术实现思路

1、由于上述原因，期望计算机模型使用不再依赖于技术人员的主观解读或传统ai训练方法的方法和系统来生成治疗属性。由于上述原因，需要一种改进的ai建模/训练技术，其不需要大量的训练数据集，并且是及时的、计算高效的且成本高效的。所期望的是一种更高效、产生更准确结果而不需要大型训练数据集的ai建模/训练技术。

2、在一个方面，本发明提供了一种如权利要求1中所定义的使用强化学习来训练人工智能模型的方法。在另一方面，本发明提供了一种如权利要求11所定义的用于使用强化学习来训练人工智能模型的系统。在从属权利要求中指定了可选的特征。

3、本文所述的方法和系统通过提供一种不需要大量基准真值数据集并提供准确结果的训练系统来解决上述技术缺点。所述ai训练方法/系统允许服务器使用更少的数据点来训练ai模型，使得训练后的ai模型可摄取rttp数据并预测治疗属性。

4、在一个实施例中，一种使用强化学习来训练人工智能模型的方法包括由服务器使用包括与先前执行的放射疗法治疗相关联的一组放射疗法治疗属性的训练数据集来迭代地训练人工智能模型，以预测对应的一组放射疗法治疗属性，其中随着每次迭代，服务器：当指示人工智能模型的探索和开发训练的可能性的ε值满足阈值时，应用对应于与先前执行的放射疗法治疗相关联的放射疗法治疗属性的随机放射疗法治疗属性；当ε值不满足阈值时，服务器使用现有策略生成第一预测放射疗法治疗属性，并且使用预定义的计算机模型生成第二预测放射疗法治疗属性，其中服务器应用第一预测放射疗法治疗属性或第二预测放射疗法治疗属性中与更高奖励相关联的一个预测放射疗法治疗属性，其中服务器迭代地重复训练人工智能模型，直到现有策略满足准确度阈值。

5、在另一个实施例中，一种用于使用强化学习来训练人工智能模型的系统包括一个或多个处理器；以及非暂时性存储器，用于存储计算机代码指令，计算机代码指令在被执行时使得该一个或多个处理器：使用包括与先前执行的放射疗法治疗相关联的一组放射疗法治疗属性的训练数据集来迭代地训练人工智能模型，以预测对应的一组放射疗法治疗属性，其中随着每次迭代，该一个或多个处理器：当指示人工智能模型的探索和开发训练的可能性的ε值满足阈值时，应用对应于与先前执行的放射疗法治疗相关联的放射疗法治疗属性的随机放射疗法治疗属性；并且当ε值不满足所述阈值时，该一个或多个处理器使用现有策略生成第一预测放射疗法治疗属性，并且使用预定义的计算机模型生成第二预测放射疗法治疗属性，其中该一个或多个处理器应用第一预测放射疗法治疗属性或第二预测放射疗法治疗属性中与更高奖励相关联的一个预测放射疗法治疗属性，其中服务器迭代地重复训练人工智能模型，直到现有策略满足准确度阈值。

技术特征：

1.一种使用强化学习来训练人工智能模型的方法，所述方法包括：

2.根据权利要求1所述的方法，进一步包括：

3.根据权利要求1或2所述的方法，其中所述ε值是从系统管理员接收的。

4.根据权利要求1、2或3所述的方法，其中所述服务器将所述第一预测放射疗法治疗属性与所述第二预测放射疗法治疗属性进行比较。

5.根据权利要求1至4中任一项所述的方法，包括：使用监督训练方法基于所述预定义的计算机模型来训练所述现有策略。

6.根据权利要求1至5中任一项所述的方法，其中所述服务器修正所述ε值，使得生成所述第一预测放射疗法治疗属性或所述第二预测放射疗法治疗属性的可能性高于生成所述随机放射疗法治疗属性的可能性。

7.根据权利要求1至6中任一项所述的方法，其中所述服务器修正所述ε值，使得生成所述第一预测放射疗法治疗属性或所述第二预测放射疗法治疗属性的可能性低于生成所述随机放射疗法治疗属性的可能性。

8.根据权利要求1至7中任一项所述的方法，其中所述预定义的计算机模型是从系统管理员接收的。

9.根据权利要求1至8中任一项所述的方法，其中所述预定义的计算机模型是特定于诊所的。

10.根据权利要求1至9中任一项所述的方法，其中所述预定义的计算机模型是特定于优化剂量直方图体积计算的。

11.一种用于使用强化学习来训练人工智能模型的系统，包括：

12.根据权利要求11所述的系统，其中所述计算机代码指令在被执行时进一步使得所述一个或多个处理器执行经过训练的所述人工智能模型。

13.根据权利要求11或12所述的系统，其中所述ε值是从系统管理员接收的。

14.根据权利要求11、12或13所述的系统，其中所述一个或多个处理器将所述第一预测放射疗法治疗属性与所述第二预测放射疗法治疗属性进行比较。

15.根据权利要求11至14中任一项所述的系统，其中所述一个或多个处理器使用监督训练方法基于所述预定义的计算机模型来训练所述现有策略。

16.根据权利要求11至15中任一项所述的系统，其中所述一个或多个处理器修正所述ε值，使得生成所述第一预测放射疗法治疗属性或所述第二预测放射疗法治疗属性的可能性高于生成所述随机放射疗法治疗属性的可能性。

17.根据权利要求11至16中任一项所述的系统，其中所述一个或多个处理器修正所述ε值，使得生成所述第一预测放射疗法治疗属性或所述第二预测放射疗法治疗属性的可能性低于生成所述随机放射疗法治疗属性的可能性。

18.根据权利要求11至17中任一项所述的系统，其中所述预定义的计算机模型是从系统管理员接收的。

19.根据权利要求11至18中任一项所述的方法，其中所述预定义的计算机模型是特定于诊所的。

20.根据权利要求11至19中任一项所述的方法，其中所述预定义的计算机模型是特定于优化剂量直方图体积计算的。

技术总结
本文公开了使用强化学习技术来迭代地训练人工智能模型的系统和方法。随着每次迭代，当指示人工智能模型的探索和开发训练的可能性的ε值满足阈值时，训练代理应用对应于与先前执行的放射疗法治疗相关联的放射疗法治疗属性的随机放射疗法治疗属性。当ε值不满足阈值时，代理使用现有策略生成(242)第一预测放射疗法治疗属性，并且使用预定义模型生成(244)第二预测放射疗法治疗属性。代理应用(246)第一预测放射疗法治疗属性或第二预测放射疗法治疗属性中与更高奖励相关联的一个预测放射疗法治疗属性。代理迭代地重复(248)训练人工智能模型，直到现有策略满足准确度阈值。

技术研发人员：S·巴西里,M·哈卡拉,E·屈塞拉,E·切兹勒
受保护的技术使用者：西门子医疗国际股份有限公司
技术研发日：
技术公布日：2024/1/14