使用对成像和临床数据的深度学习分析来预测对免疫疗法治疗的应答的制作方法

使用对成像和临床数据的深度学习分析来预测对免疫疗法治疗的应答
1.相关申请的交叉引用
2.根据35u.s.c.
§
119(e)，本技术要求于2021年7月23日提交的美国专利申请no.17/383,649的权益，该申请要求于2020年7月24日提交的美国临时专利申请63/056,393的权益，其全部内容通过引用并入本文。
技术领域
3.本公开涉及使用深度学习分析来预测免疫疗法治疗应答，并且尤其是涉及用于使用对成像和临床数据的深度学习分析来预测对pd-[l]1和ctla-4免疫检查点抑制剂的应答的系统和方法。
附图说明
[0004]
从下面给出的详细描述和从本公开的各种实现方式的附图，将更全面地理解本公开。
[0005]
图1是示出与本公开的实施例一起使用的机器学习系统的示意图。
[0006]
图2描绘了根据本公开的实施例的使用深度学习分析来预测免疫疗法治疗的方法的流程图。
[0007]
图3a是根据本公开的实施例的靶的治疗前图像的示例的图示。
[0008]
图3b是根据本公开的实施例的靶的随访图像的示例的图示。
[0009]
图4是根据本公开的实施例的基于预测治疗应答分数生成的输出的示例的图示。
[0010]
图5示出了根据本文所述的实施例的可以用于使用深度学习分析来预测免疫疗法治疗的不同系统的示例。
具体实施方式
[0011]
本发明的实施例涉及使用深度学习分析来预测免疫疗法治疗的领域，并且尤其是涉及用于使用对成像和临床数据的深度学习分析来预测对pd-[l]1和ctla-4免疫检查点抑制剂的应答的系统和方法。
[0012]
免疫疗法已经用pd-1(programmed cell death-1，程序性细胞死亡-1)和ctla-4(anti
–
cytotoxic t lymphocyte antigen-4，抗细胞毒性t淋巴细胞抗原-4)类的检查点抑制剂(例如，帕博利珠单抗(pembrolizumab)、纳武单抗(nivolumab)、阿替利珠单抗(atezolizumab)、伊匹单抗(ipilimumab)、替西木单抗(tremelimumab))改变了癌症治疗，证明了在诸如非小细胞肺癌和黑色素瘤的iv期转移性肿瘤中的持久应答。然而，不可预测且低患者应答率加上高昂的药物成本和严重的毒性，可能给医疗保健系统、第三方支付方和患者造成巨大负担。显然，随着pd-[l]1和ctla-4检查点抑制剂继续获得采用，根据应答可能性对患者进行分层的诊断工具是必要的。最近探索定量成像生物标记的效用以预测对pd-[l]1和ctla-4免疫疗法的应答的努力已显示出前景。
[0013]
然而，尽管有这些众多的成功，pd-1/pd-l1和ctla-4检查点阻断疗法有许多缺点：应答率低，当使用单一药剂时，在大多数疾病中通常在15％至20％的范围内；全球治疗成本高(在美国，每年150,000美元或更多)；以及免疫介导性不良事件严重。如上所述，不可预测且低患者应答率，加上高昂的药物成本和严重的毒性，可能给医疗保健系统、第三方支付方和患者造成巨大负担。
[0014]
已经研究了用于预测对pd-1/pd-l1和ctla-4检查点疗法的应答的许多方法，但成效有限。在一个实施例中，免疫组化(ihc)实验测量肿瘤样本中表达的pd-l1蛋白的水平。在涉及pd-[l]1的多个临床试验中，通常与附加的免疫肿瘤学(io)疗法(诸如ctla-4检查点抑制剂)相结合，发现了肿瘤突变负荷、炎症细胞因子和肿瘤浸润淋巴细胞的存在。
[0015]
在一些实施例中，探索定量成像生物标记的效用以预测对pd-[l]1免疫疗法的应答的努力可能具有前景。在这样的方法中，非侵入性成像扫描可以提供关于患者的整个肿瘤负荷的洞察和信息，而不是病灶子集的样本(如由活检或基于血清的化验提供)。当用诸如机器学习和人工智能的计算技术进一步分析描述所有可治疗病灶的诊断图像，产生相关成像特征的识别，可以获得关于患者对pd-[l]1和/或ctla-4疗法的应答的准确的总体评估。
[0016]
有利地，本文提供的实施例通过描述多组学(multi-omic)分类器以预测各种临床适应症(包括但不限于非小细胞肺癌(nsclc)、黑色素瘤、膀胱癌和乳腺癌)中对pd-1/pd-l1和ctla-4检查点阻断的应答，克服上面和其它问题。在一个实施例中，所述分类器是根据训练数据开发的，训练数据包括：基线(baseline)和随访(follow-up)间隔的诊断成像扫描，以及现有生物标记、相关临床、分子、人口、应答和生存数据。临床实践中使用的现有生物标记的示例包括：pd-l1表达免疫组化、肿瘤突变负荷(tmb)、突变错配修(mmr)、微卫星不稳定性(msi)和中性粒细胞与淋巴细胞比率(nlr)。此外，特别地，有早期证据表明诸如乳酸脱氢酶(ldh)、s100蛋白和相关血清蛋白的实验室检测可预测免疫疗法应答和假性进展。在不久的将来，从微生物群中提取的特征和生物标记也被期望发挥重要作用。
[0017]
下面总结了本公开的一个实施例的高级方法序列：一旦去识别化和积累了足够的患者数据，(基线和随访扫描的)成像数据被注释(分段)以描画病灶、淋巴结节、周围器官等；注释临床记录和其它计算指标(肿瘤体积的变化)以生成recist(实体瘤疗效评价标准)分数，以便评估在每病灶处和在患者水平的应答或疾病进展；预处理层基于重建内核、硬件参数(ct扫描仪切片宽度)对成像数据进行标准化；以及多层卷积神经网络(cnn)处理带注释的成像数据以及临床队列特性。
[0018]
在一个实施例中，术语“靶”、“靶病灶”、“靶对象”等可以指治疗区域附近(在一定的接近范围内)的结节、病灶、肿瘤、转移性肿块或解剖结构。在另一实施例中，靶可以是骨性结构或骨转移。在又一实施例中，靶可以指患者的软组织。如本文所述，靶可以是能够被识别和跟踪的任何限定的结构或区域(包括整个患者本身)。
[0019]
此外，尽管为了方便和简洁，pd-1和ctla-4被经常提及，本文公开的实施例同样适用于任何其它治疗方法，包括但不限于其它形式的免疫疗法、化疗和放射治疗。此外，如本文所使用的，pacs是指影像存档和通信系统，并且dicom是指医学数字成像和通信。
[0020]
图1是示出与本公开的实施例一起使用的机器学习系统100的示意图。虽然机器学习系统100中公开了特定组件，应当理解，这样的组件是示例。也就是说，本发明的实施例非
常适合于具有各种其它组件或机器学习系统100中记载的组件的变体。应当理解，机器学习系统100中的组件可以与除那些呈现的组件外的其它组件一起运行，并且可以不需要机器学习系统100的所有组件来实现机器学习系统100的目标。
[0021]
在一个实施例中，系统100包括服务器101、网络106和客户端设备150。服务器100可以包括各种组件，这些组件可以允许使用对服务器或客户端设备上的成像和临床数据的深度学习分析来预测对pd-1检查点阻断(和其它免疫疗法治疗)的应答。每个组件可以针对web应用执行不同的功能、操作、动作、过程、方法等，和/或可以为web应用提供不同的服务、功能性和/或资源。服务器100可以包括处理设备120的机器学习架构127，以用于执行关于使用训练模型(使用对成像和临床数据的深度学习分析)来预测对pd-1检查点阻断的应答的操作。在一个实施例中，处理设备120具有一个或多个服务器(例如，包括服务器101)的一个或多个图形处理单元。关于本公开的其余附图提供了机器学习架构127的附加细节。服务器101可以进一步包括网络105和数据存储器130。
[0022]
处理设备120和数据存储器130经由网络105可操作地彼此耦合(例如，可以可操作地耦合、通信地耦合、可以彼此通信数据/消息)。网络105可以是公共网络(例如，因特网)、私用网络(例如，局域网(lan)或广域网(wan))或者其组合。在一个实施例中，网络105可以包括有线或无线基础设施，其可以由一个或多个无线通信系统(诸如与网络105连接的wi-fi热点)和/或可以使用各种数据处理设备、通信塔(例如，蜂窝塔)等实现的无线载波系统提供。网络105可以承载服务器101的各种组件之间的通信(例如，数据、消息、数据包、帧等)。数据存储器130可以是能够存储数据的永久存储器。永久存储器可以是本地存储单元或远程存储单元。永久存储器可以是磁存储单元、光存储单元、固态存储单元、电子存储单元(主存储器)或类似的存储单元。永久存储器还可以是单片/单个设备或分布式设备集合。
[0023]
每个组件可以包括硬件，诸如处理设备(例如，处理器、中央处理单元(cpu)、图形处理单元(gpu))、存储器(例如，随机存取存储器(ram))、存储设备(例如，硬盘驱动器(hdd)、固态驱动器(ssd)等)，以及其它硬件设备(例如，声卡、视频卡等)。服务器101可以包括具有可编程处理器的任何合适类型的计算设备或机器，包括例如服务器计算机、台式计算机、膝上型计算机、平板计算机、智能电话、机顶盒等。在一些示例中，服务器101可以包括单个机器或者可以包括多个互连的机器(例如，在集群中配置的多个服务器)。服务器101可以由一个共同的实体/组织实现或者可以由不同的实体/组织实现。例如，服务器101可以由第一公司/企业运营，并且第二服务器(未示出)可以由第二公司/企业运营。每个服务器可以执行或包括操作系统(os)，如下面更详细的讨论的。服务器的os可以管理其它组件(例如，软件、应用等)和/或可以管理对计算设备的硬件(例如，处理器、存储器、存储设备等)的访问。
[0024]
如本文所讨论的，服务器101可以向客户端设备(例如，客户端设备150)提供机器学习功能性。在一个实施例中，服务器101经由网络106可操作地连接到客户端设备150。网络106可以是公共网络(例如，因特网)、私用网络(例如，局域网(lan)或广域网(wan))或者其组合。在一个实施例中，网络106可以包括有线或无线基础设施，其可以由一个或多个无线通信系统(诸如与网络106连接的wi-fi热点)和/或可以使用各种数据处理设备、通信塔(例如，蜂窝塔)等实现的无线载波系统提供。网络105可以承载系统100的各种组件之间的通信(例如，数据、消息、数据包、帧等)。关于本公开的其余附图描述了由系统100执行的操
作的进一步实现方式细节。
[0025]
在一个实施例中，系统100可以对以下数据中的任何以及考虑到的任何其它合适的数据进行操作。
[0026][0027]
图2描绘了根据本公开的实施例的使用深度学习分析来预测免疫疗法治疗的方法的流程图。一般而言，本文描述的方法中的每个(包括方法200)可以由处理逻辑执行，处理逻辑可以包括硬件(例如，处理设备、电路、专用逻辑、可编程逻辑、微码、设备的硬件等)、软件(例如，在处理设备上运行或执行的指令)或者其组合。在一些实施例中，方法可以由图1
的机器学习架构127的处理逻辑执行。
[0028]
方法200开始于框201处的处理逻辑，向至少一个深度学习模型提供靶对象的治疗前图像(可选地包括病灶注释或种子点)，该至少一个深度学习模型基于单个病灶或多个病灶被独特地训练以预测治疗应答(例如，免疫疗法治疗)。在实施例中，可以使用其它类型的机器学习模型来代替该至少一个深度学习模型或与该至少一个深度学习模型结合。在一些实施例中，生成大量预定的成像和临床特征，然后是特征选择算法(例如，最小冗余最大相关性(mrmr)或最小绝对值收敛和选择算子(lasso))，并使用机器学习方法(例如，梯度提升决策树、随机决策森林或支持向量机)进行拟合，以生成预测模型。提供给框201的可选病灶注释或种子点可以由临床用户手动生成，或者由自动分段和/或靶检测方法自动生成。自动的自动分段或靶检测方法的示例是卷积神经网络模型。为了预测单个病灶的治疗应答，使用多参数优化技术(诸如随机梯度下降(sgd)、rmsprop或自适应动量(adam)算法)训练模型，以将模型预测的病灶应答与人类专家(例如，放射科医师)确定的病灶应答之间的一致性最大化。
[0029]
病灶应答的示例可以包括：数值评估(例如，病灶体积的变化、病灶的一个或多个主要维度的变化、病灶内图像强度的变化)、肿瘤生长速率(tgr)或者分类评估(例如，应答性病灶、稳定病灶、进展性病灶、新病灶)。通过聚合一个或多个病灶水平模型预测来执行对患者水平的治疗应答的预测。在一个实施例中，由一组规则和逻辑运算来执行从病灶到患者水平应答预测的聚合
[0030]
在实施例中，可以针对单个患者中的多个病灶计算每病灶应答分数，然后是数学运算，诸如最大分数、最小分数和/或平均分数以将多个每病灶应答预测转换成单个患者水平应答预测。在一实施例中，由第二模型执行从病灶到患者水平应答预测的聚合，该第二模型将来自一个或多个病灶水平模型的预测作为输入，并被专门地训练以执行患者水平应答预测。在一些实施例中，为了说明可变数量的病灶(例如，模型输入)，到模型中的输入可以是病灶水平预测统计(例如，平均值、中间值、标准偏差等)。在另一实施例中，模型可以是递归神经网络(rnn)模型，其中多个病灶预测被表示为可变长度的输入序列。
[0031]
患者水平模型的示例包括但不限于人工神经网络、随机森林模型、支持向量机和逻辑回归模型。在另一实施例中，可以使用一次考虑多个病灶的单个机器学习模型。这样的实施例可以有效地移除每病灶和每患者模型的层级。在一个实施例中，治疗前图像可以是二维解剖图像、三维解剖图像或四维解剖图像。在另一实施例中，可以使用多种类型的两个或更多个治疗图像。
[0032]
可以在诊断时间(治疗开始之前)或任何其它合适时间期间拍摄治疗图像。治疗图像可以是但不限于计算机断层(ct)扫描、正电子发射断层(pet)扫描或磁共振成像(mri)扫描。至少一个深度学习模型可以包括任何合适种类的机器学习模型，包括但不限于卷积神经网络。在一个实施例中，使用不同的超参数和优化技术在相同的数据上训练模型。在另一实施例中，模型在不同的数据上、使用不同技术、具有不同目的等地被训练，其结果可以以各种方式聚合。
[0033]
深度学习模型可以利用各种合适的训练方法。例如，在一个实施例中，深度学习模型使用一群训练对象和与多个训练对象中的每个相关联的多个图像作为训练数据。在另一实施例中，深度学习模型使用计算的特定于对象的模型作为训练数据。在又一实施例中，深
度学习模型使用上述两种方法的组合。在一个实施例中，深度学习模型使用一群训练对象和与多个训练对象中的每一个相关联的多个图像作为训练数据。在另一实施例中，深度学习模型使用计算出的特定于对象的模型作为训练数据。在又一实施例中，深度学习模型使用上述两个方法的组合。
[0034]
在实施例中，治疗是pd-[l]1免疫检查点抑制剂治疗。pd-[l]1免疫检查点抑制剂治疗可以是基于pd-1的治疗或基于pd-l1的治疗。在又一实施例中，治疗是ctla-4免疫检查点抑制剂治疗，或者任何其它合适的治疗类型(例如，化疗、靶向治疗、基于药物的治疗、放疗等)。
[0035]
在框203处，处理逻辑基于深度学习模型(例如由处理设备)生成对免疫疗法治疗的预测治疗应答分数(例如，在表示最不可能具有正面或负面影响到最可能具有正面或负面影响的范围上)。在一些实施例中，预测治疗应答分数可以是数值。在一个实施例中，处理逻辑基于单个治疗前图像和至少一个深度学习模型生成预测治疗应答分数。例如，在一个实施例中，可以组合来自不同模型的结果(例如，平均，或以任何其它方式组合)以生成单个应答分数。在一个实施例中，可以使用一个或多个非成像特征(例如，基因组检测、电子病历信息、pd-l1免疫组化化验等)以生成预测应答分数。在另一实施例中，一个或多个非成像特征可以与一个或多个成像特征组合以生成预测应答分数。
[0036]
在一个实施例中，预测治疗应答分数包括对于预定药物产品的患者进展的预测。在另一实施例中，预测治疗应答分数指示与免疫疗法治疗相关联的一个或多个免疫相关不良事件的预测。在一个实施例中，预测治疗应答分数可以包括特定类型的应答和/或不良事件发生的预测可能性(例如，置信水平)。在另一实施例中，应答分数还可以包括假性进展的指示，其特征在于由于自然肿胀和/或炎症(例如，响应于治疗)而不是疾病进展引起的肿瘤体积的短期和暂时增加。在另一实施例中，应答分数可以反映超进展的可能性，其是与快速临床恶化相关联的严重状况，并且其中疾病的进展在疗法施用期间加速。在另一实施例中，应答分数可以被用来指示以月或年为单位的无进展或总体患者生存时间。
[0037]
在框205处，处理逻辑基于预测治疗应答提供推荐治疗计划。例如，基于预测治疗应答，推荐治疗计划可以包括是否应该使用特定药物产品的指示、这样的产品的剂量、与施用这样的产品相关联的时机等。在实施例中，所述指示可以识别患者是否可能对特定药物产品产生应答。在一个实施例中，每病灶免疫疗法和/或化疗应答预测用于生成特定于病灶的疗法计划，以通过将正在进行的全身疗法与局部疗法相结合来增强在高危病灶中的疗效。局部疗法可以是以下的任一：立体定向消融放射疗法(sbrt)、强度调制放射疗法(imrt)、适形放射疗法(crt)、放射外科、手术切除、热消融、冷冻消融或高强度聚焦超声(hifu)疗法。在另一实施例中，针对具有模型预测的高进展风险的患者的推荐治疗计划可以是增加化疗或ctla-4免疫疗法与pd-[l]1免疫疗法相结合，以最大化治疗应答可能性。在另一实施例中，推荐治疗计划可以是中断一个或所有治疗方法以使患者的生活质量最大化。在实施例中，处理逻辑可以基于预测治疗应答分数生成其它输出，以代替推荐治疗计划或与推荐治疗计划结合。例如，处理逻辑可以基于预测治疗应答分数生成报告。
[0038]
在框207处，处理逻辑可以接收治疗中的随访图像。
[0039]
在框209处，处理逻辑可以向机器学习模型提供治疗中的随访图像。
[0040]
在框211处，处理逻辑可以生成更新的预测治疗应答分数。
[0041]
在框213处，处理逻辑可以基于更新的预测治疗应答分数提供更新的推荐治疗计划。
[0042]
在各种实施例中，处理逻辑可以执行任何数量的合适的预处理和后处理操作，这些操作可以增加现有环境中机器学习模型的准确性、效率和/或兼容性。例如，关于预处理，传统的放射组学方法可能容易受到扫描仪硬件和成像协议的变化的影响。本文描述的数据预处理和数据增强系统被设计为优化模型泛化性并最小化模型对成像硬件和协议变化的敏感性。
[0043]
特别地，在机器学习和深度学习的领域中，存在用于提高模型泛化性的已知策略。对于每个类别，考虑以下方法和其它方法：
[0044]
1.选择实现对可用训练数据进行欠拟合和过拟合之间的最佳平衡的模型大小(参数计数)。a)mlops(例如，机器学习和操作)框架和基础设施允许监测模型关键性能指标(kpi)，并允许随着获取更多数据而持续调整模型复杂性和架构。
[0045]
2.使训练数据集多样性最大化。a)训练数据可以来自多种机构(学术、小型社区中心和大型支付者/提供者网络)，反映不同的临床实践趋势以及多种成像硬件和放射学协议(例如，一些社区癌症中心使用具有5mm厚的切片的ct协议，而研究机构倾向于使用高分辨率、1-2mm的薄切片扫描)。b)训练数据可以使用数据库系统进行内部编目，并且在训练模型时确保成像硬件和协议的适当分布。
[0046]
3.输入数据归一化。a)在模型训练和模型推理期间，扫描可以被重新采样为一致的分辨率(例如，这可以是1.0x1.0x1.0mm体素间距)。这显著降低了模型性能对ct切片厚度的依赖性。b)可以通过排除强度异常值(来自基准、起搏器、电线等的金属伪影)并将强度重新缩放为一致的范围(例如，均值为0且方差为1的强度分布)将图像体素强度归一化。c)在多个重建协议可用于给定的成像会话的情况下，可以使用与“黄金标准”协议最一致的重建协议。
[0047]
4.通过生成合成训练样例增强训练数据，所述合成训练样例模拟在可用训练数据中未表示的可行场景。a)可以使用在线增强策略，这意味着只要模型正在被训练，就持续地生成训练数据的新变化。在实践中，这意味着独特训练样例的数量是无限的，并且仅受限于模型训练循环中花费的时间。在线增强循环执行模型平移、旋转、重新缩放操作、变形和强度扰动以生成新的独特训练用例。b)基于物理的原理可以用于生成噪声和强度变化，以模拟扫描仪硬件和扫描协议之间的差异。基于物理的方法的示例包括对现有临床ct扫描进行光线追踪和蒙特卡洛光子模拟以生成ct投影数据的变化，其随后可以用于利用替换的成像协议和模拟的伪影来重建新ct扫描。模拟的伪影的示例包括不同的主光束能量、光束散射和硬化特性、患者运动伪影、成像剂量变化。
[0048]
5.使用多个分辨率和感兴趣区域(roi)大小的模型输入。a)cnn模型可能偏好一个或多个ct扫描的子区域(roi)作为输入。可以使用不同尺寸和分辨率的roi来创建肿瘤位置附近的输入ct图像(或子区域)的冗余表示。通过使用多个roi大小，模型可以适应不同大小和形状的肿瘤。例如，如果仅使用覆盖肿瘤周围5x5x5 cm的roi，模型可能在大型肿瘤上表现不佳。相反，如果使用50x50x50cm的roi，对于需要高空间分辨率和保真度的较小肿瘤，分类器可能表现不佳。将roi区域与小空间维度和大空间维度结合在一个模型中有助于在局部环境(例如，肿瘤形状、纹理和强度分布)和在全局环境(例如，病灶在身体内以及相对于
其它器官的位置、淋巴结转移、患者的体重组成和肌肉储备、整体健康或重要器官、微钙化等)的图像特征的互补学习，并且可以最终产生更具预测性和更稳健的治疗应答和生存时间预测模型。
[0049]
关于后处理，可以使用多种技术对个体模型预测进行后处理以获得临床最终用户所需的预测准确性和可解释性。所使用的后处理方法的示例可以包括但不限于：
[0050]
1.模型集成：集成(或装袋(bagging))是用于提高模型稳定性和整体性能的方法。并非针对给定任务训练一个模型，而是训练模型的多个变体(通过扰动训练超参数、权重初始化、模型架构、训练集分布等)。然后通过计算它们(集成预测)之间的一致性来同时使用多个模型。在一个实施例中，来自多个模型的平均值或中间值预测通常比单个预测更准确。用于组合多个模型预测的集成操作的示例可以是简单平均、中间值计算、staple算法(同时真理和性能水平估计，warfield等人)或者专用集成模型，诸如线性分类器、随机森林、支持向量机或神经网络。
[0051]
2.自下而上的模型聚合：在一些临床应用中，训练分类模型以用于预测对治疗剂的单个病灶应答的构思是期望的。在一些临床场景中，临床要求是在患者水平预测治疗应答(即，考虑到一些病灶可能有应答而其它病灶将继续发展，该患者总体上会从给定疗法中受益吗？)。在该场景下，模型集成的构思也可以适用。然而，在该应用中，每个单个病灶模型(或模型的子集成)有助于整体患者水平预测，其通过集成个体病灶预测来估计。组合更大集成内每个模型的预测，并且结合其它临床因素、生物标记和/或成像特征，处理逻辑可以在患者水平而不是病灶水平做出治疗应答的预测。
[0052]
3.可解释性：深度卷积网络模型的响应可以分解成主要特征的激活值，以突出哪些空间、纹理和形态特征对预测影响最大。例如，由于：1.病灶体积大于50cc，2.病灶位于肺部的尖端，3.病灶的核心和周边处的低纹理异质性，4.转移性骨病灶的存在，解释可以预测“高风险的病灶进展”。在相关实施例中，模型应答预测或免疫相关不良事件的预测可以由处理单元通过呈现参考数据和具有相似表现和病史档案的患者的历史病例来解释和支持。
[0053]
提供参考数据和具有类似表现和病史概况的患者的历史病例来解释和支持不良事件。
[0054]
结合时间信息：在一个实施例中，治疗预测模型可以被认为是确定未来疗程的基线的“单次”预测，或者被认为是在疗程中结合成像和电子病历(emr)信息以为临床医生提供连续的决策支持的持续整合过程。在一个实施例中，使用基线和第一治疗中随访扫描训练治疗应答模型以预测患者疾病进展、假性进展或超进展的可能性。在该临床场景下，模型预测可以用于显著地减少做出治疗决定或调整的时间线，诸如将患者转移至不同的治疗剂、增加第二治疗剂或者中断治疗。在结合多个成像时间点的预测模型的情况下，可以以各种方式整合时间数据(出于说明目的，可以使用两个成像时间点)：
[0055]
1.方法#1：计算扫描#1和扫描#2之间的成像特征的差异，其随后用于创建预测模型。在一个实施例中，可以针对扫描#1和扫描#2独立地计算成像特征集合。可以从由扫描#2计算出的特征或值中减去由扫描#1计算出的特征权重或值。个体特征中的差异或变化可以构成与典型图像特征(例如，形状、强度、纹理等的变化作为时间的函数)的时间变化对应的新“增量特征”集合。
[0056]
2.方法#2：用[n
x
,ny,nz,2]的输入roi形状训练4d cnn预测模型，其中n
x
、ny、nz是沿
每个轴线的体素数量，并且2对应于两个(或更多个)成像时间点，每个用4d输入体积内的单个3d体积表示)。该方法类似于多模态cnn模型。最明显的是rgb格式的自然图像，其中每个颜色通道单独表示。在我们的情况中，每个通道用于表示时间中的一个事件。
[0057]
3.方法#3：计算空间配准扫描#1和#2之间的强度差异，并随后训练3d cnn预测模型(模型输入roi形状为[n
x
,ny,nz,1]，其中n
x
、ny、nz是沿每个轴线的体素数量，并且1对应于单个强度通道)。
[0058]
4.方法#4：训练结合3d cnn和rnn(递归神经网络)的模型，其中rnn用于模型化成像输入序列。
[0059]
图3a是根据本公开的实施例的靶的治疗前图像300的示例的图示。治疗前图像300可以对应于先前在图2描述的治疗前图像。治疗前图像300可以对应于基线扫描期间患者的肺部病灶302。在实施例中，基线扫描可以在患者接受治疗之前进行。在实施例中，治疗前图像300可以对应于ct图像。在一些实施例中，治疗前图像300可以对应于pet图像。在一实施例中，治疗前图像300可以对应于mri图像。在一些实施例中，可以使用其它类型的治疗前图像。
[0060]
图3b是根据本公开的实施例的靶的随访图像350的示例的图示。如前所述，本公开的实施例可以利用治疗后捕获的靶的一个或多个随访图像，诸如随访图像350。随访图像350包括肺部病灶352，其可以对应于接受治疗之后的肺部病灶302。在实施例中，随访图像350可以被提供给机器学习架构127，并且可以用于基于随访图像350相对于治疗前图像300的分析来确定当前治疗计划是否有效以及是否应该继续、是否存在更有效的治疗选项和/或是否应该中断治疗。在实施例中，随访图像350可以对应于ct图像。在一些实施例中，随访图像350可以对应于pet图像。在一实施例中，随访图像350可以对应于mri图像。在一些实施例中，可以使用其它类型的随访图像。
[0061]
图4是根据本公开的实施例的基于预测治疗应答分数生成的输出400的示例的图示。在实施例中，如前所述，可以基于预测治疗应答分数生成输出400。输出400示出了疗程402(例如，免疫疗法、化疗、靶向疗法)与成像研究404(例如，ct和pet成像)之间的时间关系。输出400可以指示相对于治疗时间线，何时将施用不同的疗程402和/或成像研究404。
[0062]
输出400还可以包括疗法信息406。疗法信息406可以指示在治疗中推荐使用哪种类型的免疫疗法、化疗和/或靶向疗法。输出400还可以包括患者档案408，其包括与接收治疗的患者相关联的信息。患者档案408中包括的信息的示例可以包括但不限于患者年龄、患者性别、已知基因组驱动突变、pd-l1免疫组化组织比例评分(tps)等。
[0063]
应当注意，输出400仅用于说明目的，并不意味着限制本公开。本公开的实施例可以基于相对于图4中提供的输出400在外观和/或信息(例如，疗程402、成像研究404、疗法信息406、患者档案408)上可能不同的预测治疗应答分数来生成其它类型的输出。
[0064]
图5以计算机系统500的示例形式示出了机器的图解表示，其中可以执行一组指令522以用于使机器执行本文讨论的方法中任何一个或多个。在替代实施例中，机器可以连接(例如，联网)到局域网(lan)、内联网、外联网或因特网中的其它机器。机器可以在客户端-服务器网络环境中以服务器或客户端机器的身份运行，或者作为对等(或分布式)网络环境中的对等机器运行。机器可以是个人计算机(pc)、平板pc、机顶盒(stb)、个人数字助理(pda)、蜂窝电话、web应用、服务器、网络路由器、交换机或网桥、集线器、接入点、网络接入
控制设备，或者能够执行指定要由该机器采取的动作的一组指令(顺序或以其它方式)的任何机器。此外，虽然仅示出了单个机器，术语“机器”也应被视为包括单独或联合执行一组(或多组)指令以执行本文讨论的方法中的任何一个或多个的任何机器集合。在一个实施例中，计算机系统500可以代表服务器计算机系统，诸如系统100。
[0065]
示例性计算机系统500包括处理设备502、主存储器504(例如，只读存储器(rom)、闪速存储器、动态随机存取存储器(dram))、静态存储器506(例如，闪速存储器、静态随机存取存储器(sram)等)和数据存储设备518，它们经由总线530与彼此通信。在本文描述的各种总线上提供的信号中的任何信号可以与其它信号时间复用，并在一个或多个公共总线上提供。附加地，电路组件或块之间的互连可以被示为总线或单个信号线。总线中的每个可以替代地是一个或多个单个信号线，并且单个信号线中的每个可以替代地是总线。
[0066]
处理设备502表示一个或多个通用处理设备，诸如微处理器、中央处理单元等。更具体地，处理设备可以是复杂指令集计算(cisc)微处理器、精简指令集计算机(risc)微处理器、超长指令字(vliw)微处理器，或实现其它指令集的处理器，或实现指令集的组合的处理器。处理设备502还可以是一个或多个专用处理设备，诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、网络处理器等。处理设备502被配置为执行处理逻辑526，其可以是图1中所示的系统100的一个示例，用于执行本文所讨论的操作和步骤。
[0067]
数据存储设备518可以包括机器可读存储介质528，其上存储有体现本文描述的功能的方法中的任何一个或多个的一组或多组指令522(例如，软件)，包括使处理设备502执行系统100的指令。在由计算机系统500执行指令522期间，指令522还可以完全或至少部分地驻留在主存储器504内或在处理设备502内；主存储器504和处理设备502还构成机器可读存储介质。指令522还可以经由网络接口设备508在网络520上发送或接收。
[0068]
机器可读存储介质528还可以用于存储指令以执行本文描述的方法和操作。尽管在示例性实施例中，机器可读存储介质528被示为单个介质，术语“机器可读存储介质”应被视为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，或者相关联的高速缓存和服务器)。机器可读介质包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用)存储信息的任何机制。机器可读介质可以包括但不限于磁存储介质(例如，软盘)；光存储介质(例如，cd-rom)；磁光存储介质；只读存储器(rom)；随机存取存储器(ram)；可擦除可编程存储器(例如，eprom和eeprom)；闪速存储器；或者适用于存储电子指令的另一类型介质。
[0069]
前面的描述阐述了许多具体细节，诸如具体系统、组件、方法等的示例，以便提供对本公开的若干实施例的更好理解。然而，对于本领域技术人员来说显而易见的是，本公开的至少一些实施例可以在没有这些具体细节的情况下实践。在其它情况下，众所周知的组件或方法没有被详细描述或者以简单的框图格式呈现，以避免不必要地模糊本公开。因此，阐述的具体细节仅是示例性。特定实施例可以不同于这些示例性细节，并且仍然被认为在本公开的范围内。
[0070]
附加地，一些实施例可以在分布式计算环境中实践，其中机器可读介质存储在多于一个计算机系统上和/或由多于一个计算机系统执行。另外，在计算机系统之间传输的信息可以通过连接计算机系统的通信介质被拉动或推送。
[0071]
要求保护的主题的实施例包括但不限于本文描述的各种操作。这些操作可以由硬
件组件、软件、固件或其组合执行。
[0072]
尽管本文的方法的操作以特定顺序示出和描述，每个方法的操作的顺序可以被改变使得某些操作可以以相反顺序执行或者使得某些操作可以被至少部分地与其它操作同时执行。在另一实施例中，不同操作的子操作或指令可以是以间歇或交替的方式。
[0073]
上面对本发明所示实现方式的描述，包括在摘要中所描述的内容，并非旨在穷尽或将本发明限制于所公开的精确形式。尽管出于说明性目的，本文描述了本发明的具体实施方式和示例，如相关领域技术人员将认识到的，各种等同修改在本发明的范围内是可能的。本文使用的词语“示例”或“示例性”意味着用作示例、实例或说明。本文中描述为“示例”或“示例性”的任何方面或设计不一定被解释为更优于或更有利于其它方面或设计。相反，使用词语“示例”或“示例性”旨在以具体的方式呈现概念。如本技术中所使用的，术语“或”旨在表示包含性的“或”，而不是排他性的“或”。也就是说，除非另有说明或从上下文中明确，“x包括a或b”旨在表示任何自然包含置换。也就是说，如果x包括a；x包括b；或者x包括a和b，则在上述任何情况下满足“x包括a或b”。此外，本技术和所附权利要求中使用的冠词“一”和“一个”通常应解释为“一个或多个”，除非另有说明或从上下文中明确指向单数形式。此外，贯穿使用的术语“实施例”或“一个实施例”或“实现方式”或“一个实现方式”不旨在表示相同的实施例或实现方式，除非如此描述。此外，如本文所使用的术语“第一”、“第二”、“第三”、“第四”等意在作为标签以区分不同的元件，并且可以不必然具有根据它们的数字名称的顺序意义。
[0074]
应当理解，上述公开的变体以及其它特征和功能或其替代方案可以组合到其它不同的系统或应用中。由本领域技术人员随后可以做出的各种当前未预见或未预料到的替代方案、修改、变化或改进，这些替代方案、修改、变化或改进也旨在被所附权利要求包含。权利要求可以包含以硬件、软件或其组合形式的实施例。在前述说明书中，已经参考其具体示例性实现方式描述了本公开。然而，将明显的是，在不脱离所附权利要求中阐述的本公开的更广泛的精神和范围的情况下，可以对其进行修改和改变。因此，说明书和附图被认为是说明性的，而非限制性的。