胃癌靶向治疗疗效预测方法、装置、设备及介质

1.本发明涉及疗效预测技术领域，尤其涉及一种胃癌靶向治疗疗效预测方法、装置、设备及介质。


背景技术：

2.胃癌是居于全球癌症发病率与死亡率前五的癌种，也是我国第二位高发的肿瘤，其恶性程度高，预后差，患者常常在诊断时已处于晚期。既往研究发现人表皮生长因子受体2(human epidermal growth factor receptor，her2)的状态与胃癌的发生及预后相关，在大约6％
–
34％的胃癌患者中发现了her2阳性状态。大型随机对照国际多中心ⅲ期临床试验(toga试验)表明，与单纯全身化疗相比，抗her2抗体曲妥珠单抗联合标准化疗可为her2阳性病例带来生存获益，这种联合方案可将总生存期延长至16个月，自此证实了曲妥珠单抗在her2阳性晚期胃癌的一线治疗地位。
3.尽管有多项临床试验支持其疗效，但接受曲妥珠单抗治疗的her2阳性胃癌患者的反应率仍然有限，toga研究中曲妥珠单抗的客观有效率为47.3％，此外，对曲妥珠单抗有效的部分患者，最终仍会在一年内发生耐药。因此，早期发现曲妥珠单抗治疗获益的人群、并为那些反应不佳的患者制定个性化治疗方案一直是提高胃癌生存率的关键步骤之一。
4.有研究报道，曲妥珠单抗在异质性her2表达的转移性胃癌患者中获益似乎有限，同质性较好的her2阳性胃癌患者生存期较前者更长。内镜活检进行免疫组化染色是晚期胃癌确定her2表达状态的最主要方式，然而常规活检标本只是整个异质性肿瘤一个小而静态的“快照”。与侵入性活检相比，临床规律随访的ct图像能够从宏观综合角度提供时间纵向的客观信息。
5.近年来，随着深度学习的不断发展，基于神经网络的模型已经在临床医学应用上都取得了不错的进展。深度学习技术能够从ct图像中提取出大量肉眼无法识别的信息，从而与临床医生的认知和诊断可形成互补，这为肿瘤的定量评估提供了巨大的潜力。已有研究表明，选择合适的治疗方案可以有效改善胃癌患者的预后。2019年有一项研究表明，通过集合卷积神经网络(cnn)和循环神经网络(rnn)能够有效挖掘肺结节ct影像的变化趋势，从而为肺癌患者的早期疗效做出较为准确的预测；2021年另有一项研究证明了采用卷积神经网络(cnn)和长短期记忆网络(lstm)能够基于早期治疗的序列影像数据预测转移性直肠癌患者的疗效。
6.然而，目前尚无关于时间序列和多病灶对象分析晚期her2阳性胃癌生存预测生物标志物的研究，已有的相关研究局限于单一时间点的ct图像或单一病灶，而不能很好的综合图像的其他信息，因此导致现有的胃癌靶向治疗疗效预测准确率较低，胃癌靶向治疗疗效预测效果较差。


技术实现要素：

7.本发明提供一种胃癌靶向治疗疗效预测方法、装置、设备及介质，用以解决现有技
术中胃癌靶向治疗疗效预测准确率较低，胃癌靶向治疗疗效预测效果较差的缺陷，实现提升胃癌靶向治疗疗效预测准确率，提升胃癌靶向治疗疗效预测效果。
8.本发明提供一种胃癌靶向治疗疗效预测方法，包括：
9.获取胃癌靶向治疗前后的待识别ct图像数据；
10.将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中，得到所述胃癌靶向治疗疗效预测模型输出的胃癌风险概率；
11.其中，所述待识别ct图像数据包括基线时间对应的图像以及多次随访时间点对应的图像，且每个时间点对应的待识别ct图像数据包括多个病灶。
12.根据本发明提供的一种胃癌靶向治疗疗效预测方法，所述胃癌靶向治疗疗效预测模型是基于转移性胃癌抗her2靶向治疗的时间序列成像数据训练得到的；
13.所述胃癌靶向治疗疗效预测模型包括时间异质性模块和空间异质性模块；
14.所述时间异质性模块用于建模时间异质性上的同一病灶的纵向变化，所述空间异质性模块用于建模空间异质性上多个病灶间的互作关系。
15.根据本发明提供的一种胃癌靶向治疗疗效预测方法，将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中，得到所述胃癌靶向治疗疗效预测模型输出的胃癌风险概率，包括：
16.将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中的卷积特征提取器中，得到所述卷积特征提取器输出的图像特征；
17.将所述图像特征输入至所述胃癌靶向治疗疗效预测模型中的时间异质性模块中，得到所述时间异质性模块输出的时间异质性特征；
18.将所述时间异质性特征输入至所述胃癌靶向治疗疗效预测模型中的空间异质性模块中，得到所述空间异质性特征；
19.将所述时间异质性特征和所述空间异质性特征输入至所述胃癌靶向治疗疗效预测模型中的分类器中，得到所述分类器输出的胃癌风险概率。
20.根据本发明提供的一种胃癌靶向治疗疗效预测方法，将所述图像特征输入至所述胃癌靶向治疗疗效预测模型中的时间异质性模块中，得到所述时间异质性模块输出的时间异质性特征，包括：
21.所述时间异质性模块包括两个mha模块，用于基于所述图像特征，对所述待识别ct图像数据同一个病灶不同时间点上的信息整合；
22.将所述待识别ct图像数据每一时间点相对于基线时间的偏移天数映射到多维特征空间上，得到多维映射特征；
23.将所述多维映射特征和所述图像特征输入至第一mha模块，得到所述第一mha模块的输出量；
24.将所述第一mha模块的输出量输入至第二mha模块，得到所述第二mha模块的输出量；
25.基于所述第一mha模块的输出量和所述第二mha模块的输出量，确定所述时间异质性模块输出的时间异质性特征。
26.根据本发明提供的一种胃癌靶向治疗疗效预测方法，将所述时间异质性特征输入至所述胃癌靶向治疗疗效预测模型中的空间异质性模块中，得到所述空间异质性特征，包
括：
27.将所述时间异质性特征加入整合token，得到整合特征；
28.将所述整合特征输入至第三mha模块中，得到所述第三mha模块的输出量；
29.将所述第三mha模块的输出量输入至第一特征标准化层，得到所述第一特征标准化层的输出量；
30.将所述整合特征和所述特征标准化层的输出量输入至全连接层，得到所述全连接层的输出量；
31.将所述全连接层的输出量输入至第二特征标准化层，得到所述第二特征标准化层的输出量；
32.基于所述第一特征标准化层的输出量和所述第二特征标准化层的输出量，确定所述空间异质性特征。
33.根据本发明提供的一种胃癌靶向治疗疗效预测方法，所述胃癌靶向治疗疗效预测模型的训练数据划分成低风险组数据和高风险数据；
34.所述低风险组数据和所述高风险数据是根据患者的总生存时间，以生存时间一年切分得到的；
35.所述胃癌靶向治疗疗效预测模型是基于生存损失函数训练得到的，所述生存损失函数包括交叉熵损失函数和风险概率比例关系损失函数。
36.本发明还提供一种胃癌靶向治疗疗效预测装置，包括：
37.待识别数据获取模块，用于获取胃癌靶向治疗前后的待识别ct图像数据；
38.风险概率预测模块，用于将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中，得到所述胃癌靶向治疗疗效预测模型输出的胃癌风险概率；
39.其中，所述待识别ct图像数据包括基线时间对应的图像以及多次随访时间点对应的图像，且每个时间点对应的待识别ct图像数据包括多个病灶。
40.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述胃癌靶向治疗疗效预测方法。
41.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述胃癌靶向治疗疗效预测方法。
42.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述胃癌靶向治疗疗效预测方法。
43.本发明提供的胃癌靶向治疗疗效预测方法、装置、设备及介质，通过胃癌靶向治疗疗效预测模型，该模型对任意次数随访、任意个数病灶的待识别ct图像数据进行胃癌风险概率预测，能够有效综合不同随访数据的信息和不同病灶的信息，可应对任意次数随访、任意个数病灶的图像数据，因此可有效应用在实际临床场景中，这种综合不同随访数据的信息和不同病灶的信息来预测患者的疗效预后的方式，提升胃癌靶向治疗疗效预测准确率，从而提升胃癌靶向治疗疗效预测效果。
附图说明
44.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术
描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1是本发明提供的胃癌靶向治疗疗效预测方法的流程示意图之一；
46.图2是本发明提供的胃癌靶向治疗疗效预测方法的流程示意图之二；
47.图3是本发明提供的胃癌靶向治疗疗效预测方法的整体框架图；
48.图4是本发明提供的胃癌靶向治疗疗效预测方法的流程示意图之三；
49.图5是本发明提供的胃癌靶向治疗疗效预测方法中mha模块、时间异质性模块和空间异质性模块的结构示意图；
50.图6是本发明提供的胃癌靶向治疗疗效预测方法的流程示意图之四；
51.图7是本发明提供的电子设备的结构示意图。
具体实施方式
52.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.下面结合图1-图6描述本发明的胃癌靶向治疗疗效预测方法。
54.请参照图1，本发明提出的胃癌靶向治疗疗效预测方法，包括：
55.步骤10，获取胃癌靶向治疗前后的待识别ct图像数据；
56.步骤20，将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中，得到所述胃癌靶向治疗疗效预测模型输出的胃癌风险概率；
57.其中，所述待识别ct图像数据包括基线时间对应的图像以及多次随访时间点对应的图像，且每个时间点对应的待识别ct图像数据包括多个病灶。
58.主要关注模型基于早期靶向治疗的ct图像数据预测疗效的能力。在实施开始前，需要收集患者的基线ct图像以及若干次(可以0次)随访的ct图像，每个ct图像需要由影像科医生勾画病灶的区域(至少一个)(或称为roi区域)。对于每个时间点上的每个病灶，再勾画出其所在的区域(称为roi区域)。
59.假设第t个时间点的第n个病灶的图像表示为则可采用表示第i个病灶在t个时间点上的图像序列。采用表示t个时间点相较于基线时间的偏移天数。而后，根据勾画的roi区域对图像进行裁剪、放缩和填充，并由不同病灶的统计信息进行标准化，得到待识别ct图像数据。
60.之后，将待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中进行预测，得到胃癌靶向治疗疗效预测模型输出的胃癌风险概率。
61.本发明提供的胃癌靶向治疗疗效预测方法，通过胃癌靶向治疗疗效预测模型，该模型对任意次数随访、任意个数病灶的待识别ct图像数据进行胃癌风险概率预测，能够有效综合不同随访数据的信息和不同病灶的信息，可应对任意次数随访、任意个数病灶的图
像数据，因此可有效应用在实际临床场景中，这种综合不同随访数据的信息和不同病灶的信息来预测患者的疗效预后的方式，提升胃癌靶向治疗疗效预测准确率，从而提升胃癌靶向治疗疗效预测效果。
62.在一种可能的实施例中，所述胃癌靶向治疗疗效预测模型是基于转移性胃癌抗her2靶向治疗的时间序列成像数据训练得到的；
63.所述胃癌靶向治疗疗效预测模型包括时间异质性模块和空间异质性模块；
64.所述时间异质性模块用于建模时间异质性上的同一病灶的纵向变化，所述空间异质性模块用于建模空间异质性上多个病灶间的互作关系。
65.本实施例中，对于训练数据中每一个病灶，假设有t个时间节点的数据，先通过预先统计好的均值和标准差进行标准化，而后通过共享的卷积特征提取器得到t个图像特征，之后通过时间异质性模块建模当前病灶在时间维度上的变化信息，从而该病灶的病灶代表特征。接下来，利用空间异质性模块挖掘n个病灶之间的互作关系，进而获得一个全局代表特征。全局代表特征最后通过分类器生成风险系数，风险系数越大表明该患者接受靶向治疗的疗效越差，越小则表明疗效越好。
66.本实施例提出了基于时空异质性模块的胃癌靶向治疗疗效预测模型。利用时间异质性模块挖掘同一病灶在不同时间节点的变化趋势；利用空间异质性模块建模同一患者不同病灶之间的互作关系。
67.在一种可能的实施例中，请参照图2，步骤20、将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中，得到所述胃癌靶向治疗疗效预测模型输出的胃癌风险概率，包括：
68.步骤21，将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中的卷积特征提取器中，得到所述卷积特征提取器输出的图像特征；
69.步骤22，将所述图像特征输入至所述胃癌靶向治疗疗效预测模型中的时间异质性模块中，得到所述时间异质性模块输出的时间异质性特征；
70.步骤23，将所述时间异质性特征输入至所述胃癌靶向治疗疗效预测模型中的空间异质性模块中，得到所述空间异质性特征；
71.步骤24，将所述时间异质性特征和所述空间异质性特征输入至所述胃癌靶向治疗疗效预测模型中的分类器中，得到所述分类器输出的胃癌风险概率。
72.所提出方法的整体架构图如图3所示，对于一位患者，假设可以收集到其基线(base line,bl)、第一次随访(1
st follow-up,1f)、第二次随访(2
nd follow-up,2f)等多次随访共t次时间点的ct图像数据，每个时间点有n个病灶的ct图像数据。对于每个时间点上的每个病灶，勾画出其所在的区域(称为roi区域)。假设第t个时间点的第n个病灶的图像表示为则可采用则可采用表示第i个病灶在t个时间点上的图像序列。采用表示t个时间点相较于基线时间的偏移天数。而后，根据勾画的roi区域对图像进行裁剪、放缩和填充，并由不同病灶的统计信息进行标准化，得到待识别ct图像数据
73.经过共享的卷积特征提取器ε(resnet-18)提取得到图像特征，表示为第n个病灶的特征序列fn将通过时间异质性模块得到病灶图像在不同时间点上的时间异质性特征对于n个病灶，可得到n个时间异质性特征，表示为
74.不同病灶的时间异质性特征i将通过空间异质性模块得到多个病灶之间的互作关系，从而得到空间异质性特征而后，由两层感知机构成的分类器用来预测胃癌风险概率。胃癌风险概率的计算公式包括：
[0075][0076]
其中
[0077]
利用transformer的特性，将随访时间的次数、病灶的数量与模型结构解耦，使得模型可以适应任意次数的随访数据和任意数量的病灶图像，从而使得模型能够应用到实际临床的复杂场景中。
[0078]
提出一种基于时空异质性transformer的胃癌靶向治疗疗效预测模型，该模型同时挖掘不同病灶之间的互作信息(空间异质性)，能够有效综合不同随访数据的信息(时间异质性)。该模型可应对任意次数随访、任意个数病灶的数据，因此可有效应用在实际临床场景中。同时我们将通过回顾性队列和前瞻性队列来验证所提出模型的有效性。
[0079]
在一种可能的实施例中，请参照图4，步骤22、将所述图像特征输入至所述胃癌靶向治疗疗效预测模型中的时间异质性模块中，得到所述时间异质性模块输出的时间异质性特征，包括：
[0080]
所述时间异质性模块包括两个mha模块，用于基于所述图像特征，对所述待识别ct图像数据同一个病灶不同时间点上的信息整合；
[0081]
步骤221，将所述待识别ct图像数据每一时间点相对于基线时间的偏移天数映射到多维特征空间上，得到多维映射特征；
[0082]
步骤222，将所述多维映射特征和所述图像特征输入至第一mha模块，得到所述第一mha模块的输出量；
[0083]
步骤223，将所述第一mha模块的输出量输入至第二mha模块，得到所述第二mha模块的输出量；
[0084]
步骤224，基于所述第一mha模块的输出量和所述第二mha模块的输出量，确定所述时间异质性模块输出的时间异质性特征。
[0085]
时间异质性模块th-former和时间空间异质性模块sh-former的核心模块均为多头注意力机制(multi-head attention,mha)模块。如图5(b)所示，假设其输入为其中m表示序列对象的个数，c表示每个对象的特征维度。假设有h个头(head)，则第h个头网络分配c
′
＝c/h个维度的特征，记为mha模块的计算过程可描述为
[0086][0087][0088]
其中，α(
·
),β(
·
),γ(
·
)均为全连接层，可记为注意力图a，表示在维度空间的连接操作。
[0089]
在一种可能的实施例中，请参照图6，步骤23、将所述时间异质性特征输入至所述胃癌靶向治疗疗效预测模型中的空间异质性模块中，得到所述空间异质性特征，包括：
[0090]
步骤231，将所述时间异质性特征加入整合token，得到整合特征；
[0091]
步骤232，将所述整合特征输入至第三mha模块中，得到所述第三mha模块的输出量；
[0092]
步骤233，将所述第三mha模块的输出量输入至第一特征标准化层，得到所述第一特征标准化层的输出量；
[0093]
步骤234，将所述整合特征和所述特征标准化层的输出量输入至全连接层，得到所述全连接层的输出量；
[0094]
步骤235，将所述全连接层的输出量输入至第二特征标准化层，得到所述第二特征标准化层的输出量；
[0095]
步骤236，基于所述第一特征标准化层的输出量和所述第二特征标准化层的输出量，确定所述空间异质性特征。
[0096]
在本实施例中，空间异质性模块，即空间异质性transformer(spatial-heterogeneity transformer,sh-former)，用于建模多个病灶之间的互作关系。如图5(c)所示，对于n个病灶的时间异质性特征，可表示为加入整合token之后，可表示为空间异质性模块sh-former的计算过程可以描述为：
[0097][0098][0099][0100]
其中，selected(
·
)表示取整合token所在位置的向量，即有
[0101]
在一种可能的实施例中，所述胃癌靶向治疗疗效预测模型的训练数据划分成低风险组数据和高风险数据；
[0102]
所述低风险组数据和所述高风险数据是根据患者的总生存时间，以生存时间一年
切分得到的；
[0103]
所述胃癌靶向治疗疗效预测模型是基于生存损失函数训练得到的，所述生存损失函数包括交叉熵损失函数和风险概率比例关系损失函数。
[0104]
训练过程中，根据患者的总生存时间(overall survival,os)，以生存时间一年作为切分，划分为低风险组(low risk group)和高风险组(high risk group)进行训练，即，根据患者的总生存时间(overall survival,os)，以生存时间一年作为切分，进行切分用于训练胃癌靶向治疗疗效预测模型的训练数据。
[0105]
在训练中，每位患者最多有五个时间点的数据被纳入。同时，为了训练的高效性和提高模型的泛化性，每个时间点每次训练会有放回地随机采样出四个病灶进行计算。记第i位患者的输入数据为xi，上述所提出的模型为h
θ
，则模型预测xi的输出可以表示为h
θ
(xi)，通过交叉熵损失函数监督胃癌靶向治疗疗效预测模型的训练，以学习低风险组和高风险组的划分，如下：
[0106][0107]
同时，考虑到即使同一组患者之间，患者的总生存时间os也有显著的差别。例如，患者的总生存时间os为50个月和os为13个月的两位患者虽同属低风险组，但他们的风险概率应该是不一致的。因此，受启发于deepsurv模型，我们通过计算同一分组中的不同患者的风险概率比例关系损失函数l
surv
，来监督模型根据不同生存水平产生不同的风险概率，如下：
[0108][0109]
综上，结合二分类问题的交叉熵损失函数和风险概率比例关系的生存损失函数，总体的损失函数可描述为
[0110]
l＝l
ce
+l
surv
[0111]
测试过程模拟临床使用场景，只考虑早期靶向治疗的ct图像(大约接受治疗之后的半年之内)。因此，每位患者最多有三个时间点的数据被纳入，分别是基线(base line,bl)、第一次随访(1
st follow-up,1f)和第二次随访(2
nd follow-up,2f)，且每个时间点的所有病灶都被考虑。假设第i个患者的输入数据为xi，则由上述训练完成的模型可预测其风险概率其值越大表示其一年生存概率越低，其值越小表示其一年生存概率越高。
[0112]
测试结果展示如下表(auc性能对比表(括号中的数值表示95％置信区间))：
[0113][0114]
其中，tb：采用基线数据的肿瘤负荷(靶病灶面积总和)的信息。dl-bs：所提出的模型，只用基线的数据。dl-1f：所提出的模型，采用基线和第一次随访的数据。dl-2f：所提出的模型：采用基线、第一次随访和第二次随访的数据。
[0115]
模型训练过程中，随着随访数据的加入，模型能够更好的区分高风险组和低风险组。低风险组模型更关注于第一次和第二次随访的数据。高风险组模型更关注于第一次随访数据。治疗反应的分布模式提醒我们，在治疗后早期即可区分出抗her2治疗的高风险和低风险人群，尤其对于高风险人群，早期第一次随访的图像更能够呈现出对治疗反应的信息，这或许与高风险人群存在曲妥珠单抗治疗原发耐药模式有关。低风险组模型更关注原发灶和肺结节的关系。高风险组模型更关注原发灶和肝转移灶的关系。既往文献报道，her2阳性晚期胃癌更容易转移到肝脏，且发生肝转移与较差的pfs显著相关，这可能是高风险组模型更关注原发灶与肝转移之间互作关系的原因。
[0116]
本实施例中，综合二分类损失和生存损失，使得模型不止能够区分高低风险组，且能够排序不同患者间的风险概率，从而为临床决策提供更加细致的指导信息。
[0117]
下面对本发明提供的胃癌靶向治疗疗效预测装置进行描述，下文描述的胃癌靶向治疗疗效预测装置与上文描述的胃癌靶向治疗疗效预测方法可相互对应参照。
[0118]
本发明提出的胃癌靶向治疗疗效预测装置，包括：
[0119]
待识别数据获取模块，用于获取胃癌靶向治疗前后的待识别ct图像数据；
[0120]
风险概率预测模块，用于将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中，得到所述胃癌靶向治疗疗效预测模型输出的胃癌风险概率；
[0121]
其中，所述待识别ct图像数据包括基线时间对应的图像以及多次随访时间点对应的图像，且每个时间点对应的待识别ct图像数据包括多个病灶。
[0122]
进一步地，所述胃癌靶向治疗疗效预测模型是基于转移性胃癌抗her2靶向治疗的时间序列成像数据训练得到的；
[0123]
所述胃癌靶向治疗疗效预测模型包括时间异质性模块和空间异质性模块；
[0124]
所述时间异质性模块用于建模时间异质性上的同一病灶的纵向变化，所述空间异质性模块用于建模空间异质性上多个病灶间的互作关系。
[0125]
进一步地，所述风险概率预测模块，还用于：
[0126]
将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中的卷积特征提取器中，得到所述卷积特征提取器输出的图像特征；
[0127]
将所述图像特征输入至所述胃癌靶向治疗疗效预测模型中的时间异质性模块中，得到所述时间异质性模块输出的时间异质性特征；
[0128]
将所述时间异质性特征输入至所述胃癌靶向治疗疗效预测模型中的空间异质性模块中，得到所述空间异质性特征；
[0129]
将所述时间异质性特征和所述空间异质性特征输入至所述胃癌靶向治疗疗效预测模型中的分类器中，得到所述分类器输出的胃癌风险概率。
[0130]
进一步地，所述风险概率预测模块，还用于：
[0131]
所述时间异质性模块包括两个mha模块，用于基于所述图像特征，对所述待识别ct图像数据同一个病灶不同时间点上的信息整合；
[0132]
将所述待识别ct图像数据每一时间点相对于基线时间的偏移天数映射到多维特征空间上，得到多维映射特征；
[0133]
将所述多维映射特征和所述图像特征输入至第一mha模块，得到所述第一mha模块的输出量；
[0134]
将所述第一mha模块的输出量输入至第二mha模块，得到所述第二mha模块的输出量；
[0135]
基于所述第一mha模块的输出量和所述第二mha模块的输出量，确定所述时间异质性模块输出的时间异质性特征。
[0136]
进一步地，所述风险概率预测模块，还用于：
[0137]
将所述时间异质性特征加入整合token，得到整合特征；
[0138]
将所述整合特征输入至第三mha模块中，得到所述第三mha模块的输出量；
[0139]
将所述第三mha模块的输出量输入至第一特征标准化层，得到所述第一特征标准化层的输出量；
[0140]
将所述整合特征和所述特征标准化层的输出量输入至全连接层，得到所述全连接层的输出量；
[0141]
将所述全连接层的输出量输入至第二特征标准化层，得到所述第二特征标准化层的输出量；
[0142]
基于所述第一特征标准化层的输出量和所述第二特征标准化层的输出量，确定所述空间异质性特征。
[0143]
进一步地，所述胃癌靶向治疗疗效预测模型的训练数据划分成低风险组数据和高风险数据；
[0144]
所述低风险组数据和所述高风险数据是根据患者的总生存时间，以生存时间一年切分得到的；
[0145]
所述胃癌靶向治疗疗效预测模型是基于生存损失函数训练得到的，所述生存损失函数包括交叉熵损失函数和风险概率比例关系损失函数。
[0146]
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行胃癌靶向治疗疗效预测方法，该方法包括：获取胃癌靶向治疗前后的待识别ct图像数据；将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中，得到所述胃癌靶向治疗疗效预测模型输出的胃癌风险概率；其中，所述待识别ct图像数据包括基线时间对应的图像以及多次随访时间点对应的图像，且每个时间点对应的待识别ct图像数据包括多个病灶。
[0147]
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0148]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的胃癌靶向治疗疗效预测方法，该方法包括：获取胃癌靶向治疗前后的待识别ct图像数据；将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中，得到所述胃癌靶向治疗疗效预测模型输出的胃癌风险概率；其中，所述待识别ct图像数据包括基线时间对应的图像以及多次随访时间点对应的图像，且每个时间点对应的待识别ct图像数据包括多个病灶。
[0149]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的胃癌靶向治疗疗效预测方法，该方法包括：获取胃癌靶向治疗前后的待识别ct图像数据；将所述待识别ct图像数据输入至胃癌靶向治疗疗效预测模型中，得到所述胃癌靶向治疗疗效预测模型输出的胃癌风险概率；其中，所述待识别ct图像数据包括基线时间对应的图像以及多次随访时间点对应的图像，且每个时间点对应的待识别ct图像数据包括多个病灶。
[0150]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0151]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施
例或者实施例的某些部分所述的方法。
[0152]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。