本发明属于医学图像处理,具体涉及一种肿瘤生存分析方法及系统。
背景技术:
1、肝细胞癌(hcc)是一种常见的恶性肿瘤,严重威胁人类健康。hcc的发生发展与多种因素有关,包括肝炎病毒感染、代谢紊乱、遗传变异、肿瘤微环境等。hcc的诊断和治疗仍然面临着巨大的挑战,尤其是对于中晚期的患者,预后十分不佳。因此提高hcc的早期诊断和个体化治疗水平,是当前肿瘤研究的热点和难点。
2、目前,肿瘤生存分析的方法主要有两类:传统的生存分析方法和基于机器学习的生存分析方法。传统的生存分析方法,如cox比例风险模型、kaplan-meier生存曲线等,主要基于患者的临床数据和基因数据,忽略了肿瘤的影像数据。而肿瘤的影像数据,如ct、mri、pet等,可以反映肿瘤的形态、结构、功能和代谢等特征,对于肿瘤的诊断和分期具有重要的价值。
3、基于机器学习的生存分析方法,利用人工智能技术,如深度学习、自然语言处理、计算机视觉等,对患者的临床数据、基因数据和影像数据进行综合分析,构建更复杂和更高维的生存分析模型。这些方法可以克服传统方法的局限性,提取更多的信息和特征,发现更深层次的规律和关联,提高生存分析的性能和效率。然而,基于机器学习的生存分析方法也存在一些问题,如数据的质量和数量、模型的稳定性和泛化性、结果的可解释性和可信度等,需要进一步的研究和改进。
4、因此,如何将肿瘤的影像数据纳入生存分析的模型,提高生存分析的准确性和可解释性,是一个亟待解决的问题。
技术实现思路
1、基于上述技术问题,本发明提供一种肿瘤生存分析方法及系统,结合临床数据、影像学特征和基因数据进行综合分析,预测患者的生存期,可以更有效地评估患者的生存预后,为临床治疗提供参考。
2、本发明提供一种肿瘤生存分析方法,所述方法包括:
3、步骤s1:获取肿瘤图像、临床数据和基因数据;
4、步骤s2:构建肿瘤分割模型,得到肿瘤分割图像;
5、步骤s3:提取所述肿瘤分割图像特征,得到图像信息;
6、步骤s4:根据所述图像信息、所述临床数据和所述基因数据构建生存分析模型;
7、步骤s5:应用所述生存分析模型,预测患者生存期。
8、可选地,所述构建肿瘤分割模型,得到肿瘤分割图像,具体包括:
9、将所述肿瘤图像输入到第一标准卷积模块进行标准卷积操作,得到特征图z2;将所述特征图z2输入到第一编码模块进行编码操作,依次输出特征图z25和特征图z26;
10、将所述特征图z26输入到第二标准卷积模块进行标准卷积操作,得到特征图z28;将所述特征图z28输入到第二编码模块进行编码操作,依次输出特征图z51和特征图z52;
11、将所述特征图z52输入到第三标准卷积模块进行标准卷积操作,得到特征图z54;将所述特征图z54输入到第三编码模块进行编码操作,依次输出特征图z77和特征图z78;
12、将所述特征图z78输入到第四标准卷积模块进行标准卷积操作,得到特征图z80;将所述特征图z80输入到第四编码模块进行编码操作,依次输出特征图z103和特征图z104;
13、将所述特征图z104输入到第五标准卷积模块进行标准卷积操作,得到特征图z106;
14、将所述特征图z106输入到第一上采样层进行上采样操作,得到特征图z107;将所述特征图z103和所述特征图z107输入到第五张量拼接层进行张量拼接操作,得到特征图z108;将所述特征图z108输入到第六标准卷积模块进行标准卷积操作,得到特征图z110;
15、将所述特征图z110输入到第二上采样层进行上采样操作,得到特征图z111;将所述特征图z77和所述特征图z111输入到第六张量拼接层进行张量拼接操作,得到特征图z112;将所述特征图z112输入到第七标准卷积模块进行标准卷积操作,得到特征图z114;
16、将所述特征图z114输入到第三上采样层进行上采样操作,得到特征图z115;将所述特征图z51和所述特征图z115输入到第七张量拼接层进行张量拼接操作,得到特征图z116;将所述特征图z116输入到第八标准卷积模块进行标准卷积操作,得到特征图z118;
17、将所述特征图z118输入到第四上采样层进行上采样操作,得到特征图z119;将所述特征图z25和所述特征图z119输入到第八张量拼接层进行张量拼接操作,得到特征图z120;将所述特征图z120输入到第九标准卷积模块进行标准卷积操作,得到特征图z122;
18、将所述特征图z122依次输入到第二十六标准卷积层和所述第九激活函数层进行卷积和激活操作,输出肿瘤分割图像。
19、可选地,所述将所述特征图z2输入到第一编码模块进行编码操作,依次输出特征图z25和特征图z26,具体包括:
20、将所述第一编码输入层z2依次输入到所述第二标准卷积层和所述第二规范化激活层进行卷积操作和批规范化操作,得到特征图z4;将所述特征图z4依次输入到所述第三标准卷积层和所述第三规范化激活层进行卷积操作和批规范化操作,得到特征图z6;将所述第一编码输入层z2依次输入到所述第四标准卷积层进行卷积操作,得到特征图z7;将所述特征图z6和所述特征图z7输入到所述第一元素相加层进行元素相加操作,得到特征图z8;
21、将所述特征图z8输入到所述第一全局平均池化层进行全局平均池化操作,得到特征图z9;将所述特征图z9输入到所述第一全连接激活层进行全连接操作和激活操作,得到特征图z10;将所述特征图z10输入到所述第一全连接层进行全连接操作,得到特征图z11;将所述特征图z8输入到所述第一全局最大池化层进行全局最大池化操作,得到特征图z12;将所述特征图z12输入到所述第二全连接激活层进行全连接操作和激活操作,得到特征图z13;将所述特征图z13输入到所述第二全连接层进行全连接操作,得到特征图z14;将所述特征图z11和所述特征图z14输入到所述第二元素相加层进行元素相加操作,得到特征图z15;将所述特征图z15输入到所述第一激活函数层进行激活操作,得到特征图z16;将所述特征图z16输入到所述第一形状重塑层进行形状重塑操作,得到特征图z17;将所述特征图z8和所述特征图z17输入到所述第一元素相乘层进行元素相乘操作,得到特征图z18;
22、将所述特征图z18输入到所述第一最大池化层进行最大池化操作,得到特征图z19;将所述特征图z18输入到所述第一平均池化层进行平均池化操作,得到特征图z20;将所述特征图z19和所述特征图z20输入到所述第一张量拼接层进行张量拼接操作,得到特征图z21;将所述特征图z21输入到所述第五标准卷积层进行标准卷积操作,得到特征图z22;将所述特征图z22输入到所述第二激活函数层进行激活操作,得到特征图z23;将所述特征图z18和所述特征图z23输入到所述第二元素相乘层进行元素相乘操作,得到特征图z24;
23、将特征图z24输入到所述第一自定义注意力模块,得到特征图z25;将所述特征图z25输入到所述第二最大池化层进行最大池化操作,得到特征图z26。
24、可选地,所述第一自定义注意力模块,具体包括:
25、根据输入特征图f,生成两个坐标通道x和y,f、x和y空间尺寸均为h×w,h为高度,w为宽度,所述坐标通道x包含在w上均匀分布的水平坐标值,所述坐标通道y包含在h上均匀分布的垂直坐标值;
26、将所述坐标通道x和所述坐标通道y沿批量维度扩展,匹配所述输入特征图f的批量大小b,分别得到x′和y′;
27、将所述输入特征图f沿通道维度合并所述x′和所述y′,得到新特征图f′;将所述新特征图f′通过1×1卷积进行精炼,得到特征图g。
28、可选地,所述构建生存分析模型,具体表示为:
29、风险函数模型:
30、
31、生存函数模型:
32、
33、式中,hl(t|c,i,g)为第l层患者在给定协变量临床数据c、图像信息i和基因数据g时的瞬时风险率;h0l(t)为第l层基线风险率;和分别代表第l层的协变量(临床数据c、图像信息i和基因数据g)和相应的系数向量的乘积,l=1,2,...l为患者风险层次,s(t)为在t时刻的生存函数,通过对风险函数进行积分并应用指数转换得到。
34、本发明还提供一种肿瘤生存分析系统,所述系统包括:
35、数据获取模块,用于获取肿瘤图像、临床数据和基因数据;
36、肿瘤分割模型构建模块,用于构建肿瘤分割模型,得到肿瘤分割图像;
37、图像信息提取模块,用于提取所述肿瘤分割图像特征,得到图像信息;
38、生存分析模型构建模块,用于根据所述图像信息、所述临床数据和所述基因数据构建生存分析模型;
39、应用预测模块,用于应用所述生存分析模型,预测患者生存期。
40、可选地,所述肿瘤分割模型构建模块,具体包括:
41、第一编码模块子模块,用于将所述肿瘤图像输入到第一标准卷积模块进行标准卷积操作,得到特征图z2;将所述特征图z2输入到第一编码模块进行编码操作,依次输出特征图z25和特征图z26;
42、第二编码模块子模块,用于将所述特征图z26输入到第二标准卷积模块进行标准卷积操作,得到特征图z28;将所述特征图z28输入到第二编码模块进行编码操作,依次输出特征图z51和特征图z52;
43、第三编码模块子模块,用于将所述特征图z52输入到第三标准卷积模块进行标准卷积操作,得到特征图z54;将所述特征图z54输入到第三编码模块进行编码操作,依次输出特征图z77和特征图z78;
44、第四编码模块子模块,用于将所述特征图z78输入到第四标准卷积模块进行标准卷积操作,得到特征图z80;将所述特征图z80输入到第四编码模块进行编码操作,依次输出特征图z103和特征图z104;
45、第五标准卷积子模块,用于将所述特征图z104输入到第五标准卷积模块进行标准卷积操作,得到特征图z106;
46、第一上采样子模块,用于将所述特征图z106输入到第一上采样层进行上采样操作,得到特征图z107;将所述特征图z103和所述特征图z107输入到第五张量拼接层进行张量拼接操作,得到特征图z108;将所述特征图z108输入到第六标准卷积模块进行标准卷积操作,得到特征图z110;
47、第二上采样子模块,用于将所述特征图z110输入到第二上采样层进行上采样操作,得到特征图z111;将所述特征图z77和所述特征图z111输入到第六张量拼接层进行张量拼接操作,得到特征图z112;将所述特征图z112输入到第七标准卷积模块进行标准卷积操作,得到特征图z114;
48、第三上采样子模块,用于将所述特征图z114输入到第三上采样层进行上采样操作,得到特征图z115;将所述特征图z51和所述特征图z115输入到第七张量拼接层进行张量拼接操作,得到特征图z116;将所述特征图z116输入到第八标准卷积模块进行标准卷积操作,得到特征图z118;
49、第四上采样子模块,用于将所述特征图z118输入到第四上采样层进行上采样操作,得到特征图z119;将所述特征图z25和所述特征图z119输入到第八张量拼接层进行张量拼接操作,得到特征图z120;将所述特征图z120输入到第九标准卷积模块进行标准卷积操作,得到特征图z122;
50、输出图像子模块,用于将所述特征图z122依次输入到第二十六标准卷积层和第九激活函数层进行卷积和激活操作,输出肿瘤分割图像。
51、可选地,所述第一编码模块子模块,具体包括:
52、残差单元,用于将第一编码输入层z2依次输入到第二标准卷积层和第二规范化激活层进行卷积操作和批规范化操作,得到特征图z4;将所述特征图z4依次输入到第三标准卷积层和第三规范化激活层进行卷积操作和批规范化操作,得到特征图z6;将所述第一编码输入层z2依次输入到第四标准卷积层进行卷积操作,得到特征图z7;将所述特征图z6和所述特征图z7输入到第一元素相加层进行元素相加操作,得到特征图z8;
53、通道注意力单元,用于将所述特征图z8输入到第一全局平均池化层进行全局平均池化操作,得到特征图z9;将所述特征图z9输入到第一全连接激活层进行全连接操作和激活操作,得到特征图z10;将所述特征图z10输入到第一全连接层进行全连接操作,得到特征图z11;将所述特征图z8输入到第一全局最大池化层进行全局最大池化操作,得到特征图z12;将所述特征图z12输入到第二全连接激活层进行全连接操作和激活操作,得到特征图z13;将所述特征图z13输入到第二全连接层进行全连接操作,得到特征图z14;将所述特征图z11和所述特征图z14输入到第二元素相加层进行元素相加操作,得到特征图z15;将所述特征图z15输入到第一激活函数层进行激活操作,得到特征图z16;将所述特征图z16输入到第一形状重塑层进行形状重塑操作,得到特征图z17;将所述特征图z8和所述特征图z17输入到第一元素相乘层进行元素相乘操作,得到特征图z18;
54、空间注意力单元,用于将所述特征图z18输入到第一最大池化层进行最大池化操作,得到特征图z19;将所述特征图z18输入到第一平均池化层进行平均池化操作,得到特征图z20;将所述特征图z19和所述特征图z20输入到第一张量拼接层进行张量拼接操作,得到特征图z21;将所述特征图z21输入到第五标准卷积层进行标准卷积操作,得到特征图z22;将所述特征图z22输入到第二激活函数层进行激活操作,得到特征图z23;将所述特征图z18和所述特征图z23输入到第二元素相乘层进行元素相乘操作,得到特征图z24;
55、第一自定义注意力单元,用于将特征图z24输入到第一自定义注意力模块,得到特征图z25;将所述特征图z25输入到第二最大池化层进行最大池化操作,得到特征图z26。
56、可选地,所述第一自定义注意力单元,具体包括:
57、生成坐标子单元,用于根据输入特征图f,生成两个坐标通道x和y,f、x和y空间尺寸均为h×w,h为高度,w为宽度,所述坐标通道x包含在w上均匀分布的水平坐标值,所述坐标通道y包含在h上均匀分布的垂直坐标值;
58、维度扩展子单元,用于将所述坐标通道x和所述坐标通道y沿批量维度扩展,匹配所述输入特征图f的批量大小b,分别得到x′和y′;
59、特征合并子单元,用于将所述输入特征图f沿通道维度合并所述x′和所述y′,得到新特征图f′;将所述新特征图f′通过1×1卷积进行精炼,得到特征图g。
60、可选地,所述构建生存分析模型,具体表示为:
61、风险函数模型:
62、
63、生存函数模型:
64、
65、式中,hl(t|c,i,g)为第l层患者在给定协变量临床数据c、图像信息i和基因数据g时的瞬时风险率;h0l(t)为第l层基线风险率;和分别代表第l层的协变量(临床数据c、图像信息i和基因数据g)和相应的系数向量的乘积,z=1,2,...l为患者风险层次,s(t)为在t时刻的生存函数,通过对风险函数进行积分并应用指数转换得到。
66、本发明与现有技术相比,具有以下有益效果:
67、本发明利用生存分析技术,结合肿瘤图像、临床数据和基因数据进行综合分析。通过构建肿瘤分割模型和生存分析模型,充分挖掘了各种数据的信息和价值,提高了生存分析的准确性和全面性;能够有效预测肝细胞癌患者的生存期和治疗效果,对于个体化治疗方案的制定具有重要意义。此外,该方法的应用还可以增进对肝细胞癌发病机理的理解,为未来的药物研发和治疗策略提供科学依据。