一种多模态肺栓塞辅助诊断方法及系统与流程

本发明涉及医学辅助诊断，尤其涉及一种多模态肺栓塞辅助诊断方法及系统。

背景技术：

1、肺栓塞(pe)是一种在国内外广泛存在的肺部疾病，其由于血管内栓子阻塞肺动脉或其分支而引起，根据栓子的大小，肺栓塞可分为中央、大叶、节段或亚节段肺动脉，血栓阻塞肺动脉后，可能导致患者血管狭窄或完全阻塞，进而导致肺血管阻力增加、肺动脉压力升高，在严重情况下，还可能引发右心室肥厚和右心衰竭，其危害仅次于心肌梗死和猝死，随着年龄的增长，肺动脉栓塞的患病率也呈上升趋势，研究表明，未经治疗的急性肺栓塞患者总死亡率高达38％，14天内的死亡率可达11.4％，及时的诊断和适当的治疗能将死亡率降低到小于10％，一般而言，抗栓塞药物对于治疗肺栓塞非常有效，但是由于该疗法有时可能导致大出血，因此如果误用于误检的患者，可能带来极其危险的后果，对于临床医生而言，一个巨大的挑战在于如何能够迅速而准确地诊断肺栓塞，并在此过程中尽量避免由于假阳性诊断而带来的风险。

2、pe的诊断是一项极为复杂的任务。ct肺血管造影(ctpa)是诊断pe的主要手段，ctpa能够直观地展示患者肺动脉内血栓的形态、位置以及血管阻塞的程度，对肺动脉栓塞具有高度敏感性，而且是无创且便捷的检查方法。在ctpa中，由于造影剂能够溶解在血液中，血管通常呈现为亮区，而栓子不吸收造影剂，因此肺栓塞在ct中呈现为暗区，然而，通常一名患者会拥有数百张ctpa图像，每张图像代表肺的一个切片，重复阅片会消耗医生大量的时间和精力，并且ctpa图像常会受到成像技术和水平的影响，因此在临床实践中，对pe的高准确度鉴别既费时又具有挑战性；此外，对于孤立性亚段肺栓塞，由于栓子较小，且存在于复杂的肺动脉亚段分支内，加大了人工阅片的诊断难度，另一方面，ctpa需要极强的专业性，非专业医生对其了解不足，也能造成诊断延迟和漏诊的问题，因此亟需一种智能检测方法，帮助医生在疾病早期准确诊断肺栓塞，并及时进行治疗干预，以降低致死率和致残率。

3、然而，现有的基于卷积神经网络的检测算法主要将单个ct切片作为独立单元进行pe检测，缺乏对连续ct切片之间关系的深入分析，这种方法可能导致大量的假阳性，因为在整个ctpa中，一些孤立的阳性样本很可能是噪声引起的假阳性，而一系列连续的阳性切片则更可能表明患者存在阳性pe，为了解决这个问题，结合时间序列网络进行上下文分析变得尤为重要。huhtanen h等人提出了一个基于cnn-lstm架构的方法，该模型可以在相对较小的、弱标记的训练集上取得良好的结果，这意味着即使在资源有限的情况下，小规模研究和单个医院也能构建性能出色的深度学习模型；另外，shi luyao等人提出了一个基于注意力引导的自动检测肺栓塞的模型，该模型分为两个阶段，利用循环网络结合各个切片的特征，最终提供pe的预测结果；suman s等人则提出了一个包括cnn分类器和序列模型的方法，用于捕获图像属性和标签，同时结合了注意力机制的序列模型，以获取空间特征并捕获切片间的依赖关系，从而提供每个ct切片的全局变化信息。

4、在临床实践中，医生通常根据患者的电子健康记录(ehr)中的信息来评估患者是否患有pe，然而，目前的大多数检测算法仅利用ct图像进行pe检测，缺乏对患者身体状况与ct图像之间关系的深入分析。huang等人提出了一种结合ct和ehr数据的多模式融合模型，用于pe病例的自动分类，该模型包括ct成像模块、ehr模块和多模式融合模块，结果表明，该方法优于仅基于单角度数据模态的模型。

5、对比学习目前正被应用于医学成像领域，sanjeev等人提出了一种使用对比学习的pe检测方法，该方法采用有监督的对比预训练来增强ct扫描和ehr之间特征表示的一致性，利用这些信息来改进pe的诊断。由于早期肺栓塞(pe)检测对提高患者的生存率至关重要，而现有的深度学习工作主要聚焦于使用卷积神经网络(cnn)提升计算机断层扫描(ct)在肺栓塞诊断中的性能，然而在临床实践中，医生更倾向于依赖电子健康记录(ehr)和计算机断层扫描(ct)以联合进行诊断，但目前很少有模型能够有效地整合临床信息和影像数据。

技术实现思路

1、本发明的目的在于提供一种多模态肺栓塞辅助诊断方法及系统，旨在解决现有技术中的上述问题。

2、本发明实施例提供一种多模态肺栓塞辅助诊断方法，包括：

3、获取患者肺部ct图像和电子病历表格数据，分别对所述ct图像和所述电子病历表格数据进行预处理，得到图像数据集和表格数据集；

4、将所述图像数据集输入至特征提取模型，通过所述特征提取模型中的对比学习策略得到图像特征，将所述图像特征输入第一分类器得到图像预测结果；

5、将所述表格数据集输入至多层感知机，得到表格特征，将所述表格特征输入第二分类器得到表格预测结果；其中，所述第一分类器与第二分类器为基于因果学习的分类器；

6、融合所述图像预测结果与所述表格预测结果，得到最终的肺栓塞预测结果。

7、本发明实施例提供一种多模态肺栓塞辅助诊断系统，包括：

8、数据模块，用于获取患者肺部ct图像和电子病历表格数据，分别对所述ct图像和所述电子病历表格数据进行预处理，得到图像数据集和表格数据集；

9、图像处理模块，用于将所述图像数据集输入至特征提取模型，通过所述特征提取模型中的对比学习策略得到图像特征，将所述图像特征输入第一分类器得到图像预测结果；

10、表格处理模块，用于将所述表格数据集输入至多层感知机，得到表格特征，将所述表格特征输入第二分类器得到表格预测结果；其中，所述第一分类器与第二分类器为基于因果学习的分类器；

11、融合模块，用于融合所述图像预测结果与所述表格预测结果，得到最终的肺栓塞预测结果。

12、本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述多模态肺栓塞辅助诊断方法的步骤。

13、本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述多模态肺栓塞辅助诊断方法的步骤。

14、采用本发明实施例可以包括以下有益效果：本发明实施例提出了一种结合因果学习和对比学习的多模态肺栓塞辅助诊断方法，模型集成了来自肺部ct图像和电子病历表格数据的多模态数据，有效提高了肺栓塞检测的准确率。

技术特征：

1.一种多模态肺栓塞辅助诊断方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取患者肺部ct图像和电子病历表格数据，分别对所述ct图像和所述电子病历表格数据进行预处理，得到图像数据集和表格数据集具体包括：

3.根据权利要求1所述的方法，其特征在于，所述获取患者肺部ct图像和电子病历表格数据，分别对所述ct图像和所述电子病历表格数据进行预处理，得到图像数据集和表格数据集具体包括：

4.根据权利要求1所述的方法，其特征在于，将所述图像数据集输入至特征提取模型，通过所述特征提取模型中的对比学习策略得到图像特征，将所述图像特征输入第一分类器得到图像预测结果具体包括：

5.一种多模态肺栓塞辅助诊断系统，其特征在于，包括：

6.根据权利要求5所述的系统，其特征在于，所述数据模块具体用于：

7.根据权利要求5所述的系统，其特征在于，所述数据模块具体用于：

8.根据权利要求5所述的系统，其特征在于，所述图像处理模块具体用于：

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-4中任一项所述的多模态肺栓塞辅助诊断方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1-4中任一项所述的多模态肺栓塞辅助诊断方法的步骤。

技术总结
本说明书实施例提供了一种多模态肺栓塞辅助诊断方法及系统，其中，方法包括：获取患者肺部CT图像和电子病历表格数据，分别对所述CT图像和所述电子病历表格数据进行预处理，得到图像数据集和表格数据集；将所述图像数据集输入至特征提取模型，通过所述特征提取模型中的对比学习策略得到图像特征，将所述图像特征输入第一分类器得到图像预测结果；将所述表格数据集输入至多层感知机，得到表格特征，将所述表格特征输入第二分类器得到表格预测结果；其中，所述第一分类器与第二分类器为基于因果学习的分类器；融合所述图像预测结果与所述表格预测结果，得到最终的肺栓塞预测结果。

技术研发人员：田媛,王志鹏,葛瑞泉,余建勋,郭昭昕,林士军,张铮,肖庆颖,李钦海,罗雪娇,王昌淼
受保护的技术使用者：深圳市龙岗区人民医院
技术研发日：
技术公布日：2024/7/23