一种基于机器学习的多模态医学影像数据分析方法

本发明属于医学图像处理，特别涉及一种基于机器学习的多模态医学影像数据分析方法。

背景技术：

1、三叉神经痛(trigeminal neuralgia,tn)是一种以剧烈的三叉神经疼痛为主要特征的面部神经系统疾病。每个人都有两条三叉神经，分别位于脸部的左右两侧，从耳附近分出三个分支延伸至眼睛、脸颊和下巴区域。尽管三叉神经痛可能影响脸部的任何一侧，但在大多数情况下，疼痛仅限于一侧。与其他类型的面部疼痛不同，三叉神经痛的疼痛感通常被描述为剧烈的刺痛、刀割感或电击般的感觉，强度之大以至于患者可能难以进食或饮水。疼痛发作可能在短短几秒内迅速蔓延至整个面部，随着病情的发展，疼痛的持续时间可能延长至数分钟甚至更久。

2、虽然三叉神经池段的神经血管接触被广泛认为是引发经典三叉神经痛(classical tn)的主要原因，但根据国际头痛疾病分类第三版(the internationalclassification ofheadache disorders 3rd edition,ichd-3)的标准，仍有一部分tn患者的病因不能直接归因于神经根的形态变化且电生理检查和磁共振成像(magneticresonance imaging,mri)均未显示明显异常，这类情况被称为特发性三叉神经痛(idiopathic tn)。这为临床诊断带来了挑战，因为仅依赖于传统的标记物和测试往往难以确诊。

3、目前，tn的临床诊断及其分型主要依赖于mri技术和患者所报告的疼痛特征。尤其是t2序列和3d飞行时间磁共振血管造影(3d time-of-flight mra,3d-tof-mra)序列，在识别tn患者中的神经血管压迫方面表现出良好的性能，但磁共振技术性能往往受到成像设备参数的限制。目前治疗tn的方法多样，通常取决于医生的临床经验和个人偏好。尽管努力标准化诊断过程，但还尚未完全解决tn的准确诊断、分类和管理问题。许多患者在接受药物治疗后仍然感到疼痛未获缓解，有些则经历了难以忍受的副作用。常见的手术治疗方法包括微血管减压术(microvasculardecompression,mvd)、立体定向放射外科(stereotacticradiosurgery,sr)和根切断术(rhizotomy)，但这些治疗手段干预后的高复发率突显了深入理解tn病理机制和发展治疗策略的必要性。

4、随着医学影像技术的持续进步及人工智能(ai)辅助诊断模型的不断发展，基于ai的诊断支持系统在提高诊断准确性和效率方面展现出了巨大潜力。2022年，kellenl.mulford等人收集了134名tn患者的数据，并借助机器学习技术，开发了一款创新的tn诊断模型。此模型特别关注三叉神经左右分支间的相互比较分析，旨在识别与tn相关的神经血管冲突(neurovascular conflict,nvc)。然而，尽管该模型在一定程度上取得了成功，但在区分健康的神经分支与那些在tn患者中未发生神经血管冲突的患病分支方面，仍面临显著挑战。该研究的贡献在于运用先进的ai技术，探索tn的自动化诊断途径，为医学影像分析及疾病诊断领域提供了新的视角。不过，识别神经血管冲突的自动化过程的复杂性提示了需要进一步改进算法和增强模型的泛化能力，以便更精准地区分不同类型的三叉神经病变。因此，本研究考虑集成更多维度的数据，如患者的临床症状、疼痛模式以及其他影像学特征，以提高模型的诊断精度和可靠性。

5、2023年，julien calderaro这项研究通过深度学习技术对联合型肝细胞-胆管细胞癌进行了全面的表型分型，展示了深度学习能够以高性能分辨肝细胞癌(hepatocellular carcinoma,hcc)与胆管细胞癌(intrahepatic cholangiocarcinoma,icca)的诊断。研究分析了405例chcc-cca患者，证明了模型能够将肿瘤重新分类为hcc或icca，最重要的是这些预测与临床结果、遗传变化以及原位空间基因表达分析一致，进一步说明了机器学习在识别人眼看不见的高维信息时的可靠性。

6、同年，zhong这项研究旨在开发一个基于pet/ct的深度学习特征，以预测临床非小细胞肺癌的隐匿性淋巴结转移(occult nodal metastasis，onm)。研究表明，尽管pet/ct作为临床分期的最可靠的非侵入性手段，但仍有12.9％到39.3％的淋巴结转移未能通过这一先进技术识别，而是在手术过程中意外发现，即所谓的隐匿性淋巴结转移。精确识别onm对于确定非小细胞肺癌患者的最佳治疗策略至关重要。这项工作通过内部队列(1911例)、外部队列(355例)和前瞻性队列(999例)的全面验证，证实了基于pet/ct的深度学习特征在预测隐匿性转移方面的高性能。这个研究也证明了利用深度学习技术量化放射影像图片，提取详细的特征信息，超出了人类视觉的能力，同时pet/ct的多模态特性增加了特征维度和信息丰富度，也对深度学习算法提出了更高的要求。

7、2023年，liang等人利用深度学习方法对获得的功能性磁共振成像进行分析，分析与tn疼痛产生和感知相关的大脑区域，为未来了解tn的中心机制提供目标区域。2022年，ge等人利用机器学习研究患者患侧和健侧三叉神经池节段的微观结构差异，为三叉神经痛的智能诊断提供依据本研究旨在利用深度学习和放射组学技术对多源mri数据进行综合分析。通过综合从不同mri序列中提取的特征，我们的目标是增强三叉神经痛的诊断，更全面、更准确地描述患者的病情。这项努力旨在为根据tn患者的个体需求量身定制的个性化临床干预和综合治疗计划奠定基础。

8、通过这些研究成果启发我们，深度学习技术能够准确识别出在医学影像上人眼不可见的信息，并且证明具有一定的可信度，这大大超出了人类视觉的能力，促使我们将该技术应用到三叉神经痛的诊断上来。这表明将深度学习技术应用于医学影像分析中，尤其是在精密医疗和个性化治疗决策支持方面，具有重要的潜力和价值。

技术实现思路

1、为了克服现有技术的问题，本发明提出了一种基于机器学习的多模态医学影像数据分析方法，所述方法利用机器学习对医学影像进行特征提取、并建立临床诊断模型，展示了其在辅助诊断复杂疾病中的潜在应用价值。

2、本发明的目的是这样实现的：

3、一种基于机器学习的多模态医学影像数据分析方法，包括以下步骤：

4、步骤1，mri数据的收集与预处理：

5、s11，图像的获取：

6、收集接受外科治疗的三叉神经痛患者的mri图像，作为主要队列和外部验证队列；

7、s12，图像分割：

8、利用itk-snap软件将s11获取的mri图像进行分割，具体包括：首先，使用线性插值将3d-tof图像配准到t2图像；然后，对t2图像进行手动分割，在显示神经的每个切片上手动勾勒出感兴趣区域roi；最后，通过融合每个切片上的分段组织来生成感兴趣体积voi；从而当在t2图像上完成voi分割时，在3d-tof图像上自动生成相应的voi。

9、步骤2，mri的特征提取：

10、s21，基于影像组学的mri深度特征提取：

11、利用pyradiomics软件从mri图像数据中提取影像组学特征，从而对患者的三叉神经进行定量分析，具体包括：从每位患者的t2图像和3d-tof图像序列中提取若干影像组学特征，这些特征分为三个大类：形状和体积特征、纹理特征和一阶统计特征，各自提供不同维度的三叉神经特性信息；

12、s22，基于3d-resnet的mri深度特征提取：

13、采用预训练的3d-resnet-18模型，移除了模型的最后一个全连接层，以便从中提取非最终分类的中间特征；通过将图像和掩模转换为numpy数组，并进行归一化及标准化处理后，调用修改版的3d-resnet-18模型，从每个三维图像中提取特征，集中在移除全连接层之前的输出层提取特征，从每位患者的两个体积感兴趣区域——t2和3d-tof中，提取若干深度学习特征，并通过z-score方法进行标准化处理，以确保特征值的在统一标准的标准化范围。

14、步骤3，三叉神经痛的临床诊断模型：

15、s31，特征筛选与模型构建：

16、从步骤1获得的roi中构建了若干特征集：基于t2和tof序列的影像组学，以及两个基于t2和tof序列的深度学习特征集；

17、首先，通过t检验对每组特征进行筛选，以排除统计上没有显著差异的变量；其次，计算所有可能的特征对之间的pearson或spearman相关系数，任何相关系数超过0.9的特征对中的一个特征将被剔除，以消除高度相关的变量；随后，采用最小绝对收缩和选择算子lasso回归方法来筛选与三叉神经痛密切相关的特征，同时应用5倍交叉验证来优化模型的选择过程和提高模型的泛化能力；

18、s32，模型的开发：

19、开发三种类型的模型，包括：1)单模态模型sm，基于临床特征和基于t2/3d-tofrad以及t2/tof dl的五个模型；2)前融合模型pre-fms，基于clinic+t2/tof rad、clinic+t2/tof dl、t2+tof dl和t2+tof rad总共六个模型；3)后融合模型pre-fms，基于clinic+rad、clinic+dl、clinic+rad+dl的概率模型；

20、采用支持向量机作为分类器开发单模态模型和pre-fms，采用随机森林作为分类器开发post-fms。

21、步骤4，模型结果分析：

22、以roc曲线下的面积auc作为核心评估指标，进行不同模型区分度的比较，选定分类效果最优的模型、从而获得最终的三叉神经痛检测结果；

23、具体来说，auc值越大、代表模型的判别能力越强，分类效果越出色。本发明的优点和有益效果是：

24、1、本发明利用机器学习对医学影像进行特征提取、并建立临床诊断模型，通过与安徽医科大学第一附属医院合作，回顾性地收集到了332例患者的核磁共振图像(mri)数据，其中包括225例三叉神经痛患者和107例面部痉挛患者的影像数据。本发明分别利用深度学习和影像组学方法对mri数据进行了特征提取，并利用这些特征构建了多模态的临床诊断模型。本技术的研究详细介绍了构建临床诊断模型的过程，包括数据预处理、模型训练和验证等关键步骤。通过对比这两种不同方法得到的多模态预测模型的结果，本技术发现深度学习方法在提取医学影像特征方面更具优越性，并展示了其在辅助诊断复杂疾病中的潜在应用价值。

25、2、本发明细介绍了针对医学成像技术，特别是磁共振成像的预处理流程及两种先进的特征提取方法(影像组学和深度学习技术)。预处理部分关注于图像质量的优化，包括降噪、校正及标准化等步骤，以确保后续特征提取的准确性和可靠性。特征提取环节探讨了两种方法：一种是基于影像组学的特征提取，如边缘检测和纹理分析；另一种是基于深度学习的方法，能够从图像中自动学习和识别复杂的模式和特征。紧接着，本技术深入地探讨了如何利用机器学习技术，特别是支持向量机(svm)对提取的特征进行有效的建模。通过构建一个基于svm的模型，本技术搭建了辅助诊断三叉神经痛的临床决策模型。其可以分析mri图像中的关键特征，实现对三叉神经痛的快速、准确诊断，从而为患者提供及时和个性化的治疗方案。此外，本技术还讨论了模型的性能评估，包括准确率、灵敏度和特异性等指标，以验证模型的诊断效能和临床应用潜力。本发明最好的效果是前融合模型，在主要队列中auc值可到0.947，在外部验证队列auc值可达到0.842。