一种融合多模态影像特征的膝骨关节分数预测方法及系统

本发明涉及医学影像处理及智能医疗，特别涉及一种融合多模态影像特征的膝骨关节分数预测方法及系统。

背景技术：

1、骨关节炎(osteoarthritis，oa)是最常见的肌肉骨骼系统疾病，主要影响髋关节和膝关节等承重关节。骨关节炎(koa)是一种影响膝关节及其周围组织的慢性疾病，主要导致关节软骨进行性损伤，进而影响软骨下骨和周围滑膜结构。其症状和体征表现为疼痛、僵硬、关节活动减少和肌肉无力，严重影响对象的生活质量。现有的预测方法主要依赖于临床症状和影像学检查，但其准确性和灵敏度有待提高。

2、因此，针对现有技术不足，提供一种融合多模态影像特征的膝骨关节分数预测方法及系统以解决现有技术不足甚为必要。

技术实现思路

1、本发明的第一个目的在于避免现有技术的不足之处而提供一种融合多模态影像特征的膝骨关节分数预测方法。该融合多模态影像特征的膝骨关节分数预测方法能够准确地得到膝骨关节预测分数。

2、本发明的上述目的通过以下技术措施实现：

3、提供一种融合多模态影像特征的膝骨关节分数预测方法，包括如下步骤：

4、s1、获取对像膝关节的磁共振t1序列影像图像及临床特征；

5、s2、分别分割s1得到的磁共振t1序列影像图中的腘动脉区域；

6、s3、提取s2经分割腘动脉区域后磁共振t1序列影像图中的影像组学特征，然后对影像组学特征进行筛选，得到筛选后影像组学特征；

7、s4、通过训练后深度学习模型提取s2经分割腘动脉区域后磁共振t1序列影像图中的深度学习特征，然后对深度学习特征进行筛选，得到筛选后深度学习特征；

8、s5、将s3得到的筛选后影像组学特征、s4得到的筛选后深度学习特征以及s1得到的临床特征进行合并，将合并后特征输入逻辑回归分类器，得到对象的膝骨关节预测分数。

9、优选的，上述训练后深度学习模型为训练后inception v3网络模型。

10、优选的，上述训练后深度学习模型的训练方法由如下步骤进行：

11、a1、使用pytorch加载inception v3网络模型及pytorch中预训练参数进行训练，并冻结所述inception v3网络模型中除mixed_7c层之外网络参数；

12、a2、将训练集输入inception v3网络模型，网络更新mixed_7c层的网络参数，得到更新inception v3网络模型；

13、a3、判断当前的训练次数，当训练次数到达目标训练次数时进入a4，当否时返回a2；

14、a4、将当前更新inception v3网络模型定义为训练后inception v3网络模型。

15、优选的，上述a2具体为将训练集输入inception v3网络模型，然后将inceptionv3网络模型转换成二分类输出并根据sigmoid激活函数将inception v3网络模型的输出值映射到[0,1]，并网络更新mixed_7c层的网络参数，得到更新inception v3网络模型。

16、优选的，上述s3由如下步骤得到：

17、s3.1、将s2分割腘动脉区域后的磁共振t1序列影像图输入python3.8，并通过pyradiomicsv3.0工具包，提取影像组学特征；

18、s3.2、在r语言的环境下使用mrmre包实现最小冗余最大相关算法以及glmnet包实现lasso结合五折交叉验证算法进行多次重复筛选s3.1得到影像组学特征，得到筛选后影像组学特征。

19、优选的，上述s4由如下步骤得到：

20、s4.1、将s2分割腘动脉区域后的磁共振t1序列影像图输入训练后深度学习模型，得到深度学习特征；

21、s4.2、在r语言的环境下使用mrmre包实现最小冗余最大相关算法以及glmnet包实现lasso结合五折交叉验证算法进行多次重复筛选s4.2得到深度学习特征，得到筛选后深度学习特征。

22、优选的，上述临床特征为对象体质指数特征、接受过手术或关节镜检查特征和服用非甾体抗炎药特征。

23、优选的，上述筛选后影像组学特征由12个一阶特征和17个高阶纹理特征构成。

24、12个一阶特征为original_firstorder_median_1、wavelet.hhh_firstorder_median_1、wavelet.llh_firstorder_kurtosis_1、log.sigma.3.mm.3d_firstorder_kurtosis_1、log.sigma.2.mm.3d_firstorder_rootmeansquared_1、wavelet.lhh_firstorder_90percentile.2、wavelet.llh_firstorder_interquartilerange.2、wavelet.lll_firstorder_90percentile.2、wavelet.lhh_firstorder_90percentile.2、log.sigma.2.mm.3d_firstorder_median.2、wavelet.lhl_firstorder_10percentile.2和wavelet.hll_firstorder_90percentile.2。

25、17个高阶纹理特征为

26、log.sigma.2.mm.3d_glcm_inversevariance_1、original_glcm_idn_1、original_glcm_mcc_1、log.sigma.3.mm.3d_ngtdm_busyness_1、wavelet.lhl_glcm_clustershade_1、wavelet.lll_glrlm_shortrunemphasis_1、wavelet.hll_glcm_differencevariance_1、original_gldm_largedependencelowgraylevelemphasis_1、log.sigma.2.mm.3d_glcm_idm_1、wavelet.hhl_glcm_clustershade.2、

27、wavelet.hhl_glcm_idn.2、log.sigma.3.mm.3d_glcm_idm1.2、log.sigma.5.mm.3d_ngtdm_contrast.2、wavelet.hll_glcm_clustershade.2、

28、log.sigma.2.mm.3d_ngtdm_busyness.2、log.sigma.2.mm.3d_glszm_zonevariance.2和

29、wavelet.hlh_glcm_mcc.2。

30、优选的，上述筛选后深度学习特征为mixed_7c层的网络参数依次展开后的第608个参数特征、第1211个参数特征、第1093个参数特征、第852个参数特征、第1241个参数特征、第1107个参数特征、第922个参数特征、第1897个参数特征、第1978个参数特征、第467个参数特征、第528个参数特征、第909个参数特征、第1388个参数特征、第941个参数特征、第1932个参数特征、第773个参数特征、第1336个参数特征、第647个参数特征、第1103个参数特征、第853个参数特征、第590个参数特征、第391个参数特征、第1593个参数特征、第60个参数特征、第192个参数特征、第1500个参数特征、第1177个参数特征和第954个参数特征。

31、优选的，上述影像组学特征为形状特征、一阶统计特征和高阶纹理特征。

32、本发明的第二个目的在于避免现有技术的不足之处而提供融合多模态影像特征的膝骨关节分数预测系统。该融合多模态影像特征的膝骨关节分数预测系统能够准确地得到膝骨关节的预测分数。

33、本发明的上述目的通过以下技术措施实现：

34、提供一种融合多模态影像特征的膝骨关节分数预测系统，采用上述融合多模态影像特征的膝骨关节分数预测方法；

35、本发明的融合多模态影像特征的膝骨关节分数预测系统设置有：

36、获取单元——获取待测预测对象的膝关节的磁共振t1序列影像图像；

37、影像组学特征提取单元——提取分割腘动脉区域后的磁共振t1序列影像图中的影像组学特征；

38、深度学习特征提取单元——通过训练后深度学习模型提取分割腘动脉区征后的磁共振t1序列影像图中深度学习特征；

39、影像组学特征筛选单元——对影像组学特征提取单元中的影像组学特征进行筛选，得到筛选后影像组学特征；

40、深度学习特征筛选单元——对深度学习特征提取单元中的深度学习特征进行筛选，得到筛选后深度学习特征；

41、分类单元——将训练后深度学习模型、筛选后深度学习特征和临床特征进行特征合并，将合并后特征输入逻辑回归分类器，得到对象的膝骨关节预测分数。

42、本发明的一种融合多模态影像特征的膝骨关节分数预测方法及系统，其中融合多模态影像特征的膝骨关节分数预测方法包括如下步骤：s1、获取对像膝关节的磁共振t1序列影像图像及临床特征；s2、分别分割s1得到的磁共振t1序列影像图中的腘动脉区域；s3、提取s2经分割腘动脉区域后磁共振t1序列影像图中的影像组学特征，然后对影像组学特征进行筛选，得到筛选后影像组学特征；s4、通过训练后深度学习模型提取s2经分割腘动脉区域后磁共振t1序列影像图中的深度学习特征，然后对深度学习特征进行筛选，得到筛选后深度学习特征；s5、将s3得到的筛选后影像组学特征、s4得到的筛选后深度学习特征以及s1得到的临床特征进行合并，将合并后特征输入逻辑回归分类器，得到对象的膝骨关节预测分数。本发明的有益效果为：1、通过将深度学习、影像组学特征与结合临床特征融合，对膝关节的磁共振t1序列影像图像进行处理和分析，标记腘动脉roi，并提取相关的影像组学和深度网络特征；本发明的多模态数据融合的方法相比于传统的单一特征分析，提供了更加全面和精确的病情评估，提高了膝骨关节炎预测的准确性和可靠性。2、本发明基于腘动脉与膝骨关节之间的显著联系，并创新性地通过分析腘动脉的影像特征并结合临床数据，开发了一种新的预测方法。这种方法不仅能够更早期、更准确地预测骨关节炎的发生和进展，还显著提升了预测效果。