基于多模态特征主动脉夹层预测模型的构建方法和设备

本发明涉及智能医疗领域，更具体地，涉及一种基于多模态特征主动脉夹层预测模型的构建方法、设备、介质和程序产品。

背景技术：

1、主动脉夹层(ad)是一种严重的心血管疾病，其早期诊断和及时治疗对于减少死亡率至关重要。临床上，增强计算机断层扫描(ce-ct)是诊断主动脉夹层的金标准。然而，ce-ct价格昂贵，操作复杂，且患者会接触对比剂，可能会引起过敏反应或肾功能损害，严重时导致患者死亡，因此患者更倾向于接受nce-ct进行初步筛查，如果可以通过nce-ct实现可靠性足够高的诊断ad，这具有重要的临床意义。研究表明，无对比增强计算机断层扫描(nce-ct)可以在不使用对比剂的情况下诊断ad，然而，由于缺乏对比剂，nce-ct图像的对比度较低，难以准确区分主动脉与周围组织，尤其是在病变部位，导致误诊和漏诊风险增加。

2、由于以下原因，nce-ct诊断ad容易误诊：(1)由于主动脉与周围组织的对比度较低，网络很难将注意力集中在主动脉的管状结构上；(2)主动脉几何信息与ad之间的相关性不是确定的，因此很难建立主动脉几何信息与ad之间的关系模型；(3)主动脉内膜瓣的强度值与血液的强度值相似，这给网络识别假腔带来了挑战，而这也是放射医师诊断ad的标准。因此，开发一种能够在nce-ct上高精度识别主动脉结构进而准确检测主动脉夹层的自动化系统，有利于降低临床早期筛查主动脉夹层的漏诊或误诊。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供一种基于多模态特征主动脉夹层预测模型的构建方法、设备、介质和程序产品；本发明方法通过开发一种能够在nce-ct高精度识别管状结构的方法，有利于降低临床早期筛查主动脉夹层等需要识别管状结构疾病的漏诊或误诊。

2、本技术第一方面公开一种基于多模态特征主动脉夹层预测模型的构建方法，所述方法包括：

3、s1：获取训练集样本中主动脉夹层的nce-ct影像；

4、s2：基于nce-ct影像进行训练得到主动脉管状特征；基于所述nce-ct影像进行主动脉分割得到主动脉分割特征；

5、s3：获取分割提示，将主动脉分割特征和分割提示、主动脉管状特征输入具有多头注意力网络的交叉关注网络，得到融合分割特征；

6、s4：将所述融合分割特征输入多头自注意力网络，将输入后得到的结果与所述主动脉分割特征逐元素相加，得到显示分割结果的预测模型。

7、在一些实施例中，在s2和s3之间，所述方法还包括s21：重塑、编码处理所述主动脉管状特征和所述主动脉分割特征，得到处理后主动脉管状特征和处理后主动脉分割特征；执行s3，将s3中的主动脉管状特征替换为处理后主动脉管状特征，将s3中的主动脉分割特征替换为处理后主动脉分割特征；

8、可选的，所述s21中处理后主动脉管状特征的获取公式为：

9、xcls＝encls(reshape(fcls)，reshape(fcls))；其中，encls为变换编码器，fcls为主动脉管状特征，xcls为处理后主动脉管状特征；

10、所述s21中处理后主动脉分割特征的获取公式为：

11、xseg＝enseg(reshape(fseg)，reshape(fseg))；其中，enseg为变换编码器，fseg为主动脉分割特征，xseg为处理后主动脉分割特征。

12、在一些实施例中，所述s3中融合管状特征ycls的获取公式为：

13、ycls＝pool(enshare(concat(xcls，promptcls)，xseg))；其中，ycls为融合管状特征，xcls为主动脉管状特征，promptcls为管状提示，xseg为主动脉分割特征，enshare为变换编码器；

14、所述s3中融合分割特征yseg的获取公式为：

15、yseg＝reshape(enshare(concat(xseg，promptseg)，xcls))；其中，yseg为融合分割特征，xseg为主动脉分割特征，promptseg为分割提示，xcls为主动脉管状特征，enshare为变换编码器。

16、在一些实施例中，所述主动脉分割特征的获取方法包括：通过totalsegmentator对所述nce-ct影像进行主动脉分割得到掩膜数据；该掩膜数据经过常规的u-net进行下采样(缩放图像)得到的高级分割特征图；

17、在一些实施例中，所述主动脉管状特征基于管状特征预测模型得到，所述管状特征预测模型的构建方法包括：

18、s201：获取训练集样本中主动脉夹层与nce-ct影像配对的ce-ct影像；

19、s202：利用残差网络提取所述nce-ct影像中主动脉的高尺度特征和低尺度特征；

20、s203：基于所述高尺度特征得到偏移量；基于所述偏移量指导所述低尺度特征的位置偏移，将低尺度特征发生位置偏移后的值和偏移量输入多头自注意力网络进行融合得到管状特征数据；基于所述管状特征数据得到学生模型分类结果；

21、s204：基于所述ce-ct影像对预训练大模型做调整得到教师模型，得到对应的教师模型分类结果；基于教师模型分类结果与学生模型分类结果，利用知识蒸馏优化学生模型，得到构建好的学生模型即为所述管状特征预测模型。

22、可选的，所述偏移量offset的获取方法包括：s203 1：将高尺度特征顺序输入卷积层和归一化层得到查询向量q，捕捉主动脉内部关键特征；s2032：将所述查询向量q进行映射得到所述偏移量offset；

23、可选的，所述s2031中查询向量的获取公式为：

24、q＝layernorm(conv(fhigh))；其中，q为查询向量，fhigh为高尺度特征，conv为卷积层，layernorm为归一化层；

25、可选的，所述s2032中偏移量offset的获取公式为：

26、offset＝conv(gelu(layernorm(conv(q))))；其中，offset为偏移量，conv为卷积层，layernorm为归一化层，gelu是激活函数；

27、可选的，s203中所述低尺度特征发生位置偏移后的值包括变形后的键k和值v，将变形后的键k和值v、查询向量q输入多头自注意力网络进行融合得到所述管状特征数据fdefor；

28、可选的，所述管状特征预测模型的构建方法还包括：获取管状提示，将主动脉管状特征和管状提示、主动脉分割特征输入具有多头注意力网络的交叉关注网络，得到融合管状特征；将所述融合管状特征与所述管状特征数据逐元素相加，并基于逐元素相加得到的结果输出学生模型分类结果。

29、在一些实施例中，在s1之后，s2之前，所述方法还包括：对所述配对的nce-ct、ce-ct影像进行标准化预处理，得到标准化nce-ct数据和标准化ce-ct数据；

30、可选的，所述标准化预处理包括：提取所述影像中主动脉的roi区域得到主动脉掩膜；基于所述主动脉掩膜增加主动脉在所述影像中的占比，得到增加主动脉占比的影像；对所述增加主动脉占比的影像进行下采样、ct阈值调整、数据增强，得到所述标准化nce-ct数据和标准化ce-ct数据；

31、可选的，增加主动脉在影像中的占比的方法包括：基于所述主动脉掩膜裁剪所述影像的外接矩阵，增加主动脉掩膜在影像中的占比；

32、可选的，所述nce-ct数据的ct阈值设置为[0,200]；

33、可选的，所述ce-ct数据的ct阈值设置为[0,800]；

34、可选的，教师模型和学生模型采用以下任一种算法：total segmentator、vit、cnn-bilstm、mobilevit；优选为total segmentator。

35、本技术第二方面一种主动脉夹层的检测方法，所述方法包括：

36、获取待测的nce-ct影像；

37、将所述nce-ct影像输入本技术第一方面所述的预测模型中，得到主动脉的分割结果；

38、可选的，所述方法还包括：基于所述分割结果得到是否含有夹层的分类结果。

39、本技术第三方面公开一种计算机设备，所述设备包括：存储器和处理器；所述存储器用于存储计算机程序；所述处理器执行所述计算机程序以实现上述方法的步骤。

40、本技术第四方面公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

41、本技术第五方面公开一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。

42、本技术具有以下有益效果：

43、本发明设计了一个多任务学习框架，能够同时进行多个相关任务的学习和优化，通过共享表示和任务间的协同学习，提高了模型的泛化能力和整体性能。

44、1、本技术创新性的公开一种基于多模态特征主动脉夹层预测模型的构建方法，该方法基于nce-ct影像得到利用常用网络粗分割得到的主动脉分割特征，和增加了可变形关注技术的基于nce-ct影像进行训练得到的主动脉管状特征，再分别利用分割提示，将上述数据输入到具有多头注意力网络的交叉关注网络，得到融合分割特征，后续再将融合分割特征与粗分割得到的主动脉分割特征逐元素相加，训练后得到显示分割结果的预测模型。该预测模型可以很好地提高对主动脉的分割精度，克服现有技术在复杂ad几何形态和低对比度组织识别方面的局限性，确保无对比剂情况下的ad高准确性诊断。

45、2、本技术创新的公开了增加可变形关注技术的基于nce-ct影像进行训练得到的主动脉管状特征的方法，该方法从nce-ct影像中提取高维和低维特征，从高维特征中学习一个特征集，并将其添加到低维特征中，易引起特征位移，此种位移使网络的焦点转向管状结构内部，并将跨尺度信息引入网络输出管状特征数据；还通过对管状特征数据进行增强处理，保证管状特征数据的精确度。该方法可以根据数据的特异性和任务需求动态选择和优化特征，通过引入该模块引入可变形关注技术，使网络能够关注图像中的主动脉管内部。

46、3、本技术公开的模型应用范围广，不仅适用于主动脉夹层的检测，当存在血管腔、真腔和假腔的分割掩膜，可以将其作为该模块的输入，并将血管腔、真腔和假腔三种特征通过本模块进行特征提取进而作为更高维度的融合特征进行输出。此外，还可以用于医学图像配准、不同疾病的诊断等，当其应用于医学图像配准时，医学图像配准是一种将两幅或多幅医学图像对齐的技术，目的是使这些图像中的对应点在空间上重合。配准可以发生在不同模态之间(如ct与mri)，不同时间点之间(如治疗前后)，或者不同个体之间(如将患者的图像与标准模板对齐)。针对该目标任务应用本机制，首先，从两幅待配准的图像中提取特征。假设我们有两幅图像，一幅是ct图像，另一幅是mri图像。

47、从ct图像中提取特征fct，从mri图像中提取特征fmri，这一步可以通过卷积神经网络(cnn)或其他特征提取方法来实现。然后，将提取到的特征进行初步编码，生成更高层次的特征表示。将fct、fmri通过transformer编码器得到xct和xmri，最后使用使用交叉注意力机制，将不同模态的特征进行融合。。

48、本技术开发的能够在nce-ct高精度识别主动脉结构进而准确检测主动脉夹层的自动化系统，有利于降低临床早期筛查主动脉夹层的漏诊或误诊。结合变形自注意力模块和自适应几何信息提取模块的nce-ct技术，2个模块相结合实现高可靠性的ad诊断，显著提高nce-ct图像中主动脉结构的识别精度，克服现有技术在复杂ad几何形态和低对比度组织识别方面的局限性，确保无对比剂情况下的ad高准确性诊断。其中，形自注意力模块在不同尺度上自适应地关注图像中的重要特征，通过自适应调整注意力权重，增强了对主动脉结构的细节捕捉和特征提取能力。自适应几何信息提取模块可以有效识别提取和利用主动脉的几何信息，利用几何约束和形态学特征，有效地从nce-ct图像中分离出主动脉的几何结构，提升了对复杂几何形态的解析度。

49、本技术的技术方案可以很好的解决如下技术问题：1、主动脉与周围组织的对比度低，网络很难将注意力集中在主动脉的管状结构上；2、主动脉几何信息与ad之间的相关性不是确定的，很难建立主动脉几何信息与ad之间的关系模型，现有的针对主动脉几何信息和ad进行建模，只是简单的提取低维信息，忽略主动脉几何结构与ad之间关系的复杂性。现有的血管分割技术可以提取血管的技术特征，但由于低尺度特征包含更多形态特征，高尺度特征包含更多语义信息，现有的血管分割没有考虑到特征层级之间缺乏互动的问题；3、主动脉内膜瓣的强度值和血液的强度值相似，给网络识别假腔带来挑战。