深静脉血栓溶栓疗效预测方法及系统、存储介质与终端与流程

本发明涉及医学图像处理技术领域，尤其涉及一种基于语义分割模型的下肢深静脉血栓溶栓疗效预测方法及系统、存储介质与终端。

背景技术：

深静脉血栓(deepveinthrombosis,dvt)是指由于血液在深静脉内异常凝结引起血栓所形成的疾病，一般发生于下肢，每年的发病率约为0.1％，已成为第三大心血管疾病。dvt除了引起下肢肿痛等症状外，还可能导致肺栓塞等严重并发症，严重者甚至危及生命。

由于下肢dvt的发病较为隐匿，症状、体征不典型且易与其他疾病混淆，导致该病的症状学诊断不可靠。影像学检查相比于症状学诊断更为客观，因此，下肢dvt主要依赖影像学检查来确诊。当前用于dvt检查的影像学检查手段有多种，包括超声、计算机断层扫描技术(computedtomography,ct)、磁共振成像(magneticresonanceimaging,mri)、数字减影技术等。而mri是基于核磁共振成像原理的成像技术，作为一种无创性检查，能够较好地反映出人体不同组织的信息，具有良好软组织对比度、全视野和无辐射等优势，可直接显示下肢深静脉血栓的信号，是诊断下肢深静脉血栓的有效检查方法。

dvt一旦明确诊断，宜尽快介入治疗，以缩短病程、提高管腔再通率、阻止病程进入慢性期。溶栓治疗是目前治疗dvt的主要方法。溶栓治疗效果与年龄、既往病史、阻塞血管的病变性质、病程等因素密切相关，医生往往需要通过临床症状，影像资料来评估病人的溶栓治疗效果，根据评估结果来选择是否进行溶栓治疗：如果适合溶栓的患者没有进行溶栓，则可能会错过最佳治疗；如果不适合溶栓的患者进行了溶栓，则可能会造成脑出血等致命伤害。然而dvt病人的临床症状通常较为主观，如患者所述病史天数与实际病史天数不一致等情况会影响医生的评估结果。

而影像评估尚处于研究阶段，医生大多通过观察血栓信号的高低和范围以及血管周围间隙水肿情况，凭借经验来评估溶栓疗效，但不同医生之间的经验差异容易导致诊断结果参差不齐；然而磁共振扫描图像多样，人工阅片耗时较多，同时，传统的机器学习分类方法流程复杂，需要人为设计特征，难以提取有效特征，泛化能力较差，而且特征的提取和选择尚没有通用的标准，因此目前的评估方法已无法满足日益增长的临床需求。

机器学习是智能图像处理技术的核心，深度学习作为机器学习的一个分支，不同于传统方法，无需手工设计特征，能够有监督地对数据进行特征提取和推理，充分发掘数据间的规律，进而利用这些规律对未知数据进行客观的预测，能够实现较稳定和较有效率的诊断。

在临床决策过程中，医生往往通过关注血栓及其临近区域的影像表现评估溶栓疗效；而血栓感兴趣区域(regionofinterest,roi)体积占比往往小于2％，常规的深度学习分类网络难以捕捉血栓特征。

因此，现有技术仍有待于改进和发展。

技术实现要素：

鉴于上述现有技术的不足，本发明的目的在于提供一种基于语义分割模型的下肢深静脉血栓溶栓疗效预测方法及系统、存储介质与终端，旨在解决现有技术是基于血栓roi区域提取影像组学特征，往往需要手动勾画血栓，费时费力，主观性强；同时，特征筛选技术流程复杂，未能充分发掘数据间的内在联系的问题。

本发明的技术方案如下：

基于语义分割模型的下肢深静脉血栓溶栓疗效预测方法，其中，包括步骤：

获取下肢深静脉血栓患者的mri影像；

基于语义分割网络训练所述mri影像，得到深度学习语义分割模型；

采用所述深度学习语义分割模型提取下肢深静脉血栓的高维语义特征，采用聚类算法对所述高维语义特征进行特征筛选；

根据筛选后的语义特征采用血栓溶栓疗效预测算法进行下肢深静脉血栓溶栓疗效预测，得到下肢深静脉血栓溶栓疗效预测结果，输出所述结果。

进一步地，基于语义分割网络训练所述mri影像，得到深度学习语义分割模型的步骤，具体包括：

对所述mri影像进行预处理，得到预处理后的mri影像；

基于语义分割网络训练所述预处理后的mri影像，得到深度学习语义分割模型。

更进一步地，对所述mri影像进行预处理，得到预处理后的mri影像的步骤，具体包括：

对所述mri影像的大小进行调整，得到同一尺寸的mri影像；

对所述同一尺寸的mri影像进行归一化，得到所述预处理后的mri影像。

进一步地，所述语义分割网络具有用于预处理后的mri影像分割的编码器和解码器；所述编码器包含两个conv-group归一化和四个卷积块，所述解码器由四个反卷积块和一个卷积层组成。

进一步地，采用聚类算法对所述高维语义特征进行特征筛选的步骤，具体包括：

采用全局平均池化方法对所述高维语义特征进行特征降维，得到低维语义特征；

采用数据驱动的聚类算法对所述低维语义特征进行特征筛选，得到筛选后的语义特征。

进一步地，根据筛选后的语义特征采用血栓溶栓疗效预测算法进行下肢深静脉血栓溶栓疗效预测，得到下肢深静脉血栓溶栓疗效预测结果，输出所述结果的步骤，具体包括：

根据筛选后的语义特征和训练样本采用支持向量机来构建下肢深静脉血栓溶栓疗效二分类预测模型；所述下肢深静脉血栓溶栓疗效二分类预测模型的预测结果包括正常和不良；采用下肢深静脉血栓溶栓疗效二分类预测模型对待预测的样本进行预测，得到下肢深静脉血栓溶栓疗效预测的结果，输出所述结果。

基于语义分割模型的下肢深静脉血栓溶栓疗效预测系统，其中，包括：

获取模块，用于获取下肢深静脉血栓患者的mri影像；

模型构建模块，用于基于语义分割网络训练所述mri影像，得到深度学习语义分割模型；

提取及筛选模块，用于采用所述深度学习语义分割模型提取下肢深静脉血栓的高维语义特征，采用聚类算法对所述高维语义特征进行特征筛选；

预测及输出模块，用于根据筛选后的语义特征采用血栓溶栓疗效预测算法进行下肢深静脉血栓溶栓疗效预测，得到下肢深静脉血栓溶栓疗效预测结果，输出所述结果。

进一步地，所述提取及筛选模块具体包括：

提取单元，用于采用所述深度学习语义分割模型提取下肢深静脉血栓的高维语义特征；

降维单元，用于采用全局平均池化方法对所述高维语义特征进行特征降维，得到低维语义特征；

筛选单元，用于采用数据驱动的聚类算法对所述低维语义特征进行特征筛选，得到筛选后的语义特征。

一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以实现上述本发明所述的基于语义分割模型的下肢深静脉血栓溶栓疗效预测方法的步骤。

一种终端，其中，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述本发明所述的基于语义分割模型的下肢深静脉血栓溶栓疗效预测方法的步骤。

有益效果：本发明采取深度学习语义分割模型提取血栓的高维语义特征，作为鲁棒、客观、有效的dvt溶栓术前标记物；同时，采用数据驱动的聚类特征筛选技术，加强数据间内在联系，能够较好实现dvt溶栓的疗效预测，在临床上具有较高的研究价值和应用价值。本发明基于深度学习语义分割网络和磁共振影像，建立语义特征与血栓的溶栓治疗效果之间的关系模型，来对病患血栓的溶栓疗效进行有效预测，减轻了医生负担，提高了诊断效率。

附图说明

图1为本发明实施例提供的基于语义分割模型的下肢深静脉血栓溶栓疗效预测方法的流程示意图。

图2为本发明实施例中深度学习语义分割模型的架构示意图。

图3为本发明实施例中对高维语义特征进行特征筛选的流程示意图。

图4为本发明实施例中聚类算法的流程示意图。

图5为本发明实施例中构建下肢深静脉血栓溶栓疗效二分类预测模型的流程示意图。

具体实施方式

本发明提供一种基于语义分割模型的下肢深静脉血栓溶栓疗效预测方法及系统、存储介质与终端，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1为本发明实施例提供基于语义分割模型的下肢深静脉血栓溶栓疗效预测方法的流程示意图，如图1所示，其包括步骤：

s10、获取下肢深静脉血栓患者的mri影像；

s20、基于语义分割网络训练所述mri影像，得到深度学习语义分割模型；

s30、采用所述深度学习语义分割模型提取下肢深静脉血栓的高维语义特征，采用聚类算法对所述高维语义特征进行特征筛选；

s40、根据筛选后的语义特征采用血栓溶栓疗效预测算法进行下肢深静脉血栓溶栓疗效预测，得到下肢深静脉血栓溶栓疗效预测结果，输出所述结果。

现有技术基于血栓roi区域提取影像组学特征，往往需要手动勾画血栓，费时费力，主观性强；同时，特征筛选技术流程复杂，未能充分发掘数据间的内在联系。因此，为了克服已有技术的不足，本实施例采取深度学习语义分割模型提取血栓的高维语义特征，作为鲁棒、客观、有效的dvt溶栓术前标记物；同时，采用数据驱动的聚类特征筛选技术，加强数据间内在联系，能够较好实现dvt溶栓的疗效预测，在临床上具有较高的研究价值和应用价值。本实施例基于深度学习语义分割网络和磁共振影像，建立语义特征与血栓的溶栓治疗效果之间的关系模型，来对病患血栓的溶栓疗效进行有效预测。

本实施例方法具有以下优点：1)为制定科学的dvt治疗、随诊方案提供可靠诊断依据；2)解决临床上dvt溶栓疗效的预测结果缺乏客观性、不够准确的问题，提高溶栓治疗的精确性和患者的治愈率；3)减轻医生的工作负担，提升医生的诊断效率。

步骤s10中，在一种实施方式中，基于语义分割网络训练所述mri影像，得到深度学习语义分割模型的步骤，具体包括：

对所述mri影像进行预处理，得到预处理后的mri影像；

基于语义分割网络训练所述预处理后的mri影像，得到深度学习语义分割模型。

进一步地在一种实施方式中，对所述mri影像进行预处理，得到预处理后的mri影像的步骤，具体包括：

对所述mri影像的大小进行调整，得到同一尺寸的mri影像；

对所述同一尺寸的mri影像进行归一化，得到所述预处理后的mri影像。

具体地，基于所获取的mri影像矩阵大小不一，为了方便后续处理过程，需要将影像调整至同一尺寸。若直接对影像进行缩放将会损失相关的空间信息，并将导致部分组织形变严重，难以识别。因此，本实施例选择了所有患者数据中最大的影像矩阵大小作为标准尺寸，标准尺寸为960×320。若影像尺寸小于标准尺寸，采取周围填零补齐的策略进行处理。

由于原始影像数据值的区间较大，不同患者的数据分布差异较大，容易导致深度学习语义分割模型收敛的速度较慢，特征学习难度加大。归一化通过对影像数据值进行简单的缩放，将数据值限定在一个较小的区间内，以达到加快梯度下降和求最优解的速度，如下公式(1)所示：

其中，x为原始影像，max(x)为影像最大值，min(x)为影像最小值，为归一化后的影像。

步骤s20中，在一种实施方式中，所述语义分割网络具有用于预处理后的mri影像分割的编码器和解码器；所述编码器包含两个conv-group归一化和四个卷积块，所述解码器由四个反卷积块和一个卷积层组成。

具体地，本步骤主要是建立深度学习语义分割模型，以便下一步提取血栓的高维语义特征。语义分割是指对影像中的每个像素都划分出对应的类别，即实现像素级别的分类。在本实施例中，建立的语义分割网络具有针对dvt分割而设计的编码器和解码器架构，其网络架构以及模块细节如图2所示。其灵感来自分割网络u-net，编码器包含两个conv-group归一化和四个卷积块(p1-p4)，完成对输入影像特征的提取和推理；解码器由四个反卷积块(u1-u4)和一个卷积层组成，重建特征得到分割结果。采用跳跃连接，融合高分辨率和低分辨率语义特征；在误差的反向传播训练过程中，采取交叉熵的损失函数，精细分割血栓，保证语义分割模型能够提取更多语义特征，为dvt的疗效预测分类模型的建立提供高质量且标准化的特征集。

步骤s30中，采用所述深度学习语义分割模型提取下肢深静脉血栓的高维语义特征。具体地，深度学习语义分割模型建立后，需要对血栓进行高维语义特征提取。语义特征是指深度学习语义分割模型自动地从数据如文本、放射影像中发掘提取表征数据的特征。在血栓诊疗上，影像科医生往往是通过观察影像中血栓信号的高低和范围以及血管周围间隙水肿情况等部分视觉二维特征，并结合临床症状来综合评估病人的溶栓治疗效果。而深度学习语义分割模型方法则要求从数据中提取高维语义特征，全面定量评估血栓的差异性。同时，保证深度学习语义分割模型方法所选择的特征应尽可能包含较多的定量描述信息并且低冗余，因此，以深度学习语义分割模型下采样的输出层(图2中的实线框)作为血栓区域高维语义特征，其中，conv表示convulation，卷积层，concatenate表示融合层，gn表是groupnormalization，组归一化，relu表示relu激活函数层，pool表示池化层，susample表示上采样层。

步骤s30中，在一种实施方式中，采用聚类算法对所述高维语义特征进行特征筛选的步骤，具体包括：采用全局平均池化方法对所述高维语义特征进行特征降维，得到低维语义特征；采用数据驱动的聚类算法对所述低维语义特征进行聚类操作，得到筛选后的语义特征。

具体地，dvt病人多切片mri影像数据，经由深度学习语义分割模型提取得到多个切片特征，对于提取出来的高维语义特征，因其数据维度过高(60×20×1024)且其中通常包含大量无关或冗余特征，故不能直接用于预测模型的训练。此时需要经过特征降维或特征选择等方法对所提取的特征进行筛选，降低数据维度以达到高效建模的目的。特征降维是指利用线性或非线性映射函数将样本从高维空间映射至低维空间进行表示的方法，从而降低特征维度。

因此，采取在特征通道上采取全局平均池化方法以达到特征降维的目的。全局平均池化是指将大量特征表示转换为一种显著有用的低维特征表示，这种特征能够保留特征的信息，保证特征的有效性(在本实施例中将原有特征维度：60×20×1024降维至：1×1024)。同时，采用数据驱动的聚类算法，加强高维语义特征的内在联系，抑制异常特征，筛选冗余特征切片，保证特征有效性和一致性，流程如图3所示。

聚类算法，属于无监督学习，是指根据一定的标准(数据的最小均方误差和)将数据根中具有相似特征的数据自动聚成簇或是层次分解。进一步地，本实施例采用k-means聚类算法来筛选切片特征，其相似性指标采用欧式距离，即两个样本之间距离越近，则相似度越高，越易被划分为一类，最终期望得到紧凑且独立的簇，其中，聚类簇k＝2，以最大簇作为dvt病人的切片特征表示集，完成特征筛选，操作如图4所示，具体包括以下步骤：

s1、输入切片特征；

s2、设定聚类簇k；

s3、随机选取k个样本作为初始聚类中心；

s4、计算每个样本到k个聚类中心的距离，并将样本划分到最小距离的簇；

s5、更新k个聚类中心；

s6、判断每个簇中心点是否变化；

s7、若是，则返回步骤s4；若否，则输出样本所在簇。

步骤s40中，dvt溶栓疗效评估标准：对患肢血栓溶解前后进行下肢静脉造影疗效评估，做4个等级评分：0分，管腔通畅无血栓；1分，管腔部分堵塞＜50％；2分，管腔大部分堵塞＞50％；3分，管腔完全堵塞。将下肢深静脉按照mri图像分为7段评分并进行记录(7段分别是：下腔静脉、髂总静脉、髂外静脉、股总静脉、股浅静脉近端、股浅静脉远端、腘静脉)，然后把7段评分相加为总的血管通畅评分，血管通畅率＝(溶栓前总评分-溶栓后总评分)/溶栓前总评分×100％。

血栓溶栓疗效预测算法是基于与临床医生进行讨论的结果而设计，能够对病患的溶栓疗效进行有效预测。本实施例把溶栓疗效评估的预测结果划分为两个等级：“正常”和“不良”。其中，血管通畅率≤50％，则评估溶栓治疗效果为“不良”，血管通畅率＞50％为“正常”。

在临床诊断上，医生更关注得是患者适不适合溶栓，所预测的溶栓治疗效果是否为“正常”。因为如果患者不适合溶栓，贸然进行溶栓可能会影响患者的治疗效果，甚至引发死亡。因此，基于所选择的特征，以评价为“正常”为正标签，以评价“不良”为负标签。

分类任务常用的分类器包括逻辑斯蒂回归，随机森林，支持向量机等，其中：

逻辑斯蒂回归(logisticregression,lr)是参数化的逻辑斯蒂分布，由条件概率分布p(y|x)表示。其中，随机变量x取值为全体实数，随机变量取值为0或1。具体服从如下分布：

其中，x∈rn是输入，y∈{0，1}是输出，w∈rn和b∈r分别是权重向量和偏置向量，w·x为w和x的内积。对于给定的输入样本x，按照上述公式即可求得p(y＝1|x)和p(y＝0|x)，最终将输入样本x分到两者之中概率值p最大的那一类。在逻辑斯蒂回归模型训练的过程中，往往采用极大似然估计法将分类问题转换为以对数似然函数为目标函数的最优化问题，并使用拟牛顿法和梯度下降法来估计模型参数。但是，采用sigmoid函数进行非线性映射，将特征线性回归的结果归一化到0到1之间，在小样本上容易过拟合，导致模型分类性能下降。

随机森林(randomforest,rf)是一种集成多棵决策树对样本进行训练并预测的分类器，其输出的类别是由多棵决策树输出的类别共同决定。由于随机森林算法的随机采样机制和投票机制，使得模型能较好地处理多维特征和容忍噪声和异常值，泛化能力强，不易产生过拟合。构建决策树需要分别从样本的数量尺寸和特征的维度尺寸两个角度来进行随机采样，有放回地从训练集中抽取对应的样本。决策树中分类属性的不纯度度量有以下2种：

其中，k表示随机抽样样本的个数，pk表示第k个样本所属类别占总样本的比值。上述两种不纯度度量指标数值越小，表示分支的输出越纯净无干扰。模型应当选取使不纯度值最小的属性作为分裂属性，来构建具有分类能力的决策树。通过集成多棵决策树，组成随机森林。当输入新样本时，随机森林中各决策树会分别进行决策并作出投票，得票数最多的类别将作为最终的分类结果。然而本实施例中所提取的特征是深层特征，所以通过不纯度指标来划分两类样本的类别会显得无力，而且最后选择的特征尺寸很小，随机森林的随机采样机制收到限制，难以发挥出随机森林的优势。

支持向量机(supportvectormachines,svm)是按照监督学习方式对样本数据进行二元分类的广义线性分类器，能够较好处理小样本、非线性、高维度模式识别等问题。支持向量机的学习策略是分类超平面中支持向量的间距最大化，在样本空间中找到一个划分超平面，将不同类别的样本分开；划分超平面公式：

w^tx+b＝0(6)

其中，w为法向量，决定超平面的方向；b为位移项，决定超平面与样本空间原点的距离。其可被法向量w和位移b确定，通常划分超平面用(w，b)来表示。

样本空间中的任意点x到超平面(w，b)的距离可表示为：

分类决策边界的约束条件为：

其中，yi＝±1表示正负两类样本的标签,则优化的目标函数为：

超平面w^tx+b＝0划分后，对于给定的输入样本x，按照公式(8)可求得样本所属的类别。

由于支持向量机通过非线性映射将样本空间转换为高维特征空间，将原来非线性可分问题转化为高维线性可分问题，对小样本数据、高维特征能够有较好的分类能力；因此，本实施例选用支持向量机作为模型的分类器，如图5所示。目前以患者溶栓疗效评估结果作为疗效预测的金标准，对43名下肢dvt患者进行溶栓疗效预测，本实施例疗效预测算法的准确率为100％。本实施例基于支持向量机来构建下肢深静脉血栓溶栓疗效二分类预测模型，这样当有待预测的样本输入时，即可自动通过下肢深静脉血栓溶栓疗效二分类预测模型预测出疗效评估结果(正常和不良中的一个)，不再需要计算疗效评分，更加高效与方便。其中，待预测的样本即为实际需要进行溶栓疗效预测的下肢深静脉血栓样本。

本发明实施例提供基于语义分割模型的下肢深静脉血栓溶栓疗效预测系统，其中，包括：

获取模块，用于获取下肢深静脉血栓患者的mri影像；

模型构建模块，用于基于语义分割网络训练所述mri影像，得到深度学习语义分割模型；

提取及筛选模块，用于采用所述深度学习语义分割模型提取下肢深静脉血栓的高维语义特征，采用聚类算法对所述高维语义特征进行特征筛选；

预测及输出模块，用于根据筛选后的语义特征采用血栓溶栓疗效预测算法进行下肢深静脉血栓溶栓疗效预测，得到下肢深静脉血栓溶栓疗效预测结果，输出所述结果。

进一步地，所述提取及筛选模块具体包括：

提取单元，用于采用所述深度学习语义分割模型提取下肢深静脉血栓的高维语义特征；

降维单元，用于采用全局平均池化方法对所述高维语义特征进行特征降维，得到低维语义特征；

筛选单元，用于采用数据驱动的聚类算法对所述低维语义特征进行特征筛选，得到筛选后的语义特征。

本实施例中，上述各模块及单元的详细介绍见上文方法中所述，在此不再赘述。

本发明实施例提供一种存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以实现上述本发明实施例提供所述的基于语义分割模型的下肢深静脉血栓溶栓疗效预测方法的步骤。

本发明实施例提供一种终端，其中，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述本发明实施例提供所述的基于语义分割模型的下肢深静脉血栓溶栓疗效预测方法的步骤。

综上所述，本发明提供的一种基于语义分割模型的下肢深静脉血栓溶栓疗效预测方法及系统、存储介质与终端。本发明采取深度学习语义分割模型提取血栓的高维语义特征，作为鲁棒、客观、有效的dvt溶栓术前标记物；同时，采用数据驱动的聚类特征筛选技术，加强数据间内在联系，能够较好实现dvt溶栓的疗效预测，在临床上具有较高的研究价值和应用价值。本实施例基于深度学习语义分割网络和磁共振影像，建立语义特征与血栓的溶栓治疗效果之间的关系模型，来对病患血栓的溶栓疗效进行有效预测。本发明方法具有以下优点：1)为制定科学的dvt治疗、随诊方案提供可靠诊断依据；2)解决临床上dvt溶栓疗效的预测结果缺乏客观性、不够准确的问题，提高溶栓治疗的精确性和患者的治愈率；3)减轻医生的工作负担，提升医生的诊断效率。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。