基于深度学习的脊柱椎间融合检测装置及方法与流程

1.本发明涉及医学影像技术领域，具体来说涉及一种基于深度学习的脊柱椎间融合检测装置及方法。


背景技术：

2.现代社会人们的生活与工作方式发生了巨大的变化，这种变化也对人体的脊柱骨病变产生了很大的影响。据调研统计，在40岁以下的人群中，颈椎病的发病率为25％；40岁以上的人群中，颈椎病的发病率约为50％；超过60岁时，颈椎病的发病率超过85％。颈椎病每年潜在手术患者大于200万，总患者达5000万人。而腰椎间盘突出症作为另一大类脊柱相关疾病是腰腿痛最常见的原因之一，久坐、长期伏案工作和长时间驾车等不良习惯使得腰椎间盘突出症的发病率逐渐升高同时，发病人群的年龄也逐渐年轻化。因此，脊柱相关的外科骨科手术也呈逐年上升趋势，其中最典型的手术是椎间融合手术。
3.骨愈合是骨科手术术后随访观察的重要指标，一般而言，骨愈合是指骨与骨之间有连续性的骨桥连接形成。对于脊柱融合手术来说，判断椎间融合状态的主要方式包括x光、ct和mri等多种影像学方法，判定融合的标准主要包括：(1)终板与终板之间有桥状的骨小梁连接；(2)内植物与终板之间不存在可透光的区域；(3)颈椎屈伸位片中椎体之间的位移；(4)颈椎屈伸位片中的棘突的位移。其中，标准(1)和(2)是最常使用的指标，但具有较强的主观性，标准(3)和(4)虽较为客观，但不同的研究对有无位移的定义也截然不同，可见现有的椎间融合检测缺乏统一的判断标准并且主观性较强，导致脊柱椎间融合检测不准确。


技术实现要素：

4.本发明旨在解决现有的椎间融合检测方法存在准确性较差问题，提出一种基于深度学习的脊柱椎间融合检测装置及方法。
5.本发明解决上述技术问题所采用的技术方案是：
6.一方面，提供一种基于深度学习的脊柱椎间融合检测装置，包括：
7.获取模块，用于获取患者的脊柱图像；
8.图像分割模块，用于基于深度卷积神经网络模型对所述脊柱图像进行图像识别和分割，得到所述脊柱图像中的第一骨桥图像及其相邻的上节椎体图像和下节椎体图像；
9.图像生成模块，用于根据所述第一骨桥图像及其相邻的上节椎体图像和下节椎体图像并基于对抗生成网络模型生成该患者的脊柱愈合图像，并确定所述脊柱愈合图像中的第二骨桥图像；
10.确定模块，用于确定所述第一骨桥图像与第二骨桥图像的相似度，并根据所述相似度确定所述患者的脊柱椎间融合状态。
11.进一步地，所述深度卷积神经网络模型为point-unet模型，所述point-unet模型为unet网络改进网络模型，即将unet网络的上采样模块修改为pointrend子网络。
12.进一步地，所述point-unet模型采用未标记的数据并基于自监督对比学习进行预
训练。
13.进一步地，所述对抗生成网络模型包括多个判别器，所述多个判别器用于进行权重协同训练和数据协同训练。
14.进一步地，所述获取模块，还用于获取患者的临床数据以及时序脊柱图像；
15.所述确定模块，还用于根据所述临床数据以及时序脊柱图像并基于时序神经集成网络模型确定所述患者的脊柱椎间愈合趋势和愈合时间。
16.进一步地，所述临床数据至少包括：患者的年龄、性别、身高、体重和骨质情况。
17.进一步地，所述获取模块，还用于获取患者的真实愈合图像；所述系统还包括：
18.优化模块，用于根据所述真实愈合图像及其对应的时间信息生成真实标注数据，并根据所述真实标注数据对所述对抗生成网络模型和时序神经集成网络模型进行优化。
19.另一方面，提供一种基于深度学习的脊柱椎间融合检测方法，包括以下步骤：
20.获取患者的脊柱图像；
21.基于深度卷积神经网络模型对所述脊柱图像进行图像识别和分割，得到所述脊柱图像中的第一骨桥图像及其相邻的上节椎体图像和下节椎体图像；
22.根据所述第一骨桥图像及其相邻的上节椎体图像和下节椎体图像并基于对抗生成网络模型生成该患者的脊柱愈合图像，并确定所述脊柱愈合图像中的第二骨桥图像；
23.确定所述第一骨桥图像与第二骨桥图像的相似度，并根据所述相似度确定所述患者的脊柱椎间融合状态。
24.进一步地，所述深度卷积神经网络模型为point-unet模型，所述point-unet模型为unet网络改进网络模型，即将unet网络的上采样模块修改为pointrend子网络。
25.进一步地，所述point-unet模型采用未标记的数据并基于自监督对比学习进行预训练。
26.进一步地，所述对抗生成网络模型包括多个判别器，所述多个判别器用于进行权重协同训练和数据协同训练。
27.进一步地，所述方法还包括：
28.获取患者的临床数据以及时序脊柱图像；
29.根据所述临床数据以及时序脊柱图像并基于时序神经集成网络模型确定所述患者的脊柱椎间愈合趋势和愈合时间。
30.进一步地，所述临床数据至少包括：患者的年龄、性别、身高、体重和骨质情况。
31.进一步地，所述方法还包括：
32.获取患者的真实愈合图像；
33.根据所述真实愈合图像及其对应的时间信息生成真实标注数据，并根据所述真实标注数据对所述对抗生成网络模型和时序神经集成网络模型进行优化。
34.本发明的有益效果是：本发明所述的基于深度学习的脊柱椎间融合检测装置及方法，能够有助于协助临床医师准确判断患者脊柱融合手术后手术节段的融合状态，通过将图像识别技术融入到判定椎间融合的标准中，可以将融合的判断标准进行细分，从而更加精准地融合检测，提高了融合检测的准确性；同时结合历次随访的影像学图像与患者临床数据，可以对患者的愈合趋势和时间进行预测，及早进行科学干预，更科学地指导患者进行术后康复治疗，有效降低了就医成本。
附图说明
35.图1为本发明实施例所述的基于深度学习的脊柱椎间融合检测装置的结构示意图；
36.图2为本发明实施例所述的基于深度学习的脊柱椎间融合检测方法的流程示意图；
37.图3为本发明实施例所述的通过point-unet模型进行愈合状态检测的结构示意图；
38.图4为本发明实施例所述的对比学习框架的结构示意图；
39.图5为本发明实施例所述的根据gan模型生成脊柱愈合图像的结构示意图；
40.图6为本发明实施例所述的根据时序神经集成网络模型预测愈合趋势和愈合时间的结构示意图；
41.图7为本发明实施例所述的脊柱椎间融合远程智能检测系统的结构示意图。
具体实施方式
42.下面将结合附图对本发明的实施方式进行详细描述。
43.本发明实施例所述的基于深度学习的脊柱椎间融合检测装置，如图1所示，包括：获取模块、图像分割模块、图像生成模块和确定模块。
44.其中，获取模块用于获取患者的脊柱图像；图像分割模块用于基于深度卷积神经网络模型对所述脊柱图像进行图像识别和分割，得到所述脊柱图像中的第一骨桥图像及其相邻的上节椎体图像和下节椎体图像；图像生成模块用于根据所述第一骨桥图像及其相邻的上节椎体图像和下节椎体图像并基于对抗生成网络模型生成该患者的脊柱愈合图像，并确定所述脊柱愈合图像中的第二骨桥图像；确定模块用于确定所述第一骨桥图像与第二骨桥图像的相似度，并根据所述相似度确定所述患者的脊柱椎间融合状态。
45.基于上述脊柱椎间融合检测系统，本实施例所述的基于深度学习的脊柱椎间融合检测方法，如图2所示，包括以下步骤：
46.步骤1、获取患者的脊柱图像；其中，脊柱图像可以为患者脊柱的医学诊断图像，例如，x光图像、ct图像或mri图像。
47.步骤2、基于深度卷积神经网络模型对所述脊柱图像进行图像识别和分割，得到所述脊柱图像中的第一骨桥图像及其相邻的上节椎体图像和下节椎体图像；
48.脊柱分为颈椎、胸椎和腰椎，且不同部位的椎体又有多节椎体构成，即脊柱椎体类型多，形状差异较小。要精确分割不同位置椎体的像素区域以及椎体间的新生骨(骨桥)像素区域，并对骨桥的图像进行多分类判断是要解决的关键问题。本实施例通过设计和训练基于深度卷积神经网络模型，对包含不同骨桥状态的脊柱图像数据进行图像分割、骨桥识别和骨桥分类的多任务训练，通过改进经典模型结构和参数，提高模型的分割效率和分类性能。
49.可以理解，unet网络由于其特殊的网络结构，能对医学图像能达到较好的学习结果，但由于骨桥在生成过程中，呈现的形态具有较大差异性，特别是愈合的初期阶段，骨桥的边缘模糊，难以提取精确的边界。本实施例在unet网络的基础上，将pointrend考虑图像本身的渲染过程，可针对物体边缘的图像分割进行优化的特点融入到unet上采样过程中，
设计point-unet模型，如图3所示，本实施例将pointrend子网络作为unet网络的上采样模块，使其在难以分割的椎体及骨桥边缘达到更好的分割表现，由point-unet模型分割和分类得到第一骨桥图像及其相邻上下节椎体图像。
50.有监督深度学习需要大量的标记数据，但在医学图像分析中由于标记成本高等多因素影响，往往难以满足这一条件。这在一定程度上限制了基于有监督学习的医学图像分析任务的解决。因此，本实施例中，采用自监督学习(self-supervised learning，ssl)的变体“对比学习”(contrastive learning,cl)框架，利用未标记的数据预训练point-unet模型。
51.自监督学习不需要人工标注的类别标签信息，直接利用数据本身作为监督信息，学习样本数据的特征表达。而对比学习，首先学习未标记数据集上图像的通用特征表示，然后使用少量标记图像对其进行微调，以提升模型在给定任务的性能。本实施例中，对比学习方法由数据增强、编码和损失最小化三部分组成，如图4所示，具体包括以下步骤：
52.首先，从原始图像生成大小为n的批次(图4示例n＝2)，并对其进行两种增强组合以获得一对增强图像，它们本质上是同一图像的不同表现。
53.然后，为该对中的每个图像创建其特征向量，每个图像都通过编码器得到hi和hj，用非线性全连接层以获得特征向量zi和zj。
54.最后，通过最小化对比损失函数来最大化两个向量zi和zj之间的相似性，其中每对增强图像，都需要计算两次对比损失，第二次计算图像位置互换的损失，最后，对批次中所有对上图像的损失求平均值。
55.通过对比学习的框架，减少神经网络对标记数据的依赖，使模型依然能达到较高精度的融合检测要求。
56.步骤3、根据所述第一骨桥图像及其相邻的上节椎体图像和下节椎体图像并基于对抗生成网络模型生成该患者的脊柱愈合图像，并确定所述脊柱愈合图像中的第二骨桥图像；
57.可以理解，由于完全愈合的椎间融合图像相对缺乏，以及患者愈合形态的差异性，对每个患者进行愈合趋势的预测应首先建立在当前的数字影像基础上，以及其愈合形态的正确评估上。因此，为了对椎间愈合的不同状态和愈合情况进行更加明确的判断，本实施例采用对抗生成网络模型(generative adversarial network，gan)为每个患者基于其术后的脊柱图像，生成其完全愈合的脊柱愈合图像，为每个患者定制生成其椎体与椎体之间新生骨桥图像，能够在随访过程进行融合检测提供可靠的判断标准，进一步提高了融合检测的准确性，同时也避免了标记数据不足对准确性造成的影响。
58.高保真度的图像合成任务通常需要大量的训练数据，在数据有限场景下的生成模型训练通常会导致判别器的过拟合，生成质量会显著下降。因此本实施例针对椎间融合图像小样本数据，提出利用多个判别器协同训练实现不同但是相互补充的数据学习。具体而言，包括两个角度的协同训练，一方面是模型权重的协同训练，另一方面是数据视角的协同训练，模型权重的方式鼓励不同的判别器实现多样的权重学习，数据协同的视角鼓励学习不同视角的数据帮助缓解过拟合。
59.如图5所示，基于gan的图像生成整体框架由数据采样、数据生成、模型权重协同和数据协同四部分组成。
60.权重协同训练输入相同的数据，通过一个权重距离的度量，鼓励d1和d2两个判别器学习到差别较大的权重，然后对二者使用余弦相似度进行距离度量。
61.数据协同训练输入不同的数据，其中d1输入原始的训练数据，数据协同的d1和权重协同的d1共享参数。d3输入的数据为频域变化得到的全新数据，这里使用的变化方式是随机频率分量抑制。
62.步骤4、确定所述第一骨桥图像与第二骨桥图像的相似度，并根据所述相似度确定所述患者的脊柱椎间融合状态。
63.本实施例通过计算脊柱图像中的第一骨桥图像与脊柱愈合图像中的第二骨桥图像之间的相似度，并将相似度与愈合面积进行映射，最后进入softmax函数得到细化的融合检测结果。
64.根据临床检验，本实施例中相似度对应五类融合状态，如图3所示，分别为：0级-完全未愈合，无新生骨形成；1级-未愈合，有新生骨形成，但未形成连续性的骨桥，新生骨面积区域小于50％；2级-未愈合，有新生骨形成，但未形成连续性的骨桥，新生骨面积区域大于50％；3级-愈合，有连续性骨桥形成，骨连接区域小于50％；4级：优质愈合-有连续性骨桥形成，骨连接区域大于50％。其中，相似度越大，则融合状态的等级越高，反之，则融合状态的等级越低。通过将融合状态的判断标准进行细分，从而实现更加精准地融合检测。
65.为了实现对椎间融合走向和趋势进行有效的预测，本实施例还包括：
66.获取患者的临床数据以及时序脊柱图像；根据所述临床数据以及时序脊柱图像并基于时序神经集成网络模型确定所述患者的脊柱椎间愈合趋势和愈合时间。
67.考虑到脊柱椎间融合是一个连续的愈合过程，本实施例针对不同阶段的骨愈合状态进行分类检测的同时，对其愈合趋势及时间进行进一步的预测。具体地，通过时序神经集成网络模型对患者的随访医学图像进行时序性的学习，同时将患者的临床特征编码融入到时序神经集成网络模型中，最终实现对患者椎间愈合趋势的分类预测和愈合时间的回归预测。
68.如图6所示，本实施例设计并构建lstm时序神经集成网络模型，将带有时间维度的脊柱图像输入lstm模型，通过表征患者愈合过程的随访图像(术后1个月、术后3个月、术后半年
……
)，得到图像之间的高维特征表达；同时，将患者的临床数据(年龄、性别、身高、骨质情况等)通过多层感知器(mlp，multilayer perceptron)进行表征；最后通过一个多层前馈神经网络将所有特征进行融合计算，并通过softmax函数得到愈合趋势预测，以及通过linear函数得到愈合时间的回归预测结果。其中，愈合趋势包括：正向、停止和负向，即变好、无变化和变坏。愈合时间单位可以通过周数来表示。
69.如图2所示，为了进一步提高融合检测的准确性，本实施例还包括：
70.获取患者的真实愈合图像；根据所述真实愈合图像及其对应的时间信息生成真实标注数据，并根据所述真实标注数据对所述对抗生成网络模型和时序神经集成网络模型进行优化。
71.随着时间推移，患者的愈合图像数据不断增加并发生变化，这种变化主要包括两个方面：一方面患者的新生骨不断发生形态变化直至完全愈合；另一方面专科医师可对预测趋势或时间进行校验，不断得到真实标注数据。因此，这些不断演化的真实标注数据可作为深度神经网络的训练数据与验证数据集，分别投入到gan模型和时序神经网络模型中，采
用在线时间增量方式(time-incrementallearning)对模型的参数进行训练和优化，不断提升模型性能，从而进一步提高融合检测的准确性。
72.根据上述基于深度学习的脊柱椎间融合检测装置，本实施例还可以基于大数据平台构建脊柱椎间融合远程智能检测系统，该系统可部署在云端，实现数据的分布式存储以及远程多终端的服务。系统结构如图7所示，自底向上，分别为云服务器集群、数据存储层、数据处理层、核心模型层、应用层，各层描述如下所述：
73.①
底层架构：基于云服务器集群架构，利用internet或5g网络进行通信；
74.②
数据存储层：将结构化和非结构化数据分别在关系型数据库和hdfs文件系统中进行存放；
75.③
数据处理层：对于历史数据可采用批(离线)处理，用于模型的迭代；对于实时数据，即患者通过移动端上传的随访图像可采用流处理方式，用于远程诊断和预测。对于原始的多源数据，首先进行数据清理，清洗掉无用的脏数据后，进行多源数据的融合，以使数据更加丰富，最后对图像数据做增强操作，从而得到更丰富的数据集合。
76.④
核心模型层：主要包括上述基于深度学习的脊柱椎间融合检测装置，即基于深度卷积网络模型的图像愈合诊断、基于时序神经集合网络模型的愈合趋势和愈合时间预测、以及基于不断扩展的新数据的模型持续学习。在愈合诊断中采用了减少数据标记工作量的自监督对比学习，以及采用gan来生成完全愈合的图像，通过图像相似度计算实现愈合的分类诊断；实现分类诊断和预测的基础是图像的实例分割，因此构建高精度的分割算法是整个模型层性能的基础。
77.⑤
顶层应用：构建web端以可视化的方式为专业医师呈现患者椎间融合的智能分析和统计数据，辅助医生进行快速诊断，并对系统给出的结果可进行人工的校验反馈；移动端方便患者上传随访数据，并通过核心服务可以查看当前愈合情况的自动诊断以及愈合趋势及时间的预测分析。
78.综上所述，本实施例所述的基于深度学习的脊柱椎间融合检测装置及方法，能够实现椎间融合的分级检测，通过对患者医学影像进行评估，可对成骨形态与目标形态进行精确的对比计算，得到其愈合状态的细致化分级，做到术后随访的分级诊疗；同时，通过时序神经网络模型对患者的历次随访图像进行分析，可有效分析患者的成骨趋势，预测其愈合时间，对指导患者进行科学预后具有积极的指导作用。本实施例还可以用于构建脊柱椎间融合远程智能检测系统，该系统可利用云部署的方式与医院放射科的信息系统及病历医嘱系统对接，实现信息与数据的共享互通，利用多终端为专科医生和患者提供对应服务，从而更好地实现医疗资源下沉及建立分级诊疗制度，减轻大型医院的负担，以及为患者带来便利。能够有助于协助临床医师准确判断患者脊柱融合手术后手术节段的融合状态，通过将图像识别技术融入到判定椎间融合的标准中，可以将融合的判断标准进行细分，从而更加精准地融合检测，提高了融合检测的准确性；同时结合历次随访的影像学图像与患者临床数据，可以对患者的愈合趋势和时间进行预测，及早进行科学干预，更科学地指导患者进行术后康复治疗，有效降低了就医成本。