基于跨模态图像融合与阳性小样本学习的胎儿心律失常智能诊断方法与流程

1.本发明涉及医学诊断领域，尤其涉及基于跨模态图像融合与阳性小样本学习的胎儿心律失常智能诊断方法。


背景技术：

2.随着近年胎儿超声心动图的大规模开展，胎儿心律失常的检出率正在逐年上升，孕期发现胎儿心律失常给准父母带来极大的忧虑与恐惧，迫切需求产前诊断、小儿心脏、优生优育等多学科医生联合会诊，提供确切诊断结果和产前-产后一体化管理策略。
3.胎儿心律失常主要分为三类:心律不齐、心动过缓、心动过速，临床工作中，多数胎儿心律失常表现为一过性或良性，动态随访结果良好，不需要特殊治疗。但约有10％患儿表现为持续性的快速或缓慢心律失常，自然预后较差，如不及时诊断并采取积极的干预措施，可致胎儿循环失代偿、水肿及心力衰竭，严重者可出现早产甚至胎死宫内。
4.目前胎儿心律失常的产前诊断方式包括：胎儿超声心动图、胎儿心磁图和心电图。其中心磁图尚处于实验研究阶段，而心电图受多种因素干扰导致结果可靠性较差，临床上不常用于胎儿心律失常的诊断。胎儿超声心动图可采用m型、频谱多普勒和组织多普勒三种成像模式用于胎儿心脏节律的显示。m型超声通过记录心房、心室的机械活动变化及其之间的关系来诊断心律失常，频谱多普勒则同时记录心房与心室的收缩的同步血流信号，可用于综合分析心脏血流情况和房室壁及心脏瓣膜的活动规律。二者均具有无创性、准确性高等特点，是目前诊断胎儿心律失常最有效、最实用的方法。
5.但是，基于m型超声和频谱多普勒图的诊断在临床实际中仍面临如下问题：
6.(1)胎儿心律失常的诊断要求产前诊断医生具有扎实的心电活动知识储备并经过反复训练，其内容枯燥抽象，学习周期长，仅少数产前诊断医生能掌握诊断技能，难以普及，导致胎儿心律失常的漏诊与误诊率非常高。
7.(2)严重依赖于超声医师的读图经验以及手动测量经验，因此往往需要由多位高年资医生做双盲投票诊断，读图和测量耗费了医生大量时间。
8.(3)胎儿心律失常的诊断往往要求医生在m型超声以及频谱多普勒的基础上，还需考虑b模态影像，这对医生的手眼协调和实时观测提出了非常苛刻的要求。
9.(4)由于超声机上提供的观测窗口非常有限，m型超声图的窗口内往往最多只能留存10～15个心动周期的m波形信息，而频谱多普勒图的波形最佳观测数是5～7个，因此非常不利于超声医生监测长间距、偶发的心律失常。
10.基于上述现状，实现基于m型超声和频谱多普勒的智能化心律失常筛查和诊断有着非常重要的临床价值和社会意义。人工智能在近年迅猛发展，其在医学领域的开拓与成功应用更是有目共睹。深度学习作为现今人工智能的核心动力，因其卷积核运算架构以及内在的图像特征-判别器的融合式、层次化学习，在图像分析领域占据了绝对的优势和主导地位。深度学习也颠覆式地推动了超声影像的智能化分析，逐步影响和改善了临床超声医
生的诊断工作流、效率以及准确性，例如产前标准切面的智能识别、产前切面多参数的自动测量、产前三维胎儿容积的提取、甲状腺癌和乳腺癌的超声诊断、乳腺容积成像的自动分析与诊断等。经详细调研，截止目前国内外仍鲜有文献报道人工智能在胎儿心律失常中的研究与应用，本研究有望成为该领域的重要开拓。
11.但是由于m型超声心动图智能化分析的复杂度较高，国内外仍鲜有文献报道人工智能在胎儿心律失常中的研究与应用，更没有一种高效、有效的胎儿心律失常的智能诊断方法。


技术实现要素：

12.本发明克服了现有技术的不足，以胎儿心律失常的智能化诊断为重点，充分发挥深度学习的优势，着力解决临床实际面临的亟待解决的问题，为胎儿心律失常的智能化诊断提供关键参考以人工智能赋能胎儿心律失常诊断的工作流，提供更准确、更客观、更高效的智能诊断工具。
13.为达到上述目的，本发明采用的技术方案为：基于跨模态图像融合与阳性小样本学习的胎儿心律失常智能诊断方法，包括以下步骤：针对pw频谱图的目标点检测定位，通过引入e、a、s波的波形形状先验约束，定位出各个波的起点和峰值点；采用光流提取方法，提取b模态超声图像相邻帧的运动特性，获得三维光流矢量场；将pw频谱图、m型超声心动图、b模态超声图像以及三维光流矢量场作为输入，进行多模态信息融合；基于ood异常检测任务，将少量的胎儿心律失常的阳性样本视为分布内的样本，结合特征重建任务,在特征编码与解码之间学习阳性小样本的特征隐式分布；采用可微分的神经网络结构搜索算法，构建以搜索结构单元为单位的搜索空间，每个搜索单元中设置4个操作连接节点。
14.本发明一个较佳实施例中，所述多模态信息融合的步骤包括：使用堆叠的2d和3d的卷积块和相应的池化层来处理图像信息，并使用一个全局的池化层，将特征图映射到同一尺度水平上，从而进行多模态的信息融合。
15.本发明一个较佳实施例中，在异常检测网络ood中，构建多模态特征重构的均方差损失函数
16.本发明一个较佳实施例中，在模型的预测过程中实时计算特征重构损失，若损失值超过一定阈值，则认为其是分布外样本，即胎儿心律正常，反之则判断为胎儿心律失常。
17.本发明一个较佳实施例中，在搜索过程中，设定其优化目标约束分别为目标任务驱动的损失函数，以及网络参数量、计算量的大小。
18.本发明一个较佳实施例中，所述光流提取方法包括：利用图像序列中像素在时间域上的变化以及相邻域之间的相关性来找到上一帧与当前帧之间存在的对应关系。
19.本发明解决了背景技术中存在的缺陷，本发明具备以下有益效果：
20.本发明首次提出人工智能技术与胎儿超声心动图的融合，构建大型普适的基于m型超声和脉冲多普勒的胎儿心律失常智能诊断的多中心研究；基于多模态超声心动图的深度学习诊断方法，避免了传统超声心动图分析的单一信息依赖；为了提高阳性病例的检出率，本发明特别结合了异常样本检测的理念，可以在阳性小样本的条件下，更好地甄别胎儿心律失常；为了满足临床实际的多任务应用对效率和性能的双重要求，本发明引入了自动
化的神经网络架构设计，避免人工的次优设计，自动化寻找算法在效率和性能上的最佳平衡。
21.本发明将通过人工智能算法与胎儿超声心动图的创新性融合，以自动化产前胎儿心律失常的临床智能诊断为基本目标，在结合脉冲多普勒、m型超声心动图和b超心动图及其光流信息学的基础上进行多模态信息挖掘，并基于统计分布特性对阳性小样本进行分布外异常检测的深入学习，以及设计神经网络搜索架构智能调优模型等方面做出技术性突破，构建胎儿心律失常的智能诊断模型，切实解决胎儿心律失常诊断所面临的临床问题，实现胎儿心律失常的智能筛查、监测和诊断。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；
23.图1是本发明的优选实施例的跨模态图像信息融合学习网络示意图；
24.图2是本发明的优选实施例的多模态图像融合学习网络示意图；
25.图3是本发明的优选实施例的自编码重构异常检测网络示意图；
26.图4是本发明的优选实施例的目标任务神经网络架构搜索机制示意图；
27.图5是本发明的优选实施例的技术路线流程图；
28.图6是本发明的优选实施例的胎儿超声心动图像标注示意图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.基于跨模态图像融合与阳性小样本学习的胎儿心律失常智能诊断方法的研究流程，以人工智能技术在多模态超声影像中的应用为研究背景，基于胎儿超声心动图像，融合其脉冲(pw，pulsewave)多普勒频谱图、m型超声和b模态视频，实现智能分析胎儿心律失常的诊断模型。在构建多中心大型普适数据集的基础上，解决所涉及的跨模态信息融合、阳性小样本等问题，为胎儿心律失常的临床检测、实时监测、辅助诊断及教学等相关超声图像识别研究提供验证手段。
31.结合胎儿超声心动图的诊断现状，本发明将重点从如下三方面阐述如何实现高效、有效的胎儿心律失常的智能诊断，并提供详细的可视化分析，以辅助超声医师决策和管理。
32.1.跨模态图像信息融合，丰富连续诊断m型超声心动图是超声医生常用于观察房室传导节律的模态，其通过明确房室收缩与舒张的机械活动变化及其之间的关系来诊断心律失常，pw血流信号图则可同时记录胎儿心脏心房与心室的收缩的同步血流信号，可用于综合分析心脏血流情况和房室壁及心脏瓣膜的活动规律。与此同时b模态超声影像也包含了丰富的心脏腔室的运动特征信息，是观察心脏搏动最直接的方法。根据胎儿心律失常的
诊断流程，首先需确定心律失常的三大类型(心律不齐、心动过缓、心动过速)，而这三大类型主要是由胎心率的范围来划分。由于pw频谱同时记录了房室收缩血流信号，且波形锐利，波的起点峰值更易辨别，定位测量的误差更小。因此本发明将实现在pw模态上自动化测量指标，基于pw波形的形状先验知识，通过加入形状约束的目标点检测定位，自动化检测频谱图上的各个心动周期，并精确定位波的起点与峰值点，即可计算出诊断心律失常所需的指标(心房率、心室率、房室间期)。得出定量指标后，需要定性地评估房室传导规律，m型超声心动图记录着胎儿心脏房室运动的机械信号，可以直观地观察到房室传导规律，另外b模态视频也具有丰富的运动学特征，因此，本发明将在充分利用m型超声影像实时、连续定位心房和心室收缩节点的同时，还需要结合b模态影像中的细节特征和全局运动特征，实现自动化分析评估房室传导规律。本发明将在m型、b模态以及由b模态得到的视频运动光流特征图的基础上，研究有效的多模态融合深度学习框架，在信息提取、信息融合和决策判断阶段分别创新，实现m型超声的局部特征与b模超声的全局运动特征的深度融合。通过结合由pw模态频谱图自动化测量得出的定量指标，以及由m型超声心动图和b模态视频深度融合自动化分析评估房室传导规律的定性特征，本发明将为胎儿心律失常提供更好的诊断支持。
33.2.阳性小样本的学习，提高诊断信心胎儿心律失常的及早诊断非常重要，但其阳性病例较难获取，对其做智能化诊断是属于典型的小样本学习问题。常见的深度学习框架严重依赖于大样本病例的学习，才能确定病种的统计分布特性，因此无法有效泛化到只有小样本病例的病种诊断。基于此，本发明将在上述多模态特征融合的基础上，结合分布外异常检测(ood，out-of-distributiondetection)方法，以少量的心律失常阳性样本为分布内样本，进行自编码的重构学习，充分拟合阳性样本的特性分布边界，从而有效克服小样本的学习难题，提高临床诊断效果。
34.3.智能调优网络架构，实现最优设计胎儿心律失常的诊断是一个多任务过程，包括心房-心室方向识别、房室舒缩波识别、时间指标测量以及综合上述信息的最终诊断。依靠专家经验手动设计深度神经网络，很难满足多任务分支网络结构的在性能以及计算资源消耗等方面的最优化设计。因此本发明提出自动化的神经网络架构设计，以可导的梯度学习得到最优的网络架构，避免繁琐耗时的人工设计，同时实现多任务网络架构的轻量化，以较低的计算资源消耗满足胎儿心动图超声的实时处理要求。
35.实施例一
36.在结合临床诊断胎儿心律失常的经验基础上，本发明提出如图1所示的多模态多任务的研究试验方法实施例：首先通过智能分析pw频谱图的血流信号波形，精确定位各个波的起点和峰值点，自动化测量所需指标，给出定量分析自动分型。在多模态融合学习方面，在充分挖掘m型超声心动图信息的前提下，本发明继续引入了b模态超声序列作为重要的全局特征，其次分析得到胎儿心脏的运动光流特征图作为细节特征补充。在上述四种模态信息(pw频谱图、m型超声图、b模态超声序列及其运动光流特征图)输入的情况下，本发明会得到多任务输出用以最终诊断和量化，具体包括：(1)胎儿心脏姿态方位的估计。由于胎儿和超声探头扫查方向多变，且m型超声心动图的读取与心脏的姿态方位严格相关。因此，要准确诊断胎儿心律失常，首先需要明确胎儿心脏的姿态方位。(2)阳性异常样本的检测诊断。胎儿心律失常的诊断需要综合多模态从全局到细节特征的信息。同时，智能诊断任务本身还需要考虑阳性样本病例较少情况下，有效学习阳性样本分布边界并甄别阴性样本的问
题。(3)心房/心室收缩期的定位测量。胎儿心律失常的诊断还需要辅以具体的定量分析以提供客观依据，增强医生的诊断信心，例如心房/心室收缩期的位置，
37.心房/心室收缩频次，心房-心室收缩时间间距等。在具体方法方面，根据胎儿心律失常诊断所面临的复杂信息来源和多任务情况，本发明会重点在跨模态信息融合、基于自编码重构的小样本异常检测、自动化网络架构搜索方面做突破。通过深入挖掘整合多源信息、充分拟合阳性小样本分布规律、优化神经网络架构设计来匹配临床实际对高准确率、高效、实时筛查的需求。
38.具体的：本发明所提出的跨模态信息融合学习所需的输入分别是pw频谱图、m型超声心动图、b模态超声心动序列以及从b模态得到的光流矢量场。如图1所示的实施例一中，将在pw频谱图上自动化测量定量指标，并通过多模态深度融合学习来充分利用m型超声和b模态影像序列及其运动学光流特征，智能分析评估心脏房室传导规律，得出定性指标，最终在定量与定性的信息综合分析下，为胎儿心律失常提供更优的辅助诊断支持。
39.针对pw频谱图的目标点检测定位，通过引入e、a、s波的波形形状先验约束，能够更精确地定位出各个波的起点、峰值点等位置，实现自动化测量胎心率、房室间期等指标。关于序列中b模态超声图像相邻帧的运动特性提取，引入基于光流的提取方法。光流是空间运动物体在观察成像平面上像素运动的瞬时速度，利用图像序列中像素在时间域上的变化以及相邻域之间的相关性来找到上一帧与当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。因此，通过计算视频中胎儿心脏b模态超声图像相邻帧之间的光流信息，可以形成一个三维的光流矢量场。
40.值得注意的是，由于堆叠的b模态超声图像以及其形成的光流矢量场均为三维数据结构，而m型超声心动图是以二维图像的形式存在，有效地融合这三种互补但不同维度的模态信息是至关重要的。对于二维的m型超声心动图和三维的b模态超声图像及其三维的光流矢量场，如图2所示，本发明分别使用堆叠的2d和3d的卷积块和相应的池化层来处理图像信息，并使用一个全局的池化层，将特征图映射到同一尺度水平上，之后将这三类运动特征共同进行多模态的信息融合，丰富不同模态图像中共性信息的提取、融合与决策。
41.优选的，阳性小样本异常检测任务关于胎儿心律失常的分型诊断可以认为是阳性小样本的异常检测问题，旨在胎儿超声心动图像数据中发现不符合预期行为模式的心律失常数据。由于深度神经网络分类器可能会以高置信度将分布外(ood)的输入分类到分布内(id)的类别中，因此区分异常数据或有显著差异的数据是非常重要的，尤其是对于医学图像的分类检测而言。本发明基于经典的ood异常检测任务，将少量的胎儿心律失常的阳性样本视为分布内的样本，使用自动编码器结合特征重建任务，并在特征编码与解码之间学习阳性小样本的特征隐式分布。
42.如图3的一实施例中，自编码重构异常检测网络示意图在本发明的异常检测网络ood中，构建多模态特征重构的均方差损失函数优化自编码重建网络，使其充分学习胎儿心律失常的特征。此外，在模型的预测过程中实时计算特征重构损失，若损失值超过一定阈值，则认为其是分布外样本(即胎儿心律正常)，反之则判断为胎儿心律失常。
43.需要说明的是，神经网络结构搜索传统的深度神经网络结构是由专家基于先验知
识手动开发的，这是一个耗时且难以达到最优的过程。另外，临床实际对胎儿心律是否失常的监测与诊断要求达到实时快速，这对于神经网络模型的计算量都有所限制，对准确率有高要求。因此，本发明优选的使用基于可微分的神经网络结构搜索算法(differentiablearchitecturesearch)来快速搜索出各部分任务的网络结构，构建以搜索结构单元为单位的搜索空间，每个搜索单元中设置4个操作连接节点，如图4所示。
44.进一步的，在搜索过程中，设定其优化目标约束分别为目标任务驱动的损失函数，以及网络参数量、计算量的大小，在保证模型预测精度的同时，最大程度上实现网络的轻量化，达到临床测试使用的实时需求。
45.图5所示为本发明一实操实施例的技术路线图，主要涉及：(1)多模态胎儿超声心动图的采集。(2)按入组标准筛选病例。(3)由医生双盲诊断确定金标准。(4)医生手动标注多模态图像以辅助多任务系统的开发和评估。(5)在划分好的训练集上设计开发智能诊断系统，并对测试集做评估。(6)对比智能系统和不同年资(初级和中级)医生的诊断性能和效率。(7)结合统计指标评估智能系统的性能。
46.本发明一些实施例中采用的图像及软件材料包括：
47.胎儿超声心动图医师采集正常和异常心律的胎儿超声心动图像，图像由gee10以及三星ws80a超声设备生成，需pw频谱图像以及m型超声心动视频，m型超声心动视频内同时包含m型和b模态。图像以bmp/jpg格式储存，视频以mp4/avi格式存储。采集胎儿超声心动图像15,000例，其中约心律失常阳性病例150例。图像纳入标准：(1)图像清晰，房室波形轮廓清晰；(2)图像采集过程中无明显胎动；(3)诊断结果明确。排除标准：(1)图像受胎动干扰明显，影响读图结果；(2)图像上有彩色血流及有如标线、标注等非初始标注。每张图像均由两位副主任医师以上职称的胎儿超声心动图专业医生双盲诊断，取其一致结果作为最终诊断的金标准；若两者出现争议，由第三位同等或更高职称医生做出裁决。
48.超声心动图数据标注，本发明需要医生对多中心数据库内的超声心动图做出标注，以便系统研发以及最终的验证。如图6所示，分别展示了本发明在pw频谱图和m型超声心动图上心脏姿态方位估计和心房/心室收缩峰定位分析时所需由超声医生提供的标注。
49.统计学方法利用spss20.0统计分析软件进行处理：计量资料：采用均数，标准差进行描述，组间读图效率比较采用方差分析；计数资料：采用率，构成比进行统计描述，组间率的比较采用卡方检验；检验水准
ɑ
＝0.05。
50.综上所述，本发明为产前胎儿心律失常的超声诊断提供更为客观、有力的筛查监测，深度挖掘超声机器上基于脉冲多普勒及m型超声心动图诊断的优势，为产前诊断医生提供新颖的辅助诊断参考，大幅提升基层超声医生对胎儿心律失常诊断的同质化水平，对实习医生及低年资超声医生发挥示范教学作用，为控制出生缺陷和提高人口素质起到积极作用。
51.本发明基于智能筛查的诊断模式的推广和应用，将显著提高基层医院对胎儿心律失常的检出率和准确率，极大优化胎儿心律失常的临床管理模式，实现及时发现，精准治疗，有效改善此类患儿的预后和转归，减轻患儿家庭和社会的经济和心理负担，改善心律失常胎儿的出生率，一定程度上降低出生缺陷的发生率提高出生人口质量，具有重大的社会价值。
52.以上依据本发明的理想实施例为启示，通过上述的说明内容，相关人员完全可以
在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定技术性范围。