基于深度学习算法的超声心动图多模态多切面分类方法

本发明涉及超声心动图分类，特别是涉及一种基于深度学习算法的超声心动图多模态多切面分类方法。

背景技术：

1、超声心动图具有无创、无辐射、高时间分辨率、可床旁操作等优势，在心血管疾病诊疗中发挥重要的临床价值。当前超声心动图包含多个模态，例如m型、二维灰阶、彩色多普勒、声学造影等。多模态超声图像提供丰富的心脏解剖结构信息，如心房和心室位置、大小以及血流动力学信息。正确识别超声心动图标准切面对于量化和后处理分析心脏功能至关重要，但是后处理分析软件，如qlab和echopac等，依赖于人工筛选标准心尖切面图像进行心脏结构和功能的二次分析，尤其是针对大样本数据，切面预分类耗时耗力。因此，快速、正确地自动识别超声心动图标准切面的需求正在逐渐提升。

2、现有技术中的超声心动图标准切面识别方法主要针对2d灰度图像，对3d造影和彩色多普勒超声图像研究较少。因此，设计一种基于深度学习算法的超声心动图多模态多切面分类方法是十分有必要的。

技术实现思路

1、本发明的目的是提供一种基于深度学习算法的超声心动图多模态多切面分类方法，能够实现超声心动图多模态多切面的自动分类，分类精度高，省时省力。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于深度学习算法的超声心动图多模态多切面分类方法，包括如下步骤：

4、步骤1：采集多模块、多切面的成人超声心动图视频及图像；

5、步骤2：对采集的成人超声心动图视频及图像进行预处理；

6、步骤3：对预处理后的成人超声心动图视频及图像进行标注，生成成人超声心动图数据集；

7、步骤4：将成人超声心动图数据集划分为训练集、验证集及测试集；

8、步骤5：基于resnet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型；

9、步骤6：基于测试集，对最佳成人超声心动图切面分类模型进行性能评估；

10、步骤7：将待测图像或视频输入成人超声心动图切面分类模型中，得到分类结果。

11、可选的，步骤1中，采集多模块、多切面的成人超声心动图视频及图像，具体为：

12、采集多模块、多切面的成人超声心动图视频及图像，包括三维灰阶超声心动图、彩色多普勒超声心动图、二维灰阶胸骨旁左心室长轴切面、二维灰阶胸骨旁左心室短轴切面、二维灰阶胸骨旁大动脉短轴切面、二维灰阶剑突下切面、二维灰阶心尖二腔切面、二维灰阶心尖三腔切面、二维灰阶心尖四腔切面、二维左心声学造影心尖二腔切面、二维左心声学造影心尖三腔切面、二维左心声学造影心尖四腔切面及二维左心声学造影胸骨旁左心室短轴切面。

13、可选的，步骤2中，对采集的成人超声心动图视频及图像进行预处理，具体为：

14、通过python的第三方库opencv对成人超声心动图视频及图像进行批量处理，根据连续帧图像的像素变化，结合图像预处理操作，提取扇形感兴趣区域，并将视频按帧保存为png格式。

15、可选的，步骤4中，将成人超声心动图数据集划分为训练集、验证集及测试集，具体为：

16、以8:1:1的比例将成人超声心动图数据集划分为训练集、验证集及测试集，其中，以样本量最少的切面数据量为标准，等比例采样其他类别切面数据集，以构成样本量均衡的数据集，使得各类切面样本量均衡，其中，训练集用于训练成人超声心动图切面分类模型，验证集用于调整模型超参数，筛选最佳分类模型，测试集用于评估模型的分类性能。

17、可选的，步骤5中，基于resnet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型，具体为：

18、基于101层的resnet网络构建成人超声心动图切面分类模型，通过训练集对其进行训练，在训练阶段采用迁移学习策略，预训练权重采用在imagenet数据集训练的结果，输出层分类器为softmax函数，分类类别数设置为13类，使用初始学习率为0.0001的adam优化器，批处理大小为128，进行模型微调，迭代100次，通过具有残差结构的卷积神经网络提取超声图像特征，训练完毕后，通过最小化真实标签和预测结果之间的交叉熵损失值，在验证集上评估模型性能，选择分类准确率最高的模型权重作为最佳成人超声心动图切面分类模型。

19、可选的，步骤6中，基于测试集，对最佳成人超声心动图切面分类模型进行性能评估，具体为：

20、采用混淆矩阵、准确率、精确率、召回率、特异度及f1得分，在验证集及测试集上评估最佳成人超声心动图切面分类模型的性能。

21、可选的，步骤7中，将待测图像输入成人超声心动图切面分类模型中，得到分类结果，具体为：

22、将待测图像输入成人超声心动图切面分类模型中，其中，对于成人超声心动图图像，成人超声心动图切面分类模型预测每张图像的分类结果，对于成人超声心动图视频，从每个视频等间隔采样10帧图像进行预测，对预测结果取均值，以最大预测概率对应的切面类别作为视频的分类结果，采用梯度加权类激活图可视化分析方法，使用成人超声心动图切面分类模型最后一层特征权重，生成热力图，可视化切面分类模型重点关注区域，对分类结果进行可解释性分析。

23、根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于深度学习算法的超声心动图多模态多切面分类方法，该方法包括采集多模块、多切面的成人超声心动图视频及图像，对采集的成人超声心动图视频及图像进行预处理，对预处理后的成人超声心动图视频及图像进行标注，生成成人超声心动图数据集，将成人超声心动图数据集划分为训练集、验证集及测试集，基于resnet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型，基于测试集，对最佳成人超声心动图切面分类模型进行性能评估，将待测图像输入成人超声心动图切面分类模型中，得到分类结果，该方法对成人超声心动图视频及图像进行预处理，提取感兴趣区域，隐去患者检查及个人信息，该方法能够应用于多模态(2d灰阶、多普勒、3d和声学造影)、多切面(主要是针对2d灰阶临床检查常用切面)超声心动图数据，该方法由临床经验丰富的超声医生进行标注，能够保证标签的准确性，该方法按比例随机划分数据集，能够保证数据多样性及样本均衡，该方法通过多个分类指标在独立数据集上评估模型预测性能，能够保证模型预测结果的鲁棒性，该方法采用类激活热力图可视化模型分类过程中重点关注的解剖区域，提高了模型的可解释性。

技术特征：

1.一种基于深度学习算法的超声心动图多模态多切面分类方法，包括如下步骤：

2.根据权利要求1所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤1中，采集多模块、多切面的成人超声心动图视频及图像，具体为：

3.根据权利要求2所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤2中，对采集的成人超声心动图视频及图像进行预处理，具体为：

4.根据权利要求3所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤4中，将成人超声心动图数据集划分为训练集、验证集及测试集，具体为：

5.根据权利要求4所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤5中，基于resnet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型，具体为：

6.根据权利要求5所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤6中，基于测试集，对最佳成人超声心动图切面分类模型进行性能评估，具体为：

7.根据权利要求6所述的基于深度学习算法的超声心动图多模态多切面分类方法，其特征在于，步骤7中，将待测图像输入成人超声心动图切面分类模型中，得到分类结果，具体为：

技术总结
本发明提供了一种基于深度学习算法的超声心动图多模态多切面分类方法，包括：采集成人超声心动图视频及图像，对其进行预处理，对预处理后的成人超声心动图视频及图像进行标注，生成成人超声心动图数据集，将成人超声心动图数据集划分为训练集、验证集及测试集。基于ResNet网络构建成人超声心动图切面分类模型，并通过训练集对其进行训练，通过验证集筛选最佳分类模型，基于测试集，对最佳成人超声心动图切面分类模型进行性能评估，将待测图像或视频输入成人超声心动图切面分类模型中，得到分类结果。本发明提供的基于深度学习算法的超声心动图多模态多切面分类方法，能够实现超声心动图多模态多切面的自动分类，分类精度高，省时省力。

技术研发人员：张丽,朱业,谢明星,张紫桑,张易薇,吴纯,刘曼薇,章子铭,朱双双,肖苏珊,许春燕,张珺敏,陈雯雯,祖白热·牙生
受保护的技术使用者：华中科技大学同济医学院附属协和医院
技术研发日：
技术公布日：2024/1/15