一种基于深度学习的喉镜成像分析方法及系统

本发明涉及喉镜分析，具体是指一种基于深度学习的喉镜成像分析方法及系统。

背景技术：

1、基于深度学习的喉镜成像分析方法是一种利用先进的人工智能技术，对喉镜图像进行自动化处理和分析的系统。该方法通过深度学习模型，对声带及周围组织进行病变静态检测，能够有效识别和分类各种病理变化。同时，该系统还具备声带动态分析功能，实时监测声带运动，评估其功能状态。这种智能化分析不仅提高了诊断的准确性和效率，还为临床医生提供了重要的决策支持，推动了耳鼻喉科的数字化转型。

2、但是，在已有的喉镜成像分析方法中，存在着现有的喉镜成像分析智能化技术多针对于静态图像进行分析和标注，并直接投入诊断或研究中使用，然而喉镜成像分析在单纯使用静态图像时，很容易忽略难以通过直观观察发现的病变或潜在的风险，进而导致喉镜成像分析的分析深度不足，尚不能满足客观技术需要的技术问题；在已有的喉镜成像分析的病变静态检测方法中，存在着现有技术对于静态图像的分析深度依赖于特征的挖掘深度，而已有的智能化方法在对静态喉镜图像的深度特征挖掘方面依然有提升的空间的技术问题；在已有的喉镜成像分析的声带动态分析方法中，存在着传统方法难以将声带动态分析和喉镜图像病变检测有效结合的技术问题。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于深度学习的喉镜成像分析方法及系统，针对在已有的喉镜成像分析方法中，存在着现有的喉镜成像分析智能化技术多针对于静态图像进行分析和标注，并直接投入诊断或研究中使用，然而喉镜成像分析在单纯使用静态图像时，很容易忽略难以通过直观观察发现的病变或潜在的风险，进而导致喉镜成像分析的分析深度不足，尚不能满足客观技术需要的技术问题，本方案创造性地采用病变静态检测和声带动态分析两种互相支持的功能设计，通过静态图像进行直观病变区域的检测，并通过声带动态分析进行辅助和支持，同时两种功能采取模块化区分设计，既能作为单独的功能使用，也可以结合使用，提升了方法整体的自动性和系统的综合可用性；针对在已有的喉镜成像分析的病变静态检测方法中，存在着现有技术对于静态图像的分析深度依赖于特征的挖掘深度，而已有的智能化方法在对静态喉镜图像的深度特征挖掘方面依然有提升的空间的技术问题，本方案创造性地采用结合特征优化的改进卷积神经网络方法进行检测，通过结合了人工特征、二值化特征和预训练提取特征，并构建独立训练的卷积网络进一步深化特征提取过程，最后结合注意力机制和预训练的检测模型进行高效检测，提升了病变静态检测的效率和精度；针对在已有的喉镜成像分析的声带动态分析方法中，存在着传统方法难以将声带动态分析和喉镜图像病变检测有效结合的技术问题，本方案创造性地采用结合双向改进时序卷积的残差改进双向长短期记忆神经网络方法，进行声带动态分析，通过两种双向信息捕获机制构建的神经网络的集成和结合，深度提取了声带动态特征中的细微和宏观特征，从而有效地反映出声带活动的异常，为静态图像病变检测提供了有力的辅助参考同时，也能作为单独的检测功能进行使用，提升了方法整体的连通性和可复用性。

2、本发明采取的技术方案如下：本发明提供的一种基于深度学习的喉镜成像分析方法，该方法包括以下步骤：

3、步骤s1：数据采集；

4、步骤s2：数据预处理；

5、步骤s3：病变静态检测；

6、步骤s4：声带动态分析；

7、步骤s5：喉镜成像分析。

8、进一步地，在步骤s1中，所述数据采集，用于收集喉镜成像分析所需的原始数据集，具体为通过多类型数据采集和数据标注，从医疗系统和临床数据库中，采集得到喉镜成像分析原始数据集；

9、所述喉镜成像分析原始数据集，具体包括静态喉镜图像集、声带动态视频序列集和患者基本信息集。

10、进一步地，在步骤s2中，所述数据预处理，用于对原始数据进行增强和优化处理，具体为对所述喉镜成像分析原始数据集进行多模态数据优化处理，得到喉镜成像分析优化数据集，具体包括以下步骤：

11、步骤s21：数据清洗处理，具体为对所述喉镜成像分析原始数据集依次进行去除重复数据、处理缺失数据和成像质量检测处理操作，得到清洗处理数据集；

12、步骤s22：数据增强处理，具体为对所述静态喉镜图像集进行图像增强操作，并对所述声带动态视频序列集进行视频增强操作，得到增强数据集；

13、步骤s23：数据规范化处理，具体为对所述增强数据集进行图像归一化和视频帧对齐操作，得到规范化数据集；

14、步骤s24：特征初步提取，具体为使用预训练的标准卷积神经网络对所述规范化数据集中的图像数据进行特征提取，得到图像特征数据，并采用时序分析方法对所述规范化数据集中的视频数据进行特征提取，得到运动特征数据，并进行特征整合，得到喉镜成像特征数据集；

15、步骤s25：数据集划分，具体为将所述喉镜成像特征数据集和所述规范化数据集划分为训练集、验证集和测试集，用于模型训练和调试；

16、步骤s26：预处理数据存储，具体为通过所述数据清洗处理、所述数据增强处理、所述数据规范化处理、所述特征初步提取和所述数据集划分，进行数据预处理，得到喉镜成像分析优化数据集，并对将所述喉镜成像分析优化数据集进行数据存储，用于数据读写和更新。

17、进一步地，在步骤s3中，所述病变静态检测，用于初步识别和分类喉镜静态图像的病变信息，具体为依据所述喉镜成像分析优化数据集中的静态图像数据集，采用结合特征优化的改进卷积神经网络方法，进行病变静态检测，得到静态病变识别参考数据，具体包括以下步骤：

18、步骤s31：预训练特征检测提取，具体为采用预训练的yolov8模型，对所述喉镜成像分析优化数据集中的静态图像数据集进行特征提取，得到预训练特征数据；

19、步骤s32：局部二值模式特征提取，具体为采用局部二值模式提取所述喉镜成像分析优化数据集中的静态图像数据集中的纹理特征，得到二值纹理特征数据；

20、步骤s33：特征整合，具体为采用哈达玛积融合方法将所述预训练特征数据、所述二值纹理特征数据和喉镜成像特征数据集中的图像特征数据进行特征融合，得到整合图像特征数据；

21、步骤s34：构建卷积神经网络，具体为构建包括卷积层、池化层和全连接层的标准卷积神经网络，接收所述整合图像特征数据作为数据输入，进行深层特征提取，并在所述标准卷积神经网络的输出层后连接注意力模块，进行特征表示增强，并将所述注意力模块的输出连接至预训练的yolov8目标检测模型，进行病变静态检测，得到病变静态检测信息；

22、步骤s35：损失改进优化，具体为构建加权集成损失函数，作为模型的整体损失函数，用于优化模型训练，所述加权集成损失函数的计算公式为：

23、；

24、式中，ltotal是加权集成损失函数，是边界框损失权重，lbbox是边界框损失函数，具体使用平滑l1范数进行计算，是类别损失权重，lclass是类别损失函数，具体使用交叉熵损失函数进行计算，是局部二值损失权重，llbp是局部二值损失函数，具体使用均方误差进行计算，是注意力损失权重，latt是注意力损失函数，具体使用kl散度进行计算；

25、步骤s36：病变静态检测模型训练，具体为通过所述预训练特征检测提取、所述局部二值模式特征提取、所述特征整合和所述损失改进优化，进行病变静态检测模型训练，得到病变静态检测模型modelvd；

26、步骤s37：病变静态检测，具体为使用所述病变静态检测模型modelvd，依据所述喉镜成像分析优化数据集中的静态图像数据集，进行病变静态检测，得到静态病变识别参考数据。

27、进一步地，在步骤s4中，所述声带动态分析，用于评估声带的运动功能并提供辅助分析信息，具体为依据所述喉镜成像分析优化数据集，采用结合双向改进时序卷积的残差改进双向长短期记忆神经网络方法，进行声带动态分析，得到声带动态评估参考数据，具体包括以下步骤：

28、步骤s41：构建双向改进时序卷积子网，具体为在标准时序卷积网络的基础上引入双向信息捕获机制，并构建双向改进时序卷积子网，并通过一维残差卷积和赤化连接层依次处理双向特征信息，得到深度时序声带动态特征，计算公式为：

29、；

30、式中，zbtcn是深度时序声带动态特征，batchnormal(·)是池化连接层函数，f(·)是分类器激活函数，具体采用s型激活函数，w是时序卷积权重，1dconv(·)是一维残差卷积函数，yt是双向改进时序卷积输出，b是时序卷积偏置项，是前向时序卷积函数，是后向时序卷积函数，是矩阵加法运算符，xt是双向改进时序卷积子网的原始数据输入，用于表示喉镜成像分析优化数据集中的运动特征数据和声带动态视频序列集；

31、步骤s42：构建双向长短期记忆子网，具体为构建标准双向长短期记忆神经网络，用于优化时间序列化数据的特征深度处理，并引入多头自注意力机制处理所述深度时序声带动态特征，将所述标准双向长短期记忆神经网络的输出和所述多头自注意力机制的输出通过特征拼接后进行一维卷积层处理，得到深度集成动态特征，构建得到所述双向长短期记忆子网，并通过构建softmax分类器对所述深度集成动态特征进行数据分类，得到双向长短期记忆子网输出数据；

32、步骤s43：声带动态分析模型训练，具体为通过所述双向改进时序卷积子网和所述双向长短期记忆子网，进行声带动态分析模型训练，得到声带动态分析模型modelva；

33、步骤s44：声带动态分析，具体为使用所述声带动态分析模型modelva，依据所述喉镜成像分析优化数据集进行声带动态分析，得到声带动态评估参考数据。

34、进一步地，在步骤s5中，所述喉镜成像分析，用于综合静态和动态的分析结果进行喉镜成像的集成分析，具体为通过结合所述静态病变识别参考数据和所述声带动态评估参考数据，进行喉镜成像动态静态协同分析，得到喉镜成像分析参考数据。

35、本发明提供的一种基于深度学习的喉镜成像分析系统，包括数据采集模块、数据预处理模块、病变静态检测模块、声带动态分析模块和喉镜成像分析模块；

36、所述数据采集模块，用于数据采集，通过数据采集，得到喉镜成像分析原始数据集，并将所述喉镜成像分析原始数据集发送至数据预处理模块；

37、所述数据预处理模块，用于数据预处理，通过数据预处理，得到喉镜成像分析优化数据集，并将所述喉镜成像分析优化数据集发送至病变静态检测模块和声带动态分析模块；

38、所述病变静态检测模块，用于病变静态检测，通过病变静态检测，得到静态病变识别参考数据，并将所述静态病变识别参考数据发送至喉镜成像分析模块；

39、所述声带动态分析模块，用于声带动态分析，通过声带动态分析，得到声带动态评估参考数据，并将所述声带动态评估参考数据发送至喉镜成像分析模块；

40、所述喉镜成像分析模块，用于喉镜成像分析，通过喉镜成像分析，得到喉镜成像分析参考数据。

41、采用上述方案本发明取得的有益效果如下：

42、（1）针对在已有的喉镜成像分析方法中，存在着现有的喉镜成像分析智能化技术多针对于静态图像进行分析和标注，并直接投入诊断或研究中使用，然而喉镜成像分析在单纯使用静态图像时，很容易忽略难以通过直观观察发现的病变或潜在的风险，进而导致喉镜成像分析的分析深度不足，尚不能满足客观技术需要的技术问题，本方案创造性地采用病变静态检测和声带动态分析两种互相支持的功能设计，通过静态图像进行直观病变区域的检测，并通过声带动态分析进行辅助和支持，同时两种功能采取模块化区分设计，既能作为单独的功能使用，也可以结合使用，提升了方法整体的自动性和系统的综合可用性；

43、（2）针对在已有的喉镜成像分析的病变静态检测方法中，存在着现有技术对于静态图像的分析深度依赖于特征的挖掘深度，而已有的智能化方法在对静态喉镜图像的深度特征挖掘方面依然有提升的空间的技术问题，本方案创造性地采用结合特征优化的改进卷积神经网络方法进行检测，通过结合了人工特征、二值化特征和预训练提取特征，并构建独立训练的卷积网络进一步深化特征提取过程，最后结合注意力机制和预训练的检测模型进行高效检测，提升了病变静态检测的效率和精度；

44、（3）针对在已有的喉镜成像分析的声带动态分析方法中，存在着传统方法难以将声带动态分析和喉镜图像病变检测有效结合的技术问题，本方案创造性地采用结合双向改进时序卷积的残差改进双向长短期记忆神经网络方法，进行声带动态分析，通过两种双向信息捕获机制构建的神经网络的集成和结合，深度提取了声带动态特征中的细微和宏观特征，从而有效地反映出声带活动的异常，为静态图像病变检测提供了有力的辅助参考同时，也能作为单独的检测功能进行使用，提升了方法整体的连通性和可复用性。