基于深度学习卷积神经网络的内镜图像病变识别筛查方法

本发明涉及一种图像识别技术，特别涉及一种基于距离中心化聚集深度学习卷积神经网络的内镜图像病变识别筛查方法。

背景技术：

目前临床上主要基于在内镜检查过程中发现病灶，并基于病理分析结果综合判断；内镜检查是诊断上消化病变的关键步骤，但由于内镜医师检查具有一定差异性，胃部某些早期病变难以发现且区分，基于ai实时引导内镜检查，及时发现病变区域，辅助医生近距离观察，进行采样用于病理后续检验，是具有显著意义及实际功能需要的。

中国早期胃癌诊断率仍在20％一下，世家大部分地区结果类似，确保内镜下发现病变是后续诊断治疗的重要先决条件。

基于内镜全流程视频，从咽喉开始，经过食道(食管气管分叉，左心房压迹、贲门)，胃部冲洗，胃部粘膜及胃皱襞，胃体下部及胃窦，幽门，十二指肠球部，胃底倒镜及贲门区等。其中包括视频中那些噪音图，如光晕、不清晰、白苔及食物残渣，胃内容物等。因此现在在内镜过程中很难直接凭经验进行判断，或无法避免多种模型融合进行识别带了的误判。

技术实现要素：

本发明是针对内镜图像病变识别重要但困难的问题，提出了一种基于深度学习卷积神经网络的内镜图像病变识别筛查方法，通过距离中心，并根据预测结果不断迭代中心向量，将同类样本平滑聚集到同一相似分布，达到高精度识别。

本发明的技术方案为一种基于深度学习卷积神经网络的内镜图像病变识别筛查方法，具体包括如下步骤：

1)对内镜下采集的图像处理：统一到同一尺寸后，再对图像依次经过归一化、标准化处理；

2)网络设计及训练：

2.1)基于mobilenetv3，设定网络结构；将经过步骤1)处理后图像送入网络进行训练，送入训练的处理后图像包括已经确定类别的病变图和正常图，构成训练样本；网络输出类别与确定类别送入优化器，以adam为优化器，利用加权交叉熵损失函数loss最小为目标对网络进行优化；

2.2)利用优化后网络，将原训练样本再次送入网络，进行距离中心聚集训练，分别计算预测向量与中心向量的欧式距离和余弦距离，并对两个距离进行加和，使得和最小则同类间距离最小；

2.3)中心向量迭代：

训练初始，随机初始化中心向量，并将当前训练样本预测向量分别进行欧式及余弦中心向量计算距离，最小化同类间距离；在距离计算完成，根据当前所有样本预测向量依据类别相应点位加总取均值，作为本轮迭代完成后新的中心向量，进行下一轮迭代，直到收敛，完成基于距离中心训练；

3)步骤2)训练好后的模型内嵌到主机系统中，数据通过采集器从内镜设备传输到此台主机中，调用模型直接进行病变识别。

所述步骤2.1)利用加权交叉熵损失函数loss最小为目标对网络进行优化，加权交叉熵损失函数loss如下：

其中αk为每个类别权重；nk为第k类数量；k为第k类；k为总类别量；yk为真实类别；pk为预测类别；以最小化上述损失函数loss为目标进行训练优化直至收敛，获取优化后网络。

所述步骤2.2)欧式距离和余弦距离计算公式如下：

欧式距离si第i个图像样本预测向量，其中(si1，si2)为第i类预测向量；cj第j类中心向量，其中(cj1，cj2)为第j类自定义向量或迭代后新的第j类中心向量；

余弦距离

其中n为向量长度。

所述步骤2.3)中最小化同类间距离，将最小化同类中心向量距离的放大乘数设置为100，最大可能回收病变图像，达到快速收敛效果。

本发明的有益效果在于：本发明基于深度学习卷积神经网络的内镜图像病变识别筛查方法，摒弃以往多模型复杂融合及单一模型精度损失的劣势，基于距离中心聚集策略，构建轻量级病变筛查模型，增强模型的普适性。

附图说明

图1为本发明方法实施例所用深度学习卷积神经网络示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

通常基于深度学习卷积神经网络模型分类图像，可达到较好效果，但由于卷积神经网络关注特征区分，并基于损失函数进行优化，且内镜图像所覆盖形态多，噪音大，分布多样，难以达到最佳效果。通过距离中心，并根据预测结果不断迭代中心向量，将同类样本平滑聚集到同一相似分布，这样基于距离中西聚集策略，可构建轻量级病变筛查模型。训练好后的模型内嵌到主机系统中，数据通过采集器从内镜设备传输到此台主机中，进行调用，增强模型的普适性。

实施例：筛查病变范围包括胃息肉、黏膜下肿瘤、消化溃疡、黏膜层、sm1、sm2及进展期等七种病变范围，不包括炎症。具体步骤如下：

1、对内镜下采集的图像处理：依次经过归一化、标准化处理。

1.1、重采样到同一尺寸512×512×3；

1.2标准化：其中imgstandardization为标准化后的图像像素；img为原图像像素值；μ为图像像素均值；σ为图像像素标准差。

1.3归一化：其中imgnormalize为为归一化后图像像素；min(imgstandardization)为标准化后图像像素最小值；max(imgstandardization)为标准化后图像像素最大值。

2、网络设计及训练过程

2.1、基于mobilenetv3，如图1所示，起始部分：1个卷积层，通过3x3的卷积，提取特征；中间部分：多个卷积层，不同large和small版本，层数和参数不同；最后部分：通过两个1x1的卷积层，代替全连接，输出类别。

将内镜视频逐帧图像经过处理后得到的512×512×3图像送入网络进行训练，送入训练的处理后图像包括已经确定类别的病变图和正常图，构成训练样本。网络输出类别与确定类别送入优化器，以adam为optimizer(优化器)，利用加权交叉熵(weightedcrossentropy)损失函数loss最小为目标对网络进行优化。

αk为每个类别权重；nk为第k类数量；k为第k类；k为总类别量；yk为真实类别；pk为预测类别；以最小化上述损失函数loss为目标进行训练优化直至收敛，获取优化后网络。

2.2、利用优化后网络，将原训练样本再次送入网络，进行距离中心聚集训练，最小化同类中心距离，最大化异类中心距离

距离一：使用欧式距离

si第i个图像样本预测向量，其中(si1，si2)为第i类预测向量；cj第j类中心向量，其中(cj1，cj2)为第j类自定义向量或迭代后新的中心向量。

距离二：cosine距离

其中n为向量长度。

欧式距离和余弦距离进行加和，使得和最小则同类间距离最小。两种距离是从不同空间去看。

2.3、中心向量迭代

训练初始，随机初始化中心向量，并将当前训练样本预测向量分别进行欧式及余弦中心向量计算距离，最小化同类间距离；在距离计算完成，根据当前所有样本预测向量依据类别相应点位加总取均值，作为本轮迭代完成后新的中心向量，进行下一轮迭代。

3、总体训练过程，由于基于随机初始化中心向量，容易导致模型训练不收敛，故训练过程中首先基于mobilenetv3训练模型，待模型一定程度收敛后，对所有样本预测计算同类分别的欧式中心向量及余弦中心向量。本方法在基于距离中心训练过程中，为最大可能回收病变图像，将最小化同类中心向量距离的放大乘数设置为100，达到快速收敛效果。并最终在内镜病变筛查中auc达到99％。

本发明采用卷积神经网络与基于距离中西聚集方案相结合，更好地处理内镜图像所覆盖形态多，噪音大，分布多样的问题，实现高精度识别。本行业的技术人员应该了解，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。