一种基于深度学习的泪河高度检测方法与流程

本发明涉及一种基于深度学习的泪河高度检测方法，属于医学影像技术领域。

背景技术：

泪河高度是泪液与上下眼睑和结(角)膜形成的平面高度，它能够反映泪腺分泌的量。泪河高度与患者主观感受(眼表疾病评价指数量表)、泪膜破裂时间、泪液分泌试验等具有良好的相关性，是评估干眼的一个可靠指标。常见的泪河高度检测是获取照射在人眼上的泪河图像，然后进行数字图像处理技术分析，检测过程包括应用自适应平滑滤波增强图像,然后提取泪河边缘，并计算上下边缘的高度。但是这种方法容易受其他眼睛组织的干扰，和受到拍摄角度、光源、眨眼等因素影响。另外一种就是对泪河图像纯人工手动测量，这种方法增加人力和时间成本，影响工作效率。

技术实现要素：

本发明的目的是为解决如何进行泪河高度检测的技术问题。

为达到解决上述问题的目的，本发明所采取的技术方案是提供一种基于深度学习的泪河高度检测方法，包括以下步骤：

步骤1：获取人眼图像；

步骤2：基于深度卷积网络的分类网络，对步骤1获取的图像做睁眼闭眼识别；如果识别为睁眼，则认为是有效图像，继续步骤3处理；如果识别为闭眼，则认为是无效图像，跳回到步骤1重新开始；

步骤3：基于深度卷积网络的粗定位网络，对步骤2的有效图像进行泪河区域粗定位，并对泪河区域进行图像裁剪；

步骤4：基于深度卷积网络的快速分割网络，对步骤3获取泪河区域图像分割出泪河，得到二值化图；

步骤5：采用边缘修正模块，对步骤4输出的泪河二值化图进行边缘提取，然后在上边缘和下边缘的每个位置竖直方向10个像素内寻找最大梯度的位置并更新原来的边缘位置；

步骤6：采用泪河高度计算模块，对步骤5输出的下边缘每个位置计算径向方向，并在径向方向找到与上边缘的交点，则下边缘位置点到上边缘交点的距离为该位置的泪河高度。

优选地，上述步骤2中基于深度卷积网络的分类网络，采用mobilenetv3分类网络对人眼图像进行二分类，识别睁眼闭眼；搭建mobilenetv3分类网络模型进行分类模型训练，骨干网络保持不变，只修改最后的输出全连接层，将输出个数改成2；输入图像做了灰度化处理，并保留了3通道；数据扩增采用了旋转、平移、缩放、灰度拉伸、随机模糊预处理；损失函数采用二分类的交叉熵函数；用mobilenetv3在imagenet数据集上的训练权值作为初始权值，然后做微调训练；将数据集分成训练集和验证集，进行迭代训练；最终选取训练集和验证集loss值相差最小的训练权值作为训练结果。

优选地，上述步骤3中基于深度卷积网络的粗定位网络，对泪河区域进行回归定位，共2个点，分别是泪河左端和右端；采用以mobilenetv3为骨干网络，回归输出两个点的x,y坐标值，然后根据这两点裁剪出泪河区域图像，水平方向是以这两个点位为起始位置和终止位置，竖直方向以上面的点向上扩30个像素，下面的点向下扩70个像素，最终裁剪成图；搭建mobilenetv3定位网络模型，骨干网络保持不变，只修改最后的输出层，将输出个数改成4；输入图像做了灰度化处理，并保留了3通道；数据扩增采用了平移、缩放、灰度拉伸、随机模糊预处理；回归损失函数采用均值平方差mse函数；采用mobilenetv3在imagenet数据集上的训练权值作为初始权值，然后做微调训练；将数据集分成训练集和验证集，进行迭代训练；最终选取训练集和验证集loss值相差最小的训练权值作为训练结果。

优选地，上述步骤4中基于深度卷积网络的快速分割网络,采用dfanet分割网络对泪河区域图像进行分割检测，对每个像素二分类进而输出概率图，大于概率阈值的为泪河，否则认为背景，最终得到二值化分割结果；搭建dfanet分割网络模型，骨干网络保持不变，只修改最后的输出层，将输出通道改成2；输入图像做了灰度化处理，并保留了3通道；数据扩增采用了旋转、平移、缩放、灰度拉伸、随机模糊预处理；损失函数采用二分类的交叉熵函数；采用dfanet在cityscapes数据集上的训练权值作为初始权值，然后做微调训练；将数据集分成训练集和验证集，进行迭代训练；最终选取训练集和验证集loss值相差最小的训练权值作为训练结果；

更优选地，所述dfanet的结构如，输入为所述步骤3的泪河区域图像,对应的输出为分割概率图，通过一系列特征提取通道融合上采样操作，最后通过概率阈值输出二值化图像。

优选地，上述步骤5中后处理边缘修正模块，对上述步骤4输出的泪河二值化图进行canny边缘提取，获取到泪河上下边缘，然后对原彩色图进行灰度化；上边缘和下边缘的每个位置竖直方向10个像素内寻找最大梯度的位置，则用最大梯度位置设为新的泪河边缘。

相比现有技术，本发明具有如下有益效果：

本发明提供了基于深度学习的泪河高度检测方法，相比较传统数字图象处理方法，本方案对光照，噪声，变形，眨眼等情况鲁棒性更强，检测更准。替代人工手动测量，降低人力和时间成本，提高了工作效率。

附图说明

图1是本发明步骤1中获取的人眼图像；

图2是本发明步骤3中对泪河区域进行回归定位，共2个点，分别是泪河左端和右端，图中箭头标识。

图3是本发明步骤3中根据步骤2回归定位的两点裁剪出的泪河区域图像。

图4是本发明步骤4中通过采用dfanet分割网络对泪河区域图像进行分割检测得到的分割结果。

图5是本发明步骤4中通过采用dfanet分割网络对泪河区域图像进行分割检测过程图。

图6是本发明步骤5中对步骤4输出的泪河二值化图进行canny边缘提取，获取到泪河上下边缘，然后对原图进行灰度化处理得到的图像。

图7是本发明步骤5中上边缘和下边缘的每个位置竖直方向10个像素内寻找最大梯度的位置时的图像。

图8是显示本发明步骤6中得到的径向泪河高度图像。图中箭头标识所示泪河中上下边缘之间的径向线段代表径向泪河高度。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下：本发明的一种基于深度学习的泪河高度检测方法，其具体步骤如下：

步骤1：获取人眼图像；

步骤2：基于深度卷积网络的分类网络，对步骤1获取的图像做睁眼闭眼识别。如果识别为睁眼，则认为是有效图像，继续步骤3处理。如果识别为闭眼，则认为是无效图像，跳回到步骤1重新开始；

步骤3：基于深度卷积网络的粗定位网络，对步骤2的有效图像进行泪河区域粗定位，并对泪河区域进行图像裁剪。此步骤用来提高分割网络输入图像的有效区域占比，减少分割网络的输入分辨率，可以让分割网络的样本空间更小，需求的训练样本更少，分割网络学习更充分高效，可达到快速推理目的；

步骤4：基于深度卷积网络的快速分割网络，对步骤3获取泪河区域图像分割出泪河，得到二值化图，0属于背景，255属于泪河；

步骤5：边缘修正模块，对步骤4输出的泪河二值化图进行边缘提取，然后在上边缘和下边缘的每个位置竖直方向10个像素内寻找最大梯度的位置并更新原来的边缘位置；

步骤6：泪河高度计算模块，对步骤5输出的下边缘每个位置计算径向方向，并在径向方向找到与上边缘的交点，则下边缘位置点到上边缘交点的距离为该位置的泪河高度。

上述的步骤1获取人眼图像。如附图1示；

上述的步骤2基于深度卷积网络的分类网络，采用mobilenetv3分类网络对人眼图像进行二分类，识别睁眼闭眼。睁眼的标签为1，闭眼的标签为0。分类模型训练：搭建mobilenetv3分类网络模型，骨干网络保持不变，只修改最后的输出全连接层，将输出个数改成2。输入图像做了灰度化处理，并保留了3通道。数据扩增采用了旋转、平移、缩放、灰度拉伸、随机模糊等预处理。损失函数采用二分类的交叉熵函数。用mobilenetv3在imagenet数据集上的训练权值作为初始权值，然后做微调训练。将数据集按比例4：1分成训练集和验证集，迭代训练60轮，初始学习率0.01，在20轮，40轮分别降低学习率10倍。最终选取训练集和验证集loss值相差最小的训练权值作为训练结果。

上述的步骤3基于深度卷积网络的粗定位网络，对泪河区域进行回归定位，共2个点，分别是泪河左端和右端，如图2所示。采用以mobilenetv3为骨干网络，回归输出两个点的x,y坐标值。然后根据这两点裁剪出泪河区域图像，水平方向是以这两个点位为起始位置和终止位置，竖直方向以上面的点向上扩30个像素，下面的点向下扩70个像素，最终裁剪图如图3所示。搭建mobilenetv3定位网络模型，骨干网络保持不变，只修改最后的输出层，将输出个数改成4。输入图像做了灰度化处理，并保留了3通道。数据扩增采用了平移、缩放、灰度拉伸、随机模糊等预处理。回归损失函数采用均值平方差(mse)函数。用mobilenetv3在imagenet数据集上的训练权值作为初始权值，然后做微调训练。将数据集按比例4：1分成训练集和验证集，迭代训练60轮，初始学习率0.01，在20轮，40轮分别降低学习率10倍。最终选取训练集和验证集loss值相差最小的训练权值作为训练结果。

上述的步骤4基于深度卷积网络的快速分割网络,采用图5所示的dfanet分割网络对泪河区域图像进行分割检测，对每个像素进行二分类，0代表背景，1代表泪河，取大于0.7的概率为泪河位置，否则为背景，最终得到图4所示分割结果。搭建dfanet分割网络模型，骨干网络保持不变，只修改最后的输出层，将输出通道改成2。输入图像做了灰度化处理，并保留了3通道。数据扩增采用了旋转、平移、缩放、灰度拉伸、随机模糊等预处理。损失函数采用二分类的交叉熵函数。用dfanet在cityscapes数据集上的训练权值作为初始权值，然后做微调训练。将数据集按比例4：1分成训练集和验证集，迭代训练80轮，初始学习率0.01，在30轮，60轮分别降低学习率10倍。最终选取训练集和验证集loss值相差最小的训练权值作为训练结果。dfanet的结构如，输入为步骤3的泪河区域图像,对应的输出为二值化图像，0代表背景，1代表泪河。‘conv’指卷积核大小为3的卷积，‘enc’指卷积层块，‘fcattention中’指获取语义信息和类别信息的注意力模块，‘c’指按通道拼接层(concatenation)，‘xn’指n倍数的上采样操作(upsampling)。通过一系列特征提取通道融合上采样等操作，最后输出分割概率图。

上述的步骤5后处理修正模块，对步骤4输出的泪河二值化图进行canny边缘提取，获取到泪河上下边缘，然后对原图进行灰度化，如图6所示。上边缘和下边缘的每个位置竖直方向10个像素内用寻找最大梯度的位置，如图7所示，则用最大梯度位置为新的泪河边缘。

上述的步骤6泪河高度计算模块，对步骤5输出的下边缘每个位置计算径向方向，并在径向方向找到与上边缘的交点，则下边缘位置点到上边缘交点的距离为该位置的泪河高度，如图8所示，图中箭头标识所示泪河中上下边缘之间的径向线段代表径向泪河高度。

以上所述，仅为本发明的较佳实施例，并非对本发明任何形式上和实质上的限制，应当指出，对于本技术领域的普通技术人员，在不脱离本发明的前提下，还将可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。凡熟悉本专业的技术人员，在不脱离本发明的精神和范围的情况下，当可利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对上述实施例所作的任何等同变化的更动、修饰与演变，均仍属于本发明的技术方案的范围内。