基于视频的深度神经网络回归模型的斜视判别方法及系统
本发明涉及斜视判别技术领域，具体涉及基于视频的深度神经网络回归模型的斜视判别方法及系统。
背景技术：
斜视是儿童常见眼部疾病之一，具体表现为双眼不能同时注视目标，其患病率居于常见儿童眼病第三位。据分析，学龄前儿童是眼部疾病高发群体，斜视就是在人出生后不同年龄阶段逐渐展示出来，虽因类型不同而在年龄段上有所区别，但仍是以儿童时期为主。同时儿童时期也是治疗斜视等眼部疾病的黄金时期，2岁儿童已具备配合眼部检查与纠正的能力，通过早期干预性治疗，将大大提高治疗眼病的效果。相反，如果不能及时得到治疗，可能导致视觉障碍和外观异常，引起复视、混淆视与弱视等并发症，并在心理上引起儿童低自尊感、自卑、社交障碍等性格缺陷，从而严重影响其生存质量。
当前斜视筛查方法仍以传统方法为主，如角膜映光法、视野计检查法、交替遮盖法、单眼遮盖-去遮盖法、双maddox杆试验法等，而传统医学方法由于小儿眼科医生紧缺、另外儿童的眼球处于动态发育状态，需要多次检查随访才能准确诊断，又因儿童的配合度差完成眼科检查具有一定难度。
在计算机视觉已发展成一门学科，技术越来越成熟的当下，逐渐出现了基于图像处理的筛查方法，此方法往往需要借助各种硬件设备，常见的有眼瞬息图像筛查仪，眼底照相机，红外灯照相机，裂隙灯照相机，眼瞳摄像机等。基于图像处理的筛查方法基本是通过眼瞬息图像筛查仪得到眼部角膜图像后，经过边缘检测等图像处理方法后得到瞳孔与角膜的定位与特征参数数据，再基于角膜映光法的判断条件进行图像分析与处理。诸如中国专利文献cn111973146a中公开了一种斜视检测装置，包括人体固定椅、测量杆和九方位照相仪；其装置可以对患者的头部进行固定，避免其检测过程移位，同时获取检测所需的33cm间距的图像；诸如中国专利文献cn110288567a提供了一种针对眼部的图像分析方法，包括：获取用户的眼部图像；对所获取的眼部图像进行图像分析，获得相应的眼部状态信息。在所得人脸图像上用矩形框标记眼部区域，将所述标记的眼部区域进行截取，形成眼部图像，并基于所述眼部图像，生成眼部图像训练集，包括左眼训练集和右眼训练集，再基于眼部深度学习模型对眼球的倾斜方向点进行判断，确定眼球的倾斜方向点与所述斜视检测模型中的预设方向点之间的差值绝对值是否小于预设差值以判断用户有无斗鸡眼；诸如中国专利文献cn110288567a公开了一种眼瞳图像预处理装置，通过对原始数字图像进行传统图像处理方法如归一化、边缘检测等处理和分析后，提取原始数字图像中的新月形亮区域的面积、角膜映光点与瞳孔的偏移距离以及瞳孔及角膜反光点的边缘，以计算斜视程度。
这些解决方案都需要眼瞳摄像仪、视网膜扫描仪等仪器采集清晰眼底图像再用于模型训练。且任然需要线下诊疗，不易于推广。而有遮挡、光照等复杂场景的斜视检测和判定研究，还停留在比较落后的阶段。加之斜视眼病的判别复杂，须医生多次检测观察眼动轨迹等才能进行诊断，因此依靠单一图片进行斜视眼病的判定，准确性存疑。
因此，提供一种能够脱离各种专业斜视检查仪器的限制，而利用个人移动设备，拍摄斜视儿童正面转动眼球的视频，交给计算机视觉、深度神经网络相关技术处理的解决方案，并给出一种便于使用的完整的斜视判别系统具有很大的研究价值。
技术实现要素：
本发明所要解决的技术问题是克服目前对斜视判别方法的研究仍集中在泛化的人脸识别和物体识别上的缺陷，目的是提供基于视频的深度神经网络回归模型的斜视判别方法和系统，从而实现对现有的斜视判别方法进行改进。
本发明通过下述技术方案实现：
一种基于视频的深度神经网络回归模型的斜视判别方法，包括如下步骤：
步骤1：获取人脸图片样本；
步骤2：根据所述人脸图片样本获取双眼眼周关键点坐标数据集和眼部图片样本；
步骤3：根据所述眼部图片样本利用瞳孔中心标注工具获取双眼的瞳孔检测数据集；
步骤4：根据所述瞳孔检测数据集建立深度神经网络回归模型，并利用所述深度神经网络回归模型计算得到瞳孔中心相对坐标数据集；
步骤5：将所述眼部图片样本映射回所述人脸图片样本中，获得瞳孔中心实际坐标数据集；
步骤6：计算步骤2所述的关键点坐标数据集相对于所述步骤5所述的瞳孔中心实际坐标数据集之间的欧式距离，得到双眼特征向量集合，并将所述双眼特征向量集合用特征向量a和特征向量b表示；
步骤7：将所述特征向量a和特征向量b合并为特征向量c，作为所述步骤1所述的人脸图片样本的特征向量集；
步骤8：对所述特征向量c进行降维处理，得到低维的特征向量c1；
步骤9：建立数据集分类模型，将所述特征向量c1代入所述数据分类模型计算得出分类结果，根据所述分类结果对正常人和斜视患者进行判别。
本发明与现有的斜视判别技术相比，其改进点在于充分利用了计算机视觉和深度神经网络相关技术来实现瞳孔关键点定位，克服了泛化的人脸识别、物体识别的缺陷。其中，步骤3获取双眼的瞳孔检测数据集的关键在于利用瞳孔中心标注工具可以标注瞳孔边缘的三个不在同一平面的点，得到一个三角形。通过求得三角形的外接圆及外接圆圆心以得到准确地定位瞳孔中心坐标。
作为对本发明的进一步描述，步骤1所述获取人脸图片样本的方法为：
步骤1.1：利用普通的可移动拍摄工具拍摄获取多个人脸视频；
步骤1.2：对所述多个人脸视频进行视频帧提取，得到人脸图片样本。
作为对本发明的进一步描述，步骤2所述关键点坐标数据集和眼部图片样本的获取方法为：
步骤2.1：针对所述人脸图片样本，利用人脸检测算法得到人脸关键点坐标数据集，并根据所述人脸坐关键点标数据集建立人脸坐标系；
步骤2.2：根据所述人脸关键点坐标数据集对双眼进行关键点定位，得到双眼眼周的关键点坐标数据集；
步骤2.3：根据所述双眼眼周关键点坐标数据集，从所述人脸图片样本中提取出双眼的眼部图片样本。
作为对本发明的进一步改进，在步骤3之前，对所述眼部图片样本进行标准化处理，使所述眼部图片样本中的每张图片具有统一的尺寸，得到标准化眼部图片样本；并记录所述标准化眼部图片样本中每张图片的缩放比例。
作为对本发明的进一步描述，步骤4所述深度神经网络回归模型的建立方法为：
步骤4.1：根据所述瞳孔检测数据集建立初始深度神经网络回归模型；
步骤4.2：将所述瞳孔检测数据集对应的眼部图片样本转化为用张量集表示，得到图像张量集；
步骤4.3：将所述图像张量集和所述图像张量集对应的标注数据输入所述初始深度神经网络回归模型进行训练，计算得到模型参数；将所述模型参数代入所述初始深度神经网络回归初始化模型，得到最终的深度神经网络回归模型。
作为对本发明的进一步描述，步骤5所述瞳孔中心相对坐标数据集的获取方法为：将所述步骤4.2所述的归一化向量集代入所述深度神经网络回归模型中，计算得到瞳孔中心相对坐标数据集。
作为对本发明的进一步改进，在步骤7之前对步骤6所述的特征向量a和特征向量b进行归一化处理，消除图片分辨率、人脸与摄像头的拍摄距离影响因素对所得数据的影响。
作为对本发明的进一步描述，步骤8所述对特征向量集c进行降维处理采用的降维模型为pca降维模型；所述步骤9所述分类模型为带有高斯核的svm模型。
一种基于视频的深度神经网络回归模型的斜视判别系统，包括：
输入模块，用于将拍摄得到的多个人脸视频输入到斜视判别系统中；
人脸数据采集模块，用于对输入的所述多个人脸视频进行处理，获取人脸图片样本和人脸关键点数据集；
眼部数据采集模块，用于从所述人脸图片样本中获取双眼眼周的眼部图片，形成眼部图片样本，以及从人脸关键点数据集中获取双眼眼周的关键点数据；
标准化处理模块，用于对眼部图片样本进行标准化处理，使所述眼部图片样本中的每张图片具有统一的尺寸，得到标准化眼部图片样本；
瞳孔中心标注模块，用于对所述眼部图片样本进行数据标注，获取瞳孔检测数据集；
图片转化模块，用于将标准化眼部图片样本中的图片转化为用张量表示；
模型管理模块，用于管理深度神经网络回归模型；
坐标回归模块，用于将归一化图像张量输入深度神经网络回归模型中，并计算获得瞳孔中心相对坐标数据；
图片映射模块，用于将瞳孔中心相对坐标数据映射回所述人脸图片样本中，获得瞳孔中心实际坐标数据集；
距离计算模块，用于计算双眼眼周关键点坐标数据集相对于瞳孔中心实际坐标数据集之间的欧式距离，并对所述欧式距离进行归一化处理，得到初始双眼特征向量集；
向量处理模块，用于对初始双眼特征向量集进行合并和降维处理，得到二维特征向量；
分类模块：用于将得到的二维特征向量集代入分类模型中，计算获得分类结果，并将分类结果输出。
作为对本发明的进一步描述，
所述人脸数据采集模块，包括人脸图片样本采集单元体和人脸关键点数据集采集单元，所述人脸图片样本采集单元，用于对所述多个人脸视频进行视频帧提取，获得人脸图片样本；所述人脸关键点数据采集单元，用于运用人脸检测算法从所述人脸图片样本中获取人脸关键点坐标数据集；
所述眼部数据采集模块，包括双眼眼周关键点坐标数据提取单元和眼部图片提取单元，所述双眼眼周关键点坐标数据单元，用于从人脸关键点坐标数据中提取出双眼眼部关键点坐标数据；所述眼部图片提取单元，用于从人脸图片样本中提取出眼部图片样本；
所述模型管理模块，包括模型初始化单元、模型参数计算单元和模型存储单元，所述模型初始化单元，用于存储初始深度神经网络回归模型，供计算模型参数时调用；所述参数计算单元，用于计算深度神经网络回归模型参数，并将所述深度神经网络回归模型参数代入所述初始深度神经网络回归模型，得到最终的深度神经网络回归模型；所述模型存储单元，用于存储最终的深度神经网络回归模型，供坐标回归时调用；
所述向量处理模块，包括向量合并单元和向量降维单元，所述向量合并单元用于将特征向量a和特征向量b合并为特征向量c；所述向量降维单元，用于将特征向量集c进行降维处理，获得低维的特征向量集c1。
本发明与现有技术相比，具有如下的优点和有益效果：
1.本发明区别于传统的依赖于专业的硬件设备来进行斜视判别，采用普通的个人可移动设备即可进行斜视检测样本的采集，更适于普及；
2.本发明通过不断优化用于瞳孔定位的深度神经网络参数，能有效提升人脸图片的瞳孔定位的准确性和灵敏性，泛化性提高，为进一步的斜视判定提供了良好的特征；
3.本发明填补了当前没有简易的儿童斜视判断装置的空白，为人们生活节约时间、经济成本；
4.本发明提出的基于视频的斜视判别，解决基于单一图片的斜视判别方法的准确性存疑的问题。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为基于深度神经网络回归的斜视判别方法流程图。
图2为基于深度神经网络回归的斜视判别系统结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1：
如图1所示，本发明基于视频的深度神经网络回归模型的斜视判别方法，包括以下步骤：
步骤1，利用一台家用摄像机采集200个清晰的婴幼儿人脸视频，并对这200个采集得到的婴幼儿人脸视频进行视频筛选，将冗余的、未呈现人脸的视频舍弃，仅保留能准确捕获到人脸区域的有效人脸视频。然后，对所有有效人脸视频进行视频帧提取，得到人脸图片样本。
步骤2，对步骤1得到的人脸图片样本进行人脸检测及人脸关键点检测，获得人脸关键点数据集，并根据人脸关键点数据集建立人脸坐标系。然后，利用关键点定位算法，从每一张人脸图片中进行眼部关键点检测，可检测到双眼眼周的共12个关键点坐标，根据双眼眼周的这12个关键点坐标，即可从人脸关键点数据集中提取出双眼眼周的关键点数据集。接下来，根据双眼眼周的关键点数据集，从每张人脸图片中裁剪出眼周区域图片，得到眼部图片样本。
步骤3：对步骤2裁剪出的所有眼部图片，利用自研瞳孔中心标注工具可以在瞳孔边缘标注出三个点，分别为p1(x1,y1)、p2(x2,y2)、p3(x3,y3)，连接p1、p2、p3这三个点可得到一个三角形。通过求得此三角形的外接圆及外接圆圆心(x,y)即可得到准确的瞳孔中心坐标位置，从而获得瞳孔检测数据集。其中，外接圆圆形(x,y)的计算公式为：
x＝((b-c)*y1+(c-a)*y2+(a-b)*y3)/(2*g)
y＝((c-b)*x1+(a-c)*x2+(b-a)*x3)/(2*g)，
其中，a＝x1^2+y1^2，b＝x2^2+y2^2，c＝x3^2+y3^2，
g＝(y3-y2)*x1+(y1-y3)*x2+(y2-y1)*x3
步骤4：根据步骤3获得的瞳孔检测数据集，建立深度神经网络回归模型，并利用深度神经网络回归模型计算得到瞳孔中心相对坐标数据集。其中，建立深度神经网络回归模型的方法为：
(1)对步骤2得到的眼部图片样本进行标准化处理，使眼部图片样本中的所有眼部图片变为128*64*3的尺寸，得到标准化眼部图片样本；
(2)对标准化眼部图片样本中的每张图片转换为用张量表示，并对张量进行归一化处理，得到归一化张量集；
(3)建立初始深度神经网络回归模型；
(4)将归一化张量集代入初始深度神经网络回归模型进行训练，计算得到参数，并得到最终的深度神经网络回归模型。
最后将归一化向量集代入最终得到的深度神经网络回归模型中，计算得到瞳孔中心相对坐标数据集。
步骤5：将获取眼部图片样本过程中得到的所有眼部关键点坐标映射回步骤2建立的人脸坐标系中，即可获得瞳孔中心在人脸图片样本中的坐标数据集。
步骤6：计算瞳孔中心在人脸图片样本中的坐标数据集相对于眼部关键点坐标数据集之间的欧式距离，得到欧式距离数据集，并将欧式距离数据集用特征向量集a和特征向量集b表示，其中特征向量a和特征向量b中的每个特征向量均为6维。
步骤7：将特征向量集a和特征向量集b合并为特征向量集c，作为所述步骤1所述的人脸图片样本的特征向量集。其中特征向量集c中的每个特征向量为12维。
步骤8：利用pca降维模型对特征向量集c进行降维处理，得到低维的特征向量集c1，特征向量集c1中的每一个特征向量均为2维。其中，对特征向量集c进行降维处理的原理及步骤如下：
设有m条n维数据，(1)将原始数据按列组成n行m列矩阵x；(2)将矩阵x的每一行进行零均值化；(3)求出协方差矩阵
步骤9：建立带有高斯核函数的svm模型，将所述特征向量集c1代入所述带有高斯核函数的svm模型计算得出分类结果，根据所述分类结果对正常人和斜视患者进行判别。
实施例2：
如图2所示，一种基于深度神经网络回归模型的斜视判别系统，包括：
输入模块，用于将拍摄得到的多个人脸视频输入到斜视判别系统中；
人脸数据采集模块，用于对输入的所述多个人脸视频进行处理，获取人脸图片样本和人脸关键点数据集；
眼部数据采集模块，用于从所述人脸图片样本中获取双眼眼周的眼部图片，形成眼部图片样本，以及从人脸关键点数据集中获取双眼眼周的关键点数据，形成关键点数据集；
标准化处理模块，用于对眼部图片样本进行标准化处理，使所述眼部图片样本中的每张图片具有统一的尺寸，得到标准化眼部图片样本；
瞳孔中心标注模块，用于对所述眼部图片样本进行数据标注，获取瞳孔检测数据集；
模型建立模块，用于建立深度神经网络回归模型和分类模型；
图片转化模块，用于将标准化眼部图片样本中的图片转化为用向量表示，得到向量集；
归一化处理模块，用于对向量集中的向量进行归一化处理，得到归一化向量集；
坐标回归模块，用于将归一化向量集代入深度神经网络回归模型中，并计算获得瞳孔中心相对坐标数据集；
图片映射模块，用于将眼部图片样本映射回所述人脸图片样本中，获得瞳孔中心实际坐标数据集；
距离计算模块，用于计算关键点坐标数据集相对于瞳孔中心实际坐标数据集之间的欧式距离，得到欧式距离数据集；
向量处理模块，用于对初始双眼特征向量集进行合并和降维处理，得到二维特征向量；
分类模块：用于将得到的二维特征向量集代入分类模型中，计算获得分类结果，并将分类结果输出。
所述人脸数据采集模块，包括人脸图片样本采集单元体和人脸关键点数据集采集单元，所述人脸图片样本采集单元，用于对所述多个人脸视频进行视频帧提取，获得人脸图片样本；所述人脸关键点数据采集单元，用于运用人脸检测算法从所述人脸图片样本中获取人脸关键点坐标数据集；
所述眼部数据采集模块，包括双眼眼周关键点坐标数据提取单元和眼部图片提取单元，所述双眼眼周关键点坐标数据单元，用于从人脸关键点坐标数据中提取出双眼眼部关键点坐标数据；所述眼部图片提取单元，用于从人脸图片样本中提取出眼部图片样本；
所述模型管理模块，包括模型初始化单元、模型参数计算单元和模型存储单元，所述模型初始化单元，用于存储初始深度神经网络回归模型，供计算模型参数时调用；所述参数计算单元，用于计算深度神经网络回归模型参数，并将所述深度神经网络回归模型参数代入所述初始深度神经网络回归模型，得到最终的深度神经网络回归模型；所述模型存储单元，用于存储最终的深度神经网络回归模型，供坐标回归时调用；
所述向量处理模块，包括向量合并单元和向量降维单元，所述向量合并单元用于将特征向量a和特征向量b合并为特征向量c；所述向量降维单元，用于将特征向量集c进行降维处理，获得低维的特征向量集c1。其中，人脸数据采集模块，包括人脸图片样本采集单元体和人脸关键点数据集采集单元，所述人脸图片样本采集单元，用于对所述多个人脸视频进行视频筛选和视频帧提取，获得人脸图片样本；所述人脸关键点数据采集单元，用于运用人脸检测算法从所述人脸图片样本中获取人脸关键点数据集；
使用时，利用输入模块将拍摄得到的200个婴幼儿人脸视频输入到人脸数据采集模块中的人脸图片样本采集单元中，由人脸图片样本采集单元对拍摄得到的200个人脸视频进行视频筛选和视频帧提取，获得人脸图片样本，并将人脸图片样本传送给人脸数据采集模块中的人脸关键点数据集采集单元。人脸关键点数据采集单元根据接收到的人脸图片样本，运用人脸检测算法从人脸图片样本中获取人脸关键点数据集，并将人脸关键点数据集传送给眼部数据采集模块中的关键点坐标数据提取单元。
关键点坐标数据提取单元根据接收到的人脸关键点数据集，从人脸关键点坐标数据集中提取出眼部关键点坐标数据集，并将关键点坐标数据集发送给眼部图片提取单元；眼部图片提取单元根据眼部关键点坐标数据集，从人脸图片样本中提取出眼部图片样本，并将眼部图片样本发送给标准化处理模块。
标准化处理模块将接收到的眼部图片样本中的每张图片调整为128*64*3的尺寸，从而得到标准化眼部图片样本，并将标准化眼部图片样本发送给瞳孔中心标注模块，对眼部图片样本进行数据标注，获取瞳孔检测数据集，并将瞳孔检测数据集发送给模型建立模块中的参数计算单元。
根据瞳孔检测数据集构建深度申请网络回归初始化模型，并将深度神经网络回归初始化模型存入模型建立模块的模型初始化单元中；模型建设模块中的参数计算单元调用模型初始化单元中的初始深度神经网络回归模型，同时从标准化处理模块中调取标准化眼部图片样本并代入初始深度神经网络回归模型中，计算得到模型参数，并得到最终的深度神经网络回归模型；参数计算单元将建立完成的深度神经网络回归模型和标准化眼部图片样本同时发送给坐标回归模块。
坐标回归模块利用接收到的深度神经网络回归模型和标准化眼部图片样本进行计算，得出瞳孔中心相对坐标数据集。值得注意的是，在回归坐标模块进行计算之前，可选择利用归一化处理模块对标准化图片样本进行归一化处理。
图片映射模块从标准化处理模块中调取标准化眼部图片样本，并将标准化眼部图片样本映射回所述人脸图片样本中，从而获得瞳孔中心实际坐标数据集；
距离计算模块从图片映射模块中获取瞳孔中心实际坐标数据集，并从眼部关键点采集单元中调取眼部关键点坐标数据集，计算眼部关键点坐标数据集相对于瞳孔中心实际坐标数据集之间的欧式距离，得到欧式距离数据集，将欧式距离数据集用特征向量集a和特征向量集b表示。
向量处理模块将距离计算模块中的特征向量集a和特征向量集b合并为特征向量集c，并对特征向量集c做降维处理得到低维的特征向量集c1。
最后，由分类模块调用分类模型，对特征向量集c1进行分类计算，将分类结果发送至判别输出模块将判别结果输出。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！