1.本发明涉及医学领域，尤其涉及一种基于光流法的眼震类型识别方法。
背景技术：
：：2.良性阵发性位置性眩晕（benignparoxysmalpositionalvertigo，bppv）是最常见的前庭周围性疾病。当疾病发作时，患者可有剧烈眩晕、不稳等症状，严重者可有恶心、呕吐，不敢睁眼及行走，反复发作亦可引起紧张、焦虑情绪，可严重威胁人们的健康生活及工作。bppv显著增加了老年人的跌倒风险，在一定程度上增加了社会经济负担。3.bppv病症的主要特点为头部运动至特定位置时诱发的短暂眩晕，同时伴随具有特征性的眼球震颤。根据眼球运动的方向，眼球震颤分为水平、垂直、旋转型等，这几种眼球震颤模式常常以混合方式出现，比如“水平加旋转”、“垂直加旋转”等。根据发病位置，bppv类型主要可分为后半规管bppv（posteriorcanal-bppv，pc-bppv）、水平半规管bppv（horizontalcanal-bppv，hc-bppv）、前半规管bppv（anteriorcanal-bppv，ac-bppv)和混合型bppv（multiplecanals-bppv，mc-bppv)。其中后半规管bppv和水平半规管bppv最常见3.（vonbrevernm,bertholonp,brandtt,etal.benignparoxysmalpositionalvertigo:diagnosticcriteria[j].journalofvestibularresearch,2015,25(3,4):105-117.）。在临床实践中，主要采用特定位置动作引起的眼球震颤的临床特征和模式，如dix-hallpike试验和仰卧滚动试验，对bppv进行诊断。[0004]目前眩晕疾病的临床眼震检查方法主要包括：（1）裸眼检查法：检查者立于受检者正前方或稍偏于一侧。受检者按检查者手指所示方向，向左、右、上、下及正前方5个基本方向注视，观察其眼球运动。[0005]（2）眼震电图法：利用角膜（正电位）与视网膜（负电位）之间存在的电位差在眼球周围形成的电场。眼球运动时周围的电场随之发生变化，置于眼球周围的皮肤电极就能导出这种电场的变化，通过放大器传给记录装置，即可记录到眼震电图。分析眼震电图的主要参数是眼震的慢相角速度和持续时间。[0006]（3）眼震视图法：采用红外线照明和高速摄像头进行眼震影像的采集，医生通过观察和分析眼震影像来诊断眼震类型。目前有研究利用模板匹配、光流法、深度学习等方法分析眼震影像，进而判断眼震类型。[0007]现有的检查方法存在以下缺点：（1）裸眼检查法：医生目测分析眼震时，旋转性眼震的方向常常不易辨别，同时一些细微的眼震容易被肉眼所忽略，这些都会影响bppv的定位诊断和后续复位治疗。[0008]（2）眼震电图法：在试验中，不同人的角膜视网膜电位常常不同，每次检测时都需要定标且容易受病人情绪的干扰；由于表示眼震的生物电信号极其微弱，需要经过放大器放大才能检测出明显的信号，其他生物信号的干扰或者环境中的电磁干扰均可对检测结果造成影响；目前该技术只能检测水平性眼震和垂直性眼震，无法检测旋转性眼震；眼震电图检测对于设备和环境要求很高，且设备价格高昂、不易普及。[0009]（3）眼震视图法：目前常见的眼震视图法主要通过视频眼罩采集眼震视频，医生查看拍摄的患者眼震视频进行诊断。眼震视频多、时间长，依靠医生人工检查与诊断，检查过程耗时久且重复性差，每次诊断都受医生的经验和主观因素影响。在患者数量大的情况下，医生的工作量会显著增大，导致诊断效率降低等问题。[0010]在眼震视图法中，如何识别旋转性眼震是关键问题。有的研究人员利用虹膜的模板匹配跟踪眼球的旋转运动[4]（tanakat,tominagas.analysisofrotationalvertigousingvideoandimageprocessing[c]//20114thinternationalconferenceonbiomedicalengineeringandinformatics(bmei).ieee,2011,1:122-127.），有的通过提取虹膜外圈区域展平为矩形图案然后计算前后两帧虹膜图案的特征点移动来检测眼球旋转运动[5]（ongjky,haslwantert.measuringtorsionaleyemovementsbytrackingstableirisfeatures[j].journalofneurosciencemethods,2010,192(2):261-267.）。这两种方法能够在一定条件下测量眼球旋转运动，但是虹膜会因为瞳孔的放大或缩小而变化，且多数病人在临床检查时无法完全睁开眼睛，导致模板无法匹配。还有研究人员利用光流法追踪虹膜特征点来获取眼球旋转运动信息，文献[2]（stahlbk,soareslp,sangalliva,etal.directflow:arobustmethodforoculartorsionmeasurement[c]//2019ieee43rdannualcomputersoftwareandapplicationsconference(compsac).ieee,2019,1:300-305.）利用lucas-kanade-pyrm（lkp）光流算法追踪前后两帧中虹膜特征点的光流，以此测量眼球的旋转运动，但是瞳孔扩张、灯光反射等干扰会导致追踪效果下降或丢失特征点。文献[1]（zhangw,wuh,liuy,etal.deeplearningbasedtorsionalnystagmusdetectionfordizzinessandvertigodiagnosis[j].biomedicalsignalprocessingandcontrol,2021,68:102616.）利用稠密光流场检测眼球是否有旋转运动，但是没有深入研究不同眼震下的光流运动，只能区分有旋转和无旋转两种情况，并不能很好地对多种眼球震颤模式进行区分。文献[6]（limec,parkjh,jeonhj,etal.developingadiagnosticdecisionsupportsystemforbenignparoxysmalpositionalvertigousingadeep-learningmodel[j].journalofclinicalmedicine,2019,8(5):633.）利用卷积神经网络对眼震视频进行分类，实验结果显示对水平和垂直眼震分类效果不错，但是对扭转性眼震的识别效果较差。综上所述，现有方法无法有效地识别旋转性眼震。技术实现要素：[0011]本发明实施例所要解决的技术问题在于，提供一种基于光流法的眼震类型识别方法，以采集红外眼震视频，分析其眼震类型，辅助医生诊断。[0012]为了解决上述技术问题，本发明实施例提出了一种基于光流法的眼震类型识别方法，包括：步骤1：通过红外摄像头采集患者的眼震视频，t指眼震视频v的总帧数；步骤2：每隔1帧提取眼震视频的视频帧；步骤3：设定一个阈值，计算瞳孔面积所占画面比例是否超过阈值，超过阈值则保留该视频帧，否则删去该视频帧，去除其中的闭眼帧；步骤4：采用迁移学习方法分割出保留的视频帧的虹膜部分；步骤5：计算连续的视频帧的光流，并将其光流以hsv颜色空间表示，其中每个像素点的色调代表方向，强度代表大小；以瞳孔中心为图像中心，裁剪得到光流图；步骤6：构建并训练的resnet+lstm网络模型，将得到的光流图按顺序输入到训练好的resnet+lstm网络模型，通过网络模型自动识别眼震类型。[0013]进一步地，步骤3中，采用以下步骤去除闭眼帧：（1）对帧做开运算，即先侵蚀后扩张，消除瞳孔及巩膜部分反射灯光的亮点；（2）对帧做闭运算，即先扩张后侵蚀，消除眉毛及睫毛；（3）计算本段视频的所有帧中最低灰度值的均值l和最低平均灰度值m，使用（l+m）/2作为二值化阈值，对视频帧做二值化处理；（4）计算本段视频的所有帧中，二值化处理后瞳孔面积所占画面比例的平均值t，将该平均值作为阈值；（5）对每一帧做二值化处理，计算其瞳孔所占画面比例r；（6）若r大于t，则保留该视频帧，否则视为闭眼帧删除。[0014]本发明的有益效果为：（1）提出了新的基于眼震视频数据的眼震分类方案。该方案只需要获取患者的眼部红外视频数据即可，对设备要求低，普适性较强，可用于大多数临床诊断眼震过程。[0015]（2）方案结合了多种基于深度学习的方法，包括虹膜分割、光流计算等，能够有效减少眼震识别过程中眼睑、睫毛遮挡以及瞳孔收缩或放大对眼震类型分类结果的影响，提高了眼震类型识别的准确度。[0016]（3）不同的患者眼睑遮挡程度不同，不同的眼震视频由于医生的操作导致对比度、亮度等数值也不同。本方案采用基于同一眼震视频的自适应阈值的方法，能够有效获取本眼震视频的瞳孔灰度值并去除闭眼帧，而不需要手动设置阈值。[0017]（4）本方案利用光流法处理眼震视频，即使是一个像素的位移变化也能计算并显示出来，能够有效检测到微弱眼震的发生。将光流处理过的图像输入到resnet+lstm网络中能有效地识别水平、垂直和旋转性眼震类型。附图说明[0018]图1是本发明实施例的基于光流法的眼震类型识别方法的流程图。[0019]图2是本发明实施例的去除闭眼帧的流程示意图。[0020]图3是本发明实施例利用神经网络模型分割虹膜图像的示意图。[0021]图4是本发明实施例的利用神经网络模型计算光流并转换为hsv颜色空间表示的示意图。[0022]图5是本发明实施例的resnet+lstm网络模型结构的示意图。具体实施方式[0023]需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。[0024]请参照图1，本发明实施例的基于光流法的眼震类型识别方法包括以下步骤：步骤1：输入使用红外摄像头采集的患者眼震视频。，t指眼震视频v的总帧数。[0025]步骤2：每隔1帧提取输入视频的视频帧。假如连续取帧，微弱眼震的瞳孔位移会不够明显。通过间隔取帧，可以使帧间微弱眼震的瞳孔位移量变大，这样还可以减少数据量。[0026]步骤3：去除闭眼帧，其方法流程如图2所示。设定一个阈值，计算瞳孔面积所占画面比例是否超过阈值，超过阈值则保留该视频帧，否则删去该视频帧。具体地对每段视频做以下处理：（1）对帧做开运算，即先侵蚀后扩张，消除瞳孔及巩膜部分反射灯光的亮点。[0027]（2）对帧做闭运算，即先扩张后侵蚀，消除眉毛及睫毛。[0028]（3）计算本段视频的所有帧中最低灰度值的均值l和最低平均灰度值m，使用（l+m）/2作为二值化阈值，对视频帧做二值化处理。[0029]（4）计算本段视频的所有帧中，二值化处理后瞳孔面积所占画面比例的平均值t，将该平均值作为阈值。[0030]（5）对每一帧做二值化处理，计算其瞳孔所占画面比例r。[0031]（6）若r大于t，则保留该视频帧，否则视为闭眼帧删除。[0032]步骤4：利用迁移学习方法，分割出视频帧的虹膜部分。选用unet作为网络框架，以resnet34作为网络主干训练模型。在imagenet预训练模型的基础上，利用标注好的虹膜数据集训练模型，得到虹膜分割模型（wangc,wangy,zhangk,etal.niririschallengeevaluationinnon-cooperativeenvironments:segmentationandlocalization[c]//2021ieeeinternationaljointconferenceonbiometrics(ijcb).ieee,2021:1-10.）。虹膜分割的最终效果如图3所示。[0033]步骤5：计算连续的视频帧的光流，并将其光流以hsv颜色空间表示，其中每个像素点的色调代表方向，强度代表大小。以瞳孔中心为图像中心，裁剪光流图，裁剪后的光流图效果如图4所示。[0034]步骤6：将由眼震视频计算得出的光流图按顺序输入到训练好的resnet+lstm网络模型，神经网络模型自动识别眼震类型。resnet+lstm网络模型结构如图5所示，输入的一系列图像数据通过resnet提取特征，再按顺序输入到lstm网络中，最终得出眼震类型分类结果。resnet+lstm网络模型的训练数据为经由步骤5所得的光流图，一段眼震视频计算出一系列光流图，每一段视频对应标签为本段视频的眼震类型。[0035]本发明结合光流法和深度学习识别眼震类型，可以有效、准确地识别旋转性眼震。[0036]尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。当前第1页12当前第1页12