一种快眼动睡眠分析方法、系统及设备与流程

本申请属于医学信号处理技术领域，具体涉及一种快眼动睡眠分析方法、系统及设备。

背景技术：

夜晚睡眠结构分析对了解睡眠病患的睡眠情况有着十分重大的意义，在睡眠结构的分析中，快眼动睡眠与非快眼动睡眠是睡眠结构中两个重要的组成部分。其中，在非快眼动期，偶尔出现慢眼动。但快眼动期有明显的共轭性、不规则、锐利的眼动，并伴随着时相性肌肉颤搐。由于这些特征，快眼动期与非快眼动期分析在临床上主要使用多导睡眠监测中的眼电信号、下颏肌电信号以及脑电信号进行判读。

目前，自动化的快眼动睡眠分析方法主要也是基于脑电信号、眼电信号、肌电信号或两者、三者的结合。这些信号的采集都需要病患在面部或头部佩戴额外的实验设备，如脑电电极、肌电电极和眼电电极。这些设备会给病患带来额外的负担，对患者的睡眠产生影响导致睡眠质量的下降。除此之外，随着深度学习方法在计算机视觉领域的快速发展，通过视频来进行快眼动的自动判断不再是一个难以攻克的问题。

技术实现要素：

针对上述现有技术存在的问题，本申请提供的技术方案如下：

第一方面，本申请实施例提供了一种快眼动睡眠分析方法，所述方法包括：将视频多导睡眠监测数据进行快眼动期和非快眼动期的分类，将分类结果和视频数据按对应关系保存；对视频数据进行数据预处理，并将预处理完的视频数据和对应分类结果分成训练集、测试集；基于深度神经网络对训练集中的视频数据进行特征学习，参照给出的对应分类结果进行分类，并在测试集上对深度神经网络进行一定的调整；将待分类的视频信息进行预处理、分片，得到与深度神经网络的输入相匹配的输入数据；输入深度神经网络得到网络输出结果。

采用上述实现方式，使用视频监控的模式来进行快眼动睡眠的自动分析，可以大大减少医生在睡眠分期上的工作时间，提高工作效率。除此之外，还可以用于视频多导睡眠监测系统的简化，代替下颏肌电与眼电，减少视频多导睡眠监测系统的复杂程度，降低给病人带来的接触式影响，我们知道，睡眠检查广泛应用于睡眠呼吸暂停患者和失眠患者，减少接触式影响对失眠患者而言具有十分重要的意义。

结合第一方面，在第一方面第一种可能的实现方式中，所述将视频多导睡眠监测数据进行快眼动期和非快眼动期的分类，将分类结果和视频数据按对应关系保存，包括：获取视频多导睡眠监测记录信息，所述视频多导睡眠监测记录信息包括：眼电信号、肌电信号、脑电信号和视频信号；获取临床医生标记的对应快眼动分期标注；根据所述视频多导睡眠监测记录信息和所述临床医生标记的对应快眼动分期标注获得所述快眼动期数据和非快眼动期数据。

结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，对所述视频数据进行数据预处理，并将预处理完的视频数据和对应分类结果分成训练集、测试集，包括：按照医生给出标记的最小快眼动期分期时间间隔将所述视频数据划分成记录片段，每个片段时间长度相同，并且对应一个分期标签；对所述视频数据进行预处理操作，所述预处理操作包括：重采样和计算光流叠加；根据上述操作使用处理完的所述视频数据以及分期标签构造处理完全的标准数据集；将该标准数据集分为训练集、测试集。

结合第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，所述基于深度神经网络对训练集中的视频数据进行特征学习，参照给出的对应分类结果进行分类，并在测试集上对深度神经网络进行一定的调整，包括：基于深度神经网络使用训练集对其进行训练；使用测试集进行测试并调整模型的参数。

第二方面，本申请实施例提供了一种快眼动睡眠分析系统，所述系统包括：数据分类模块，用于将视频多导睡眠监测数据进行快眼动期和非快眼动期的分类，将分类结果和视频数据按对应关系保存；数据预处理模块，用于对视频数据进行数据预处理，并将预处理完的视频数据和对应分类结果分成训练集、测试集；特征学习模块，用于基于深度神经网络对训练集中的视频数据进行特征学习，参照给出的对应分类结果进行分类，并在测试集上对深度神经网络进行一定的调整；数据输入模块，用于将待分类的视频信息进行预处理、分片，得到与深度神经网络的输入相匹配的输入数据；输出结果模块，用于输入深度神经网络得到深度神经网络输出结果。

结合第二方面，在第二方面第一种可能的实现方式中，所述数据分类模块包括：第一获取单元，用于获取视频多导睡眠监测记录信息，所述视频多导监测记录信息包括：眼电信号、肌电信号、脑电信号和视频信号；第二获取单元，用于获取临床医生标记的对应快眼动分期标注；分类单元，用于根据所述视频多导监测记录信息和所述临床医生标记的对应快眼动分期标注获得所述快眼动期数据和非快眼动期数据。

结合第二方面第一种可能的实现方式，在第二方面第二种可能的实现方式中，所述数据预处理模块包括：数据划分单元，用于按照医生给出标记的最小快眼动期分期时间间隔将所述视频数据划分成记录片段，每个片段时间长度相同，并且对应一个分期标签；预处理单元，用于对所述视频数据进行预处理操作，所述预处理操作包括：重采样和计算光流叠加；构造单元，用于根据上述操作使用处理完的所述视频数据以及分期标签构造处理完全的标准数据集；将该标准数据集分为训练集、测试集。

结合第二方面第二种可能的实现方式，在第二方面第三种可能的实现方式中，所述特征学习模块包括：训练单元，用于基于深度神经网络使用训练集对其进行训练；测试单元，用于使用测试集进行测试并调整模型的参数。

第三方面，本申请实施例提供了一种快眼动睡眠分析设备，包括：处理器；存储器，用于存储计算机可执行指令；当所述处理器执行所述计算机可执行指令时，所述处理器执行第一方面或第一方面任一可能实现方式所述的快眼动睡眠分析方法

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种快眼动睡眠分析方法的流程示意图；

图2为本申请实施例提供的一种深度神经网络结构示意图；

图3为本申请实施例提供的一种快眼动睡眠分析系统的示意图；

图4为本申请实施例提供的一种快眼动睡眠分析设备的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

目前大多数的多导睡眠监测系统都包含了视频信号的采集，而且由于阅读长时间的视频信息将耗费大量的人力物力，这些信息并没有被很好的利用起来。而由于近年来计算机视觉算法的发展，自动的视频图像分析技术逐渐成熟，利用深度学习算法进行视频的分类变得可行。

图1为本申请实施例提供的一种快眼动睡眠分析方法的流程示意图，参见图1，本申请实施例中的快眼动睡眠分析方法包括：

s101，将视频多导睡眠监测数据进行快眼动期和非快眼动期的分类，将分类结果和视频数据按对应关系保存。

具体地，获取视频多导睡眠监测记录信息，所述监测记录信息包括：眼电信号、肌电信号、脑电信号和视频信号。获取临床医生标记的对应快眼动分期标注、根据所述视频多导睡眠监测记录信息和所述临床医生标记的对应快眼动分期标注获得所述快眼动期数据和非快眼动期数据。

在本发明实施例中，所述视频多导睡眠监测数据是临床实际中收集的具有眼电、肌电、脑电以及视频信号的睡眠病患多导睡眠监测检查记录。该类记录包含，多导睡眠监测中各个信号的原始信号数据、医生给出的睡眠分期报告，其包括非眼球快速运动睡眠(nrem即非快眼动期睡眠)和眼球快速运动睡眠(rem即快眼动期睡眠)的分期标注。

s102，对视频数据进行数据预处理，并将预处理完的视频数据和对应分类结果分成训练集、测试集。

在本发明实施例中，所述的数据预处理方法具体解决数据分片和重采样的问题。所述对所述快眼动期数据进行预处理具体包括：

按照医生给出标记的最小快眼动期分期时间间隔将所述视频数据划分成记录片段，每个片段时间长度相同，并且对应一个分期标签。

在本发明实施例中，视频数据集包含有按照时间顺序对应的快眼动期和非快眼动期标注。所述的最小快眼动期分期时间间隔为多导睡眠监测报告显示的最小睡眠分期分辨时间，如：报告结果显示最小分辨时间为30秒，非快眼动区域的时长都为30秒的倍数。而上述每个片段给出的标识，以0、1区分，例如，用标识0表示该定长片段全部位于属于非快眼动期，而标识1表明该定长片段全部位于快眼动期。根据上述描述，将视频按照最小分辨时间划分为片段，每个片段给出一个0、1标识。

对所述视频数据进行预处理操作，所述预处理操作包括：重采样和计算光流叠加。

原始的视频数据在图像的大小和采样的帧数上不一定满足后续深度神经网络的需求，因此，在该步骤中对视频进行大小、帧数的调整。

根据上述操作使用处理完的所述视频数据以及分期标签构造处理完全的标准数据集。

按照特定比例将该标准数据集分为训练集、测试集。

在本发明实施例中，将预处理完的视频数据和对应分类结果分成训练集、测试集，所述分成训练集、测试集的方法可采取按比例分配，该比例为8：2。即所有的模型获取所用的视频数据将按照与是否为快眼动对应的方式被分为，训练集占80％，测试集占20％。

s103，基基于深度神经网络对训练集中的视频数据进行特征学习，参照给出的对应分类结果进行分类，并在测试集上对深度神经网络进行一定的调整。

具体地，基于深度神经网络使用训练集对其进行训练，使用测试集进行测试并调整模型的参数。

在本发明实施例中，提供了如图2的一种深度神经网络结构示意图。该深度神经网络呈现一个由三维视频块到输出快眼动、非快眼动标签的结构，其中三维视频块由多帧图片拼合而成，规模为h*w*f，h表示视频图像的长度，w表示视频图像的宽度，f表示包含的视频图像帧数。该深度神经网络包含两种特征提取模块，模块一由一个三维卷积层和三维池化层构成，模块二由两个三维卷积层和一个三维池化层构成。整个深度神经网络顺序包含两个模块一，三个模块二构成的特征提取模块组，两个全连接层构成的特征融合层以及softmax层构成的分类层。

在本发明实施例中，第一个模块一中的三维卷积层的数量为一个，其卷积核数目为64，卷积核大小为3*3*3，步长为1*1*1；其中的三维池化层的数量为一个，池化核大小为1*2*2。第二个模块一中的三维卷积层的数量为一个，其卷积核数目为128，卷积核大小为3*3*3，步长为1*1*1；其中的三维池化层的数量为一个，池化核大小为2*2*2。第一个模块二中的三维卷积层的数量为两个，其中两个卷积核数目都为256，卷积核大小也都为3*3*3，步长为1*1*1；其中的三维池化层的数量为一个，池化核大小为2*2*2。第二个模块二中的三维卷积层的数量为两个，其中两个卷积核数目都为512，卷积核大小也都为3*3*3，步长为1*1*1；其中的三维池化层的数量为一个，池化核大小为2*2*2。第三个模块二中的三维卷积层的数量为两个，其中两个卷积核数目都为512，卷积核大小也都为3*3*3，步长为1*1*1；其中的三维池化层的数量为一个，池化核大小为2*2*2。两个全连接层的神经元个数前者为3096，后者为2，输出的softmax为两类。

s104，将待分类的视频信息进行预处理、分片，得到与深度神经网络的输入相匹配的输入数据。

在本发明实施例中，待分类的视频信息按照s102中预处理方法进行预处理，并分片。

s105，输入深度神经网络得到深度神经网络输出结果。

由上述实施例可知，本申请实施例提供了一种快眼动睡眠分析方法，使用视频监控的模式来进行快眼动睡眠的自动分析，可以大大减少医生在睡眠分期上的工作时间，提高工作效率。除此之外，还可以用于视频多导睡眠监测系统的简化，代替下颏肌电与眼电，减少多导睡眠监测系统的复杂程度，降低给病人带来的接触式影响，提高了进行多导睡眠监测病患的舒适度。

与上述实施例提供的一种快眼动睡眠分析相对应，本申请还提供了一种快眼动睡眠分析系统的实施例，参见图3，所述快眼动睡眠分析系统20包括：数据分类模块201、数据预处理模块202、特征学习模块203、数据输入模块204和输出结果模块205。

数据分类模块201，用于将视频多导睡眠监测数据进行快眼动期和非快眼动期的分类，将分类结果和视频数据按对应关系保存。数据预处理模块200，用于对视频数据进行数据预处理，并将预处理完的视频数据和对应分类结果按一定比例分成训练集、测试集。特征学习模块203，用于基于深度神经网络对训练集中的视频数据进行特征学习，参照给出的对应分类结果进行分类，并在测试集上对深度神经网络进行一定的调整。数据输入模块204，用于将待分类的视频信息进行预处理、分片，得到与深度神经网络的输入相匹配的输入数据。输出结果模块205，用于输入深度神经网络得到深度神经网络输出结果。

进一步地，所述数据分类模块包括：第一获取单元，用于获取视频多导睡眠监测记录信息，所述视频多导睡眠监测记录信息包括：眼电信号、肌电信号、脑电信号和视频信号。第二获取单元，用于获取临床医生标记的对应快眼动分期标注。分类单元，用于根据所述视频多导睡眠监测记录信息和所述临床医生标记的对应快眼动分期标注获得所述快眼动期数据和非快眼动期数据。

所述数据预处理模块包括：数据划分单元，用于按照医生给出标记的最小快眼动期分期时间间隔将所述视频数据划分成记录片段，每个片段时间长度相同，并且对应一个分期标签。预处理单元，用于对所述视频数据进行预处理操作，所述预处理操作包括：重采样和计算光流叠加。构造单元，用于根据上述操作使用处理完的所述视频数据以及分期标签构造处理完全的标准数据集。按照特定比例将该标准数据集分为训练集、测试集。

所述特征学习模块包括：训练单元，用于基于深度神经网络使用训练集对其进行训练。测试单元，用于使用测试集进行测试并调整模型的参数。

本申请实施例还提供了一种快眼动睡眠分析设备，参见图4，所述快眼动睡眠分析设备30包括：处理器301、存储器302和通信接口303。

在图4中，处理器301、存储器302和通信接口303可以通过总线相互连接；总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器301通常是控制快眼动睡眠分析设备30的整体功能，例如快眼动睡眠分析设备的启动、以及快眼动睡眠分析设备启动后将视频多导睡眠监测数据中视频信息分为快眼动期数据和非快眼动期数据，对所述视频数据进行预处理，以获得训练集、测试集，基于深度神经网路对预处理后的所述视频数据进行特征学习和分类，分析快眼动期检测结果等。

处理器301可以是通用处理器，例如，中央处理器(英文：centralprocessingunit，缩写：cpu)，网络处理器(英文：networkprocessor，缩写：np)或者cpu和np的组合。处理器也可以是微处理器(mcu)。处理器还可以包括硬件芯片。上述硬件芯片可以是专用集成电路(asic)，可编程逻辑器件(pld)或其组合。上述pld可以是复杂可编程逻辑器件(cpld)，现场可编程逻辑门阵列(fpga)等。

存储器302被配置为存储计算机可执行指令以支持快眼动睡眠分析设备30数据的操作。存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

启动快眼动睡眠分析设备30后，处理器301和存储器302上电，处理器301读取并执行存储在存储器302内的计算机可执行指令，以完成上述的快眼动睡眠分析方法实施例中的全部或部分步骤。

通信接口303用于快眼动睡眠分析设备30传输数据，例如实现与客户端和服务端之间的通信等。通信接口303包括有线通信接口，还可以包括无线通信接口。其中，有线通信接口包括usb接口、microusb接口，还可以包括以太网接口。无线通信接口可以为wlan接口，蜂窝网络通信接口或其组合等。

在一个示意性实施例中，本申请实施例提供的快眼动睡眠分析设备30还包括电源组件，电源组件为快眼动睡眠分析设备30的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为快眼动睡眠分析设备30生成、管理和分配电力相关联的组件。

通信组件，通信组件被配置为便于快眼动睡眠分析设备30和其他设备之间有线或无线方式的通信。快眼动睡眠分析设备30可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。通信组件还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在一个示意性实施例中，快眼动睡眠分析设备30可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、快眼动睡眠分析设备、微快眼动睡眠分析设备、处理器或其他电子元件实现。

本申请说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统及设备实施例而言，由于其中的方法基本相似于方法的实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。