基于多任务深度网络的睡眠中癫痫性电持续状态量化方法

本发明属于脑电信号处理以及智慧医疗领域，涉及一种基于多任务的儿童睡眠中癫痫性电持续活动检测、量化以及睡眠分期方法。

背景技术：

1、睡眠中癫痫性电持续状态(epilepticencephalopathywithstatusepilepticusduringsleep，eses)是一种特殊的儿童癫痫性脑病，该病症可以通过睡眠期脑电图中癫痫性电活动来诊断。在非快速眼动睡眠期(nrem)，癫痫性放电则更为普遍与频繁。睡眠增强的癫痫性放电和非快速眼动睡眠中慢波活动的中断通常对患者的发育存在不利影响，且eses还可能导致患者出现认知障碍、行为障碍、语言功能衰退等症状。因此，及早对患儿开展诊疗对eses诊断与预后具有重要意义。然而，eses患者通常没有一致的、明显的临床表现，因此并不容易识别。由于eses的癫痫样放电由一系列的连续棘波与慢波异常组成，使用定量参数对这些放电进行量化分析已成为诊断eses的关键，也可以反应患者病情的演变情况。

2、棘慢波放电指数(spike-waveindex,swi)常被用来量化eses或其他存在癫痫样放电的综合征，其定义为棘波与棘慢波异常的总时长占非快速眼动期时长的百分比。但是，若对脑电图异常放电进行全面的标记和量化，神经科医生必须对脑电图数据进行细致地分析，以发现毫秒级的癫痫样放电，这是非常繁琐和耗时的。此外，医生手工标注结果存在显著差异，即不同的医生可能使用不同的标准来识别癫痫样放电。为了提高癫痫样放电量化的一致性与可靠性，减轻医生的负担，促进eses患儿的早期诊疗，迫切需要开发一种可靠的癫痫样放电自动检测与量化方法。因此，为eses患者建立一个精准、高效、便捷的睡眠癫痫性电持续状态识别与量化分析方法具有较高的经济效益与社会价值。

3、随着相关技术的发展，已有部分研究证明精准地量化癫痫性电持续活动是存在可行性的，现有的研究主要关注下列几个方向：

4、基于模板匹配的癫痫性电持续活动量化：使用人工设置的棘波模板来进行棘波检测，从而进一步实现棘波放电量化。

5、基于信号分类的癫痫性电持续活动量化：通过提取时域、频域与小波域eeg特征并使用分类器对切片后的信号进行分类，从而实现切片信号的类别检测，再结合切片的类别与时长进行癫痫样活动量化。

6、基于形态学与医学知识的癫痫性电持续活动量化：利用形态学方法对eses患者的脑电信号进行处理，获得滤除背景波后的目标波形，并结合医学知识对形态学特征进行综合分析，最终完成癫痫样活动量化。

7、上述方法在实际应用中存在着一定的缺陷。基于模板匹配的方法高度依赖人工选定的预定义模板的参数，使用单一模板可能会产生令人不满意的结果，并且该方法缺乏对慢波异常的检测与量化能力。基于信号分类的方法的性能高度依赖手工提取的特征，而且在面对不同患者时缺乏鲁棒性、泛化性，故该方法的量化性能较差。基于形态学与医学知识的方法需要人工确定阈值与判断逻辑来判定癫痫样放电并量化，对癫痫样活动的定位与检测能力不强。

8、近年来，计算机硬件设备高速发展，而现实应用场景越发复杂多样，基于深度学习的方法得到了更多的关注。在计算机视觉领域，深度学习被广泛应用到了图像分类、语义分割、目标检测等领域。这些端到端的模型能够自动提取数据特征，具有很强的泛化能力，在许多复杂的任务中取得了较好的表现。eses患者睡眠中癫痫性电持续状态的波形复杂多变，促使我们结合深度学习方法，实现更高准确性、更强便捷性癫痫性电持续活动量化。

技术实现思路

1、针对上述睡眠中癫痫性电持续活动识别与量化方法存在的问题，本发明提出了基于多任务深度网络的睡眠中癫痫性电持续状态量化方法(multi-tasklearningmethodwitheegchannelattentionfor epileptiformactivityquantificationanalysis，mcaqn)。该方法可以同时进行癫痫样活动量化与睡眠分期，具有更好的适用性、社会价值与经济价值。

2、本发明中，针对的是eses中一种很常见的bect综合征数据，bect患者间期脑电图最明显的特征即为rolandic区出现大量的棘波和棘慢波复合体。由于原始的多通道(19通道)脑电图信号中可能存在直流偏置、工频干扰和肌肉伪迹，为了减少干扰的影响，采用0.5～70hz带通滤波器和50hz陷波滤波器。滤波后的信号被分割成长度为30秒的数据段，作为后续睡眠分期和swi量化的样本。对单个30秒数据样本分别标注睡眠期与癫痫样活动区域，以供后续训练深度网络使用。本发明使用经过预处理后的19通道的脑电信号作为mcaqn的输入。mcaqn使用典型的特征提取网络resnet34的一维版本作为共享特征提取网络。共享特征提取网络旨在从输入的多通道信号中学习丰富的任务共享特征。共享特征在共享网络的不同深度层的特征映射中进行编码。然后，与每个特定任务网络中的信号通道注意力模块连接，以学习特定任务的特征。最后，将得到的加权后特征图分别输入到癫痫样活动分割解码器以及睡眠分期分类器中，同时实现样本的棘慢波放电指数测算与当前睡眠阶段的识别。

3、本发明的技术方案主要包括以下几个步骤：

4、步骤1、对信号进行预处理操作。对预处理后的19通道脑电图信号进行切分，获得等长的30s样本，并标注各个样本的睡眠期以及癫痫样活动事件。

5、步骤2、将预处理后的19通道脑电图信号输入到mcaqn模型的共享特征提取网络进行特征提取，获得任务共享特征。

6、步骤3、将任务共享特征分别输入到任务专用信号通道注意力模块，获得任务独立的自适应加权后的特征图。

7、步骤4、将癫痫样活动分割任务的特征图输入到癫痫样活动分割解码器，该解码器对每一个采样点进行类别判定，从而获得单个样本的癫痫样活动的细粒度标签输出。通过细粒度标签输出获得总的放电时间长度，并得到单个样本的棘慢波放电指数。

8、步骤5、将睡眠分期任务的特征图输入到睡眠分期分类器，得到每一个样本的睡眠阶段，即清醒期(wake)、非快速眼动睡眠期(nrem)、快速眼动睡眠期(rem)。

9、步骤6、通过预处理后的数据训练mcaqn模型，结合步骤4、5的输出，实现儿童睡眠中癫痫性电持续活动识别与量化。

10、所述步骤1的具体流程如下：

11、步骤1-1、对原始信号进行预处理：采用0.5-70hz带通滤波器、50hz陷波滤波器滤除工频电干扰并进行了去趋势操作，从而滤除信号中存在的干扰成分。

12、步骤1-2、对预处理好的数据进行切分，将选取的数据统一划分为30s长度的数据样本，并对各个数据段进行睡眠期和癫痫样活动事件进行标注得到数据样本的标签。睡眠期标注为清醒期(wake)、非快速眼动睡眠期(nrem)、快速眼动睡眠期(rem)。癫痫样活动事件标注为起始时间点与持续时间的组合。

13、步骤1-3、将癫痫样活动事件的标签转换为细粒度标签，具体来说，将原始的起始时间与持续时间的组合形式转换为字符0、1。将癫痫样活动数据点定义为字符1，将非癫痫样活动数据点定义为字符0。每个样本的长度为30s，采样率为500hz，因此得到的细粒度标签为1*15000的矢量。

14、所述步骤2的具体流程如下：

15、步骤2-1、将19通道脑电图信号以及睡眠标签、癫痫样活动细粒度标签作为mcaqn模型的输入，首先经过共享特征提取网络从输入的多通道信号中学习丰富的任务共享特征。共享特征提取网络采用典型的特征提取网络resnet34的一维版本，它由4个编码块构成。第一个编码块将尺寸为(19b*1*15000)的输入使用32个卷积核大小为5的卷积层进行卷积，经过批归一化和relu层后得到(19b*32*5000)的特征图，其中b代表训练的批大小(batchsize)。此后，每经过一层编码块，特征通道的数量增加一倍，该层的输出大小减半。经过最后一层编码块后，得到尺寸为(19b*512*312)的特征图。

16、步骤2-2、调整特征图尺寸为(b*19*512*312)，并将单个批次的特征图f(19*512*312)输入到每个特定任务网络中的信号通道注意力模块中，以供各任务专用信号通道注意力模块使用。

17、所述步骤3的具体流程如下

18、步骤3-1、将上一步得到的特征图f∈rd×c×l分别输入每个特定任务网络中的专用信号通道注意力模块，其中d、c、l分别表示脑电通道数、特征通道数、特征长度。首先，使用特定任务的卷积块进行卷积，该卷积两个二维卷积层组成。经过批处理归一化后，得到特征图

19、步骤3-2、使用二维avgpooling层，得到特征图z∈rd，z的每一个元素计算如下：

20、

21、其中zd为z的第d个元素，vd为v的第d个元素。z结合特征通道和特征长度信息来描述特征的全局分布。脑电信号通道间的相关性由两个全连接层建模。定义脑电信号通道注意权重(ecw)为：

22、ecw＝σ(w2δ(w1z))    (2)

23、其中，w1∈rdr×d和w2∈rd×dr为网络参数，δ为relu激活函数，σ为softmax函数，r为上采样比。最后再通过softmax函数得到每个脑电信号通道的ecw(1×19)。最后以调整尺寸后的特征图f*进行加权运算，并对特征图的尺寸进行调整，最终分别得到加权特征图f1，f2(512×312)。其中f1，f2分别是癫痫样活动量化特征图以及睡眠分期任务特征图。

24、进一步的，r设为16。

25、所述步骤4的具体流程如下：

26、步骤4-1、为了从原始信号中获得癫痫样活动的分割，设计了一个癫痫样活动分割解码器来进行样本点级分割。解码器由多个级联的上采样操作组成，从而将高级特征映射进行解码并输出最后的分割结果。将癫痫样活动量化特征图f1进行上采样操作至32*5000，上采样路径的每一步都由特征映射的转置卷积层组成，该层使输入大小加倍，特征通道数量减半。最后，使用一个步长为3卷积核大小为3的转置卷积以及一个1×1卷积将每个32个成分特征向量映射到所需的类数，得到细粒度癫痫样活动标签输出。

27、步骤4-2、获得细粒度癫痫样活动标签输出后，计算该样本信号(30s)的棘慢波放电指数(swi)。swi是用以量化eses情况的参数，定义为所有棘慢波放电的总时长除以非快速眼动睡眠阶段的总时长，再乘以100％。具体计算公式如下：

28、

29、其中，n表示样本中所含癫痫样活动事件的个数，l表示每一个癫痫样活动事件的持续时间，duration表示非快速动睡眠的持续时长，duration恒等于30s。

30、步骤4-3、使用时间估计误差与事件检测误差来衡量效果。时间估计误差指单个30s信号段的实际swi和方法估计的swi的差值，计算如下：

31、swierror＝|swi_l-swi_pre|    (5)

32、其中，swi_l指实际的放电指数，swi_pre指预测的放电指数，两者差值的绝对值作为放电指数误差swierror。并使用范围内放电指数误差(percentage of swi error withinq％，pct(q％))来衡量不同等级的swierror的分布情况，q表示不同的误差级别，若swierror小于5％的样本占总样本的比例为10％，则pct(5％)的值为10％，以此类推。

33、对于检测癫痫样活动，使用联合交叉(iou)进行比较，以测量检测到的癫痫样活动事件与医生标记的事件(金标准事件)相匹配的程度。iou通常用于量化检测任务中两个事件之间的重叠程度，定义为它们的交集大小与它们的并集大小之比。如果两个事件完全重叠，则iou等于1。相反，如果它们完全不重叠，则iou显然为0。为了确定两个事件是否匹配，需要设置阈值iou_th(0-1)。如果检测到的事件和黄金标准事件的iou大于或等于阈值，则认为它们是匹配的。金标准事件中可能存在多个癫痫样活动，因为在标记癫痫样活动时，间隔小于0.3s的两个事件合并为一个事件。因此，如果多个检测到的事件与金标准事件重叠，则将检测到的事件进行合并，然后用金标准事件计算匹配度。检测到的与金标准事件匹配的事件数是tp，反之为fp。将金标准事件识别为正常事件的事件数是fn。采用precision、recall来评估事件检测的效果，公式如下：

34、

35、

36、precision表示精确率，代表真正正确的占所有预测为正的比例；recall表示召回率，代表真正正确的样本占所有实际为正样本的比例，数值越高，漏检率越低；

37、所述步骤5的具体流程如下：

38、步骤5-1、为了获得当前样本的睡眠阶段，设计了一个睡眠阶段分类器来获取相关信息。首先，由信号通道注意力模块加权的睡眠分期任务特征图f2专用于睡眠阶段的任务，通过自适应平均池化层进行展平后，再通过两个输入和输出大小分别为(512,128)和(128,3)的线性层。最后，利用softmax函数得到输出的类概率值，取概率值最大的类作为睡眠分期的结果。

39、步骤5-2、模型睡眠分期结果衡量使用accuracy、precision、recall，此处不再赘述。

40、所述步骤6的具体流程如下：

41、步骤6-1、采用分割损失和分类损失相结合的方法对mcaqn模型进行优化。联合损失函数定义为：

42、ljiont＝λlseg+μlstage  (9)

43、其中，λ，μ为各个损失的权重，二者均取0.5。

44、步骤6-2、分割损失lseg采用二值交叉熵损失，计算如下：

45、

46、其中n是样本个数，yi是二元标签值0或者1，表示实际输出值。

47、步骤6-3、分类损失lstage设置如下：

48、

49、其中n为每批的样本数，m是预测标签的个数，p(xij)和q(xij)分别为真实概率和预测概率。

50、本发明有益效果如下：

51、本发明构建了一个端到端的深度神经网络来实现癫痫样活动的自动检测和量化，其优势主要包括：1)带eca的端到端多任务学习网络。同时实现了癫痫样活动量化和睡眠分期。2)为了解决不同任务下不同信号通道信息价值的差异，提出了脑电信号通道注意模块eca，使每个特定任务网络能够从任务共享网络中获得更具体、更有用的特征。3)该方案不需要经验参数，具有较强的泛化和鲁棒性。

52、本发明截取了患者睡眠前30分钟至睡醒后30分钟的19通道脑电数据，对原始信号进行了滤波、去趋势等预处理操作。使用任务共享网络提取公共特征，每个特定任务网络都能结合通道信息差异性从任务共享网络中提取更有用的特征。通过多任务学习，每个任务学习到的有效信息可以互相利用，从而改善模型性能。然后，结合基于语义分割的swi量化损失以及睡眠分类损失函数，设计了一个多任务学习损失来平衡这两个任务。研究表明，所提出的多任务学习模型取得了良好的性能，优于现有的单任务学习方法。对于swi量化任务，该方法不依赖阈值和专家经验，准确可靠地量化了swi，平均swierror为2.406％。在睡眠分期任务中，accuracy为97.134％，f1得分为96.935％。实验结果表明，采用本方法可以有效地对eses综合征的睡眠中癫痫样活动进行识别与量化，并能可靠地进行睡眠分期。

53、在此基础上，可以为eses综合征患者建立一个准确且高效的睡眠中癫痫样活动识别与量化系统。这有助于实现对eses患者的长程脑电图进行检测，并能帮助医生进行诊疗，从而为患者尽早接受治疗提供可能性。