本发明涉及生理信号监测技术领域,特别涉及一种基于机器学习的颅内多模态信息融合的脑部疾病判断系统。
背景技术:
创伤性颅脑损伤是死亡率极高的全球性健康问题,中国每年大约60万人发生颅脑创伤,其中死亡10万人左右,造成直接和间接经济损失高达100亿元以上。中国颅脑创伤资料库初步统计结果显示,在中国47家医院13000多例急性颅脑创伤住院病人中,重型颅脑创伤的病死率>20%,重残率>50%。国外数据显示,对于格拉斯哥昏迷评分(glasgowcomascale,gcs)≤8分的重型颅脑损伤患者,其死亡率率高达35%~45%。
颅内压、脑神经电信号、颅内温度和颅内氧分压以及颅内电解质浓度的检测是指示脑损伤以及二次脑损伤的生理指标,实时监控并分析上述指标不仅可以早期判断二次脑损伤的发生,还可以量化脑损伤的程度。2016年美国脑外伤基金会(braintraumafoundation,btf)发表了重型颅脑创伤治疗指南(第四版)。指南内包含了关于重症颅脑创伤的治疗意见,推荐gcs≤8以内的患者在脑损伤后进行24-36小时的持续性的多参数监测,可及时监控病情变化,以对病情进行有效合理的干预,从而具有改善预后的重要性。
目前国内外尚无微创集成化多模态脑皮层生理指标的监测手段,通常采用单一颅脑生理指标监控技术进行颅内监控,其设备体积较大、操作设备的复杂度较高。采用这种监控手段,对于病患本身而言,大大增加监控过程中组织感染的几率,降低伤口愈合速度。
针对单一或双模态颅脑生理指标监控技术已有相关研究,进行如下介绍:
(1)颅内压:在已有产品中根据是否将传感器植入颅内,颅内压监测方法可分为非植入式监测法和植入式监测法两类。非植入式颅内压监测法无须在颅内植入传感器,能够避免因植入式监测对患者造成的创伤,且监测过程中无感染风险,同时具有操作简便和成本较低的优点。其原理有诸如经颅多普勒法、闪光视觉诱发电位法和红外分光检查法等。以上非植入式监测方法均通过间接手段将其他物理量转化为压力值,监测过程中存在较多的干扰因素,使得测量误差较大。植入式颅内压监测法是指将压力传感器植入颅内,直接测量颅内压值。其方法是通过颅脑手术,将测压导管一端插入脑室,另一端与液压传感器接口连接,从而测得颅内压值。此方法的优点在于检测精确度高,可满足临床颅内压监测指标要求,被视为颅内压监测的“金标准”。但是,该方法以及其它现有植入式颅内压监测设备均为有线式,在持续监测过程中存在诸多不便,不适合长期监控,增加创口感染几率。有国外文献报道感染几率甚至高达11%。
(2)颅内脑电信号:颅内脑电信号的测量可分为皮层区域的电信号测量和皮层内部的电信号测量。皮层脑电是利用手术将皮层电极放在颅内大脑皮层上,电极导线经过颅骨和头皮,接在外部脑电图仪上。通过分析皮层信号的功率谱密度、beta波(15-25hz)、alpha波(8-13hz)、delta-theta波(2-8hz),可以对由于二次脑损伤造成的非痉挛性癫痫发作的起始时刻或癫痫持续状态进行检测,给予及时反馈治疗。2016年demarchies等人采用美国ad-techmedical公司的柔性多通道植入式皮层脑电极产品。脑皮层深部植入式电极是采用硅基或者不锈钢神经探针,植入大脑皮层内部,进行脑神经信号的测量,通过分析场电位和动作电位,达到获取脑损伤对运动或者感知皮层的创伤程度。
(3)颅内温度:在不同生理和病理条件下,大脑的温度不仅会波动,而且会影响皮层细胞多项生理代谢的变化。研究者曾尝试使用红外线成像方式显示皮层的温度,但由于其准确性不足、以及不能实时监测,所以仅仅停留在少数研究方面。目前普遍采用植入式温度传感探头植入脑皮层测量皮层温度,颅内温度传感器通常与颅内压检测或颅内氧分压检测探头集成,但创口较大,测量时间较短,而且是在开颅术中,未覆盖颅骨和头皮,数值与生理状态下可能存在很大差异。
(4)颅内脑氧分压:脑损伤治疗中,评估全身氧合状况的方法并不可靠,因此应用检测脑组织氧合方法技术十分关键。目前较成熟的方法有全脑测氧法和局部测氧法。全脑测氧法采用探针进行颈静脉测定,该方法较为方便,但不能精确获取脑组织局部氧合分布情况,无法获得受损脑组织的精准定位。局部测氧法有近红外光谱仪无创技术和组织探针植入法。前者通过对比进入脑内和返回的光强信息,获取氧分压状况,如美国casmedical公司的近红外无创脑组织氧监护仪。但由于光穿透路径较手指氧合测量法比具有更大不确定性,如脑外伤后脑肿胀会改变光路距离,进而降低测量准确性和可靠性。目前较为可靠的方式为采用组织探针测量局部组织氧分压状况,脑氧分压及温度的监护设备公司主要有德国integra的licox植入式产品和美国raumedic公司提供的neurovent-pto植入式产品。
(5)颅内电解质浓度
约有62%的患者是死于颅脑创伤后的各种并发症,而在这当中由于颅脑创伤后内分泌功能障碍导致水电解质紊乱,进而内环境平衡遭到破坏,引起病理性的应激反应,进而导致水电解质紊乱或是多脏器功能受到损害或衰竭。颅脑创伤后患者的水电解质紊乱长期困扰着广大医疗工作者,包括低钠血症、高钠血症、及低钾血症等。因此,同步检测脑组织液的钾和钠离子的组分浓度十分重要。目前,并未有针对颅脑的植入式电解质检测手段。
对以上陈述加以总结,当前对于颅内生理指标的监测多采用植入式传感探头,其带来的创口面积大、易感染、导线连接不便等问题,显著限制了其临床应用。目前国内外尚无高集成化的可以实时同步进行多模态颅内大脑皮层信号监测的仪器和方法。因此,研究多模态信号传感原理,探索出精确可靠的高集成度无线微型颅内脑皮层信号监测方法,对揭示二次脑损伤的机制、分析二次脑损伤起因、预判及治疗二次脑损伤有重要意义。
技术实现要素:
有鉴于此,本发明的主要目的在于提供一种基于机器学习的颅内多模态信息融合的脑部疾病判断系统,以期部分地解决上述技术问题中的至少之一。
为了实现上述目的,作为本发明的一方面,提供了一种基于机器学习的颅内多模态信息融合的脑部疾病判断系统,所述判断系统包括输入层和输出层,其中,
将颅内信息输入到所述输入层,进行数据的多层次处理、自动判断输出各种颅内损伤类型,根据所述输出层的类型组合指定干预治疗组合,其中,所述颅内信息包括颅内压力、颅内氧分压、颅内温度、颅内神经电信号、颅内钠离子浓度和颅内钾离子浓度。
其中,所述基于机器学习的颅内多模态信息融合的脑部疾病判断系统包括人工神经网络预测模型或随机森林预测模型。
其中,所述人工神经网络预测模型的输入层包括:
压力、氧分压、温度、钠离子浓度和钾离子浓度五个输入节点的输入值为各参数5s内采样值的平均值,神经电信号的输入节点的输入值为5s内五个参数各自的方差;
在训练时,针对各参数每一项特征的所有采集值,需要进行特征归一化。
其中,所述人工神经网络预测模型还包括隐藏层,所述隐藏层训练时使用的优化算法包括gradientdesecnt、stochasticgradientdescent、minibatchgradientdescent、momentum、nesterov和adam;训练时使用的激活函数包括sigmoid、tanh和relu激活函数。
其中,所述人工神经网络预测模型的输出层使用二进制编码来编码标签,即损伤类型;有6种损伤类型,经过组合,会出现64种损伤类型组合。
其中,所述随机森林预测模型包括多个决策树,其中,每一棵决策树都是弱分类器,随机森林最终的输出为每个决策树的组合结果。
其中,所述决策树的训练算法包括id3、c4.5和c5.0。
其中,所述决策树的剪枝方法包括预先剪枝和后剪枝。
基于上述技术方案可知,本发明的基于机器学习的颅内多模态信息融合的脑部疾病判断系统相对于现有技术至少具有如下有益效果之一:
1.基于与大脑弹性模型相似的柔性材料制备柔性衬底和多模态的传感器,制作出可以测量颅内压力、颅内氧分压、颅内温度、颅内神经电信号、颅内钠离子浓度和颅内钾离子浓度集成化的传感器,并且通过制作剪切力传感器和电极阻抗传感器实时检测传感器的使用稳定性和精准度信息。
2.柔性传感器包括衬底、导联线、多模态传感器和覆盖层可以采用多种方式进行制备,柔性传感器可以弯曲成卷状,通过夹具的使用可以使柔性传感器植入与颅内大脑皮层上方,或者是颅内皮层内部。在皮层上方放置时,传感器主要检测颅内脑脊液的相关生理生化信息,而对于植入脑皮层内部的传感器,主要检测皮层组织内部及细胞间隙液中的相关生理生化信息。
3.鉴于柔性传感器各组块的特性,在一定形变范围内,不影响传感器的功能使用。
4.本发明提出了多模态传感信息获取的集成化方法,主要分为电源管理、多模态传感前端、模数转换、微处理控制单元、数字处理单元和数字信号输出单元。并且由于其具有小型化高集成化的特性,将其固定在颅骨上方,并通道柔性导线穿过颅骨与颅内传感器相连接,传感信号可以通过无线方式传递至医护室外端设备上。
5.本发明提出了基于神经网络算法和随机森林机器学习算法的脑部疾病判断方法,通过6组颅内信息(颅内压力、颅内氧分压、颅内温度、颅内神经电信号、颅内钠离子浓度和颅内钾离子浓度)的输入,进行数据的多层次处理、自动判断输出各种颅内损伤类型,根据输出层类型组合指定干预治疗组合。
6.本发明对8通道电极采集的颅内电信号,采取多通道混合特征矩阵融合的癫痫检测算法以及多通道功能电刺激癫痫治疗算法,自动判断癫痫的类型、方位,通过控制微处理器释放不同类型电刺激方案。
附图说明
图1是本发明实施例提供的总体示意图;
图2是本发明实施例提供的系统安置于大脑内部的一种方式(柔性传感器脑皮层外侧);
图3是本发明实施例提供的系统安置于大脑内部的另一种方式(柔性传感器脑皮层内部);
图4是本发明实施例提供的柔性多模态传感器的组成结构图;
图5是本发明实施例提供的柔性多模态传感器的横截图;
图6是本发明实施例提供的柔性压力传感器的横截面结构图;
图7是本发明实施例提供的柔性剪切力传感器的横截面结构图;
图8是本发明实施例提供的柔性温度传感器的结构图;
图9是本发明实施例提供的基于电化学方法的氧分压传感器的剖面图;
图10是本发明实施例提供的基于电化学方法的离子传感器的剖面图;
图11是本发明实施例提供的柔性电极的剖面图;
图12是本发明实施例提供的电路系统结构框图;
图13是本发明实施例提供的基于人工神经网络的疾病预测模型;
图14是本发明实施例提供的基于随机森林的疾病预测模型;
图15是本发明实施例提供的脑损伤下癫痫智能识别与电反馈治疗流程图;
图16是本发明实施例提供的脑损伤下癫痫智能识别与电反馈治疗算法框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
针对目前集成化微创口下颅脑多生理参数检测方法及设备的欠缺,以及二次脑创伤后颅内压力、大脑电活动、颅内温度、颅内氧分压、电解质浓度指标变化无法量化的不足,本发明提出了基于柔性基底的集成颅内压、脑内电信号、颅内温度和颅内氧分压以及颅内电解质浓度柔性传感器的多传感融合检测技术,并配合相关检测小型化电路,实现同步、实时、无线的植入式颅内生理信息监测,通过机器学习算法实现对脑部疾病类型的自动诊断。同时针对脑损伤引起的癫痫等电信号紊乱疾病,该系统集成的柔性电极具有电刺激功能,系统预判疾病后,通过对局部皮层进行电刺激,进而通过电干预缓解或治疗电信号紊乱。
该发明的总体示意图如图1所示。
该系统包括柔性传感器和小型信号处理与无线传输电路两部分,并通过柔性排线使两部分连接。柔性传感器集成了柔性基底与多重柔性传感单元,可置于脑皮层上方的脑脊液中(图2)或者将柔性传感器纵向植入脑皮层(图3);小型电路通常固定于颅骨外侧,并通过柔性fpc排线、尼龙丝或其他生物相容性柔性线作为绝缘层通过大脑损伤处的颅骨空洞或转孔与柔性传感器电学连接,以进行多生理参数的监测。其中的柔性数据排线在柔性集成传感器端可以采用粘贴的方式固定于传感器基底上。
本发明所提系统的体内植入式方法说明如下:
方式一:
(1)柔性传感器弯曲成卷状,夹在镊子等相关夹具的前端,并使传感器保持卷状;
(2)在颅骨上找到颅骨损伤处,开口直径小于5mm;或者利用颅骨电转转出类似大小的孔径;
(3)夹具通过颅骨开口处,深入颅内,并释放卷状传感器;
(4)柔性传感器直铺于脑皮层上方,进行颅内压力、氧分压、温度、钾钠离子和电信号的检测,并可利用电极进行皮层的电刺激;
(5)利用螺钉或胶剂在颅骨外侧的头皮下方固定小型电路板;
(6)电路板和传感器的柔性连线穿过颅骨开口处,并固定。
方式二:
(1)沿长边弯曲柔性传感器,并利用生物可溶性胶剂(如多糖类)包裹粘贴于夹具外侧,并使传感器保持卷状;
(2)在颅骨上找到颅骨损伤处,开口直径小于5mm;或者利用颅骨电转转出类似大小的孔径;
(3)夹具通过颅骨开口处,深入颅内,并纵向插入大脑皮层;
(4)一定时间后,生物可溶性胶剂分解,传感器与夹具分离,这时移除夹具,使传感器在脑皮层内部保持卷状,传感器单元沿着卷的外侧分布。此时,可进行颅内压力、氧分压、温度、钾钠离子和电信号的检测,并可利用电极进行皮层的电刺激;
(5)常利用螺钉或胶剂在颅骨外侧的头皮下方固定小型电路板;
(6)电路板和传感器的柔性连线穿过颅骨开口处,并固定。
下面,本发明在传感器系统组成、小型电路系统以及疾病类型解析和电刺激疗效三个方面进行详细说明。
一、柔性多模态传感器
柔性多模态传感器的组成图如图4所示。
本发明所提出的柔性多模态传感器由柔性基底材料和多种类别的柔性传感器组成。通过不同的柔性传感器制作工艺制作不少于2个柔性压力传感器和2个柔性剪切力传感器、制作不少于2个的柔性温度传感器、制作不少于2个的柔性氧分压传感器、制作不少于2个的柔性钾钠离子传感器、制作不少于9个的电极(该电极可以作为神经信号采集或者神经电刺激使用,或者通过时分复用方式同一个电极兼具电信号采集和神经电刺激功能)。柔性多模态传感器的横截图显示出其纵向各层的结构,如图5所不。
其中,最下层为柔性基底,上方为金属或者聚合物的导联线,在导联线的节点处制作或者放置柔性传感器,最后在上方覆盖一层柔性聚合物层,用于绝缘、防水和保护等作用,覆盖层可以根据传感类型选择在传感器上方开口或者不开口,比如,对于电极必须选择柔性覆盖层开口。下面对不同的结构层本发明加以具体陈述:
1.柔性基底
柔性基底材料选择生物兼容性较高的有机材料,如pmma、polyimide、pdms、parylene、sebs、ecoflex、su-8,pet,pee、pvc,cumene-psma、pse、pvp以及其它橡胶或树脂材料等生物兼容性较高的可降解材料,如plga、pva、pgs、丝蛋白、zyvox、胶原蛋白、壳聚糖、、pomac,plla,pcl等,通过选择不同组分的配比,达到材料弹性模量与脑组织匹配,使之与脑皮层共性,尽可能降低植入式器件对脑组织的损伤程度。其中柔性基底及多模态传感器的外形尺寸在小于6cm×6cm,厚度通常小于20μm,其具体尺寸可以根据病人创口及疾病类型的实际情况,选择不同尺寸及外形的柔性多模态传感器。
对于基底的结构有两种可以选择:一种是无图形化的同质的基底材料构成,基底的各个部位具有相同的物质密度;第二种是制作成中空的图形化的基底材料,导联线下方的基底材料制作成与导联线相同或相近的图案,如导联线下方的基底制作成蛇形、弧形以及任意的弯曲形状,这样更加有利于基底的延展性,可以紧密的贴住脑皮层。而传感器单元下方的基底材料保持实体状、无图形化。
对于无图形化的同质基底材料,可以采用半导体工艺、如pecvd、蒸发、溅射、ald等薄膜沉积工艺,或者采用液态合成固化的方式进行制作。对于有图形的基底材料,可采用激光切割、阴影掩模等离子体刻蚀、掩膜化学湿法腐蚀或者采用模具浇铸的方式制作。
2.导联线
柔性基底制作完毕后,在基底上方制作弯曲状的导联线,用于连接传感器和基底末端的连接头,其形态可以为蛇形、弧形、以及任意形状的弯曲图形,目的是在基底拉伸或压缩形态下保持导联线的电学稳定性,导联线材料通常选用柔韧性较好、生物兼容性较高的材料,如ag、au、mg、mo、carbonnanotube、polyaniline、pedot:pss,carbonblack等固态金属材料、可降解金属材料、纳米复合物导电材料、液态导电金属。其中的导电液体材料可以与液态状态下的聚合物如pdms、pmma、sebs等液态混合,固化后形成导联线,导联线的制作方式可以为以下几种:
(1)采用半导体工艺制作1:该方法可以制作图形化的固态金属线,如ag、au、mg、mo。制作工艺通常可以概括如下,其中的工艺细节可以根据工艺条件响应调整。首先利用溅射或蒸发装置沉积薄层固态金属薄膜,其厚度小于3μm,然后通过甩胶、曝光、显影、后烘等步骤在光刻胶上图形化金属线的图形,之后采用湿法腐蚀液刻蚀或者干法气体刻蚀的方法刻蚀金属,最后去除残余光刻胶,完成金属导联线的制备。
(2)采用半导体工艺制作2:该方法可以制作图形化的固态金属线,如ag、au、mg、mo。制作工艺通常可以概括如下,其中的工艺细节可以根据工艺条件响应调整。首先在柔性基底上通过甩胶、曝光、显影、后烘等步骤在光刻胶上图形化金属线的图形,然后利用溅射或蒸发装置沉积薄层固态金属薄膜,其厚度小于3μm,之后采用金属薄膜剥离(lift-off)工艺,去除光刻胶与光刻上方的金属,完成金属导联线的制备。
(3)采用阴影掩模下金属沉积的工艺制作:该方法可以制作图形化的固态金属线,如ag、au、mg、mo。制作工艺通常可以概括如下,其中的工艺细节可以根据工艺条件响应调整。首先采用机械加工方式(如cnc、激光切割等)、3d打印方式或者半导体基底材料刻蚀方式在基底材料上制作镂空的导联线图形,然后放置该阴影掩模材料于柔性传感器基底上方,紧密接触,之后利用溅射或蒸发装置沉积薄层固态金属薄膜,其厚度小于3μm,最后移除该阴影掩模材料,完成金属导联线制备。
(4)采用阴影掩模下导电液体沉积的工艺制作:该方法可以制作图形化的导电液体,如液态au颗粒、液态ag颗粒、carbonnanotube、polyaniline、pedot:pss,carbonblack等。制作工艺通常可以概括如下,其中的工艺细节可以根据工艺条件响应调整。首先采用机械加工方式(如cnc、激光切割等)、3d打印方式或者半导体基底材料刻蚀方式在基底材料上制作镂空的导联线图形,然后放置该阴影掩模材料于柔性传感器基底上方,紧密接触,之后利用旋涂机或者喷胶机或者点胶机覆盖导电液体,其厚度通常不小于10μm,之后进行加热固化导电液体,完成导联线制备。
(5)采用丝网印刷方式的工艺制作:该方法可以制作图形化的导电液体,如液态au颗粒、液态ag颗粒、carbonnanotube、polyaniline、pedot:pss,carbonblack等。制作工艺通常可以概括如下,其中的工艺细节可以根据工艺条件响应调整。首先根据金属导联线图形制作丝网印刷掩膜,然后放置柔性传感器基底于丝网印刷机上方,灌入导电液体于储液池,进行印制图案操作,之后进行加热固化导电液体,完成导联线制备。
(6)采用移液方式的工艺制作:该方法可以制作图形化的导电液体,如液态au颗粒、液态ag颗粒、carbonnanotube、polyaniline、pedot:pss,carbonblack等。制作工艺通常可以概括如下,其中的工艺细节可以根据工艺条件响应调整。首先对电子移液器进行编程操作,导入导联线的图形文件,然后灌入导电液体于电子移液器的储液池,之后进行打印操作、喷出液体材料,打印导联线图案,最后进行加热固化导电液体,完成导联线制备。
(7)采用图案转移方式的工艺制作:该方法可以制作图形化的适用于本发明导联线的所有类型的液体。制作工艺通常可以概括如下,其中的工艺细节可以根据工艺条件响应调整。首先在硅、玻璃等硬性基底上沉积一薄层薄膜,如硅氧化物、硅氮化物、聚合物,然后在上方进行导联线的图形化制备,之后利用图案转移工艺,放置粘性较高的柔性传感器基底于导联线上方,施加一定压力,之后从边缘处缓慢揭开,最终完成导联线图案的转移。
3.传感器制作
(1)柔性压力传感器
压力传感器的总体弹性模量应接近于柔性衬底来保证多模态传感器的柔性特性。因此采用柔性材料制作压力传感器。制作柔性压力传感器可以采用压阻式或电容式。下面针对本发明的需求,包括压力敏感范围(5-50mmhg)、分辨率(优于1mmhg)、材料的高生物兼容性、防水性对柔性传感器进行定制化设计与加工。
本发明的压力传感器用于检测颅脑内的压力值,因此设计中检测垂直于柔性衬底的压力值。因此对压阻式和电容式三种原理的压力传感器来说,均需采用上下电极板配合中间夹层材料的三明治结构进行压力感知。压力传感器的横截面结构图如图6所示。
制作压力传感器的流程是:首先在柔性基底上方制作下极板,极板的电极采用生物兼容性较好的金属材料,如au,ag,mg,mo等,可以采用半导体设备的溅射、蒸发、光刻、刻蚀、液态金属溶液打印、丝网印刷等工艺制备图形化的下极板金属,下极板可以选择地覆盖有一薄层的绝缘层,该绝缘层也作为下极板的一部分;然后在下极板上方制作压力传感器,也可以采用压力传感敏感膜转移的方式,将制作好的敏感层转移至下极板上方,或者采用在下极板上方直接生成或沉积压力敏感膜,并利用刻蚀或者腐蚀技术将压力敏感膜图形化的方式制作压力敏感膜;然后,在压力敏感膜上方贴上上电极极板(通常也包括电极和绝缘覆盖层),上极板尺寸长于压力敏感膜,使上极板的金属与柔性基底上的导联线相接;最后覆盖上一薄层柔性绝缘层,完成柔性压力传感器的制作。另外,本发明中制作的压力传感器可以采用在其他基底,如硅、硅化物、玻璃等基底材料上方制作好后,再转移的方式,把两电极和敏感膜作为整体转移并固定到柔性基底上方。
对于压阻式压力传感器,其敏感薄膜的电阻值受压力变化而变化,可以采用纳米银金等颗粒、cnt、polyaniline、pedot:pss等材料有选择的按比例混合入pdms的橡胶类材料,合成压力敏感薄膜。此时,上下电极板的金属层要贴于压力敏感膜,以达到导电的效果。另外,压力敏感薄膜还可以做成不同的表面形态与形状,如菱形、倒金字塔形、高粗糙度表面等调节本发明所需的压力敏感区间和分辨率。
对于电容式传感器,其敏感薄膜的电容值受压力变化而变化,可以采用绝缘的高弹性介电材料,如pdms,sebs等作为压力敏感材料。此时,上下电极板的金属不必贴于压力敏感膜,即可测出电容值对于压力的变化。另外,压力敏感薄膜还可以做成不同的表面形态与形状,如菱形、倒金字塔形、高粗糙度表面等调节本发明所需的压力敏感区间和分辨率。
(2)柔性剪切力传感器
本发明中柔性多模态传感器集成了剪切力传感器,可以有效的监控柔性基底受到的剪切力情况,进而根据多模态传感数据分析传感器的在植入体中的工作情况,解析多模态数据的稳定性和可靠性等。
本发明的剪切力测量柔性基底剪切力的大小,因此采用左右平行电极板配合中间敏感材料的结构进行剪切力感知。剪切力传感器的横截面结构图如图7所示。
制作剪切力传感器的流程是:首先在柔性基底上方制作左右极板,极板的电极采用生物兼容性较好的金属材料,如au,ag,mg,mo等,可以采用半导体设备的溅射、蒸发、光刻、刻蚀、液态金属溶液打印、丝网印刷等工艺制备图形化的左右极板金属,然后在柔性基底上方的两极板中间制作剪切力传感敏感薄膜,也可以采用剪切力传感敏感膜转移的方式,将制作好的敏感层转移至柔性基底上方的两极板中间,并固定;最后覆盖上一薄层柔性绝缘层,完成柔性剪切力传感器的制作。另外,本发明中制作的剪切传感器可以采用在其他基底,如硅、硅化物、玻璃等基底材料上方制作好后,再转移的方式,把两电极和敏感膜整体转移并固定到柔性基底上方。敏感薄膜可以采用纳米银金等颗粒、cnt、polyaniline、pedot:pss等材料有选择的按比例混合入pdms的橡胶类材料,合成压力敏感薄膜。此时,左右电极板的金属要贴于剪切力传感敏感膜,以达到导电的效果。另外,压力敏感薄膜还可以做成不同的表面形态与形状,如菱形、倒金字塔形、高粗糙度表面等调节本发明所需的剪切力敏感区间和分辨率。
(3)柔性温度传感器
本发明中柔性多模态传感器集成了温度传感器,用于对颅内温度进行实时监控。本发明利用金属的电阻温度关系作为传感原理检测颅内温度。常用金属pt或者au作为温度传感器,由于其具有线性度较好和较高的电阻温度系数。温度传感器的初始阻值应较大,这样在单位的温度变化下可以获得较大的阻值变化。由于导联线通常是由金属制作,因此也具有电阻温度效应。为抵消导联线引起的电阻温度效应,导联线的宽度至少5倍大于温度传感器的金属宽度,并且温度传感器具有较长的尺寸,以增大初始阻值。
本发明选用金属pt或au作为温度传感器,给出了两种温度传感器的设计图,其俯视结构图如图8所示。
图8(a)的温度传感器围绕正方形作为绕线,并且横向和纵向的连线具有同样的间距,这样在增加电阻长度的同时,可以抵消掉大部分因为传感器基底的切向应力而引起的阻值变化。图8(b)的温度传感器图形方案可以在部分抵消掉温度传感器基底的切向应力而引起的阻值变化的同时,增大传感器温度的感应面积,起到平均空间多点温度值的作用,避免局部温度突变带来的温度传感器输出突变。
若采用au作为温度传感器材料,其制作可以在导联线制作时同步制备完成。若采用pt作为温度传感器材料,图形化pt可以采用半导体设备的溅射、蒸发、光刻、刻蚀等工艺方法制备;或者在其他基底上制备结束后,通过图形转移的方式完成pt温度传感器的制备。具体步骤可以参考导联线制备流程。最后覆盖上一薄层柔性覆盖层完成温度传感器制备。
(4)柔性氧分压传感器
本发明中柔性多模态传感器集成了氧分压传感器,若多模态传感器放置于脑皮层上方(图2),氧分压传感器进行脑脊液氧气浓度的测量,若多模态传感器插入脑皮层内部(图3),氧分压传感器进行脑皮层内部的组织液中的氧气浓度测量。由此可见,两种传感器的植入方式均可直接反应颅脑内的氧气组分浓度。本发明提出了基于电化学法测量氧分压的方法,图9示意出氧分压传感器组成的剖面图。
其制作方法为,在多模态传感器柔性基底上方,采用金属薄膜剥离(liftoff)工艺制作金属pt三电极,分别是工作电极(we)、对电极(ce)、参比电极(re);其中ce和re两电极上可以选择性沉积ag和agcl以达到标准测量电位的目的。在电极上方区域通过喷液打印或点胶的方式覆盖薄层质子交换膜(nafion)并固化,然后在nafion上方喷液打印或点胶液态气体过滤膜(如pdms,ptfe)并固化,最后将柔性绝缘层覆盖在氧分压传感器上方,此时需要通过光刻(或阴影掩模)刻蚀掉氧分压传感器正上放的柔性绝缘层区域,确保氧气分子可以进入。其中的氧分压传感单元也可以在硅、硅化物、或玻璃等硬性材料上制备后,利用图形转移的方式转移传感器与柔性基底上,并覆盖最上层的柔性层。对电极的面积要大于工作电极和参比电极,因此在设计中可以把工作电极和参比电极放置在中间区域,对电极包围其他两个电极以形成高效的电流通路。
气体过滤膜的作用是仅使氧分子穿透,并到达质子交换膜,质子交换膜的目的是为三电极产生的氧化还原反应提供可以流动的质子(h+)以形成持续的氧化还原反应。在质子的流动下,氧气在工作电极上得到氢离子生成水和电子,水和电子在对电极上电解成氧气和氢离子。在整个氧化还原反应过程需要质子流通的支持,但整个过程中并未消耗氧气或者质子。若氧气浓度增大,在工作电极上就会产生更大的电流。以此建立起氧分压和电流强度的关系。
(5)柔性钾钠离子传感器
本发明中柔性多模态传感器集成了钾钠离子传感器,若多模态传感器放置于脑皮层上方(图2),钾钠离子传感器进行脑脊液钾钠离子的浓度的测量,若多模态传感器插入脑皮层内部(图3),钾钠离子传感器进行脑皮层内部的组织液中的钾钠离子浓度测量。本发明提出了基于电化学法测量钾钠离子的方法,图10示意出钾钠离子传感器组成的剖面图。
其制作方法为,在多模态传感器柔性基底上方,采用金属薄膜剥离(liftoff)工艺制作金属pt三电极,分别是钾离子工作电极(we1)、参比电极(re)和钠离子工作电极(we2);其中re两电极上可以选择性沉积ag和agcl以达到标准测量电位的目的,在we1和we2上方可选择性的沉积一层pedot:pss以达到降低电位漂移的目的。在ce1和ce2电极上方区域通过喷液打印或点胶的方式分别覆盖钾离子选择薄膜和钠离子选择薄膜,其主要化学成为kionophorex、k-tfpb和naionophorex、na-tfpb,并分别混合粘合剂如pvc和dos合成,并固化,形成固态的钾离子和钠离子选择性薄膜。最后将柔性覆盖层覆盖在钾钠离子传感器上方,此时需要通过光刻(或阴影掩模)刻蚀掉钾钠离子传感器正上放的区域,确保离子可以进入传感器。其中的钾钠离子传感单元也可以在硅、硅化物、或玻璃等硬性材料上制备后,利用图形转移的方式转移传感器与柔性基底上,并覆盖最上层的柔性层。由于采用的双电极模式,参比电极(re)也就是对电极,其面积要大于工作电极,因此在设计中使工作电极(we1和we2)置于中间区域,参比电极(re)包围其他两个电极以形成高效的电流通路。
钾钠离子选择膜的作用是能选择性的使钾离子和钠离子透过选择膜,离子达到工作电极后工作电极的电势相对于参比电极re升高,离子浓度越高,we和re的电势差也越高,以此建立起离子浓度和电压的关系。
(6)柔性电极与电刺激器
本发明中柔性多模态传感器集成了不少于8个柔性电极,均匀分布于基底上方(图1),8个柔性电极可以同时具备电信号测量以及电刺激器的功能。若多模态传感器放置于脑皮层上方(图2),电极可以进行脑皮层神经信号(ecog)的测量或对脑皮层神经进行电刺激,若多模态传感器插入脑皮层内部(图3),电极可以进行神经信号的测量或对脑皮层内部神经进行电刺激,完成神经功能调控。另外,8个柔性电极同时接入电路的阻抗检测器,通过监控阻抗的变化,解析柔性电极的工作状态。图11示意出柔性电极与电刺激器组成的剖面图。
柔性电极材料的选择至关重要。对于神经信号采集功能而言,电极应具有较低的电化学阻抗以获得更好的信号放大效果,即获得较高信噪比的神经信号;对于电刺激功能而言,电极应具有较高的电荷储存和释放的功能,以提高电刺激的效率,并且应进一步提高电极的稳定性,即在电流施加下不会产生电极的溶解。针对本发明的多模态传感器,采用金属pt或ir作为柔性电极材料。
其制作方法为,在多模态传感器柔性基底上方,采用金属薄膜剥离(liftoff)工艺制作金属pt或ir的电极,可以选择性地利用物理等离子体刻蚀技术,短时间刻蚀金属表面(小于30sec),使其表面粗糙度增加,提高表比面积,降低电化学阻抗或提高电荷的储存和释放能力;进一步地,电极上方可选择性的沉积一层pedot:pss以达到进一步降低电化学阻抗,提高信噪比的目的,但是此方案不适合用作电刺激器。
二、小型信号处理与无线传输电路
柔性多模态集成传感器通过柔性基底上的导联线连接到基底一侧的一排接触点上,柔性排线(由polyimide、尼龙丝等生物兼容性较高的柔性材料作为电绝缘层)穿过颅骨空隙一端粘粘至颅内的传感器的导联线接触点上,另一端连接至在颅骨外放置的小型电路板一侧的fpc/ffc接口上,实现传感器与电路板的数据与电能传输。
小型电路板包括多模态多通道数据采集模拟端、电源管理、微处理器、数字处理压缩,射频通讯等模块。首先实现对多模态多通路传感信号(压力、剪切力、氧分压、温度、离子浓度、电信号)的调理功能,其调理功能主要包括信号(电流、电压、电阻、电容、电化学阻抗)信号的放大、滤波,进而通过数模转换器(adc)将多通路模拟信号数字化,并传输给微处理器进行处理,在数字处理模块进行数据的加密与压缩,最后通过射频电路发射信号,另外电刺激模块可以输出电压/电流双模式的脉宽、幅度可调节信号,通过与信号采集模块的时分复用将电刺激信号施加在电极上方。系统的整体框图如图12所示。
下面介绍各模块工作原理:
(1)电源管理模块
电源检测模块为电路系统的各模块提供精准、低噪声的恒压源,该模块的输入为3-6v的锂电池,电源信号经过滤波、稳压、升降压、反向等电路组块,获得±3v,±4.5v的电压输出。
(2)电阻检测模块
该模块检测柔性压力传感器、柔性剪切力传感器和柔性温度传感器的随变电阻信号。采用分压电路或者惠斯通电桥,将电阻信号转换为电压信号,随后,经过负反馈电压放大器完成电阻信号转换输出。
(3)电流检测模块
该模块检测柔性氧分压传感器的电流输出,在恒压源作用下,电流强度随氧分压的浓度变化而变化,首先微电流信号经过跨阻放大电路,将微电流信号转化为放大的电压信号,在经过电压跟随器后得到了具有输出阻抗较低、电流驱动能力较大的电压信号,再经过低通滤波器,提高了信号的信噪比。
(4)电势检测模块
该模块检测钾钠离子浓度。通过检测工作电极(we)和参比电极(re)之间的电势差,测量出钾钠离子的浓度值。电极之间的输入阻抗较大(通常百兆级),因此必须高输入阻抗、低共模抑制比的电路进行电极信号的放大,保证信号不失真,减小系统的测量误差。首先,两电极系统分别经过电压跟随器获得较低的输出阻抗,之后两电极信号经过差分放大器,获得共模抑制比较高的电极之间的电势差,提高了共模抑制比,再经过低通滤波器,提高了信号的信噪比。
(5)神经电检测模块
由于神经信号通常小于10μv,本发明采用仪表放大器作为放大器的第一级以差分的形式放大神经电极和参考段电极的电势差信号。仪表放大器具有极低的直流偏移、低噪声、非常高的开环增益、非常大的共模抑制比和高输入阻抗,非常适合信号噪声较大、阻抗较高的神经信号的测量。信号在仪表放大器中放大后,经过第二级电压放大器进行二次电压放大,信号达到mv-v量级。最后经过陷波器去除工频干扰,带通滤波器去除高低频干扰。神经信号的种类非常多,幅值从5μv到50my,频率范围从0.5hz-3000hz,因此,本发明选用放大倍数可调节的电压放大器,以及上下截止频带可独立调节的带滤波器以适合各类神经信号的采集。
(6)阻抗检测模块
长期体内植入下,细胞会对电极产生包裹的排斥反应,因此实时监控电极阻抗值的变化至关重要,随阻抗的升高,检测的神经电信号的信噪比会越来越低,以至于最终失效。因此通过监控电极的阻抗值,可以了解器件在体内的工作稳定性。本发明提出的阻抗检测利用激励信号产生交流电流激励的电流,采用微处理器控制多路选择开关,分时将电流施加在多个信号采集电极上,将其产生的阻抗信号(电压)进行检波解调,获取阻抗的幅值以及相位信息。
(7)数字处理模块与通讯模块
多通路的模拟信号经过多路选择器分时输入至模数转换器(adc),产生的数字信号随后进入低功耗微处理单元进行数据的处理,由于其中采集的神经电信号为连续波信号,数据量较大,可以选择地对模数转换后的原始信号进行dpcm编码压缩,去除数据间的时间相关性,然后进行huffman编码去除数据间的统计相关性,达到数据无损压缩的目的,采用压缩编码进行数据传输同时具有加密及抗环境干扰的优点。压缩处理硬件单元可采用fpga或dsp芯片实现,压缩数据通过蓝牙模块、vuf或uhf模块分时无线发送各通道传感信号。在上位机端,利用射频模块接收多通道传感信号。
(8)电刺激模块
本发明中电路可以输出电压和电流电刺激两种模式,其中电压幅值为0-20v,电流幅值0-2ma,频率0-1khz,脉宽可调。电刺激输出的频率和脉宽通过微处理器的编程实现,随后信号通过数模转换芯片转换为模拟信号。对于电压电刺激模式,信号进入可编程升压模块,进行输出幅度的调节;对于电流电刺激模式,信号通过压流转换模块,将模拟电压信号转换为电流,进行输出。
三、疾病类型解析和电刺激预后
创伤性颅脑损伤有两个阶段,即原发性脑损伤和二次脑损伤。原发性损伤是由于头部受到外界物理伤害,如撞击、摔落、挤压、剧烈摇晃等发生的原发性的头部损伤。在原发性脑损伤发作后,由于颅内出血、组织感染引起并发症,如颅内水肿、颅内压过高、癫痫、局部脑血流的紊乱、代谢和离子的紊乱等疾病,进而加重脑损伤程度,最终导致脑自动调节功能丧失、脑组织损伤、内分泌功能障碍、全身低血压、低血氧、酸碱平衡及糖代谢紊乱等并发症,进而危及生命。
根据美国脑外伤基金会对重型颅脑创伤治疗的建议,格拉斯哥昏迷评分在8分以下的重度脑损伤,需要进行颅内参数的实时监控,至少需要进行颅内压的监控。常常根据医院的软硬件条件,在颅内压监控的基础上会有选择地增加颅内氧分压、颅内温度的测量。通过监测脑组织血氧、温度、颅内压、脑电图,可提供比单纯颅内压监测更多的信息,从而早期发现并预防的二次脑损伤的发生。其中的颅内脑皮层电信号可以提供真实性较高的颅内信息,有助于发现传统脑电图上表现不明显的皮层扩散性抑制波,即去极化慢波。
本发明提出的颅内参数检测的种类包括压力、氧分压、温度、神经电信号、钾钠离子浓度等。多模态多通道的生理信号检测可以作为医生的“眼睛”及时准确地实时观测和判断患者的脑损伤程度,以及可能发生的二次脑损伤类型,提出相关的治疗方案,如开颅减压治疗、低温治疗、高渗脱水治疗、营养治疗以及抗感染治疗等等。
脑脊液中各参数的检测范围如下:压力:5-50mmhg(正常值6-13mmhg),氧分压:10-50mmhg(正常值40-44mmhg),温度:20-50℃(正常值36-37.5℃),神经电信号:20μv-50mv,钠离子浓度100-200mmol/l(正常值136-150mmol/l),钾离子浓度1.0-4。0mmol/l(正常值2.5-3.2mmol/l)。预测的疾病包括:颅内血肿、颅内压过高、局部癫痫、离子代谢紊乱或者混合型的病症、给与及时的干预治疗,从而提高治愈率,降低死亡率。
本发明提出的疾病预测的方式可以为两种。
1.疾病预测模型一:人工神经网络
神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activationfunction)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
本发明中,该模型分为三层,即输入层,隐藏层,输出层。输入层为六个颅内传感器参数,即压力、氧分压、温度、神经电信号、钠离子浓度和钾离子浓度,输出为各种损伤类型组合。根据模型输出层的损伤类型组合制定干预治疗组合,如开颅减压治疗、低温治疗、高渗脱水治疗、营养治疗以及抗感染治疗等等。疾病预测模型一的算法框图如图13所示。
具体地,该发明针对人工神经网络做了如下设计:
输入层处理:首先,压力、氧分压、温度、钠离子浓度和钾离子浓度五个输入节点的输入值为为各参数5s内采样值的平均值,神经电信号的输入节点的输入值为5s内该参数的方差。其次,在训练时,针对每一项特征的所有采集值,需要进行特征归一化。
隐藏层处理:在人工神经网络中,隐藏层决定了最终的分类效果。隐藏层的节点参数依据实际的训练效果调节,训练时使用的优化算法包括但不仅限于gradientdesecnt、stochasticgradientdescent、minibatchgradientdescent、momentum、nesterov和adam;训练时使用的激活函数包括但不仅限于sigmoid、tanh和relu激活函数。
输出层处理:一般来说,人工神经网络用于预测单个类别的事物,因此每个类别都编码为独热码(one-hot)。在本项发明中,由于同一时间,患者可能出现多种症状,需要多种干预治疗及时处理,因此本发明使用的人工神经网络需要对多值类别特征做处理,也就是说,该神经网络需要对输入层做出多类的预测。基于此,本项目使用二进制编码来编码标签,即损伤类型。本项目一共有6中损伤类型,经过组合,一共有可能出现64种损伤类型组合。如果按照传统的独热码,只能解析出6种单一损伤。因此采用二进制编码标签,能够使结果更贴近实际情况。
2.疾病预测模型二:随机森林
随机森林就是通过集成学习的思想将多棵树集成的一种算法,它的基本单元是决策树,是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。它的本质属于机器学习的一大分支——集成学习方法。
本发明中,运用随机森林模型将构建多个子决策数,每个子决策数包含若干个传感器参数二分类节点,不同决策数的节点排列组合方式各有不同。当对该随机森林模型输入六个传感器参数值时,每一个决策数将会决策出某一种损伤结果,该模型再将这些损伤结果进行组合,给予对应的干预治疗方法.疾病预测模型二的算法框图如图14所示。
具体地,该发明针对随机森林做了如下设计:
传感器参数处理:压力、氧分压、温度、钠离子浓度和钾离子浓度五个参数输入值为为各参数5s内采样值的平均值,神经电信号参数输入值为5s内该参数的方差。在训练时,针对每一项特征的所有采集值,不需要进行特征归一化。
随机森林设计:在常规的随机森林中,每一棵决策数都是弱分类器,多个弱分类器组成一个随机森林,即强分类器,通过多个弱分类器投票的方法,投票最多的为最终分类。在本发明使用的随机森林中,每个决策数都训练成一个分类器,分别判断不同种类的损伤,该随机森林最终的输出为每个决策数的组合结果,因此可以保证该随机森林预测的结果为损伤组合,而非单一损伤类型。每颗决策树的训练算法包括但不仅限于id3,c4.5和c5.0。每颗树的剪枝方法包括预先剪枝和后剪枝两种。通过以上算法的排列组合,得出最优随机森林结构。
本发明还提供了一种基于机器学习的颅内多模态信息融合的脑部疾病判断系统,所述判断系统包括输入层和输出层,其中,
将颅内信息输入到所述输入层,进行数据的多层次处理、自动判断输出各种颅内损伤类型,根据所述输出层的类型组合指定干预治疗组合,其中,所述颅内信息包括颅内压力、颅内氧分压、颅内温度、颅内神经电信号、颅内钠离子浓度和颅内钾离子浓度。
其中,所述基于机器学习的颅内多模态信息融合的脑部疾病判断系统包括人工神经网络预测模型或随机森林预测模型。
其中,所述人工神经网络预测模型的输入层包括:
压力、氧分压、温度、钠离子浓度和钾离子浓度五个输入节点的输入值为各参数5s内采样值的平均值,神经电信号的输入节点的输入值为5s内五个参数各自的方差;
在训练时,针对各参数每一项特征的所有采集值,需要进行特征归一化。
其中,所述人工神经网络预测模型还包括隐藏层,所述隐藏层训练时使用的优化算法包括gradientdesecnt、stochasticgradientdescent、minibatchgradientdescent、momentum、nesterov和adam;训练时使用的激活函数包括sigmoid、tanh和relu激活函数。
其中,所述人工神经网络预测模型的输出层使用二进制编码来编码标签,即损伤类型;有6种损伤类型,经过组合,会出现64种损伤类型组合。
其中,所述随机森林预测模型包括多个决策树,其中,每一棵决策树都是弱分类器,随机森林最终的输出为每个决策树的组合结果。
其中,所述决策树的训练算法包括id3、c4.5和c5.0。
其中,所述决策树的剪枝方法包括预先剪枝和后剪枝。
基于本发明提出的智能化脑损伤类型识别算法框架下,本发明提出的多通道柔性电极和电刺激功能可以有效地在非人工干预治疗的情况下,通过安置在不同空间位置的8个柔性电极,有效地高精度定位癫痫发生部位,获取癫痫信号的物理信息,判断癫痫的类型,并且自动地对癫痫病灶给予不同类型电刺激反馈(不同的周期、幅值、电压/电流、占空比),从而有效期舒缓或排除癫痫并发症,如脑出血、血管痉挛等。癫痫检测及反馈治疗的闭环流程如图15所示。
癫痫检测及反馈治疗的闭环流程如图16所示,由多通道混合特征矩阵融合的癫痫检测算法以及多通道功能电刺激癫痫治疗算法构成。癫痫检测算法主要包括数据预处理、多通道混合特征矩阵构造、卷积神经网络特征压缩与分类检测三部分内容。电刺激反馈算法主要包括病灶区定位、提取癫痫信号的多重特征、编码电刺激器三部分内容。
癫痫检测算法:
(1)数据预处理:算法中的数据预处理部分主要包括异常频率值消除和噪声去除两部分,采用级联滤波预处理方法对颅内多通道电信号进行预处理。
(2)多通道混合特征矩阵构造:该部分考虑了脑电信号的非线性特性和多通道颅内电信号的空间信息。首先,选取合适的小波函数,对颅内电信号进行全频率范围分解,重构出不同频带下的脑电信号。然后,计算信号不同频下的经典特征,并融合通道空间信息构造出信号的特征矩阵。
(3)特征压缩与癫痫分类:该部分考虑到脑电信号的多域特征之间并不是绝对独立的,并且考虑到通道的空间信息,因此引入了卷积神经网络来对特征矩阵进行多域特征的融合和学习,深入挖掘特征中包含的隐含信息,同时还能对融合的特征进行最后的分类检测。
电刺激反馈算法:
(1)定位。通过卷积神经网络对多通道信号进行判决,若判断为癫痫发作,则该区域对应为潜在电刺激反馈区域。
(2)计算。计算癫痫信号的多重特征,判断癫痫发作的不同类型,制定对应的电刺激反馈疗法。
(3)编码。对多通道电刺激器进行空间编码,以及频率、幅值、占空比等编码。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。