一种电动病床和家电的多模态智能控制方法及装置与流程

本发明属于护理床，具体涉及一种电动病床和家电的多模态智能控制方法及装置。

背景技术：

1、多模态即多种异构模态数据协同推理；在生物识别中是指整合或融合两种及两种以上生物识别技术，利用其多重生物识别技术的独特优势，并结合数据融合技术，使得认证和识别过程更加精准、安全；与传统的单一生物识别方式的主要区别在于，多模态生物识别技术可通过独立的或多种采集方式合而为一的采集器，采集不同的生物特征并通过分析、判断多种生物识别方式的特征值进行识别和认证；

2、目前医院现有的电动护理床中配置了手动控制器，病人通过按按键实现护理床的控制，但肢体瘫痪病人不能手动操作按键实现病床的调整，而家属和医护人员无法及时处理患者的需求；为缓解患者日益增长的医疗需求与医疗资源不足之间的矛盾，因此，急需一种能代替手动按键操作的技术方案；

3、现有技术中有利用相机拍摄用户面部图像，通过分析定位瞳孔和光斑的位置确定用户的注视点；输出相关装置和设备的控制信号，从而实现病房设备的控制；通过红外摄像头追踪眼球运动轨迹来确定用户的操作，这种方法存在控制准确率不高，如果用户戴着眼镜则会严重影响到眼动数据质量造成误触问题；另外还有通过获取脑电信号，经过信号处理与分析实现用户对电动病床的操作，这种方法解决了前一种眼动追踪技术的存在的问题，但脑电信号比眼电信号微弱很多，不易获取且抗干扰性差，要获取准确的脑电信号，需要佩戴多电极脑电帽且要打导电膏，操作较为繁琐，长时间佩戴脑电帽也使用户不舒适。

技术实现思路

1、本发明的目的在于提供一种电动病床和家电的多模态智能控制方法及装置，以解决上述背景技术中提出的脑电信号获取难度大，抗干扰性差，以及佩戴不舒适的问题。

2、为实现上述目的，本发明提供如下技术方案：一种电动病床和家电的多模态智能控制装置，包括

3、平板电脑支架，用于固定平板电脑，所述平板电脑支架上设置有对平板电脑的三维位置调节的多角度调节机构；

4、头环，用于实时采集用户头部姿态信号和眼电信号，并对头部姿态信号进行姿态解算，对眼电信号滤波、放大及ad转换，并将数据上传至平板电脑内；

5、平板电脑，用于自适应生成集成控制界面，将头部姿态信号转换为虚拟鼠标移动的方向和在该方向移动的位置，控制虚拟鼠标在集成控制界面上的移动，构建大数据模型识别眼电信号得出是否眨眼结果，根据眨眼结果点击目标虚拟按键，然后向网关发出对应控制指令；

6、网关，用于接收所述平板电脑的控制指令，并转发该控制指令到电动病床或家电设备中，并接收电动病床和/或家电设备的设备信息，存储在所述网关中并转发该设备信息至所述平板电脑内；

7、还包括电动病床和家电设备，其中电动病床和家电设备为用户控制对象，所述电动病床用于接收网关转发的控制指令发送至电动病床和上传电动病床设备信息至网关，zigbee模块二与网关的zigbee模块一组网通信，电动病床执行模块接收控制指令后，驱动执行机构，执行相应的功能；

8、所述家电设备用于接收网关转发的控制指令发送至家电设备和上传家电设备信息至网关，zigbee模块三与网关的zigbee模块一组网通信，家电执行模块接收控制指令后，驱动执行机构，执行相应的功能。

9、优选的，所述平板电脑支架包括伸缩管，所述多角度调节机构包括调节组件和夹持组件，其中：

10、所述调节组件由关节二、关节三、关节四、关节五通过杆体依次首尾连接，且关节二、关节三、关节四、关节五均活动套设在杆体上，所述关节二、关节五的转动方向与关节三、关节四的旋转方向相互垂直，所述关节二、关节三、关节四、关节五上分别设置有关节旋钮二、关节按键一、关节按键二、关节按键三，所述关节五的底端活动安装在伸缩管的顶端；所述关节二与夹持组件旋转连接；

11、所述夹持组件包括对称设置的平板电脑固定夹，其中一块所述平板电脑固定夹的顶部设置有旋转球旋钮，在旋转球旋钮的内部活动卡止有固定旋转球，平板电脑固定夹与固定旋转球为刚性连接，所述固定旋转球的顶部安装有关节一，所述关节一的外部通过轴旋转连接有关节旋钮一，而关节一的端部嵌入至关节二的内部，并与关节旋钮二旋转连接，另一块所述平板电脑固定夹的内侧面固定有调节杆，且两者之间固定有固定螺丝，该调节杆的端部活动插入至其中一块平板电脑固定夹的内部，其中一块平板电脑固定夹的顶部设置有用于将调节杆抵紧的调节杆开关；

12、所述伸缩管为多段式结构，在关节二的外表面套设有伸缩管旋转锁，其中伸缩管旋转锁处于每两段伸缩管之间，所述关节二的底部还安装有固定夹，所述固定夹的顶部设置有固定夹旋转锁，该固定夹旋转锁活动套设在伸缩管上。

13、优选的，所述头环包括眼电信号传感器模块、头部姿态传感器模块、低功耗蓝牙处理器模块；

14、其中，眼电信号传感器模块包含电极单元、滤波单元、放大单元、ad转换单元；

15、所述电极单元含有3个导电电极，分别为信号电极、参考电极和接地电极，信号电极贴前额fp2位置，参考电极贴af8位置，接地电极贴af7位置；

16、所述眼电信号滤波放大单元用于滤除射频干扰信号、50hz共模信号；

17、所述放大单元则将眼电信号进行放大；

18、所述ad转换单元将放大后的眼电信号进行数模转换，将模拟的眼电信号转换为数字信号；

19、所述的头部姿态传感器模块内置9轴陀螺仪及运动处理器，9轴陀螺仪由三轴加速度计、三轴磁力计及三轴陀螺仪组成，所述运动处理器对9轴数据进行姿态解算并输出头部姿态信号；

20、所述低功耗蓝牙处理器模块包含mcu处理单元和蓝牙通信单元组成，mcu处理单元连接眼电信号传感器模块和头部姿态传感器模块，负责上述两个模块的程序驱动并获取眼电信号数据和头部姿态数据，蓝牙通信单元连接平板电脑蓝牙，负责与平板电脑进行蓝牙通信，将mcu打包后的眼电信号和头部姿态信号多模态数据上传给平板电脑上位机。

21、优选的，所述平板电脑包含蓝牙模块、头部姿态与虚拟鼠标位置转换模块、眼电大数据识别模块、集成控制界面、指令生成模块及wifi模块；

22、所述蓝牙模块用于与所述头环建立通信连接，所述头部姿态与虚拟鼠标位置转换模块用于将头部姿态解算结果转换为虚拟鼠标在平板电脑屏幕位置坐标，进而控制虚拟鼠标在所述的集成控制界面上按用户的意图上下左右移动完成功能键的选择，所述眼电大数据识别模块对眼电信号的预处理、特征提取以及特征识别，并根据识别的眼电信号结果来完成用户对选择的功能键点击，所述集成控制界面为用户的控制界面，所述集成控制界面包括电动病床控制界面，电视控制界面、空调控制界面、电灯控制界面、窗帘控制界面，床帘控制界面，所述指令生成模块用于生成控制指令，控制指令与所述集成控制界面中各控制界面虚拟功能按键对应。

23、本发明还公开了一种电动病床和家电的多模态智能控制方法，包括控制装置，具体包括以下步骤：

24、步骤s1：用户佩戴好头环平躺在电动病床上，调整头环位置，使头环上的3个电极处于电极单元中的位置，然后将固定夹固定在电动病床的背板边沿上，并调整平板电脑支架的高度与角度，安装平板电脑至平板电脑固定夹中，使平板电脑屏幕正对用户眼睛，然后启动系统，打开集成控制界面；

25、步骤s2：头环实时采集用户的头部姿态信号和眼电信号，并对头部姿态信号与眼电信号进行处理并打包，将处理后得到的打包数字信号发送给平板电脑；

26、步骤s3：平板电脑获取网关设备信息数据，根据电动病床和家电设备的类型和型号将电动病床控制界面或家电控制界面加载到集成控制界面中，平板电脑对打包的数字信号进行解析，分离头部姿态信号和眼电信号，对头部姿态信号进行计算分析，从而控制虚拟鼠标的移动方向和移动距离，实现用户对目标虚拟功能按键的位置选择，对眼电信号进行预处理，特征提取，大数据识别，得到用户选择虚拟功能按键后的眨眼结果，平板电脑将眨眼结果转换为虚拟鼠标的左键单击动作，生成电动病床或家电设备的控制命令，最后向网关发送该控制命令。

27、优选的，所述集成控制界面的自适应生成电动病床和家电的控制界面过程如下：

28、s1、获取设备信息：网关添加电动病床和家电设备，并将设备信息保存；

29、s2、上报设备信息：网关将保存的电动病床和家电设备设备信息上报平板电脑，平板电脑解析设备信息，得到电动病床和家电设备的设备类型、设备型号和设备数量数据；

30、s3、生成控制界面：平板电脑根据设备类型设置主界面窗口。

31、优选的，所述虚拟鼠标的位置移动，包括以下步骤：

32、s1、虚拟鼠标位置初始化：用户平躺在电动病床上，调整好头部姿态，眼睛正对平板电脑屏幕的中心区域，同时让虚拟鼠标移至屏幕中心点，完成初始位置的标定，同时记录此时用户头部姿态数据，具体为用户头部此时的三个方向角度，分别记为x0，y0，z0；

33、s2、头部姿态数据计算：用户头部运动时，则会产生新的头部姿态数据，将新的头部姿态数据中的三个方向转动角度记为xt，yt，zt，用户相对于初始位置时三个方向转动的相对角度则为x=xt-x0，y=yt-y0，z=zt-z0；

34、s3、虚拟鼠标移动：根据s2中的x、y、z计算所述虚拟鼠标移动距离。

35、优选的，所述移动距离计算公式为：sx=ax ,sy=by,a和b为移动距离系数，由所述平板电脑根据此时的屏幕分辨率和控制窗口的大小确定，sx和sy为移动距离，用户向左转头时，sx为正值时，虚拟鼠标向左平移sx距离,用户向右转头时，sx为负值时，虚拟鼠标向右平移sx距离, 用户向上抬头时，sy为正值时，虚拟鼠标向上平移sy距离，用户向下低头时，sy为负值时，虚拟鼠标向下平移sy距离。

36、优选的，所述眼电信号的大数据识别，包括以下步骤：

37、s1、数据采集与预处理：采集大量的各类人群的眨眼数据，其中包含正常眨眼，非眨眼状态的平稳眼动数据作为大数据模型的训练集，然后对采集到的原始信号进行初步筛选，筛出因误操作的各类原因而导致不可用的样本，对于正常可用的样本，则进行滤波去噪、降采样预处理操作，以减少噪声对后续分析的影响；

38、s2、建立大数据模型：利用采集到的眨眼波形数据集，构建基于机器学习算法的模型，接着，将先前所采集到的眨眼波形大数据用来训练大模型，并在训练中通过合理设置超参数或分步分阶段训练的方式，使得大数据模型被充分训练，实现跨人群的样本分析与判别；

39、s3、眨眼波形识别与自监督训练：当需要进行眨眼波形识别时，将待识别的眼动信号经过适当的数据预处理后，输入已训练好的大数据模型，模型对输入信号进行分类并输出识别结果，判断输入信号是眨眼还是非眨眼状态，而识别结果可根据实际应用需求进行处理和输出。

40、与现有技术相比，本发明的有益效果是：

41、在本发明中，利用头环采集头动、眼电多模态信号，通过处理分析，实现肢体瘫痪病人自主护理，减轻医护和家属的护理负担，并提高了电动病床及家电的控制准确率。