具有情绪识别功能的病床终端的制作方法

1.本发明涉及一种具有情绪识别功能的病床终端。


背景技术：

2.随着智能化的发展，越来越多的传统设备逐步具备了智能化功能。目前市面上大多数病房床头终端，集成了语音通话以及预警等智能功能。但是现有的病房床头终端并没有情绪识别功能，无法实时感知患者的情绪变化，无法对表达障碍患者的需求进行及时的满足，评估患者的体验感和满意度较难。


技术实现要素：

3.本发明提供了一种具有情绪识别功能的病床终端解决上述提到的技术问题，具体采用如下的技术方案：
4.一种具有情绪识别功能的病床终端，包含：
5.护理呼叫模块，用于供患者操作以连接至护士工作站并进行语音交互；
6.输液监护模块，用于监控患者的输液状况；
7.情绪识别模块，用于识别患者的情绪状态；
8.情绪识别模块包含：
9.图像采集单元，用于采集患者的图像信息；
10.图像识别单元，用于识别图像信息中的面部区域；
11.图像切割单元，用于从面部区域中切割出人脸roi；
12.图像提取单元，用于从人脸roi中提取出多个面部活动单元；
13.图像灰度化单元，用于对人脸roi进行灰度化处理得到灰度图；
14.边缘提取单元，用于从灰度图中提取出人脸图像边缘；
15.情绪识别单元，用于接收面部活动单元、灰度图和人脸图像边缘并进行处理从而输出情绪类别。
16.进一步地，情绪识别单元包含：
17.第一拼接子单元，用于将灰度图和人脸图像边缘进行拼接；
18.vgg19卷积神经网络单元，用于接收第一拼接子单元的拼接结果并进行特征提取得到情绪特征；
19.特征处理单元，用于将vgg19卷积神经网络单元提取到的情绪特征展平为1维数组；
20.第二拼接子单元，用于将面部活动单元和特征处理单元处理后的情绪特征进行拼接；
21.分类器单元，用于接收第二拼接子单元的拼接结果并对其进行处理后得到情绪类别。
22.进一步地，分类器单元由两层全连接层与一层relu激活函数层构成。
23.进一步地，图像提取单元使用openface工具从人脸roi中提取17个面部运动单元，17个面部运动单元分别为au01,au02,au04,au05,au06,au07,au09,au10,au12,au14,au15,au17,au20,au23,au25,au26和au45。
24.进一步地，图像灰度化子模块通过下述公式对人脸roi进行灰度化处理得到灰度图：
25.gray＝0.299*r+0.587*g+0.114*b
26.其中，r,g,b分别为rgb图像的红、绿、蓝通道，gray为灰度化后的图像。
27.进一步地，边缘提取子模块通过canny算法从灰度图中提取出人脸图像边缘，在边缘提取子模块通过canny算法从灰度图中提取出人脸图像边缘的过程中，上下阈值分别设置为100和50。
28.进一步地，情绪识别模块还包含：
29.可视化显示单元，用于显示患者的人脸图像以及情绪识别单元分析得到的情绪类别。
30.进一步地，输液监护模块包含：
31.滴速监控单元，用于监控输液设备以判断当前的输液滴速；
32.智能预警单元，用于根据滴速监控模块检测到的输液滴速以及当前输液的药液类别判断当前的输液滴速是否合适；
33.全程检测单元，用于根据滴速监控模块检测到的输液滴速以及当前输液的药液类别进行实时计算得到剩余药液容量和剩余时间。
34.进一步地，输液监护模块还包含：
35.自动切断单元，用于在剩余时间达到阈值时自动切断药液供给。
36.进一步地，输液监护模块将输液滴速、剩余药液容量和剩余时间实时发送至后护士站服务器；
37.护士站服务器将接收到的信息发送至护士工作站大屏进行显示；
38.护士站服务器在剩余时间达到阈值时发送预警信号至护士站预警设备；
39.护士站预警设备发出预警信号。
40.本发明的有益之处在于所提供的具有情绪识别功能的病床终端，能够准确的识别患者的情绪，从而有利于医生的对患者的治疗。
41.本发明的有益之处还在于所提供的具有情绪识别功能的病床终端，采用数据级融合方式将人脸面部边缘与人脸面部灰度图融合，引导网络提取图像轮廓特征；采用特征级融合方式将面部动作单元与神经网络自动提取的高级特征融合，将先验知识与高级特征结合提升情绪识别算法的可靠性。
附图说明
42.图1是本发明的具有情绪识别功能的病床终端的情绪识别模块进行情绪识别的示意图；
43.图2是本发明的情绪识别单元的网络结构示意图；
44.图3是本发明的可视化显示单元的显示示意图。
具体实施方式
45.以下结合附图和具体实施例对本发明作具体的介绍。
46.本技术公开了一种具有情绪识别功能的病床终端，主要包含：护理呼叫模块、输液监护模块和情绪识别模块。护理呼叫模块用于供患者操作以连接至护士工作站并进行语音交互。输液监护模块用于监控患者的输液状况。情绪识别模块用于识别患者的情绪状态。
47.其中，情绪识别模块包含：图像采集单元、图像识别单元、图像切割单元、图像提取单元、图像灰度化单元、边缘提取单元和情绪识别单元。情绪识别模块负责情绪状态的实时监测，通过处理和分析可见光摄像头获取的视频图像实时监测患者的情绪状态七分量，并将结果通过可视化界面模块展示反馈给患者。情绪识别模块进行情绪识别的方法如图1所示。
48.具体而言，图像采集单元用于采集患者的图像信息。在本技术中，图像采集单元为可见光摄像头，可进行实时的视频拍摄。视频数据根据时间帧进行切割得到单帧图像。图像识别单元用于识别图像信息中的面部区域。图像切割单用于从面部区域中切割出人脸roi(region of interest，感兴趣区域)。图像提取单元用于从人脸roi中提取出多个面部活动单元。具体地，图像提取单元使用openface工具从人脸roi中提取17个面部运动单元，17个面部运动单元分别为au01,au02,au04,au05,au06,au07,au09,au10,au12,au14,au15,au17,au20,au23,au25,au26和au45。
49.图像灰度化单元用于对人脸roi进行灰度化处理得到灰度图。具体地，图像灰度化子模块通过下述公式对人脸roi进行灰度化处理得到灰度图：
50.gray＝0.299*r+0.587*g+0.114*b
51.其中，r,g,b分别为rgb图像的红、绿、蓝通道，gray为灰度化后的图像。
52.边缘提取单元用于从灰度图中提取出人脸图像边缘。具体而言，边缘提取子模块通过canny算法从灰度图中提取出人脸图像边缘，在边缘提取子模块通过canny算法从灰度图中提取出人脸图像边缘的过程中，上下阈值分别设置为100和50。
53.情绪识别单元用于接收面部活动单元、灰度图和人脸图像边缘并进行处理从而输出情绪类别。如图2所示为本技术的情绪识别单元网络结构图。具体而言，情绪识别单元包含：第一拼接子单元、vgg19卷积神经网络单元、特征处理单元、第二拼接子单元和分类器单元。
54.第一拼接子单元用于将灰度图和人脸图像边缘进行拼接。vgg19卷积神经网络单元用于接收第一拼接子单元的拼接结果并进行特征提取得到情绪特征。特征处理单元用于将vgg19卷积神经网络单元提取到的情绪特征展平为1维数组。第二拼接子单元用于将面部活动单元和特征处理单元处理后的情绪特征进行拼接。分类器单元用于接收第二拼接子单元的拼接结果并对其进行处理后得到情绪类别。分类器单元由两层全连接层与一层relu激活函数层构成。
55.具体而言，如下公式所示，
56.f
vgg
＝vgg([gray:edge])
[0057]funion
＝[flatten(f):au]
[0058]
fc＝linear(relu(linear(f
union
；θ2,b2))；θ1,b1)
[0059]
result＝softmax(fc)
[0060]
其中，gary∈r1×w×h为灰度化的人脸图像，edge∈r1×w×h为canny提取的人脸图像边缘，[gray:edge]∈r2×w×h为gary与edge的通道级拼接。人脸边缘检测结果为与原始灰度化图像像素点一一对应的二值图像，判定为边缘的像素的值为1，否则值为0，通道级拼接将人脸边缘检测结果与原始图像像素一一对应重叠。通过这一步骤实现面部轮廓这一先验知识的融合，拼接后的数据输入vgg19网络。vgg19网络为卷积神经网络的经典结构，它使用了3个3x3卷积核来代替7x7卷积核，使用了2个3x3卷积核来代替5
×
5卷积核，在保证具有与大尺度卷积核相同感知野的条件下，提升了网络的深度，一定程度上提升了神经网络特征提取的效果，vgg19网络将通过训练自动提取与情绪识别相关的特征。将vgg19网络提取的特征表示为f
vgg
∈rc×w×h。flatten()为展平函数，它将vgg19网络提取的特征展平为1维数组flatten(f)∈rc·w·h。展平后的特征与使用openface提取的面部运动单元强度值数组au∈r
17
拼接(这一步拼接将两个一维特征向量拼接为更长的一维向量)，得到的特征表示为f
union
∈rc·w·
h+17
。这一步实现vgg19网络提取的高级特征与面部运动单元(au)这一先验知识相统合。θ2,θ1为全连接层权重，b1,b2为全连接层偏置项，分类器的输入为f
union
，分类器输出fc经过softmax()函数处理后得到情绪七分量结果。网络训练过程使用交叉熵，模型处理过程如图2所示。
[0061]
作为一种优选的实施方式，情绪识别模块还包含：可视化显示单元。
[0062]
可视化显示单元用于显示患者的人脸图像以及情绪识别单元分析得到的情绪类别。如图3所示，画面整体显示内容为摄像头拍摄画面，引导患者将面部暴露在摄像头视野内。界面左边显示的是实时表情分类结果。将实时预测的人脸表情分类结果以柱状图的形式表示各类别的概率高低。界面右边显示的是阶段性数据统计，将数据存入云端，每10秒进行一次阶段性的数据统计，结果以雷达图的形式表示。
[0063]
作为一种优选的实施方式，输液监护模块包含：滴速监控单元、智能预警单元和全程检测单元。
[0064]
滴速监控单元用于监控输液设备以判断当前的输液滴速。具体地，滴速监控单元采用红外检测技术，通过输液滴液下滴过程中对红外光强变化的原理来实现精准检测输液滴速。滴速监控单元优选的采用无线充电技术，能够有效避免因输液过程中药水污染导致充电接触不良。
[0065]
智能预警单元用于根据滴速监控模块检测到的输液滴速以及当前输液的药液类别判断当前的输液滴速是否合适。其根据输液药品智能化判断合理的输液滴速范围，超出范围自动预警。
[0066]
全程检测单元用于根据滴速监控模块检测到的输液滴速以及当前输液的药液类别进行实时计算得到剩余药液容量和剩余时间。
[0067]
作为一种优选的实施方式，输液监护模块还包含：自动切断单元。
[0068]
自动切断单元用于在剩余时间达到阈值时自动切断药液供给。自动切断单元自动检测判断输液完成空瓶状态，通过主动保护装置自动截止输液管，能有效防止回血等状况发生。
[0069]
作为一种优选的实施方式，输液监护模块将输液滴速、剩余药液容量和剩余时间实时发送至后护士站服务器。护士站服务器将接收到的信息发送至护士工作站大屏进行显示。护士站服务器在剩余时间达到阈值时发送预警信号至护士站预警设备。护士站预警设
备发出预警信号。
[0070]
具体而言，整个病区实时输液信息能够在护士站大屏上进行汇总显示，具备输液滴速、剩余容量、剩余时间等信息。病区输液提醒信息能够在护士站大屏上进行实时的语音播报。比如：09床滴速过快，07床输液完成等。同时，病区输液数据能够支持安全存储。存储包括患者信息、药品详情，时间、滴速、报警等信息。支持按照患者、床位、时间等进行智能检索输液数据。支持输液数据的存储统计分析功能，通过对输液大数据分析，能够有效提升工作效率和管理水平。
[0071]
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。