非接触式主动呼叫方法
【专利摘要】本发明提供了一种非接触式主动呼救方法与系统，分离线阶段和在线两个阶段进行，在离线阶段，先获取公开人脸库或自建人脸库，然后对人脸库中的每幅图像手动标记面部特征点，最后建立面部表情模型；在在线阶段，先后经过架设相机、采集图像、检测人脸、特征点匹配和提取、面部表情分析及病痛程度判别等步骤，实现了自动呼救报警。与现有技术相比，本发明能够以非接触的方式监测卧床病人的病情，并在危急时刻主动发出呼救信号，不需要病人的操作实施。
【专利说明】非接触式主动呼叫方法
【技术领域】
[0001] 本发明涉及一种医疗器械领域，尤其涉及一种非接触式主动呼叫方法。
【背景技术】
[0002] 住院病人每天都需要医护人员的照顾，除了日常的查房，有时病人会有特殊护理 需要或者病情突发状况，这时就需要及时呼叫医务人员到场。
[0003] 现有技术的呼叫响应机制主要有如下两种：
[0004] -种是在病床旁边安装一个呼叫按钮，当病人有需求时由自己或家属按动按钮， 医务人员在值班室看到呼叫信号后赶到病房处理。这种方法简便易操作，目前病房里普遍 采用，其缺点主要是被动的，无法处理特殊情况。例如，有的病人由于病情突然复发，短时间 内血压、血糖迅速降低，没有力气去触发呼叫按钮。又比如失用症患者，由于无法自由支配 肢体，所以很难主动去触碰按钮。对于失语症或失智症患者则更为严重，他们根本无法用语 言表达甚至无法觉察到自己的疼痛，如果医护人员或病人家属没有及时观察，则病人就会 受到病痛的折磨而得不到及时救治。
[0005] 另一种是把监测设备的探测端子连接到病人身上，通过实时测量脉搏、血压、心率 等体征指标来进行判断。这类方法主要是接触式的，费用昂贵，主要用于重症病人的监护， 普通病人无法使用。
[0006] 通过面部痛苦表情来评估老年痴呆症患者的病痛是医学领域的一个研究热点。 面部动作编码系统（Facial Action Coding System, FACS)是目前最好的面部痛苦表 情的客观描述方法（Craig K.D., Prkachin K.M., Grunau R.E.The facial expression of pain. In:Turk D. C. , Melzack R. , eds.The Handbook of Pain Assessment. New York, NY:The Guilford Press ;2001:153 - 69.)。FACS 是美国著名心理学家保罗?艾克 曼于1978年提出的一种面部表情编码系统。该方法基于人脸的解剖学特点，将面部区 域划分成48个动作单元，然后根据这些单元的运动模式来判别表情类型（Ekman P. and Friesen ff. Facial Action Coding System:A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978. )〇 Lints-Martindale 等人以老年人为研究对象，采用FACS方法定量研究了面部痛苦表情与疼痛之间的 对 应关系(Lints-Martindale A. C. , Hadjistavropoulos T. , Barber B. , Gibson S. J. (2007) ?''APsychophysical Investigation of the Facial Action Coding System as an Index of Pain Variability among Older Adults with and without Alzheimer's Disease". Pain Medicine 8(8):678 - 689.)。他们对被试分别进行物理刺激和电刺激，然 后采用FACS方法判断在不同刺激强度下被试的面部表情变化，最后提出FACS可以用于评 估老年病患的病痛。但是，由于FACS只是一套理论体系，并不能直接用来测量面部表情的 变化，所以在Lints-Martindale的研究中，主要是依靠对实验对象的面部进行录像，然后 由实验人员参照FACS的理论方法逐帧重复播放视频来判断面部动作单元对刺激的反应， 而且该研究只针对老年病患。
【发明内容】
[0007] 本发明的目的是提出一种非接触式主动呼救方法，其能够以非接触的方式监测卧 床病人的病情，并在危急时刻主动发出呼救信号，不需要病人自己去操作实施。
[0008] 为了实现上述目的，本发明以心理学领域的重要研究成果FACS为理论依据，采用 计算机视觉领域中目标检测、目标跟踪的方法检测记录面部表情特征点的位置信息，然后 利用表情特征点数据进行面部表情的识别，通过分析计算面部痛苦表情来判定患者的病痛 程度，最后根据患者的需要自动触发呼救报警系统。
[0009] 本发明的非接触式主动呼救方法至少包括离线阶段和在线两个阶段。
[0010] 优选地，所述离线阶段进一步包括如下步骤：步骤一、获取公开人脸库或自建人脸 库；步骤二、手动标记人脸库中每幅图像的面部特征点；步骤三、建立面部表情模型。
[0011] 优选地，所述在线阶段进一步包括如下步骤：步骤一、在病床正上方或斜上方屋顶 处安装一部摄像机，确保相机镜头对着卧床病人的头部；步骤二、利用摄像机采集一帧图 像；步骤三、从视频图像中检测人脸，并提取出相应区域；步骤四、利用离线阶段建立的面 部表情模型去动态匹配上一步骤中检测到的人脸；步骤五、获取面部特征点的坐标；步骤 六、判断是否是新患者，如果是则执行步骤七，否则执行步骤八；步骤七、采集一帧患者的正 常表情图像，计算面部动作单元的运动模式数据并存储为基准表情，返回步骤二；步骤八、 采集一帧患者的面部表情图像，分析计算患者的痛苦表情涉及到的相关面部动作单元的运 动模式数据；步骤九、根据患者的面部表情分析其病痛程度，并判断是否需要呼救，如果是 则执行步骤十，否则返回步骤二；步骤十、向值班室或监护人发出呼救报警信号，返回步骤 --O
[0012] 本发明的非接触式主动呼救方法对患者的监测是实时的、24小时不间断的；测量 是非接触式的，不需要连接探测端到患者身上；当发生危急情况时，呼救是主动进行的；系 统部署简单、成本低廉。
[0013] 本发明提出的非接触式主动呼救方法可以应用于医院病房、临终关怀机构、敬老 院，以及智能家居护理等领域，适用对象不仅限于老年病患，除了面部肌肉运动功能障碍患 者和婴幼儿外都能适用。
[0014] 以下结合附图和具体实施例对本发明的技术方案进行详细的说明，以使本发明的 特性和优点更为明显。
【专利附图】
【附图说明】
[0015] 图1所示为本发明一个实施例的非接触式主动呼救方法的流程示意图；
[0016] 图2所示为本发明一个实施例的面部特征点示意图。
【具体实施方式】
[0017] 以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些【具体实施方式】 进行阐述和说明，但需要注意的是本发明并不仅仅只局限于这些实施方式。相反，对本发明 进行的修改或者等同替换，均应涵盖在本发明的权利要求范围当中。
[0018] 另外，为了更好的说明本发明，在下文的【具体实施方式】中给出了众多的具体细节。 本领域技术人员将理解，没有这些具体细节，本发明同样可以实施。在另外一些实例中，对 于大家熟知的方法、流程、元件和设备未作详细描述，以便于凸显本发明的主旨。
[0019] 在本实施例中，本发明的非接触式主动呼救方法进一步分为离线阶段和在线阶 段。图1所示为本发明一个实施例的非接触式主动呼救方法的流程示意图。
[0020] 更具体而言，本实施例的非接触式主动呼救方法的离线阶段进一步包括如下步 骤：
[0021] 步骤S10,获取公开人脸库或自建人脸库。
[0022] 在一个实施例中，通过网络获取国内外公开的人脸库（例如：FERET数据库、CMU PIE数据库、东方人脸数据库等），从中选取至少90幅正面人脸并且包含多种面部表情的图 像。在另一个实施例中，利用相机自行拍摄建立人脸库，自建人脸库的数据来源一般需要满 足如下条件：拍摄人脸正面图像，包含多种面部表情，光照充足并且脸部没有反光、阴影，拍 摄对象不佩戴眼镜和帽子，脸部在图像画面中占据的比例不小于1/3,头部左右旋转角度不 超过±20度，拍摄对象不少于30人，每人3种不同表情等。
[0023] 步骤S12,手动标记人脸库中每幅图像的面部特征点。
[0024] 图2所示为本发明一个实施例的面部特征点示意图，以下结合图2对本发明进行 更详细的说明。如图2所示，在一个实施例中，对人脸库中的每幅图像都按照序号依次手动 标记出18个特征点并记录下相应的二维坐标。具体地,鼻尖处标记1个特征点；左右眉毛 区域各标记3个特征点，分别位于眉毛的左右两端及中间转折点；左右眼睛区域各标记4个 特征点，分别位于眼睛的左右眼角及上下眼皮的中点；上嘴唇区域标记3个特征点，分别位 于嘴唇的左右嘴角及上嘴唇的中点；最后得到的特征点数据是一个2m*n大小的矩阵，存储 的是人脸库里每一幅图像中18个特征点的X和y坐标值，其中m= 18, n等于人脸库中图 像的总数。例如：第1个列向量依次存储第1幅图像中第1个特征点的X和y坐标值，第2 个特征点的X和y坐标值，......，以此类推。
[0025] 步骤S14,建立面部表情模型。
[0026] 在本发明的一个实施例中，建立面部表情模型分为建立面部形状模型和建立面部 纹理模型两个步骤。
[0027] 具体而言，建立面部形状模型进一步包括如下步骤：
[0028] A.利用主成分分析方法对前述步骤中获得的特征点数据进行降维处理，剔除其中 的冗余信息，保留主要成分，从而得到一个2m*k大小的矩阵作为面部特征点的基础形状数 据，其中k〈n ;
[0029] B.把面部特征点的基础形状数据映射到一个线性子空间，剔除那些会产生明显畸 变的形状，得到一个大小为k*n的子空间坐标矩阵Q ;对矩阵Q中的每一列元素都除以相应 列的第1个元素值，进行归一化处理，去除比例造成的影响；将矩阵Q中的每一个元素都进 行平方运算，然后按行求平均值，得到一个k*l大小的列向量e，存储为坐标方差；由于前四 个基础形状都位于刚性子空间中，所以将e的前4个向量都赋值为-1 ;
[0030] C.存储上述数据为面部形状模型文件。
[0031] 具体而言，建立面部纹理模型进一步包括如下步骤：
[0032] A.分别计算出基础形状数据矩阵的第1列向量的最大值和最小值，然后用100除 以最大值和最小值的差值作为比例因子；
[0033] B.将基础形状数据矩阵的第1个列向量乘以比例因子，得到一个大小为2m*l的列 向量，作为参考形状向量。该向量的第1和第2个值分别表示参考形状的第1个特征点的 X和y坐标值，第3和第4个值分别表示参考形状的第2个特征点的X和y坐标值，……， 以此类推；
[0034] C.对人脸库中的每一幅图像，分别计算参考形状与步骤二中手动标记的特征点数 据的相似度，通过仿射变换使得参考形状最佳匹配到人脸图像上；
[0035] D.以匹配后的形状特征点为坐标中心各自选取一个11*11大小的矩形区域，然后 对人脸库中的每一幅图像用互相关方法进行模板匹配，通过训练得到18个面片模型矩阵， 每一个面片大小都是11*11 ;
[0036] E.保存参考形状向量和面片模型矩阵为面部纹理模型文件。
[0037] 请再回到图1，如图所示，在本发明一个实施例的非接触式主动呼救方法的在线阶 段的进一步包括如下步骤：
[0038] 步骤S30,在病床正上方或斜上方屋顶处安装一部摄像机，并确保相机镜头对着卧 床病人的头部。
[0039] 更详细而言，摄像机的作用是实时捕捉病人脸部正面的视频图像，所以在安装摄 像机的时候要注意调整角度，并且注意脸部不要受到强光或阴影的干扰。普通网络摄像头 即可满足本示例的功能需求，在特定应用场景下可以选用具有CCD或CMOS成像传感器的相 机，来提高成像质量或成像速度。摄像机安装好后通过USB线或网线（具体取决于相机的 接口类型）连接到PC主机上。
[0040] 步骤S31，利用摄像机采集一帧图像。
[0041] 步骤S32,从视频图像中检测人脸，并提取出相应区域。
[0042] 更详细而言，先对人脸图像进行直方图均衡处理，去除亮度和对比度的影响，然后 采用Haar Cascade级联分类器对人脸库中的每一幅图像分别进行人脸检测，并保存检测到 的人脸矩形区域的左上角和右下角坐标。
[0043] 步骤S33,利用前述离线阶段建立的面部表情模型去动态匹配上一步骤中检测到 的人脸。
[0044] 更详细而言，先用面部表情模型中的形状模型在人脸图像中找到如图2所示的18 个特征点的初步位置，然后用面部表情模型中的纹理模型去匹配人脸图像中18个特征点 各自所在的区域，最后使用互相关方法找到频率响应最大的位置点。
[0045] 步骤S34,获取面部特征点的坐标。
[0046] 更详细而言，记录频率响应最大的位置点的坐标，作为视频图像中人脸的特征点 坐标。
[0047] 步骤S35,判断是否是新患者，如果是则执行步骤S36,否则执行步骤S37 ;
[0048] 步骤S36,采集一帧患者的正常表情图像，计算面部动作单元的运动模式数据并存 储为基准表情，随后返回步骤S31 ;
[0049] 更详细而言，痛苦表情主要通过眉毛下降、闭眼、上嘴唇上拉这三个面部动作来表 现，在具体测量的时候，选取鼻尖作为参考点，分别计算左右眉毛质心相对于鼻尖的位置、 左右眼睛区域面积大小，以及上嘴唇质心相对于鼻尖的位置。由于人在做表情的时候，鼻尖 相对于其它部位基本保持静止，所以可以作为参考点。
[0050] 以左眉毛为例，其质心的计算公式：
【权利要求】
1. 一种非接触式主动呼救方法，其特征在于，所述非接触式主动呼叫方法至少包括离 线阶段和在线两个阶段。
2. 根据权利要求1所述的非接触式主动呼救方法，其特征在于，所述离线阶段进一步 包括如下步骤： 步骤一、获取公开人脸库或自建人脸库； 步骤二、手动标记人脸库中每幅图像的面部特征点； 步骤三、建立面部表情模型。
3. 根据权利要求2所述的非接触式主动呼救方法，其特征在于，所述步骤一中，所述公 开人脸库可以通过网络获取，且选取至少90幅正面人脸并且包含多种面部表情的图像。
4. 根据权利要求2所述的非接触式主动呼救方法，其特征在于，所述步骤二中，所述面 部特征点至少包括： 鼻尖处1个特征点； 左右眉毛区域各3个特征点，分别位于眉毛的左右两端及中间转折点； 左右眼睛区域各4个特征点，分别位于眼睛的左右眼角及上下眼皮的中点； 上嘴唇区域3个特征点，分别位于嘴唇的左右嘴角及上嘴唇的中点。
5. 根据权利要求2所述的非接触式主动呼救方法，其特征在于，所述步骤三中，建立面 部表情模型进一步包括如下步骤： 建立面部形状模型； 建立面部纹理模型。
6. 根据权利要求5所述的非接触式主动呼救方法，其特征在于，所述建立面部形状模 型的步骤进一步包括： 利用主成分分析方法对特征点数据进行降维处理，剔除其中的冗余信息，保留主要成 分，存储作为面部特征点的基础形状数据； 把面部特征点的基础形状数据映射到一个线性子空间，剔除其中的会产生明显畸变的 形状，得到一个子空间坐标矩阵； 对子空间坐标矩阵中的每一列元素都除以相应列的第1个元素值，进行归一化处理； 对子空间坐标矩阵中的每一个元素都进行平方运算，然后按行求平均值，存储为坐标 方差矩阵； 将坐标方差矩阵的前4个向量都赋值为-1 ; 存储上述数据为面部形状模型文件。
7. 根据权利要求5所述的非接触式主动呼救方法，其特征在于，所述建立面部纹理模 型的步骤进一步包括： 分别计算出基础形状数据矩阵的第1列向量的最大值和最小值，然后用100除以最大 值和最小值的差值作为比例因子； 将基础形状数据矩阵的第1个列向量乘以比例因子，作为参考形状向量； 对人脸库中的每一幅图像，分别计算参考形状与特征点数据的相似度，通过仿射变换 使得参考形状最佳匹配到人脸图像上； 以匹配后的形状特征点为坐标中心各自选取一个11*11大小的矩形区域，然后对人脸 库中的每一幅图像用互相关方法进行模板匹配，通过训练得到18个面片模型矩阵，每一个 面片大小都是11*11; 保存参考形状向量和面片模型矩阵为面部纹理模型文件。
8. 根据权利要求1所述的非接触式主动呼救方法，其特征在于，所述在线阶段进一步 包括如下步骤： 步骤一、在病床正上方或斜上方屋顶处安装一部摄像机，确保相机镜头对着卧床病人 的头部； 步骤二、利用摄像机采集一帧图像； 步骤三、从视频图像中检测人脸，并提取出相应区域； 步骤四、利用离线阶段建立的面部表情模型去动态匹配上一步骤中检测到的人脸； 步骤五、获取面部特征点的坐标； 步骤六、判断是否是新患者，如果是则执行步骤七，否则执行步骤八； 步骤七、采集一帧患者的正常表情图像，计算面部动作单元的运动模式数据并存储为 基准表情，返回步骤二； 步骤八、采集一帧患者的面部表情图像，分析计算患者的痛苦表情涉及到的相关面部 动作单元的运动模式数据； 步骤九、根据患者的面部表情分析其病痛程度，并判断是否需要呼救，如果是则执行步 骤十，否则返回步骤二； 步骤十、向值班室或监护人发出呼救报警信号，返回步骤二。
9. 根据权利要求8所述的非接触式主动呼救方法，其特征在于，在所述步骤一中，摄像 头为普通网络摄像头或者具有C⑶或CMOS成像传感器的相机。
10. 根据权利要求8所述的非接触式主动呼救方法，其特征在于，所述步骤三进一步包 括如下： 对人脸图像进行直方图均衡处理，去除亮度和对比度的影响； 采用Haar Cascade级联分类器对人脸库中的每一幅图像分别进行人脸检测； 保存检测到的人脸矩形区域的左上角和右下角坐标。
11. 根据权利要求8所述的非接触式主动呼救方法，其特征在于，所述步骤四进一步包 括如下： 用面部表情模型中的形状模型在人脸图像中找到特征点的初步位置； 用面部表情模型中的纹理模型去匹配人脸图像中特征点各自所在的区域； 使用互相关方法找到频率响应最大的位置点。
12. 根据权利要求8所述的非接触式主动呼救方法，其特征在于，在所述步骤五中，面 部特征点的坐标由频率响应最大的位置点来确定。
13. 根据权利要求8所述的非接触式主动呼救方法，其特征在于，在所述步骤七中，基 准表情的测量选取鼻尖作为参考点，分别计算左右眉毛质心相对于鼻尖的位置、左右眼睛 区域面积大小，以及上嘴唇质心相对于鼻尖的位置。
14. 根据权利要求8所述的非接触式主动呼救方法，其特征在于，在所述步骤七中，眼 睛区域近似为椭圆形，然后运用椭圆面积公式来计算眼睛区域的面积大小。
15. 根据权利要求8所述的非接触式主动呼救方法，其特征在于，在所述步骤八中，当 眉毛下降、闭眼、上嘴唇上拉这三个面部动作在一个给定的时间间隔内依次或同时发生，并 超过设定的阈值时认为患者流露出痛苦表情。
16. 根据权利要求8所述的非接触式主动呼救方法，其特征在于，在所述步骤九中，可 以根据眉毛下降、闭眼、上嘴唇上拉这三个面部动作的运动幅度来设定患者的病痛程度。
17. 根据权利要求8所述的非接触式主动呼救方法，其特征在于，在所述步骤十中，当 满足以下任一条件之一时，判定患者处于危险状况并自动发出报警信号： 当患者露出轻微疼痛表情，并且持续时间超过5秒或在60秒内累计出现3次； 当患者露出中度疼痛表情，并且在30秒内累计出现2次； 当患者露出严重疼痛表情，并且持续2秒以上。
【文档编号】G08B21/02GK104331685SQ201410557639
【公开日】2015年2月4日 申请日期:2014年10月20日 优先权日:2014年10月20日
【发明者】黎明 申请人:上海电机学院