基于视觉手势识别的智能医疗床控制方法及相关设备与流程

1.本发明涉及图像识别技术领域，具体涉及一种基于视觉手势识别的智能医疗床控制方法及相关设备。


背景技术：

2.目前市面上的智能医疗床大多是针对患者的提醒监测类医疗床，当病人需要帮助救治时只能提供预警、呼叫功能。
3.手动的医疗床模式单一，没有针对行动不便病患者提供专有人性化服务，诸如大小便问题，尚需医护或者家属解决。对于腿脚不便以及有口齿障碍的患者，可能会由于大小便得不到及时的解决造成患者的不适，医疗床不够人性化。


技术实现要素：

4.本发明实施例提供一种基于视觉手势识别的智能医疗床控制方法及相关设备，可以根据手势控制内置智能马桶的医疗床，对于腿脚不便以及有口齿障碍的患者，方便患者操作，使得医疗床更加人性化。
5.第一方面，本发明实施例提供了一种基于视觉手势识别的智能医疗床控制方法，所述方法应用于内置智能马桶的医疗床，所述方法包括：
6.获取待识别图像；
7.检测所述待识别图像中是否存在手势图；
8.若存在手势手势图，则基于tensorflow提取所述手势图中的21个关键点，所述21个关键点分别包括1个掌心关键点，4个大拇指关键点，4个食指关键点，4个中指关键点，4个无名指关键点，4个小指关键点；
9.根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，所述手势识别结果包括手势一、手势二、手势三、手势四、手势五、握拳手势、ok手势、往上手势、往下手势、往左手势或往右手势；
10.基于所述手势识别结果控制所述智能医疗床；
11.其中，所述手势一为仅打开食指，所述手势二为仅打开食指和中指，所述手势三为仅打开食指、中指和无名指，所述手势四为大拇指关闭，其余手指打开，手势五为打开五个手指；
12.对于食指、中指、无名指以及尾指，每根手指由根部到指尖分别为第一关键点、第二关键点、第三关键点和第四关键点，当手指关闭时，第三关键点及第四关键点的纵坐标值小于第二关键点的纵坐标值，且第四关键点的纵坐标值小于第三关键点的纵坐标值，当手指打开时，第四关键点以及第三关键点的纵坐标值大于第二关键点的纵坐标值，且第四关键点的纵坐标值大于第三关键点的纵坐标值；
13.对于大拇指，每根手指由根部到指尖分别为第一关键点、第二关键点、第三关键点和第四关键点，当大拇指关闭时，第四关键点的横坐标值小于第三关键点的横坐标值，第三
关键点的横坐标值小于第二关键点的横坐标值，当大拇指打开时，第四关键点的横坐标值大于第三关键点的横坐标值，第三关键点的横坐标值大于第二关键点的横坐标值；
14.所述往上手势、所述往下手势、所述往左手势以及所述往右手势分别为在所述手势五的状态下掌心关键点往上、下、左和右移动。
15.在一些实施例中，所述根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果之前，所述方法还包括：
16.对所述21个关键点进行编号，其中，所述掌心关键点包括关键点0；
17.所述大拇指关键点由根部到指尖分别包括关键点1、关键点2、关键点3和关键点4；
18.所述食指关键点由根部到指尖分别包括关键点5、关键点6、关键点7和关键点8；
19.所述中指关键点由根部到指尖分别包括关键点8、关键点10、关键点11和关键点12；
20.所述无名指关键点由根部到指尖分别包括关键点13、关键点14、关键点15和关键点16；
21.所述小指关键点由根部到指尖分别包括关键点17、关键点18、关键点19和关键点20。
22.在一些实施例中，所述根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，包括：
23.根据手指状态判断公式分别判断所述手势识别结果是否为所述手势一、所述手势二、所述手势三、所述手势四、所述手势五或所述握拳手势，所述手指状态判断公式为：
24.s1＝f2
open
+f1
close
+f3
close
+f4
close
+f5
close
；
25.s2＝f2
open
+f3
open
+f1
c1ose
+f4
close
+f5
c1ose
；
26.s3＝f2
open
+f3
open
+f4
open
+f1
c1ose
+f5
c1ose
；
27.s4＝f2
opse
+f3
open
+f4
open
+f5
open
+f1
close
；
28.s5＝f1
open
+f2
open
+f3
open
+f4
open
+f5
open
；
29.s6＝f1
open
+f2
close
+f3
close
+f4
close
+f5
close
；
30.其中，s1、s2、s3、s4、s5及s6分别表示所述手势一、所述手势二、所述手势三、所述手势四、所述手势五以及所述握拳手势，+表示逻辑与关系，f1、f2、f3、f4及f5分别表示拇指、食指、中指、无名指以及尾指，open表示打开状态，close表示关闭状态。
31.在一些实施例中，所述ok手势为大拇指顶部和食指顶部贴合，其余手指打开，所述根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，包括：
32.根据欧氏距离计算公式以及ok手势判断公式确定所述手势识别结果是否为所述ok手势，所述欧氏距离计算公式为：
[0033][0034]
d为欧氏距离，x4为关键点4的横坐标，y4为关键点4的纵坐标，x8为关键点8的横坐标，y8为关键点8的纵坐标；
[0035]
所述ok手势判断公式为：
[0036]
s
ok
＝{d＜δ}+f3
open
+f4
open
+f5
open
；
[0037]
s
ok
表示ok手势判断成立，δ为距离阈值，f3
open
表示中指为打开状态、f4
open
表示无
名指为打开状态，f5
open
表示尾指为打开状态。
[0038]
在一些实施例中，所述根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，包括：
[0039]
根据所述掌心关键点确定所述手势识别结果是否为所述往上手势、所述往下手势、所述往左手势或所述往右手势，所述掌心关键点移动公式为：
[0040]
s
mov_right
＝{
‑
45＜a tan(δy，δx)＜45}；
[0041]
s
mov_up
＝{45＜a tan(δy，δx)＜135}；
[0042]
s
mov_left
＝{135＜a tan(δy，δx)||a tan(δy，δx)＜
‑
135}；
[0043]
s
mov_down
＝{
‑
135＜a tan(δy，δx)＜
‑
45}；
[0044]
s
mov_right
表示所述往右手势，s
mov_up
表示所述往上手势，s
mov_left
表示所述往左手势，s
mov_down
表示所述往下手势，δy表示所述掌心关键点的纵向移动距离，δx表示所述掌心关键点的横向移动距离。
[0045]
在一些实施例中，所述根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果之后，所述方法还包括：
[0046]
通过显示屏显示所述手势识别结果；
[0047]
检测是否接收到所述所述手势识别结果的确认手势，所述确认手势为ok手势；
[0048]
若接收到，则根据预置的手势与功能的对应关系确定所述手势识别结果对应的医疗床控制指令；
[0049]
根据所述医疗床控制指令控制所述智能医疗床。
[0050]
在一些实施例中，所述根据所述医疗床控制指令控制所述智能医疗床，包括：
[0051]
根据所述医疗床控制指令控制所述智能医疗床中的智能马桶执行打开、关闭或冲洗动作；或：
[0052]
根据所述医疗床控制指令控制所述智能医疗床中的靠背支撑板执行升起或降下动作。
[0053]
第二方面，本发明实施例还提供了一种智能医疗床，所述智能医疗床内置智能马桶，包括：
[0054]
获取单元，用于获取待识别图像；
[0055]
检测单元，用于检测所述待识别图像中是否存在手势图；
[0056]
提取单元，用于当存在手势手势图时，基于tensorflow提取所述手势图中的21个关键点，所述21个关键点分别包括1个掌心关键点，4个大拇指关键点，4个食指关键点，4个中指关键点，4个无名指关键点，4个小指关键点；
[0057]
确定单元，用于根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，所述手势识别结果包括手势一、手势二、手势三、手势四、手势五、握拳手势、ok手势、往上手势、往下手势、往左手势或往右手势；
[0058]
控制单元，用于基于所述手势识别结果控制所述智能医疗床；
[0059]
其中，所述手势一为仅打开食指，所述手势二为仅打开食指和中指，所述手势三为仅打开食指、中指和无名指，所述手势四为大拇指关闭，其余手指打开，手势五为打开五个手指；
[0060]
对于食指、中指、无名指以及尾指，每根手指由根部到指尖分别为第一关键点、第
二关键点、第三关键点和第四关键点，当手指关闭时，第三关键点及第四关键点的纵坐标值小于第二关键点的纵坐标值，且第四关键点的纵坐标值小于第三关键点的纵坐标值，当手指打开时，第四关键点以及第三关键点的纵坐标值大于第二关键点的纵坐标值，且第四关键点的纵坐标值大于第三关键点的纵坐标值；
[0061]
对于大拇指，每根手指由根部到指尖分别为第一关键点、第二关键点、第三关键点和第四关键点，当大拇指关闭时，第四关键点的横坐标值小于第三关键点的横坐标值，第三关键点的横坐标值小于第二关键点的横坐标值，当大拇指打开时，第四关键点的横坐标值大于第三关键点的横坐标值，第三关键点的横坐标值大于第二关键点的横坐标值；
[0062]
所述往上手势、所述往下手势、所述往左手势以及所述往右手势分别为在所述手势五的状态下掌心关键点往上、下、左和右移动。
[0063]
在一些实施方式中，所述确定单元还具体用于：
[0064]
对所述21个关键点进行编号，其中，所述掌心关键点包括关键点0；
[0065]
所述大拇指关键点由根部到指尖分别包括关键点1、关键点2、关键点3和关键点4；
[0066]
所述食指关键点由根部到指尖分别包括关键点5、关键点6、关键点7和关键点8；
[0067]
所述中指关键点由根部到指尖分别包括关键点8、关键点10、关键点11和关键点12；
[0068]
所述无名指关键点由根部到指尖分别包括关键点13、关键点14、关键点15和关键点16；
[0069]
所述小指关键点由根部到指尖分别包括关键点17、关键点18、关键点19和关键点20。
[0070]
在一些实施方式中，所述确定单元还具体用于：
[0071]
根据手指状态判断公式分别判断所述手势识别结果是否为所述手势一、所述手势二、所述手势三、所述手势四、所述手势五或所述握拳手势，所述手指状态判断公式为：
[0072]
s1＝f2
open
+f1
c1ose
+f3
close
+f4
close
+f5
close
；
[0073]
s2＝f2
open
+f3
open
+f1
close
+f4
c1ose
+f5
close
；
[0074]
s3＝f2
open
+f3
open
+f4
open
+f1
close
+f5
close
；
[0075]
s4＝f2
open
+f3
open
+f4
open
+f5
open
+f1
close
；
[0076]
s5＝f1
open
+f2
open
+f3
open
+f4
open
+f5
open
；
[0077]
s6＝f1
open
+f2
close
+f3
close
+f4
close
+f5
close
；
[0078]
其中，s1、s2、s3、s4、s5及s6分别表示所述手势一、所述手势二、所述手势三、所述手势四、所述手势五以及所述握拳手势，+表示逻辑与关系，f1、f2、f3、f4及f5分别表示拇指、食指、中指、无名指以及尾指，open表示打开状态，close表示关闭状态。
[0079]
在一些实施方式中，所述确定单元还具体用于：
[0080]
根据欧氏距离计算公式以及ok手势判断公式确定所述手势识别结果是否为所述ok手势，所述欧氏距离计算公式为：
[0081][0082]
d为欧氏距离，x4为关键点4的横坐标，y4为关键点4的纵坐标，x8为关键点8的横坐标，y8为关键点8的纵坐标；
[0083]
所述ok手势判断公式为：
[0084]
s
ok
＝{d＜δ}+f3
open
+f4
open
+f5
open
；
[0085]
s
ok
表示ok手势判断成立，δ为距离阈值，f3
open
表示中指为打开状态、f4
open
表示无名指为打开状态，f5
open
表示尾指为打开状态。
[0086]
在一些实施方式中，所述确定单元还具体用于：
[0087]
根据所述掌心关键点确定所述手势识别结果是否为所述往上手势、所述往下手势、所述往左手势或所述往右手势，掌心关键点移动公式为：
[0088]
s
mov_right
＝{
‑
45＜a tan(δy，δx)＜45}；
[0089]
s
mov_up
＝{45＜a tan(δy，δx)＜135}；
[0090]
s
mov_left
＝{135＜a tan(δy，δx)||a tan(δyy，δx)＜
‑
135}；
[0091]
s
mov_down
＝{
‑
135＜a tan(δy，δx)＜
‑
45}；
[0092]
s
mov_right
表示所述往右手势，s
mov_up
表示所述往上手势，s
mov_left
表示所述往左手势，s
mov_down
表示所述往下手势，δy表示所述掌心关键点的纵向移动距离，δx表示所述掌心关键点的横向移动距离。
[0093]
在一些实施例中，所述控制单元具体用于：
[0094]
通过显示屏显示所述手势识别结果；
[0095]
检测是否接收到所述所述手势识别结果的确认手势，所述确认手势为ok手势；
[0096]
若接收到，则根据预置的手势与功能的对应关系确定所述手势识别结果对应的医疗床控制指令；
[0097]
用于根据所述医疗床控制指令控制所述智能医疗床。
[0098]
在一些实施方式中，所述控制单元具体用于：
[0099]
根据所述医疗床控制指令控制所述智能医疗床中的智能马桶执行打开、关闭或冲洗动作；或：
[0100]
根据所述医疗床控制指令控制所述智能医疗床中的靠背支撑板执行升起或降下动作。
[0101]
第三方面，本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本发明实施例提供的任一种基于视觉手势识别的智能医疗床控制方法中的步骤。
[0102]
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例提供的任一种基于视觉手势识别的智能医疗床控制方法中的步骤。
[0103]
本发明实施例中，提供一种基于视觉手势识别的智能医疗床控制方法，其中，该方法可以应用于内置智能马桶的医疗床，本实施例中，首先获取待识别图像；然后检测所述待识别图像中是否存在手势图；若存在手势手势图，则基于tensorflow提取所述手势图中的21个关键点，所述21个关键点分别包括1个掌心关键点，4个大拇指关键点，4个食指关键点，4个中指关键点，4个无名指关键点，4个小指关键点；并根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，最后，基于所述手势识别结果控制所述智能医疗床，本实施例中的医疗床内置有智能马桶，并且可以根据手势控制内置智能马桶的医疗床，对于腿脚不便以及有口齿障碍的患者，方便患者操作，使得医疗床更加人性化。
附图说明
[0104]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0105]
图1是本发明实施例提供的基于视觉手势识别的智能医疗床控制方法的流程示意图；
[0106]
图2是本发明实施例提供的一个手指关键点编号示意图；
[0107]
图3是本发明实施例提供的一个手势集合示意图；
[0108]
图4是本发明实施例提供的智能医疗床的一个结构示意图；
[0109]
图5是本发明实施例提供的智能医疗床的另一个结构示意图；
[0110]
图6是本发明实施例提供的电子设备的一个结构示意图。
具体实施方式
[0111]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0112]
在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
[0113]
本发明的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本发明的运算系统、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境，其中包括了任何的上述系统或装置。
[0114]
本发明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。
[0115]
本发明提供一种基于视觉手势识别的智能医疗床控制方法及相关设备，其中，该医疗床为内置智能马桶的智能医疗床，该医疗床的视觉识别系统包括图像捕获、手势识别、指令发送、指令获取、指令解析和医疗床执行几部分。视觉识别系统主要包含rgb相机，显示屏交互界面，图像处理模块，串口通讯模块，供电模块。
[0116]
其中，rgb相机和显示屏竖直固定于智能医疗床尾部，图像处理模块和供电模块置于医疗床底部。相机获取图像后，进行预处理，通过机器学习算法获取手部的骨架得到21个关键点，其中关键点0为掌心，借助关键点之间的相对位置关系进行几何计算可以定义集中
常见的手势，在本发明中定义了11种常见的手势，手势分别为一至五，握拳，ok，上下左右移动。图像处理模块识别手势后，通过显示屏反馈给患者，当患者做出ok手势时，图像处理模块确认发送指令，指令通过串口通讯发送给医疗床的控制系统。本发明中的智能医疗床主要解决行动不便的病患者大小便问题，医疗床下置智能马桶。当用户躺下或坐下时，执行相应的手势，通过识别，医疗床可执行打开，关闭，冲洗等动作。
[0117]
具体地，本发明中的rgb相机，其成像分辨率不低于640*480。显示屏为14寸液晶显示屏。相机和显示屏由可升降金属杆件固定，显示屏和相机中心固定于同一条水平线，且相机固定于显示屏左边缘。
[0118]
其中，显示屏汇总的屏幕交互界面主要显示用户当前动作状态，以及医疗床马桶状态。
[0119]
图像处理模块硬件算力应不低于树莓派4b，并且图像处理模块软件部分的识别算法基于tensorflow框架实现。
[0120]
识别算法的具体步骤为基于tensorflow实时提取手部骨架的21个关键点。基于21个点的几何信息定义手势，通过计算部分点的距离角度等进行逻辑判断，进而得出最终手势。
[0121]
串口通讯模块一般包含gnd、txd、rxd三个引脚。其中图像处理模块和医疗床的主控模块的发送(txd)和接受(rxd)应交叉连接。串口设置为波特率115200，无校验位，8数据位，1停止位。
[0122]
供电模块主要由整流器和变压器组成。
[0123]
利用本发明的智能医疗床，解决了行动不便的病人去卫生间的问题。本发明的视觉系统无噪音污染，无需额外添加光源。极大的减轻了家属和医护人员的负担。且该系统鲁棒性高，功耗低，成本低，实现方便，具体实现步骤如下：
[0124]
请参阅图1，图1是本发明一实施例提供的基于视觉手势识别的智能医疗床控制方法的流程示意图。该基于视觉手势识别的智能医疗床控制方法的执行主体可以是本发明实施例提供的内置智能马桶的智能医疗床。该基于视觉手势识别的智能医疗床控制方法可以包括：
[0125]
101、获取待识别图像。
[0126]
具体地，通过安装在智能医疗床上的rgb相机获取待识别图像。
[0127]
102、检测待识别图像中是否存在手势图，若存在，则执行步骤103，若不存在，则返回执行步骤101。
[0128]
具体地，通过图像处理模块加长呢待识别图像中是否存在手势图。
[0129]
103、基于tensorflow提取手势图中的21个关键点。
[0130]
其中，该21个关键点分别包括1个掌心关键点，4个大拇指关键点，4个食指关键点，4个中指关键点，4个无名指关键点，4个小指关键点；
[0131]
其中，根据21个关键点的相对位置关系，确定手势图的手势识别结果之前，方法还包括：对21个关键点进行编号。
[0132]
请参阅图2，图2为本发明提供的一个手指关键点编号示意图，其中掌心关键点包括关键点0；大拇指关键点由根部到指尖分别包括关键点1、关键点2、关键点3和关键点4；食指关键点由根部到指尖分别包括关键点5、关键点6、关键点7和关键点8；中指关键点由根部
到指尖分别包括关键点8、关键点10、关键点11和关键点12；无名指关键点由根部到指尖分别包括关键点13、关键点14、关键点15和关键点16；小指关键点由根部到指尖分别包括关键点17、关键点18、关键点19和关键点20。
[0133]
104、根据21个关键点的相对位置关系，确定手势图的手势识别结果。
[0134]
其中，如图3所示，手势识别结果包括手势一、手势二、手势三、手势四、手势五、握拳手势、ok手势、往上手势、往下手势、往左手势或往右手势。
[0135]
具体地，手势一为仅打开食指，手势二为仅打开食指和中指，手势三为仅打开食指、中指和无名指，手势四为大拇指关闭，其余手指打开，手势五为打开五个手指；
[0136]
对于食指、中指、无名指以及尾指，每根手指由根部到指尖分别为第一关键点、第二关键点、第三关键点和第四关键点，当手指关闭时，第三关键点及第四关键点的纵坐标y值小于第二关键点的纵坐标y值，且第四关键点的纵坐标y值小于第三关键点的纵坐标y值，当手指打开时，第四关键点的纵坐标y值大于第三关键点的纵坐标y值；
[0137]
即，除大拇指外的另外四根手指的手指打开的定义为：
[0138]
p4
y
＞p3
y
＞p2
y
，其中，p4
y
表示第四关键点的y值，p3
y
表示第三关键点的y值，p2
y
表示第二关键点的y值。
[0139]
除大拇指外的另外四根手指的手指关闭的定义为：
[0140]
p4
y
＜p3
y
＜p2
y
。
[0141]
对于大拇指，每根手指由根部到指尖分别为第一关键点、第二关键点、第三关键点和第四关键点，当大拇指关闭时，第四关键点的横坐标x值小于第三关键点的横坐标x值，第三关键点的横坐标x值小于第二关键点的横坐标x值，当大拇指打开时，第四关键点的横坐标x值大于第三关键点的横坐标x值，第三关键点的横坐标x值大于第二关键点的横坐标x值；
[0142]
即，大拇指的手指打开定义为：
[0143]
p4
x
＞p3
x
＞p2
x
，其中，p4
x
表示第四关键点的x值，p3
x
表示第四关键点的x值，p2
x
表示第四关键点的x值。
[0144]
大拇指的手指关闭定义为：
[0145]
p4
x
＜p3
x
＜p2
x
。
[0146]
在一些实施例中，根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，包括：
[0147]
根据手指状态判断公式分别判断所述手势识别结果是否为所述手势一、所述手势二、所述手势三、所述手势四、所述手势五或所述握拳手势，所述手指状态判断公式为：
[0148]
s1＝f2
open
+f1
close
+f3
close
+f4
close
+f5
close
；
[0149]
s2＝f2
open
+f3
open
+f1
close
+f4
close
+f5
close
；
[0150]
s3＝f2
open
+f3
open
+f4
open
+f1
close
+f5
close
；
[0151]
s4＝f2
open
+f3
open
+f4
open
+f5
open
+f1
close
；
[0152]
s5＝f1
open
+f2
open
+f3
open
+f4
open
+f5
open
；
[0153]
s6＝f1
open
+f2
close
+f3
close
+f4
close
+f5
close
；
[0154]
其中，s1、s2、s3、s4、s5及s6分别表示所述手势一、所述手势二、所述手势三、所述手势四、所述手势五以及所述握拳手势，+表示逻辑与关系，f1、f2、f3、f4及f5分别表示拇
指、食指、中指、无名指以及尾指，open表示打开状态，close表示关闭状态。
[0155]
在一些实施例中，所述ok手势为大拇指顶部和食指顶部贴合，其余手指打开，所述根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，还包括：
[0156]
根据欧氏距离计算公式以及ok手势判断公式确定所述手势识别结果是否为所述ok手势，所述欧氏距离计算公式为：
[0157][0158]
d为欧氏距离，x4为关键点4的横坐标，y4为关键点4的纵坐标，x8为关键点8的横坐标，y8为关键点8的纵坐标；
[0159]
所述ok手势判断公式为：
[0160]
s
ok
＝{d＜δ}+f3
open
+f4
open
+f5
open
；
[0161]
s
ok
表示ok手势判断成立，δ为距离阈值，f3
open
表示中指为打开状态、f4
open
表示无名指为打开状态，f5
open
表示尾指为打开状态。
[0162]
在一些实施例中，所述根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，还包括：
[0163]
根据掌心关键点移动公式确定所述手势识别结果是否为所述往上手势、所述往下手势、所述往左手势或所述往右手势，掌心关键点移动公式为：
[0164]
s
mov_right
＝{
‑
45＜a tan(δy，δx)＜45}；
[0165]
s
mov_up
＝{45＜a tan(δy，δx)＜135}；
[0166]
s
mov_left
＝{135＜a tan(δy，δx)||a tan(δy，δx)＜
‑
135}；
[0167]
s
mov_down
＝{
‑
135＜a tan(δy，δx)＜
‑
45}；
[0168]
s
mov_right
表示所述往右手势，s
mov_up
表示所述往上手势，s
mov_left
表示所述往左手势，s
mov_down
表示所述往下手势，δy表示所述掌心关键点的纵向移动距离，δx表示所述掌心关键点的横向移动距离。
[0169]
需要说明的是，在根据掌心关键点移动公式确定所述手势识别结果是否为所述往上手势、所述往下手势、所述往左手势或所述往右手势时，需要获取至少两张手势图没然后根据至少两张手势图确定δy以及δx。
[0170]
105、通过显示屏显示所述手势识别结果。
[0171]
本实施例中，通过显示屏显示手势识别结果的目的是让用户确认识别的手势是否正确，避免手势识别错误。
[0172]
106、检测是否接收到所述所述手势识别结果的确认手势，所述确认手势为ok手势。
[0173]
本实施例中，当用户确认识别出来的手势识别结果正确，将摆出ok手势，该ok手势表示判断的手势识别结果正确，其中，如果收到了则执行步骤107，如果没有收到，则发出手势识别有错提醒，提醒用户再次摆出所需的手势，进行再次识别。
[0174]
107、若接收到，则根据预置的手势与功能的对应关系确定所述手势识别结果对应的医疗床控制指令。
[0175]
其中，预置的手势与功能的对应关系可以由用户自行设定，其对应关系不固定，用户在使用该智能医疗床时，可以根据自己的喜好对该对应关系进行调整，例如，手势一表示
打开马桶，手势二表示关闭马桶，手势三表示冲洗，手势四表示出风，上手势表示升起靠背支撑板，下手势表示降下靠背支撑板等。
[0176]
即，图像处理模块识别手势后，通过显示屏反馈给患者，当患者做出ok手势时，图像处理模块确认发送指令，指令通过串口通讯发送给医疗床的控制系统。控制系统解析指令到执行机构，医疗床和马桶执行相应动作。
[0177]
108、根据所述医疗床控制指令控制所述智能医疗床。
[0178]
具体地，根据所述医疗床控制指令控制所述智能医疗床中的智能马桶执行打开、关闭或冲洗动作；或：
[0179]
根据所述医疗床控制指令控制所述智能医疗床中的靠背支撑板执行升起或降下动作。
[0180]
本发明中的基于视觉手势识别的智能医疗床控制方法主要解决行动不便的病患者大小便问题，医疗床下置智能马桶。当用户躺下或坐下时，执行相应的手势，通过识别，医疗床可执行打开，关闭，冲洗等动作。
[0181]
综上所述，本发明实施例中，提供一种基于视觉手势识别的智能医疗床控制方法，其中，该方法可以应用于内置智能马桶的医疗床，本实施例中，首先获取待识别图像；然后检测所述待识别图像中是否存在手势图；若存在手势手势图，则基于tensorflow提取所述手势图中的21个关键点，所述21个关键点分别包括1个掌心关键点，4个大拇指关键点，4个食指关键点，4个中指关键点，4个无名指关键点，4个小指关键点；并根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，最后，基于所述手势识别结果控制所述智能医疗床，本实施例中的医疗床内置有智能马桶，并且可以根据手势控制内置智能马桶的医疗床，对于腿脚不便以及有口齿障碍的患者，方便患者操作，使得医疗床更加人性化。
[0182]
为便于更好的实施本发明实施例提供的基于视觉手势识别的智能医疗床控制方法，本发明实施例还提供一种智能医疗床，该智能医疗床内置智能马桶。其中名词的含义与上述基于视觉手势识别的智能医疗床控制方法中相同，具体实现细节可以参考方法实施例中的说明。
[0183]
请参阅图4，图4为本发明实施例提供的智能医疗床的结构示意图，其中该智能医疗床可以包括获取单元401、检测单元402、提取单元403、确定单元404及控制单元405等，其中：
[0184]
获取单元401，用于获取待识别图像；
[0185]
检测单元402，用于检测所述待识别图像中是否存在手势图；
[0186]
提取单元403，用于当存在手势手势图时，基于tensorflow提取所述手势图中的21个关键点，所述21个关键点分别包括1个掌心关键点，4个大拇指关键点，4个食指关键点，4个中指关键点，4个无名指关键点，4个小指关键点；
[0187]
确定单元404，用于根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，所述手势识别结果包括手势一、手势二、手势三、手势四、手势五、握拳手势、ok手势、往上手势、往下手势、往左手势或往右手势；
[0188]
控制单元405，用于基于所述手势识别结果控制所述智能医疗床；
[0189]
其中，所述手势一为仅打开食指，所述手势二为仅打开食指和中指，所述手势三为仅打开食指、中指和无名指，所述手势四为大拇指关闭，其余手指打开，手势五为打开五个
手指；
[0190]
对于食指、中指、无名指以及尾指，每根手指由根部到指尖分别为第一关键点、第二关键点、第三关键点和第四关键点，当手指关闭时，第三关键点及第四关键点的纵坐标值小于第二关键点的纵坐标值，且第四关键点的纵坐标值小于第三关键点的纵坐标值，当手指打开时，第四关键点以及第三关键点的纵坐标值大于第二关键点的纵坐标值，且第四关键点的纵坐标值大于第三关键点的纵坐标值；
[0191]
对于大拇指，每根手指由根部到指尖分别为第一关键点、第二关键点、第三关键点和第四关键点，当大拇指关闭时，第四关键点的横坐标值小于第三关键点的横坐标值，第三关键点的横坐标值小于第二关键点的横坐标值，当大拇指打开时，第四关键点的横坐标值大于第三关键点的横坐标值，第三关键点的横坐标值大于第二关键点的横坐标值；
[0192]
所述往上手势、所述往下手势、所述往左手势以及所述往右手势分别为在所述手势五的状态下掌心关键点往上、下、左和右移动。
[0193]
在一些实施方式中，所述确定单元404还具体用于：
[0194]
对所述21个关键点进行编号，其中，所述掌心关键点包括关键点0；
[0195]
所述大拇指关键点由根部到指尖分别包括关键点1、关键点2、关键点3和关键点4；
[0196]
所述食指关键点由根部到指尖分别包括关键点5、关键点6、关键点7和关键点8；
[0197]
所述中指关键点由根部到指尖分别包括关键点8、关键点10、关键点11和关键点12；
[0198]
所述无名指关键点由根部到指尖分别包括关键点13、关键点14、关键点15和关键点16；
[0199]
所述小指关键点由根部到指尖分别包括关键点17、关键点18、关键点19和关键点20。
[0200]
在一些实施方式中，所述确定单元404还具体用于：
[0201]
根据手指状态判断公式分别判断所述手势识别结果是否为所述手势一、所述手势二、所述手势三、所述手势四、所述手势五或所述握拳手势，所述手指状态判断公式为：
[0202]
s1＝f2
open
+f1
close
+f3
close
+f4
close
+f5
close
；
[0203]
s2＝f2
open
+f3
open
+f1
close
+f4
close
+f5
close
；
[0204]
s3＝f2
open
+f3
open
+f4
open
+f1
close
+f5
close
；
[0205]
s4＝f2
open
+f3
open
+f4
open
+f5
open
+f1
close
；
[0206]
s5＝f1
open
+f2
open
+f3
open
+f4
open
+f5
open
；
[0207]
s6＝f1
open
+f2
close
+f3
close
+f4
close
+f5
close
；
[0208]
其中，s1、s2、s3、s4、s5及s6分别表示所述手势一、所述手势二、所述手势三、所述手势四、所述手势五以及所述握拳手势，+表示逻辑与关系，f1、f2、f3、f4及f5分别表示拇指、食指、中指、无名指以及尾指，open表示打开状态，close表示关闭状态。
[0209]
在一些实施方式中，所述确定单元404还具体用于：
[0210]
根据欧氏距离计算公式以及ok手势判断公式确定所述手势识别结果是否为所述ok手势，所述欧氏距离计算公式为：
[0211]
[0212]
d为欧氏距离，x4为关键点4的横坐标，y4为关键点4的纵坐标，x8为关键点8的横坐标，y8为关键点8的纵坐标；
[0213]
所述ok手势判断公式为：
[0214]
s
ok
＝{d＜δ}+f3
open
+f4
open
+f5
open
；
[0215]
s
ok
表示ok手势判断成立，δ为距离阈值，f3
open
表示中指为打开状态、f4
open
表示无名指为打开状态，f5
open
表示尾指为打开状态。
[0216]
在一些实施方式中，所述确定单元404还具体用于：
[0217]
根据所述掌心关键点确定所述手势识别结果是否为所述往上手势、所述往下手势、所述往左手势或所述往右手势，掌心关键点移动公式为：
[0218]
s
mov_right
＝{
‑
45＜a tan(δy，δx)＜45}；
[0219]
s
mov_up
＝{45＜a tan(δy，δx)＜135}；
[0220]
s
mov_left
＝{135＜a tan(δy，δx)||a tan(δy，δx)＜
‑
135}；
[0221]
s
mov_down
＝{
‑
135＜a tan(δy，δx)＜
‑
45}；
[0222]
s
mov_right
表示所述往右手势，s
mov_up
表示所述往上手势，s
mov_left
表示所述往左手势，s
mov_down
表示所述往下手势，δy表示所述掌心关键点的纵向移动距离，δx表示所述掌心关键点的横向移动距离。
[0223]
在一些实施例中，所述控制单元405具体用于：
[0224]
通过显示屏显示所述手势识别结果；
[0225]
检测是否接收到所述所述手势识别结果的确认手势，所述确认手势为ok手势；
[0226]
若接收到，则根据预置的手势与功能的对应关系确定所述手势识别结果对应的医疗床控制指令；
[0227]
用于根据所述医疗床控制指令控制所述智能医疗床。
[0228]
在一些实施方式中，所述控制单元405具体用于：
[0229]
根据所述医疗床控制指令控制所述智能医疗床中的智能马桶执行打开、关闭或冲洗动作；或：
[0230]
根据所述医疗床控制指令控制所述智能医疗床中的靠背支撑板执行升起或降下动作。
[0231]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0232]
请参阅图5，图5为本实施例提供的智能医疗床中相机和显示屏固定样式的一个结构示意图，包括相机501、显示屏502、固定支架或挡板503、改进的床面504、控制模块505以及改进的马桶506。
[0233]
请参阅图6，图6为本发明实施例提供的电子设备的实施例示意图。
[0234]
如图6所示，本发明实施例提供了一种电子设备，包括存储器610、处理器620及存储在存储器620上并可在处理器620上运行的计算机程序611，处理器620执行计算机程序611时实现以下步骤：
[0235]
获取待识别图像；
[0236]
检测所述待识别图像中是否存在手势图；
[0237]
若存在手势手势图，则基于tensorflow提取所述手势图中的21个关键点，所述21个关键点分别包括1个掌心关键点，4个大拇指关键点，4个食指关键点，4个中指关键点，4个
无名指关键点，4个小指关键点；
[0238]
根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，所述手势识别结果包括手势一、手势二、手势三、手势四、手势五、握拳手势、ok手势、往上手势、往下手势、往左手势或往右手势；
[0239]
基于所述手势识别结果控制所述智能医疗床。
[0240]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对基于视觉手势识别的智能医疗床控制方法的详细描述，此处不再赘述。
[0241]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0242]
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种基于视觉手势识别的智能医疗床控制方法中的步骤。例如，该指令可以执行如下步骤：
[0243]
获取待识别图像；
[0244]
检测所述待识别图像中是否存在手势图；
[0245]
若存在手势手势图，则基于tensorflow提取所述手势图中的21个关键点，所述21个关键点分别包括1个掌心关键点，4个大拇指关键点，4个食指关键点，4个中指关键点，4个无名指关键点，4个小指关键点；
[0246]
根据所述21个关键点的相对位置关系，确定所述手势图的手势识别结果，所述手势识别结果包括手势一、手势二、手势三、手势四、手势五、握拳手势、ok手势、往上手势、往下手势、往左手势或往右手势；
[0247]
基于所述手势识别结果控制所述智能医疗床；
[0248]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0249]
其中，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
[0250]
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种基于视觉手势识别的智能医疗床控制方法中的步骤，因此，可以实现本发明实施例所提供的任一种基于视觉手势识别的智能医疗床控制方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0251]
以上对本发明实施例所提供的一种基于视觉手势识别的智能医疗床控制方法及相关设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。