基于多模态手势识别和用户认证的智能手表交互系统

本发明涉及智能感知领域，尤其涉及一种基于多模态手势识别和用户认证的智能手表交互系统。

背景技术：

1、近些年来，随着电子技术的进步，包括设备规格的减小、传感器功能的丰富和硬件功耗的降低，推动了智能手表的发展。智能手表为用户的日常生活带来了很多方便，常用的功能有移动支付、健康监测、消息通知等等。然而同时，智能手表在交互系统方面仍然存在一些不足。目前市面上常见的商用智能手表主要有两种交互机制：一是通过触摸屏直接操作手表，但智能手表的触摸屏尺寸有限，给用户的使用带来了很多不便；二是通过连接手机间接控制手表，但这样就意味着智能手表不能独立使用，在某些场景下无法满足用户的需求。因此，如何实现一个方便、普适、安全的智能手表交互系统势在必行。

2、作为一个交互系统，需要发送控制指令给手表，同时还要认证正在使用手表的用户。手势作为手臂和手部动作的组合，非常适合作为交互的途径。一方面，在长期的社会发展过程中，手势被赋予了种种特定的含义，具有丰富的表现力，是人类表情达意的最有力手段，用手势来操作手表是非常自然的。另一方面，由于智能手表所佩戴的位置，使其能容易精确感知用户的手势，一些现有的工作已经证明了通过手表识别手势和用户的可行性，见参考文献[1]。

3、现有的手势交互系统可以简要分成两类：基于视觉信号的系统与基于传感器的系统。基于视觉信号的系统使用智能手表上的嵌入式摄像头，以及人工智能增强的图像处理技术，见参考文献[2]。由于这种基于视觉的系统性能明显受到获得的视频质量的影响，在黑暗环境下无法很好地工作。除此之外，由于嵌入式摄像头与手臂相对稳定的位置，该系统对手臂的运动不敏感。而基于传感器的系统依赖于预先部署的传感器，如大多数商用智能手表所配备的惯性测量单元(imu)。由于imu信号同时受到手和手臂运动的影响，因此它可以有效地识别只有手或手臂运动的手势，但对于同时包含两种运动的手势(如手臂运动时的手指响动)则无法识别。

4、如今，一些智能手表已经同时配备了摄像头和imu，这使得视觉和imu信号的结合成为可能，从而更好地进行交互。发明人研究了基于视觉和imu多模态融合的手势识别和用户识别，从而进行交互的系统。虽然现有已经提出了一些基于单模态的工作，见参考文献[3]与参考文献[4]，但要在多模态系统上取得更好的性能，仍然存在以下需要解决的问题：

5、(1)多模态融合：由于视觉信号和imu信号是异构的，且在不同的场景下不同的模态置信度不同，如何对这种异构的数据进行融合，是需要解决的问题。

6、(2)多任务学习：如何保证手势识别和用户认证两个任务的精度是需要解决的问题。

7、我们设计的交互系统包括两项任务，分别是。即通过识别手势来向手表发送对应的指令，同时还可以认证用户是否为合法用户。同时保证两个任务的精度是困难的。

8、(3)轻量化系统：如何解决智能手表存储和算力的限制，实现系统的轻量化以方便部署在智能手表上是需要解决的问题。

9、有鉴于此，特提出本发明。

10、参考文献[1]x.yu,z.zhou,m.xu,x.you,and x.-y.li,“thumbup:identificationand authentication by smartwatch using simple hand gestures,”in 2020ieeeinternational conference on pervasive computing and communications(percom).ieee computer society,2020,pp.1–10.

11、参考文献[2]f.chen,h.lv,z.pang,j.zhang,y.hou,y.gu,h.yang,and g.yang,“wristcam:a wearable sensor for hand trajectory gesture recognition andintelligent human–robot interaction,”ieee sensors journal,vol.19,no.19,pp.8441–8451,2018.

12、参考文献[3]f.hu,p.he,s.xu,y.li,and c.zhang,“fingertrak:continuous3dhand pose tracking by deep learning hand silhouettes captured by miniaturethermal cameras on wrist,”proceedings of the acm oninteractive,mobile,wearable and ubiquitous technologies,vol.4,no.2,pp.1–24,2020.

13、参考文献[4]j.-w.lin,c.wang,y.y.huang,k.-t.chou,h.-y.chen,w.-l.tseng,and m.y.chen,“backhand:sensing hand gestures via back of thehand,”inproceedings of the 28th annual acm symposium on userinterface software&technology,2015,pp.557–564.

技术实现思路

1、本发明的目的是提供了一种基于多模态手势识别和用户认证的智能手表交互系统，能解决现有智能手表交互不便的问题，在实现便捷交互的同时，保证系统的稳定性和鲁棒性。

2、本发明的目的是通过以下技术方案实现的：

3、一种多模态手势识别和用户认证的智能手表交互系统，包括：

4、手势检测单元、手势识别和用户认证单元、自适应权值的模态融合单元和迁移学习单元；其中，

5、所述手势检测单元，与用户的智能手表的惯性测量传感器和摄像头通信连接，能根据惯性测量传感器采集的惯性传感信号检测用户手势的开始并启动摄像头获取视频信号；

6、所述手势识别和用户认证单元，分别与所述摄像头和惯性测量传感器通信连接，能根据所述摄像头获取的视频信号进行用户手势识别和用户认证，以及根据惯性测量传感器采集的惯性传感信号进行用户手势识别和用户认证；

7、所述自适应权值的模态融合单元，与所述手势识别和用户认证单元通信连接，能通过自适应权值计算方式将根据摄像头获取的视频信号进行用户手势识别和用户认证结果与根据惯性测量传感器采集的惯性传感信号进行用户手势识别和用户认证结果融合，得出融合后用户手势识别和用户认证结果；

8、所述迁移学习单元，与所述自适应权值的模态融合单元通信连接，能通过微调的迁移学习方式对所述手势识别和用户认证单元所用的模型进行更新，实现对新用户智能手表的快速部署。

9、与现有技术相比，本发明所提供的基于多模态手势识别和用户认证的智能手表交互系统，其有益效果包括：

10、通过设置的手势识别和用户认证单元与自适应权值的模态融合单元配合，实现了将视觉和imu信号融合来识别手势和认证用户，不仅达到更好的交互效果，且相比于单模态的系统，具有更优异的效果、鲁棒性和泛化性；通过设置迁移学习单元，可以实现新用户的快速部署。