智能手表及通过智能手表进行手势识别的方法与流程

1.本公开涉智能手表技术领域，尤其涉及一种智能手表及通过智能手表进行手势识别的方法。


背景技术：

2.现有智能手表技术领域中，进行手势识别的方法主要包括以下几种。
3.第一、基于摄像头的手势识别。该方法实施时，需要将手置于摄像头光场中，且对角度有较严格的要求。手表佩戴在手腕处时因为摄像头可视角的问题无法完全抓取手指的动作；此外摄像头因为功耗高的问题无法做到即时检测
4.第二、基于惯性传感器的手势识别方法。该方法实施时，惯性传感器通过检测手指肌肉运动时带动手腕运动来判断手势，但是因为在做某些手势时手腕动作幅度很小，故检测精度较低；此外手在未做特定手势时也会有一些其他的运动，这种运动很容易被惯性传感器识别为某些特定手势
5.第三、基于毫米波雷达的手势识别方法。该方法实施中存在一定限制，与基于摄像头的手势识别一样，设备与手在同一水平线上，手往往无法完整地落在雷达的可视区内。此外毫米波雷达的设计复杂度和成本都很高。


技术实现要素：

6.为了解决上述技术问题中的至少一个，本公开提供了一种智能手表及通过智能手表进行手势识别的方法。
7.根据本公开的一个方面，提供一种智能手表，包括：
8.第一电极组和第二电极组，所述第一电极组和所述第二电极组分别设置于智能手表背面；
9.芯片，所述芯片连接至所述第一电极组和所述第二电极组的各个电极；
10.led光源，所述led光源设置于智能手表背面，用于发射光线并将光线照射到皮肤上；
11.感光装置，所述感光装置设置于所述led光源的周围，用于接收所述led光源发射的光线，并基于接收的光获取ppg数据。
12.根据本公开至少一个实施方式的智能手表，所述感光装置为光电二极管。
13.根据本公开至少一个实施方式的智能手表，所述第一电极组和所述第二电极组分别有多个电极。
14.根据本公开至少一个实施方式的智能手表，所述芯片测量所述第一电极组中任意一个电极与所述第二电极组中的任意一个电极之间的皮肤导电率。
15.根据本公开至少一个实施方式的智能手表，所述芯片通过高频采样实时获取所述智能手表的佩戴者手腕处的皮肤阻抗随时间变化的数据。
16.根据本公开至少一个实施方式的智能手表，所述感光装置接收到的所述led光源
发出的光线的强信号随着所述智能手表的佩戴者的手势变化而变化。
17.根据本公开至少一个实施方式的智能手表，所述智能手表实时获取所述感光装置接收到的ppg信号。
18.根据本公开至少一个实施方式的智能手表，通过所述ppg数据和/或所述皮肤阻抗数据判断智能手表佩戴者的当前手势的类型。
19.根据本公开的又一个方面，提供一种通过智能手表进行手势识别的方法，基于权利要求1所述的智能手表进行手势识别，包括：
20.通过设置于智能手表的背面的多个电极组和芯片实时获取智能表佩戴者的皮肤阻抗数据；
21.通过设置于智能手表的背面的led光源和感光装置实时获取智能手表佩戴者的ppg数据；
22.结合所述皮肤阻抗数据和所述ppg数据对智能手表佩戴者当前的手势进行识别，获得智能手表佩戴者当前的手势类型；
23.其中，经识别获得的所述手势类型用于操控智能手表。
24.根据本公开至少一个实施方式的通过智能手表进行手势识别的方法，基于结合所述皮肤阻抗数据和所述ppg数据对智能手表佩戴者当前的手势进行识别，获得智能手表佩戴者当前的手势类型，包括：
25.通过将所述皮肤阻抗数据和所述ppg数据上传至服务器端进行手势识别；或
26.通过将所述皮肤阻抗数据和所述ppg数据在智能手表端进行识别；
27.其中，所述服务器端或智能手表端存储有手势识别模型，所述手势识别模型经训练获得，在训练时，训练数据包括ppg数据、皮肤阻抗数据以及与ppg数据、皮肤阻抗数据对应的手势类型。
附图说明
28.附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
29.图1是根据本公开的一个实施方式的智能手表结构示意图。
30.图2是根据本公开的一个实施方式的通过智能手表进行手势识别的方法流程示意图。
31.图3是根据本公开的一个实施方式的通过智能手机进行手势识别的系统结构示意图。
32.图4是根据本公开的一个实施方式包含电极组、led光源的智能手表结构示意图。
33.附图标记说明
34.1001 第一电极组
35.1002 第二电极组
36.1003 芯片
37.1004 光源
38.1005 感光装置
39.1100 总线
40.1200 处理器
41.1300 存储器
42.1400 其他电路。
具体实施方式
43.下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
44.需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
45.除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
46.在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。
47.当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。
48.本文使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
49.图1是根据本公开的一个实施方式的智能手表结构示意图。
50.如图1所示，智能手表1000，包括以下组成部分。
51.第一电极组1001和第二电极组1002，第一电极组1001和第二电极组1002分别设置于智能手表背面。第一电极组1001和第二电极组1002分别有多个电极。
52.图4是根据本公开的一个实施方式包含电极组、led光源的智能手表结构示意图。如图4所示，在智能手表1000的背面(背面指的是贴合皮肤的一面)布置两组电极，每组电极包含若干个单独的电极。例如，分别以编号为a、b、c、d四个电极作为第一电极组以及编号为1、2、3、4四个电极作为第二电极组。
53.芯片1003，芯片1003连接至第一电极组1001和第二电极组1002的各个电极。芯片1003测量第一电极组1001中任意一个电极与第二电极组1002中的任意一个电极之间的皮肤导电率。芯片1003通过高频采样实时获取智能手表1000的佩戴者手腕处的皮肤阻抗随时间变化的数据。
54.led光源1004，led光源1004设置于智能手表1000的背面，用于发射光线并将光线照射到皮肤上。
55.感光装置1005，感光装置1005设置于led光源1004的周围，用于接收led光源1004发射的光线。优选的，感光装置1005为光电二极管。感光装置1005接收到的led光源1004发出的光线的强信号随着智能手表1000的佩戴者的手势变化而变化。智能手表1000实时获取感光装置1005接收到的ppg信号。
56.如图4所示，编号为a、b、c、d的电极以及编号为1、2、3、4的电极分别连接到信号处理芯片1003，该信号处理芯片1003可以测量第一电极组中的任意一个电极(例如电极a)与第二电极组中任意一个电极(例如电极1)之间的皮肤电导率，测量后可以通过皮肤导电率获得皮肤阻抗数据a1。类似地，通过一次完整的皮肤电导率扫描后,可以得到以下的皮肤阻抗数据，即：a1\a2\a3\a4,b1\b2\b3\b4,c1\c2\c3\c4,d1\d2\d3\d4，一共16笔皮肤阻抗数据。如果对皮肤导电率数据进行高频采样，则可以实时地获得手腕处的皮肤阻抗随时间变化的数据。这些数据里包含了各个不同手势的特征，也就是说通过分析这些数据的特征可以判断出手的不同动作。不同的手势/动作可以包括竖大拇指、竖中指、打响指、握拳、摆手、摆v字手势，不限于上述手势。
57.如图4所示，智能手表1000底壳中央布置led光源l，在led光源1004周围布置若干可以感知光线的感光装置(如光电二极管)，当手指或手掌动作时由于肌肉牵引会引起手腕处不同部位的血流分布发生变化，光源发出的光在经过手腕人体组织的吸收、散射后能够被感光装置1005接收到的光强会随着手腕组织内血液分布的变化而变化，也就是说每个感光装置接收到的光强信号与手的动作是有一定的相关性的。因此，同时/依次采集各个感光装置接收到的ppg信号l1\l2\l3\l4\l5\l6\l7\l8得到各个通道的ppg数据，依据这些数据同样可以判断手的动作。不同的手势/动作可以包括竖大拇指、竖中指、打响指、握拳、摆手、摆v字手势，不限于上述手势。
58.其中，智能手表1000通过ppg数据和/或皮肤阻抗数据判断智能手表1000的佩戴者的当前手势的类型。
59.本实施方式中，智能手表1000进行手势识别的具体方法包括两种，通过智能手表1000识别智能手表1000的佩戴者当前正在做出的手势，或通过远程服务器端识别智能手表1000的佩戴者当前正在做出的手势。
60.智能手表1000的芯片1003处理器执行模式识别程序，模式识别程序将智能手表1000实时获取的皮肤阻抗数据和ppg数据作为该识别程序的输入，并将识别结果作为输出，识别结果为智能手表1000的佩戴者当前做出的手势类型。
61.其中，模式识别程序可以预置在智能手表1000中。当模式识别程序配置在智能手表时，模式识别程序存储于存储器中。当智能手表1000需要识别当前佩戴者的手势类型时，智能手表1000将实时获取的皮肤阻抗数据和ppg数据输入至模式识别程序，模式识别程序输出手势识别结果。
62.其中，模式识别程序也可以部署在远程服务器端。当模式识别程序模式在远程服务器端时，智能手表1000需要识别当前佩戴者的手势类型时，将实时获取的皮肤阻抗数据和ppg数据发送至与智能手表1000通信连接的服务器，部署在服务器端的模式识别程序对当前的皮肤阻抗数据和ppg数据进行识别，输出手势识别类型，并将识别类型发送至智能手表1000。
63.其中，芯片1003还可以基于手势识别的结果，对智能手表进行操作控制。例如，将竖大拇指、竖中指、打响指、握拳、摆手、摆v字手势等与智能手表1000控制指令关联，来实现对智能手表1000在操作过程中的确认、取消、退出、左滑、右滑等操作。
64.图2是根据本公开的一个实施方式的通过智能手表进行手势识别的方法流程示意图。
65.如图2所示，通过智能手表进行手势识别的方法s100，包括以下步骤。
66.在步骤s102中，通过设置于智能手表1000的背面的多个电极组和芯片1003实时获取智能表佩戴者的皮肤阻抗数据。本实施方式中，智能手表背面包括第一电极组1001和第二电极组1002，第一电极组1001和第二电极组1002分别设置于智能手表背面。第一电极组1001和第二电极组1002分别有多个电极。芯片1003通过高频采样实时获取智能手表1000的佩戴者手腕处的皮肤阻抗随时间变化的数据。
67.在步骤s104中，通过设置于智能手表的背面的led光源1004和感光装置1005实时获取智能手表佩戴者的ppg数据。led光源1004，led光源1004设置于智能手表1000的背面，用于发射光线并将光线照射到皮肤上。感光装置1005，感光装置1005设置于led光源1004的周围，用于接收led光源1004发射的光线。优选的，感光装置1005为光电二极管。感光装置1005接收到的led光源1004发出的光线的强信号随着智能手表1000的佩戴者的手势变化而变化。
68.在步骤s106中，将皮肤阻抗数据和ppg数据输入至模式识别程序，对智能手表佩戴者当前的手势进行识别，获得智能手表佩戴者当前的手势类型。
69.在步骤s108中，基于识别得到的手势类型对智能手表进行操作和控制。
70.本实施方式中，在上述步骤s106中，智能手表1000进行手势识别的具体方法包括两种，通过智能手表1000识别智能手表1000的佩戴者当前正在做出的手势，或通过远程服务器端识别智能手表1000的佩戴者当前正在做出的手势。
71.智能手表1000的芯片1003处理器执行模式识别程序，模式识别程序将智能手表1000实时获取的皮肤阻抗数据和ppg数据作为该识别程序的输入，并将识别结果作为输出，识别结果为智能手表1000的佩戴者当前做出的手势类型。
72.其中，模式识别程序可以预置在智能手表1000中。当模式识别程序配置在智能手表时，模式识别程序存储于存储器中。当智能手表1000需要识别当前佩戴者的手势类型时，智能手表1000将实时获取的皮肤阻抗数据和ppg数据输入至模式识别程序，模式识别程序输出手势识别结构。
73.其中，模式识别程序也可以部署在远程服务器端。当模式识别程序模式在远程服务器端时，智能手表1000需要识别当前佩戴者的手势类型时，将实时获取的皮肤阻抗数据和ppg数据发送至与智能手表1000通信连接的服务器，部署在服务器端的模式识别程序对当前的皮肤阻抗数据和ppg数据进行识别，输出手势识别类型，并将识别类型发送至智能手表1000。
74.图3是根据本公开的一个实施方式的通过智能手表进行手势识别的系统结构示意图。
75.如图3所示，该系统包括智能手表1000及服务器，智能手表1000与服务器通过通信连接。
76.其中，服务器上部署识别模块(集模式识别程序)。当智能手表1000需要识别当前佩戴者的手势类型时，将实时获取的皮肤阻抗数据和ppg数据发送至与智能手表1000通信连接的服务器，部署在服务器端的模式识别程序对当前的皮肤阻抗数据和ppg数据进行识别，输出手势识别类型，并将识别类型发送至智能手表1000。
77.可选的，服务器上还可以部署手势控制模块，手势控制模块将手势类型与智能手表1000的操作指令关联，用于控制智能手表1000。部署在服务器端的模式识别程序对当前的皮肤阻抗数据和ppg数据进行识别后，将识别结果传输至手势控制模块，手势控制模块将与手势识别结果对应的指令发送至智能手表1000。例如，通过将竖大拇指、竖中指、打响指、握拳、摆手、摆v字手势等与智能手表1000控制指令关联，来实现对智能手表1000在操作过程中的确认、取消、退出、左滑、右滑等操作
78.可选的，服务器上还可以部署训练模块，训练模块预先通过提前采集的训练数据进行训练，进而得到识别模型(识别模块)。训练数据为用于手势识别的皮肤阻抗数据和ppg数据以及与皮肤阻抗数据和ppg数据对应的手势类型。训练方法包括机器学习方法。
79.本公开提供的智能手表及通过智能手表进行手势识别的方法，一方面，在智能手机上设置led光源和感光装置，另一方面，在智能手机上设置电极组、芯片，以实现结合皮肤阻抗数据和ppg数据对手势识别的目的。通过该方法或装置进行手势识别时，较传统的方法和装置，识别精准度高，不受特定手势的限制，也不受数据采集装置视野范围限制。
80.图1示出了采用处理系统的硬件实现方式的智能手表装置示例图。该装置可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
81.该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。
82.总线1100可以是工业标准体系结构(isa，industry standard architecture)总线、外部设备互连(pci，peripheral component)总线或扩展工业标准体系结构(eisa，extended industry standard component)总线等。总线可以分为地址总线、数据总线、控
制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。
83.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
84.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
85.就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式只读存储器(cdrom)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。
86.应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
87.本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。
88.此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
89.在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须的是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。
90.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
91.本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。