用传感器进行手势识别的制作方法

文档序号:28564975发布日期:2022-01-19 17:16阅读:67来源:国知局
用传感器进行手势识别的制作方法
用传感器进行手势识别
1.相关申请的交叉引用
2.本技术要求于2015年4月20日提交的美国临时专利申请第62/150,086号的权益,其公开内容通过引用并入本文。
技术领域
3.本技术涉及用于检测运动物体和活体的特征的方法和装置。更具体地,涉及诸如用射频传感器来感测或识别手势或其他身体运动。


背景技术:

4.连续波(cw)多普勒雷达运动传感器发射连续波射频(rf)载波,并将发送的rf与返回回波混合以产生等于由运动目标产生的多普勒频移的差频。这些传感器不具有确定的范围限制(即它们可以接收近物体和远物体的信号,接收的信号是雷达截面积的函数)。这可能导致错误触发,即运动伪影干扰。它们在近距离处也可能具有导致错误触发的不希望的高灵敏度。
5.在follen等人的美国专利第4,197,537号中描述了一种脉冲多普勒运动传感器。传输短脉冲,并且其回波与传输脉冲自混合。脉冲宽度限定范围选通区域。当发送脉冲结束时,在发送脉冲结束之后到达的混合结束和目标返回不被混合,从而被选通。
6.美国专利第5,963,090号公开了一种差分脉冲多普勒运动传感器,mcewan的“差分脉冲雷达运动传感器”交替传输两个脉冲宽度。然后它从每个宽度减去多普勒响应,以产生具有相当恒定的响应对范围的范围选通多普勒感测区域。
7.脉冲雷达,诸如mcewan的美国专利第5,361,070号“超宽带雷达运动传感器”产生了与传输的脉冲宽度相关的非常窄的感测区域。一种双脉冲多普勒雷达运动传感器,如mcewan的美国专利第5,682,164号“脉冲零差场干扰传感器”所述,发送第一个脉冲,并且在延迟后产生与第一脉冲的回波混合的第二脉冲。因此,范围选通感测带形成有限定的最小和最大范围。uwb雷达运动传感器的缺点是没有将全球rf监管接受作为蓄意发射器。它们也难以在中等范围内感测物体,并且在一些实施例中可能容易发生rf干扰。
8.在mcewan的美国专利第6,426,716号中描述了调制脉冲多普勒传感器。范围选通微波运动传感器包括可调的最小和最大检测范围。该装置包括具有相关联的脉冲产生和延迟元件以产生发射和混合脉冲的rf振荡器、单次发射(tx)/接收(rx)天线或一对分离的tx和rx天线以及rf接收机器,rf接收机器包括检测器/混频器,该检测器/混频器具有相关的滤波、放大和解调元件,以从混频器和回波脉冲产生范围选通多普勒信号。
9.在美国专利第7,952,515号中,mcewan公开了一种特定的全息雷达。它向全息雷达增加了范围选通,以限制对特定下降范围区域的响应。mcewan说,可以特别是在当将材料穿透到图像内部图像平面或切面时获得更清晰、更无杂波的成像表面的雷达全息图。范围选通使堆叠式全息图技术成为可能,其中多个成像表面可以沿下降范围方向堆叠。
10.在美国专利申请公开第2010/0214158号中,mcewan公布了一种用于全息雷达的rf
幅度采样器。mcewan说rf幅度采样器可以精细地解析窄带全息脉冲雷达产生的干涉图案。
11.在美国专利申请公开第214/0024917号中,mcmahon等人描述了一种用于生理学感测的传感器,其可配置为产生用于发射用于范围选通感测的射频脉冲的振荡信号。传感器可以包括配置为发射脉冲的射频发射器和配置为接收发射的射频脉冲中的反射的射频脉冲的接收器。接收的脉冲可以被处理以检测生理学特征,诸如运动、睡眠、呼吸和/或心跳。
12.可能需要改进用于射频感测的传感器和处理,诸如用于特定运动或手势的检测或识别。


技术实现要素:

13.本技术的一些实施例的一个方面涉及用于检测手势或特定身体运动的传感器。
14.本技术的一些实施例的一个方面涉及一种用于利用射频信号检测手势或身体运动的传感器。
15.该技术的一些实施例的另一方面涉及具有电路的这种传感器,该电路配置为产生诸如用于手势识别或身体运动类型识别的脉冲射频(rf)信号。
16.本技术的一些型式可以包括射频运动感测装置。该装置可以包括配置为发射射频信号的射频发射器。该装置可以包括配置为接收所发射的射频信号中的反射的射频信号的接收器。该装置可以包括运动信道电路,其配置为处理所发射的射频信号的接收的反射的射频信号并产生运动输出信号。该装置可以包括处理器,其配置为基于运动输出信号的幅度、相位和频率中的任何一个或多个来评估运动输出信号并识别运动。
17.在一些情况下,所识别的运动可以包括手部手势、手臂手势或组合的手部和手臂手势中的至少一个。所识别的运动可以包括翻转运动。所识别的运动可以包括活动。所识别的运动可以包括剃刮活动。
18.在一些情况下,运动输出信号可以包括同相和正交相位信号。所发射的射频信号可以包括脉冲射频振荡信号。运动信道电路可以包括带通滤波器。该装置或其处理电路可以配置为用表示所发射的射频信号的信号来解调所发射的射频信号中接收到的反射的射频信号。该装置或其处理电路可以配置为计算所发射的射频信号与所发射的射频信号的接收的反射的射频信号之间的时间差和/或相位差,并且基于所计算的时间差和/或相位差来识别运动。
19.在一些情况下,运动信道可以包括抗混叠滤波器。处理器可以配置为基于从运动输出信号的幅度、相位和频率中的任何两个计算的多个特征来对运动进行分类。处理器可以配置为基于由运动输出信号的幅度、相位和频率中的任何一个或多个所计算的持续时间来对运动进行分类或识别。处理器可以配置为根据运动输出信号的幅度、相位和频率中的每一个来计算多个特征。多个特征可以包括从对运动输出信号的幅度、相位和频率中的任何一个或多个的分析得到的确定的持续时间。
20.在一些情况下,所计算的多个特征可以包括以下中的一个或多个:
21.(a)频率特性,其通过运动中的手势衍生自停止频率,达到某个最大频率,然后再次返回停止频率;
22.(b)信号的时间和频率分析,其包括i和/或q信道的短时傅里叶变换、峰值和谐波跟踪和/或信道处理中的任何一个;
23.(b)相位特性,其包括以下任何一个:i和q信号之间的相位差,以及在特征变化的平均值的一定数量的标准偏差内的重复信号的评估;
24.(c)幅度特性,其包括以下任何一个:峰值和谷值检测、过零检测和信号检测包络;以及
25.(d)倾斜偏度、峰度以及频率、相位、幅度、平均值和/或标准偏差的扩展。
26.可选地,处理器可以配置为将所计算的多个特征与一个或多个阈值进行比较。处理器可以配置为通过从多个预定运动中选择一个来识别运动。处理器可以配置为对所识别的运动的发生次数进行计数。处理器可以进一步配置为基于所识别的运动来生成用于设备的操作的控制信号。处理器可以被进一步配置为基于不同的所识别的运动来生成用于设备的不同操作的不同控制信号。处理器可以配置为基于来自多个传感器的运动输出信号来评估运动输出信号并识别运动。多个传感器可以包括第一传感器和第二传感器,其中处理器评估来自第一传感器和第二传感器的i和q信号以识别运动。处理器可以确定来自第一传感器和第二传感器的i和q信号的i差分和q差分。多个传感器可以包括第一传感器、第二传感器和第三传感器,其中处理器评估来自第一传感器、第二传感器和第三传感器的i和q信号以识别运动。在该装置的一些情况下,三个传感器中的至少两个可以被定位成彼此正交。评估的i和q信号可以由处理器用于识别多于一维的运动特性。处理器可以配置为提取运动物体的以下参数中的一个或多个:速度、速度变化、距离、距离变化、方向和方向变化。
27.本技术的一些型式可以涉及用于射频运动感测的方法。该方法可以包括使用射频发射器来发射射频信号。该方法可以包括使用接收器来接收所发射的射频信号中的反射的射频信号。该方法可以包括处理所发射的射频信号中接收到的反射的射频信号以通过运动信道电路产生运动输出信号。该方法可以包括在处理器中基于运动输出信号的幅度、相位和频率中的任何一个或多个来评估运动输出信号并识别运动。
28.在一些情况下,所识别的运动可以包括手部手势、手臂手势和组合的手部和手臂手势中的任何一个。所识别的运动可以包括翻转运动。所识别的运动可以包括活动。所识别的运动可以包括剃刮活动。运动输出信号可以包括同相和正交相位信号。所发射的射频信号可以包括脉冲射频振荡信号。运动信道电路可以包括带通滤波器。
29.在一些情况下,该方法可以涉及用表示所发射的射频信号的信号来解调所发射的射频信号中接收到的反射的射频信号。该方法可以包括计算所发射的射频信号与所发射的射频信号的接收的反射的射频信号之间的时间差和/或相位差,并且基于所计算的时间差和/或相位差来识别运动。运动信道电路可以包括抗混叠滤波器。
30.在一些情况下,该方法可以包括用处理器或在处理器中,基于根据运动输出信号的幅度、相位和频率中的任何两个计算的多个特征对运动进行分类。处理器可以基于由运动输出信号的幅度、相位和频率中的任何一个或多个所计算的持续时间来对运动进行分类或识别。该方法可以涉及在处理器中从运动输出信号的幅度、相位和频率中的每一个计算多个特征。多个特征可以包括从对运动输出信号的幅度、相位和频率中的任何一个或多个的分析得到的确定的持续时间。
31.在一些情况下,所计算的多个特征可以包括以下中的一个或多个:
32.(a)频率特性,其通过运动中的手势衍生自停止频率,达到某个最大频率,然后再次返回停止频率;
33.(b)信号的时间和频率分析,其包括i和/或q信道的短时傅里叶变换、峰值和谐波跟踪和/或信道处理中的任何一个;
34.(b)相位特性,其包括i和q信号之间的相位差以及在特征变化的平均值的一定数量的标准偏差内的重复信号的评估中的任何一个;
35.(c)幅度特性,其包括峰值和谷值检测、过零检测和信号检测包络中的任何一个;以及
36.(d)倾斜偏度、峰度以及频率、相位、幅度、平均值和/或标准偏差的扩展。
37.可选地,该方法可以涉及在处理器中将计算出的特征与一个或多个阈值进行比较。该方法可以涉及在处理器中,通过从多个预定的运动中选择运动来识别运动。该方法可以涉及对所识别的运动的发生次数进行计数。该方法可以涉及基于所识别的运动使用处理器来生成用于操作的控制信号。该方法可以涉及基于不同的所识别的运动使用处理器来生成用于设备的不同操作的不同控制信号。
38.在一些情况下,处理器可以评估来自多个传感器的运动输出信号,并且基于所评估的运动输出信号来识别运动。多个传感器可以包括第一传感器和第二传感器,其中处理器评估来自第一传感器和第二传感器的i和q信号以识别运动。处理器可以确定来自第一传感器和第二传感器的i和q信号的i差分和q差分。可选地,多个传感器可以包括第一传感器、第二传感器和第三传感器,其中处理器评估来自第一传感器、第二传感器和第三传感器的i和q信号以识别运动。在该装置的一些情况下,三个传感器中的至少两个可以被定位成彼此正交。评估的i和q信号可以由处理器用于识别多于一维的运动特性。
39.从以下结合附图的详细描述中,该技术的其它方面、特征和优点将变得显而易见,附图是本公开的一部分,并且通过举例的方式说明了该技术的原理。该技术的另外的方面将从所附权利要求中变得显而易见。
附图说明
40.现在将参照附图描述该技术的另外的示例性实施例,其中:
41.图1是适用于使用本技术的射频生理学传感器实现的示例性检测装置的图示;
42.图2是示出了用于评估适合于该技术的一些实施例的传感器信号的概念结构和工艺流程的图;
43.图3是在该技术的一些型式中具有用于传感器装置的处理的框图;
44.图4示出了适用于本技术的示例性手势传递函数的相位响应;
45.图5a是示出传感器的距离上的运动信道输出幅度的曲线图;
46.图5b包含将运动信道和手势信道相对于另一传感器的距离上的输出幅度进行比较的图形;
47.图6a示出了用于传感器的型式的手势信道的频率响应;
48.图7示出了相对于示例性传感器的运动手势;
49.图8和9分别示出了图7的单次运动手势的幅度、频率和相位响应以及重复运动手势;
50.图10是与图7的运动手势相关联的相位响应的另一曲线图;
51.图11示出了相对于示例性传感器的另一个运动手势;
52.图12示出了图11的重复运动手势的幅度、频率和相位响应;
53.图13示出了从i和q信号差对运动方向的变化进行的检测;
54.图14示出了诸如用过零检测来计数活动冲程方法;
55.图15示出了涉及基于块的分类的活动检测的训练处理方法;
56.图16示出了手势活动信号的逐块分类;
57.图17示出了用于冲程检测和冲程速率检测的信号图;
58.图18a-c示出了由合适的传感器对其重复和单次运动作出的运动手势和幅度、相位和频率响应;
59.图19a-c示出了由合适的传感器对其重复和单次运动作出的另一个运动手势和幅度、相位和频率响应;
60.图20a-c示出了由合适的传感器对其重复和单次运动作出的又一个运动手势和幅度、相位和频率响应;
61.图21a-c示出了由合适的传感器对其重复和单次运动作出的还又一个运动手势和幅度、相位和频率响应;
62.图22a-c示出了由合适的传感器对其重复和单次运动作出的又另一个运动手势和幅度、相位和频率响应;
63.图23a-c示出了由合适的传感器对其重复和单次运动作出的另一个运动手势和幅度、相位和频率响应;
64.图24a-c示出了由合适的传感器对其重复和单次运动作出的还一个运动手势和幅度、相位和频率响应;
65.图25a-b示出了由合适的传感器对其重复和单次运动作出的翻转运动和幅度、相位和频率响应;
66.图26a-b示出了由合适的传感器对其重复和单次运动作出的另一个翻转运动和幅度、相位和频率响应;
67.图27a-b示出了由合适的传感器对其重复和单次运动作出的又一个翻转运动和幅度、相位和频率响应;
68.图28a-b示出了由合适的传感器对其重复和单次运动作出的又另一个翻转运动和幅度、相位和频率响应;
69.图29a示出了多传感器(例如,立体声传感器系统)设置中的最大正交(i/q)相位检测。为了始终得到最大相位,传感器可以彼此正交放置(除非运动是向下的方向-该方向未在图中示出)。
70.图29b示出了多传感器(例如,立体声传感器系统设置)的另一实例。由于弯曲的波束图案,附图中标有“最有效点”的部分描绘了两个传感器的最佳聚焦区域。这表明传感器不需要正交。
71.图30示出了通过将来自频谱图的颜色数据分割成rgb信道并选择主要斑点区域来处理图像数据。
具体实施方式
72.如图1所示,本技术的一些实施例可以实现感测或检测装置100,诸如配置有特定
处理方法的感测或检测装置100,其用于检测用户或患者的特定运动(患者可以是与检测装置100的用户相同或不同的人)。传感器可以是独立的传感器,或者可以与其他装置(诸如呼吸治疗装置或睡眠评估装置)联接。例如,它可以可选地基于对由装置的传感器检测到的手势或运动的分析来提供自动治疗响应。例如,具有控制器和流量发生器的呼吸治疗装置可以配置有这样的传感器,并且可以配置为响应于由所述传感器检测到的特定运动或手势来调整在患者接口(例如,面罩)处产生的压力治疗。呼吸治疗装置可以是例如呼吸治疗或pap装置,诸如国际专利申请公布第wo2013/152403号,其全部公开内容通过引用并入本文。
73.一般来说,这样的动作或手势可以被理解为是任何由人有意识或下意识地造成的,而不是那些在本质上是不必要的周期性的那些生理特征(即由呼吸或心脏活动引起的胸部运动)。在这方面,可以处理由特定人类手势产生的由传感器感测的运动信号,以识别或表征特定的运动或手势。例如,可以检测到手部运动或特定的手部运动。
74.还可以识别更大的运动,诸如由在床上翻身的人作出的运动(翻转)。这样的运动事件的特定检测可以允许它们被计数或用作设备的控制(例如,被实现为打开或关闭系统或提供其他控制信号)。该技术还可以被实施以分类生理运动,诸如摇摆、呼吸和更快的运动(如剃刮或刮擦)。其可以实现为在当受试者站立或坐着时改善呼吸率检测的稳健性,诸如通过识别和消除呼吸速率检测的这种摇摆和手势运动。甚至可以实施该技术来监测具有持续性瘙痒、刺激或不适的受试者,例如在用于量化这种相关瘙痒或不适相关运动的皮肤病学霜剂的临床试验中。在某些情况下,甚至可以实施以评估依赖于运动的消费品(例如剃刮刀片或霜剂/凝胶)的功效,并且理解剃须动作等。
75.具有合适的处理电路(例如,一个或多个处理器)的传感器可以配置为可被实现为许多不同类型设备的组件(例如,控制组件)的手势检测设备。例如,电视或电视接收器可以包括用于以不同手势(例如,开启/关闭、音量变化、信道改变等)来控制电视或电视接收器的操作的这种传感器。类似地,手势检测装置可以配置为用于游戏设备或计算机的用户界面的一部分,诸如控制游戏或计算机的操作。可以为采用用户界面的许多其他装置实现这样的手势检测装置,使得用户界面可以被实现为手势控制的用户界面。例如,处理器或控制器可以评估来自一个或多个传感器的信号,以在处理器或控制器中识别特定的运动或手势,并且作为响应,激活对所显示的用户界面(例如显示在诸如lcd或led屏幕的显示装置上的用户界面)的视觉(或音频)改变的产生。所识别的手势或激活的改变可以用于发出一个或多个控制信号以控制耦合到或与处理器或控制器通信的设备(例如,计算机、电视、计算机游戏机、用户设备、自动机器、机器人等)。
76.这种装置的典型的传感器(例如雷达传感器)可以使用发射器发射射频波,诸如用于范围选通感测的射频脉冲。可以可选地包括在与发射器的组合设备中的接收器可以配置为接收和处理波的反射型式。可以诸如利用激活传感器的装置的处理器来采用信号处理,用于基于所接收的反射的信号的手势或运动识别。
77.例如,如图2所示,发射器向例如人的受试者发送射频信号。通常,rf信号的源是本地振荡器(lo)。反射信号然后被接收、放大并与原始信号的一部分相混频,并且这个混频器的输出然后可以然后被滤波。在一些情况下,接收/反射的信号可以被传输的信号解调,或者它们之间的相位或时间差可以例如如us-2014-0163343-a1中所描述的,其全部公开内容通过引用并入本文。
78.所得到的信号可以包含关于人的运动(例如手势)、呼吸和心脏活动的信息,并且被称为原始运动传感器信号。在一些情况下,信号可以被处理以排除非自愿的周期性活动(例如,呼吸和/或心脏活动),使得信号中的运动信息可以针对其特定的手势或运动类型进行分类。在一些情况下,传感器可以是在美国专利申请公开第2144/0024917号中描述的传感器,其全部公开内容通过引用并入本文。
79.传感器可以包括用于处理检测到的信号的各种运动信道,例如,这样的传感器可以用手势处理器来实现以提供手势信道输出信号。这可能与提供运动信道输出信号的运动处理器不同。具有多个处理器可以允许输出具有不同特征(例如,不同带宽、不同采样率等)的信号用于不同的运动评估。例如,在手势信号中可能有更多的信息,而不是呼吸或心脏信号。例如,手势信号可以包括表示更宽范围的运动速度的检测的信息。例如,每秒钟运动1米可能会导致10.525ghz接收器中的70hz基带信号。典型的感测场景可能能够检测到1mm/s到5m/s之间的速度。对于手势检测,可以评估大于10hz(1cm/s至5m/sec)的频率。对于呼吸,检测可能涉及对应于1mm/sec至大约1m/s范围内的速度的频率的评估。因此,运动处理器可以生成以较慢运动为焦点的信号,并且手势处理器可以生成具有更宽的带的信号,其可以包括慢动作以及更快的运动。因此,传感器可以实现模拟和/或数字电路部件,用于对所接收的传感器信号进行信号处理。这可以可选地至少部分地在一个或多个数字信号处理器或其他特定用途集成芯片中实现。因此,如图3所示,可以用手势处理器来实现传感器以实现特定的传递函数(hg),以及用于实现特定传递函数(hm)的附加运动处理器,其中任一个可以是考虑了用于产生运动输出信号的运动处理器或信道电路。
80.例如,在一些情况下,传感器可以具有提供正交输出信号(i和q)的手势信道,其幅度、频率和相位由下式给出:
81.vi(x,t)=hg(jω)a(x)sin(4πx(t)/λ+ф)
82.vq(x,t)=hg(jω)a(x)sin(4πx(t)/λ+ф+π/2)
83.其中,
84.hg(jω)是传感器手势信道的传递函数,诸如基带电路或基带处理器;
85.a(x)是解调的接收信号强度,因此取决于目标雷达截面积(大小)和目标距离(x);
86.x(t)是目标随时间的位移
87.λ是rf信号的波长(例如,对应于10.525ghz频率信号(例如,28.5mm的波长)的自由空间中的波长;以及
88.jω-是系统的频率响应,其中ω是角速度,并且j是复数(0+√-1),这提供相位信息)。
89.手势信道将具有对运动的频率响应。对于具有线性速度v的带内运动信号,其在从t0开始并在t1结束的时间间隔dt中朝向传感器运动从位置x0到位置x1的距离dx或从传感器移开,手势信道输出信号频率f通过以下给出:
90.2πf(t1-t0)=4π(x1-x0)/λ
91.2πf dt=4πdx/λ
92.对于10.525ghz,28.5mmλ传感器
93.f~70.17v...........其中此处的f(hz)和v(m/s),考虑到λ,单位在两侧匹配,使得wf(1/s)、v(m/s)以及2/λ=70.175(m^-1)。70的常数实际上是1/(2λ),并且维数为m-1。
94.通常,
95.f(t)=2v(t)/λ
96.通常,在任何特定频率下的输出信号的幅度将取决于手势信道传递函数频率响应。
97.手势信道还将具有针对目标(例如,人的手等)的运动的相位响应。i和q信道之间的相位差为90度。结果,i和q信号的lissajous曲线是一个圆形,如图4所示。频率(周期时间)由目标速度决定。幅度由目标距离、目标横截面和手势信道传递函数决定。相量的顺时针或逆时针方向取决于朝向或远离传感器的运动方向。
98.手势信道或另一个通用运动专用信道也可以具有对非手势相关运动的幅度响应。其i和q相应信道的幅度由目标距离、目标横截面和运动信道传递函数决定。通过举例的方式,如图5a所示,运动信道信号幅度对用于固定目标的目标距离和频带目标速度的对数图如图5a所示。
99.图5b响应于不同于图5a的传感器的距离上特定运动来比较两个信道(移动通道和手势通道)的幅度响应。手势信道具有与运动信道相似的特征。图5b示出了传感器版本的信道幅度响应,诸如与图5a相比具有不同的抗混叠滤波。由于雷达方程和相关的天线增益传递函数以及反射的信号的非线性散射、接收信号电平随距离的函数而下降。(例如,1/xn,1.5<n<3)。
100.因此,通过从手势信道处理手势输出信号和/或来自运动信道的运动信号(其可能与或可能不与手势信道相同)、特定的手势或运动可以是在一个或多个处理器中检测。这可以通过根据信号计算特征并将特征和/或特征变化与一个或多个阈值进行比较,或识别信号中的图案来实现。信号的这些特征可以是例如与信号相位关联的参数的统计值,诸如这些信号相位的平均值或中值、幅度和/或频率、任何这些值的标准偏差等。
101.合适的特征可以通过分类器的训练来确定。计算特征的分类然后可以用作训练分类器的手势检测的基础。例如,一个或多个处理器可以评估手势信号相位、幅度和/或频率特性中的任何一个或多个,以检测与特定手势或运动相关联的信号中的图案或其他标记。在一些情况下,特征可以包括幅度步调(例如,幅度和边带)以及手势持续的时间。在这方面,信号的分析将允许识别相对于与传感器相关的某些运动(例如,朝向或远离)产生的信号特性,因为不同的运动可产生不同的定义的幅度、频率和/或相位特性。这样的分析可以包括选择用于特定手势的模式,以便区分几种手势(例如,从一组不同的预定训练的手势中选择一种)。在一些情况下,系统还可以基于感觉到的运动或手势信号的正确或不正确的检测。系统可以基于该输入可选地更新其分类,并且可以可选地提示用户执行特定手势的一个或多个重复,以便优化性能/识别。以这种方式,系统可以配置为适应(个性化)特定用户的手势,并且识别和分离(区分)不同用户的手势。
102.在这方面,朝向或远离传感器的快速或慢速和/或长或短的手部手势可以产生清晰可检测的信号。通过传感器的运动产生也朝向和远离传感器的运动分量,但该运动分量很小。因此,传感器的运动产生了区别特征,但是在较小的幅度、较低的频率和基于相变的中心线。
103.朝向传感器的运动总是具有特定的相位旋转,其在当运动远离传感器时反向。因此,相位可以提供手势方向信息。频谱图可以清楚地示出特定手势的特征运动速度,并且可
以通过处理光谱图的特征来识别。
104.幅度特性可能在使用之前需要信号调节,因为可以看到幅度随着位置(距离传感器的距离)以及目标横截面/尺寸而变化。
105.可以提取目标的径向速度和方向。在传感器范围(例如,1.8-2m)内,这可能是附近的小目标或远处的更大的目标。因此,从手势信道提取的速度、速度变化、距离、距离变化、方向变化等的任何一个或多个的处理器也可以用作特定手势的检测特征。
106.通常,从手势和运动信道输出的信号的频率和幅度取决于基带电路放大和滤波。在一个版本中,实现手势/运动传递函数的电路可以用具有增益(例如9.5)并且具有期望范围(例如,大约0.86hz至161hz)内的频率bw(带宽)(例如,大约160hz)的带通滤波放大器构成。这种实例在图6a的传递函数模拟图中示出。这可以可选地通过低通滤波器和高通滤波器来实现。
107.在一些型式下,运动信道可以包括抗混叠滤波器。手势信道频率特性可以包括更大或更小的抗混叠滤波。如该特定实例所示,在160hz的频带边缘处,信号电平的下降小于10%(6.7至6.1的增益下降)。在一些情况下,抗混叠滤波可以由上述段落中描述的带通滤波器来实现。
108.在一些情况下,处理器可以计算传感器的发射信号和接收信号之间的时间差或相位差,并且基于所计算的时间差和/或相位差来识别特定的运动/手势。
109.在下文中,参考某些手势/运动来描述示例性手势检测,诸如可以在系统中训练的手和/或手臂运动,例如用于由处理器执行的分类器的检测。也可以训练其他手势。
110.例如,在一些型式中,可以实现一组处理方法(例如,算法处理步骤)和相关联的数字信号处理,以用于确定生理重复和/或变化的运动,包括由呼吸引起的胸部运动、摇摆检测和取消,以及由于诸如手部和手臂的运动的许多运动、剃刮(例如脸部)或刮擦(例如,由于身体刺激或不适)而引起的大量和精细运动检测(手势检测)。这种系统的关键输入特征衍生自检测信号的幅度(时间)、频率和相位特性中的任一个或多个。
111.实质上,所应用的处理允许在存在显著的噪声和混杂分量(由于传感器的固有噪声)、传感器信号“折叠”(取决于频率)传感器相位不平衡(如果存在)、不同类型的生理运动,以及其他运动源和背景杂波)的情况下,从同相(i)和正交相位(q)信号中分解方向改变信息。经处理的信道信号(同相和正交)可以由射频radar记录,并且可以使用合适的adc模块进行数字化。这些rf信号可以是连续波、脉冲(例如,施加到10.525ghz传感器或其他)或脉冲连续波。
112.信号可以被馈送或输入到滤波器组中,其中应用包括带通滤波的一系列数字滤波器以检测和去除低频摇摆信息。
113.可以比较两个信道中的相位信息以产生顺时针/逆时针图案。可以应用滞后和毛刺检测来抑制信号折叠,并且所得到的信号表示运动源相对于传感器参照系的方向。可以额外实施峰值/谷值检测和信号跟踪以辅助该处理。因此,系统可以确定运动是指向传感器还是远离传感器,以及是否改变方向。
114.可以修改传感器上的模拟滤波,以在一些型式中采样之前加宽带宽。
115.示例性手势/动作
116.手势a:
117.可以参考图7-10考虑可检测手势a。在实例a中,手势基于手部运动,诸如当人坐在传感器前方大约70cm处时。运动从距离传感器大约40cm的手掌处(面向传感器面朝上或朝前)开始。这是总运动期间的最远点。最近点可以是大约15cm。手朝向传感器延伸(运动)(花费1秒钟),并在短暂暂停后拉回(花费1秒钟)。运动可以被认为是正弦波的复制。完整的手势大约需要2秒钟。相对于单次手势的重复(图8中的10次,图9中的单次)示出来自手势信道的传感器记录。图8示出了相对于来自手势信道的传感器记录的相对时间、频率(频谱图)改变幅度与改变相位数据的曲线图。可以通过将i和q信号输出施加到不同的轴上来相对于时间来绘制相位方向,如图8、9和10所示。
118.图8-10示出了参考手势a,朝向传感器的运动具有特定的相位旋转,该相位旋转在当运动远离传感器时反向。因此,相位可以提供手势方向信息。
119.频谱图清楚地示出了手势的特征运动速度。该频率“线性调频”具有明显的个性(即,可以在处理器中分类)。图9描绘了图7中概述的运动/手势的放大图。图8描绘了该姿势的多个实例;显示了时域信号幅度,以及频谱图和相位图。光谱图表示x轴上的时间、y轴上的频率,和用于特定频率表示为不同颜色的特定时间的强度。在这个实例中,受试者坐在传感器前方大约70cm处。运动从距离传感器40厘米的手掌(面朝上)开始,是总运动期间的最远点。最近点可以是大约15cm。手朝向传感器延伸(1秒钟),并在短暂暂停后拉回(1秒钟)。目的是复制正弦波。完整的手势大约需要2秒钟。重复完整的手势10次(根据图8所示)。图9表示运动朝向传感器、靠近传感器,然后远离传感器的位置。对于这种情况,可以看出最大频率在90-100hz的范围内。看到这个相位在运动期间向传感器顺时针运动,并且在移开时逆时针运动。在图10中,使用matlab(mathworks,natick)作为相位方向分析的第二种方法,将i和q(相位和正交)信道在3d图上相对于时间绘图。
120.幅度特性可能在使用之前需要信号调节,因为可以看到幅度随着位置(距离传感器的距离)以及目标横截面/尺寸而变化。
121.也可以提取靶的径向速度和方向。在传感器范围(例如2m)内,这(目标)可能是附近的小目标或远处的更大的目标。
122.手势b
123.可以参考图11和图12来考虑另一个可检测的手势b(手臂和手部),运动开始于手臂完全伸展。如图11所示,然后将手完全摇摆过身体。当手臂从靠近传感器(5厘米)运动到离传感器最远(135厘米)的位置时,手掌将自然地从面朝上改变为面朝下。在手势的中间点(在头上方的手臂摇摆弧的峰值),手掌方向将改变。
124.完整的手势需要少于4秒,并且可以例如在座位中执行。
125.具有大约2m/s速度的手势b产生140hz的频率。这在1秒内的1m的距离内发生,起始和终止速度为0米/秒。
126.传感器可以被定位成大致靠近受检测的人(例如,距离胸部中心95cm处)。例如,在手势的总运动期间的最远点可以距离传感器大约135cm,并且距离传感器的最近点可以是大约5cm。参考从指尖的测量可以考虑最近和最远的点。图12示出了可以处理用于检测手势的幅度、频率和相位特性。
127.剃刮动作
128.该系统可以应用于许多类型的活动,优选地与重复运动相关联。实例可以包括检
测和分类活动,诸如清洗、梳理、刷牙(例如,头发或牙齿)或剃刮冲程等。在一些情况下,系统可以假设记录的主要运动包含特定的活动(例如,剃刮信息和/或清洗)。手势信道的分析可以允许例如估计总冲程数,可以确定检测运动方向的改变。类似地,可以确定冲程的相对方向-上/下或下/其他等。可以检测运动源的相对方向。可以确定冲程速率。
129.通过检测可能的冲程事件,可以计算并提供每分钟冲程速率的估计。峰值高速率事件被标记为可能的清洗事件。
130.在系统的一些型式中,活动类型或手势处理器可以实现以下处理步骤中的任何一个或多个:
[0131]-计算手势信号的频谱内容
[0132]-应用快速傅里叶变换,并在滚动窗口中找到峰值(频域)
[0133]-计算每个正弦式峰值之间的距离
[0134]-计算信号的过零点(时域)
[0135]-估计相对运动方向和持续时间
[0136]-提取两个信道之间的相移。
[0137]
还可以实现诸如短时傅里叶变换或小波的替代时间频率分析。
[0138]
通常,复合传感器信号基于手臂运动、头部运动、躯干运动等。也可以检测其他手势。
[0139]
在一些型式中,顺时针/逆时针方向改变信息可被计时以产生表示方向变化的脉冲。这些脉冲可以用于计数器,并且被分组成不同的发生率。图13示出了i/q相位信号差异变化时的检测方向的变化。
[0140]
因此,可以注意到与剃刮行为一致的典型速率,因此推断出剃刮时段。与超量高频信息相关联的速率的增加可以推断为手臂运动到脸部或剃刮刀片的清洗。
[0141]
使用rf传感器来检测剃刮或其他运动和手势的优点是增强的隐私性,对比譬如捕获或处理来自用户或用户组的图片/视频的基于系统的视频。
[0142]
速率和方向变化的降低可用于检测呼吸。此外,时域和频域处理被应用于信号以定位特定频带。
[0143]
通过用意想不到的方向改变行为特征检测速率的相对变化,可以将呼吸进一步与混杂的人体摇摆分离。图13示出了i/q相位信号差异变化时的检测方向的变化。在图13中,左上部的iq图表示沿顺时针方向运动的轨迹,左上平板表示沿逆时针方向运动的轨迹。从顺时针方向向逆时针方向(或反之亦然)的变化会导致其中的顶线示出的左下平板和右下平板的方向变化轨迹。在这个实例中,中间线和底线分别代表i或q信道。
[0144]
在一个示例性版本中,可以通过应用包括以下内容的处理来计数活动的冲程(例如,剃刮冲程):
[0145]-带通滤波
[0146]-根据顺时针/逆时针计算状态的变化。
[0147]-应用滞后(避免在信号中的小尖峰上转换状态,例如,折叠)。
[0148]-在零点附近抑制功能更新
[0149]-区分结果信号。
[0150]-计算切换次数(例如,识别返回冲程)。
[0151]
在图14中示出了示出这种检测处理的信号图。
[0152]
在执行这种手势/活动检测训练时,可以按照如图15所示的以下方式执行分类。可以在读取步骤1502中访问来自传感器的一组记录,可以用作训练集。诸如在特征生成步骤1504中,可以产生合适的检测特征(具有相位、频率和幅度)。在训练设置步骤1506中,可以为特定的运动/手势创建分类器配置。然后可以在训练分类步骤1508中处理特征以将运动与所计算的特征的最相关的关联。如果在检查步骤1512需要进一步调谐,则可以重复训练分类,诸如如果需要改进的分类训练。在预测试设置步骤1505中,可以访问分类器配置以评估先前分类的运动/手势的特征。然后可以将这些预先分类的运动与分类步骤1507中的新产生的特征进行比较,以基于特征识别预分类运动之一。可选地,可以在视频性能步骤1510、1509中使用所识别的特征来评估来自训练或测试的分类器的性能,以与基于注释的视频进行比较(即,在执行已知手势期间记录同时的视频以充当用于运动信号的稍后注释的时间戳参考;这需要人类对信号的评分和/或要执行的运动/手势事件的单独记录),并且基于比较的结果,可能需要微调特征。然后可以使用独立的测试集来测试所得到的特征的配置。对于这种类型的监督学习(使用其他技术也可以进行无监督学习),独立的测试集保持在训练集中,以便检查系统的可能的现实世界性能(即,未知数据的性能)。在开发过程中,在训练集上进行迭代,以最大限度地提高性能,并旨在尽可能地使用最大限度地提高性能的功能。可以实现主成分分析(pca)或其他维数减小,以便选择这些特征。将认识到,在不执行训练和测试的情况下,步骤1502、1504、1505和1507可以由处理器或控制器在检测设备100中或与检测设备100相关联的情况下实现,以便如前所述进行运动识别。
[0153]
例如,可以实现kolgomorov-smirnov(ks)适合性假设统计测试来比较目标数据块的累积分布函数与训练数据。在图16的实例中示出了这种逐块分类的块。它可以用以下任何一个或多个过程来实现:
[0154]
(1)生物活动块划分
[0155]
i和q信号数据可以分为连续的非重叠或部分重叠的块。例如,可以使用具有50%重叠的1
×
160个样本(160hz下的1秒)的块长度或一些其他组合。可以通过改变块长度和/或通过改变重叠量来用计算复杂性换取精确度。
[0156]
(2)块预处理
[0157]
可以检查数据块以查看数据是否落在存在或不存在部分内(即,在传感器或多个传感器的范围内具有呼吸速率和/或心跳的用户;对于呼吸频率检测,可能需要在15至60秒之间加数据用于检测多个呼吸周期)。此外,可以检查块以发现没有检测到可能的rf干扰信号(即,将运动/手势信号与可能由rf收发器检测的rf干扰的强源分离;此外,在此阶段也可以检测和拒绝其他非生物活动来源,诸如风扇)。如果所考虑的块不符合这些标准,则可以选择性地不进一步分类。块或多个块也可以与用户或房间环境的其他信息源交叉引用和/或相关联,以便检查用户实际位于传感器附近的可能性;例如来自可穿戴设备的数据、来自蜂窝电话的位置或运动数据、房间环境传感器、家庭自动化或其他安全传感器。
[0158]
(3)特征提取
[0159]
对于所考虑的块,可以如下计算时域(时间)和频域或时间/频率特征的数量(全部或子集)。应注意,可以同时考虑不同的块长度。
[0160]-i&q信号(或衍生的特征)的变换的截尾均值和中值(所述变换,例如但不限于平
方根、平方或对数)
[0161]-使用内插法或其他方式计算的信号中的的变换差额(所述变换,例如但不限于平方根、平方或对数),覆盖限定的范围(例如,但不限于5%至95%或四分位数范围)。
[0162]-信号的包络(i&q)使用希尔伯特变换
[0163]-信号(i&q)对信号的周围实例的相对幅度
[0164]-信号的过零点(i&q)
[0165]-运动窗口中的峰值频率
[0166]-峰值频率对第二和第三谐波的比率
[0167]-相位方向(顺时针或逆时针)
[0168]-相速度
[0169]-信号中呼吸和/或心脏信号的存在(或不存在)(即将运动与生物活动相关联,例如由人造成的运动)
[0170]-在i&q信道中存在运动信号的相似或不同
[0171]
(4)块分类
[0172]
作为实例,对于具有特征分布的输入特征集,可以使用kolgomorov smirnov(ks)两个样本非参数适合性测试来比较该参考样本(例如,剃刮运动的特征,从时间、频率、相位等衍生的特定手部手势)到由传感器捕获的新的样本分布(例如,量化检测到的新样本的经验性分布函数与参考的累积分布函数之间的距离)。也可以实施ks的多变量版本,尽管这可能需要进行多次累积密度函数比较。
[0173]
作为另一实例,基于fisher线性判别规则的线性判别分类器(ldc)被应用于每个非重叠或重叠的块。对于馈入的每个数据块,存在多个预定的输出类-例如不同的运动或手势状态。响应于一组输入特征,分类器输出表示每个类的概率估计的一组数字。线性鉴别器使用一组超平面将特征空间分成不同类别。模型的优化通过直接计算实现,并且相对于其他模型诸如神经网络而极快。
[0174]
ldc的训练进行如下。使x成为一个包含从数据集计算的特征值的d
×
1列向量。我们希望将x分配给c个可能的类型(在我们的情况下为c=2)。总共有n个特征向量可用于训练分类器,其特征向量的数量表示类k等于nk,即:
[0175][0176]
类k中的第n个训练向量表示为x
k,n
。类条件均值向量μk定义为:
[0177][0178]
我们现在定义对所有类别定义的公共协方差矩阵(即,我们假设每个类别仅在其平均值上不同,而不是在其较高阶统计中)。常用协方差矩阵定义为:
[0179][0180]
使用训练数据计算μk和σ。一旦计算出这些值,就可以使用以下方法计算任意数据向量的判别式值yk:
[0181][0182]
其中πk是来自类k的矢量x的a先验概率。使用以下方法很容易将判别式值转换为后验概率:
[0183][0184]
该公式提供从判别值到后验概率的映射。指定至x的最后一类是具有最高后验概率的类。这将成为块输出。
[0185]
然而,该系统还可以采用诸如神经网络、深度学习分析等方法,特别是在合理的计算能力可用的情况下。包括形态信号处理(例如,可用于图像处理中)的更复杂的方法可以在当使用更复杂的分类方法时增加特征分析;这些可能更适合于检测复杂运动/手势中可见的模式。
[0186]
在图17的信号图中进一步示出了活动的周期性质,示出了活动的i信道、q信道、冲程和冲程速率。在假定剃刮活动的本实例中,第四(最低)轴线描绘了具有黑色点的可能的剃刀清洗周期(在图17中的标记有“冲程速率”的最低平板标记为“dd”)-高速率区域表示这些清洗点)。这清楚地说明了剃刮活动的周期性质的检测。
[0187]
示例性手势/动作
[0188]
如图18至25中进一步所示,通过分析传感器手势信道信号的相位、频率和/或幅度可以检测到附加运动手势。虽然提供了距离传感器的一些距离,但是将认识到这些距离可以根据传感器的配置的检测范围而改变。
[0189]
手势1:
[0190]
可以参考18a-c考虑可检测手势1。在该实例中,传感器可以距离胸部的中心一定距离(例如,70cm)而定位。传感器沿着图18a的观察者的方向与手势受试者间隔开(这也是随后的图19a、20a、21a、22a、23a和24a的情况)。在总运动期间的最远点可以距离传感器大约55cm,并且距离传感器的最近点可以是大约45cm。参考手指尖可以测量最远点。如图18a所示,手部运动平行于传感器进行。只有手垂直于传感器来回运动。完整的手势1大约需要2秒钟。该运动可以从坐位或立位进行。如图118b(手势的10次重复)和图18c(单次手势)所示,任何一个或多个相位、频率和幅度的特征可被分类以用于手势或重复手势的检测。
[0191]
手势2:
[0192]
可以参考19a-c考虑手势2。在该实例中,传感器可以距离胸部的中心大约70cm而定位。可以将手势认为是在传感器前挥动手。在总运动期间的最远点距传感器大约50cm,最近点距离传感器大约45cm。以与传感器成大约24度的角度测量到指尖的最远点。如图19a所示,运动开始于平行于传感器的手臂。手只能前后运动、平行于传感器。完整的手势需要不到2秒钟。可以在站立、躺下时或从坐位进行运动。
[0193]
如图19b(手势的10次重复)和图19c(单次手势)所示,任何一个或多个相位、频率和幅度的特征可被分类以用于手势或重复手势的检测。
[0194]
手势3:
[0195]
可以参考20a-c考虑手势3。在该实例中,传感器可以距离胸部的中心大约70cm而
定位。在总运动期间的最远点距传感器大约85cm、距最近点大约45cm。参考手指尖可以测量最远点。最近点是从传感器到手臂而不是指尖的最短距离。如图20a所示,手臂和手部运动开始于平行于传感器的手臂。然后在返回到原始位置之前将手臂穿过身体。完整的手势大约需要2秒钟。可以在站立、躺下时或从坐位进行运动。
[0196]
如图20b(手势的10次重复)和图20c(单次手势)所示,任何一个或多个相位、频率和幅度的特征可被分类以用于手势或重复手势的检测。
[0197]
手势4:
[0198]
可以参考图21a-c考虑手势4。在该实例中,传感器可以距离胸部的中心大约70cm而定位。在总运动期间的最远点距传感器大约60cm,最近点距离传感器大约45cm。参考手指尖可以测量最远点。最近点是从传感器到手臂而不是指尖的最短距离。如图21a所示,手臂和手部运动开始于手臂抬起,指尖平行于传感器向上指向。手臂与传感器平行运动。完整的手势需要不到大约2秒钟。可以在站立、躺下时或从坐位进行运动。
[0199]
如图21b(手势的10次重复)和图21c(单次手势)所示,任何一个或多个相位、频率和幅度的特征可被分类以用于手势或重复手势的检测。
[0200]
手势5:
[0201]
可以参考图22a-c考虑手势5。在该实例中,传感器可以距离胸部的中心大约95cm而定位。在总运动期间的最远点可以距离传感器大约135cm,并且距离传感器的最近点可以是大约5cm。参考指尖测量最接近和最远点。如图22a所示,运动开始于手臂完全伸展。然后手部完全摇摆过身体。完整的手势需要不到大约4秒钟。可以在站立、躺下时或从坐位进行运动。
[0202]
如图22b(手势的10次重复)和图22c(单次手势)所示,任何一个或多个相位、频率和幅度的特征可被分类以用于手势或重复手势的检测。
[0203]
手势6:
[0204]
可以参考图23a-c考虑手势6。在该实例中,传感器可以距离胸部的中心大约70cm而定位。在总运动期间的最远点距传感器大约95cm,最近点距离传感器大约50cm。参考手指尖可以测量最远点。最近点是从传感器到肩膀而不是指尖的最短距离。如图23a所示,手臂和手部运动开始于手臂在头部上方完全伸展。然后手以90度的角度向下摇摆。完整的手势大约需要3秒钟。可以在站立、躺下时或从坐位进行运动。
[0205]
如图23b(手势的10次重复)和图23c(单次手势)所示,任何一个或多个相位、频率和幅度的特征可被分类以用于手势或重复手势的检测。
[0206]
手势7:
[0207]
可以参考图24a-c考虑手势7。在该实例中,传感器可以距离胸部的中心大约70cm而定位。在总运动期间的最远点距传感器大约52cm,最近点距离传感器大约50cm。如图24a所示,手臂和手部运动开始于手臂平行于传感器并且手掌面朝上。然后手部在返回到原始位置之前拉升至大约15厘米。完整的手势大约需要2秒钟。可以在站立、躺下时或从坐位进行运动。
[0208]
如图24b(手势的10次重复)和图24c(单次手势)所示,任何一个或多个相位、频率和幅度的特征可被分类以用于手势或重复手势的检测。
[0209]
翻转运动1
[0210]
参考图25a-b可以考虑翻转检测。对于睡眠信息检测,可以将翻转视为此人睡眠困难的指示。在该实例中,例如,运动从一个人的背部开始。此人翻滚到朝向传感器的一侧,这可能需要大约2秒钟。此后可能会有一次暂停(诸如在测试实例中大约1秒钟)。然后,此人从传感器旋转到初始位置,这可能需要大约2秒钟。在附图的信号数据中,完整的运动需要5秒(两次翻转)。这在数据中重复了10次。
[0211]
如图25a(翻转运动的10次重复)和图25b(单次翻转)所示,任何一个或多个相位、频率和幅度的特征可被分类以用于运动或重复运动的检测。
[0212]
翻转运动2
[0213]
参考图26a-b可以进一步考虑翻转检测。在该实例中,例如,运动从受试者的背部开始。然后此人翻滚到背向传感器的一侧,这可能需要大约2秒钟。此后可能会有一次暂停(诸如在测试实例中大约1秒钟)。然后此人可以朝向传感器翻滚回到初始位置。这可能需要大约2秒钟。在附图的信号数据中,完整的运动需要5秒(两次翻转)。这在数据中重复了10次。
[0214]
如图26a(翻转运动的10次重复)和图26b(单次翻转)所示,任何一个或多个相位、频率和幅度的特征可被分类以用于运动或重复运动的检测。
[0215]
翻转运动3
[0216]
参考图27a-b可以进一步考虑翻转检测。在该实例中,运动比图26的翻转稍稍长(翻转运动2)。例如,运动从受试者的背部开始。然后此人翻滚到背向传感器的一侧,这可能需要大约3秒钟。此后可能会有一次暂停(诸如在测试实例中大约1秒钟)。然后此人可以朝向传感器翻滚回到初始位置。这可能需要大约3秒钟。在附图的信号数据中,完整的运动需要7秒(两次翻转)。这在数据中重复了10次。
[0217]
如图27a(翻转运动的10次重复)和图27b(单次翻转)所示,任何一个或多个相位、频率和幅度的特征可被分类以用于运动或重复运动的检测。
[0218]
翻转运动4
[0219]
参考图28a-b可以进一步考虑翻转检测。在该实例中,运动比图25的翻转稍稍长(翻转运动1)。例如,运动从受试者的背部开始。然后此人翻滚到朝向传感器的一侧,这可能需要大约3秒钟。此后可能会有一次暂停(诸如在测试实例中大约1秒钟)。然后此人可以朝向传感器翻滚回到初始位置。这可能需要大约3秒钟。在附图的信号数据中,完整的运动需要7秒(两次翻转)。这在数据中重复了10次。如图27a(翻转运动的10次重复)和图27b(单次翻转)所示,任何一个或多个相位、频率和幅度的特征可被分类以用于运动或重复运动的检测。
[0220]
在一种替代方法中,可以从光谱图直接提取整体特征,以便提供基准签名。如在手势和翻转图中所描绘的,可以在彩色频谱图中看到每个手势的特征图案。这样的方法可以通过处理或分析光谱图像素中的颜色信息来执行,例如以块或区域方式进行。可选地,可以进行增强,包括边缘检测和封闭特定图案;这可以有效地去除或减少周围像素中的噪声。颜色可以根据颜色空间在例如rbg(红绿蓝)或cmyk(蓝绿品红黄黑)中处理;每个可以被视为单独的信道。颜色强度可以通过强度值(例如,低、低-中、中、中-高、高或某些其他组合)分离,然后传递到诸如神经网络的分类器中。例如,考虑图22c和图30的颜色频谱图和处理图像。这里的边缘增强可能是针对捕获红色斑点的轮廓,并拒绝点状的蓝色/紫色区域。因此,
具有黄色条纹的红色区域的形状为该手势类型提供了初始签名(模板),并且可以在监督学习分类器中使用。尽管相同的基本形状和颜色仍然存在,但该姿势(运动)的多次迭代的变化在图22b中示出。可以从该重复运动中对该图案进行平均,并为该目标手势(运动)提供训练输入。
[0221]
图30示出图像。从顶部到底部:顶平板包含rgb颜色空间信道,第二平板仅描绘r(红色)信道、第三个描绘g(绿色)、第四个描绘b(蓝色),并且底部b-d是带有应用于强度值的斑点检测的蓝色信道,并稍微向左运动以去除左侧的频率分量(如平板1-4所示)。最大频率范围为170hz(最右边的“斑点”)到210hz(最左边的“斑点”)。因此,参考图30所示(从底部开始的第二图像),图像数据可以被处理以将顶部图像rgb的颜色数据分离(参见从图22[c]的原点(顶部))成红色、绿色和蓝色信道中的任意一个或多个(分别是顶部-中间图像r(红色)、中间图像g(绿色)和底部两个图像b(蓝色))信道并选择主要斑点区域。对于人眼,蓝色信道(底部)中最清晰的签名是明显的;即考虑黑色区域(忽略图像左侧的垂直条纹)。底部图像b-d示出了孤立的蓝色信道的重叠的斑点检测。这种分割/分色和斑点检测可以由系统的一个或多个处理器的适当算法来执行,诸如涉及如本文更详细描述的特征检测和/或分类的过程的一部分。
[0222]
多个rf传感器(例如,立体声传感器系统):
[0223]
对于示例性的单个rf传感器,当用户朝向或远离其运动时,i和q相可以被检测。垂直于单个传感器(穿过传感器的表面)的运动可能具有相当小的相对相位变化(例如,跨越传感器的检测平面的电弧中的运动将具有非常少的或不具有可测量的相位变化)。可以使用附加的传感器(例如,具有与第一传感器(例如,彼此成一定角度)相邻放置的第二传感器(以及后续传感器)的系统)来检测进出运动的物体的信号。例如,第二传感器可以位于第一传感器的圆弧(例如,传感器可能与第一传感器成45度或相对于第一传感器正交(成90度)或成其他适当的微分角度)。因此,有效的立体声传感器系统可以更有效地检测和表征对应于传感器的各种检测平面的运动(例如,垂直于第一传感器的运动可以通过分析第二传感器的信号来更清楚地表征)。在这种情况下,运动/手势分类可以考虑来自两个传感器的信号信息(例如,衍生自两个传感器的相位输出的特征)。这样的系统可以例如以这种方式返回基于运动方向的不同的控制信号。对于剃刮分析,可以确定脸部(或身体的其他部位)的象限。对于游戏实现,可以确定特定的局部运动。
[0224]
因此,两个传感器可以协同地作为“立体”系统来工作以检测和识别二维(2d)中的手势,并且可以使用例如范围选通rf传感器来将三个传感器用于识别手势运动的三维特征(3d)。因此,可以通过从多个传感器获得检测信号来表征单个手势。对于两个传感器的二维的情况(即2d),来自传感器1和传感器2中的每个的i/q信号(用于两个传感器的情况-左和右的i1、i2、q1、q2中的差分)可以通过一个处理器进行分析。由此产生的幅度和相位差提供了“x”、“y”输出。在一些情况下,可以在协作系统中实现三个传感器以添加“z”轴线,以便在所得到的传感器场中提供细粒度的三维手势识别数据。在这种情况下,i1、i2、i3、q1、q2、q3的差分可以由具有来自三个传感器情况下的信号的处理器评估以区分单个手势。在一些实施例中,可以通过将三个传感器中的至少两个放置为彼此正交来获得最大相位。
[0225]
在一些型式中,如果天线被分离,则可以在一个传感器上实现多射线天线(相位阵列天线)。这可以消除对第二传感器的需要。
[0226]
在一些情况下,rf传感器运动信号可以例如被上变频到音频频率,使得可以通过特定音频签名(例如,通过产生来自具有上变频信号的扬声器的声音)来检测(识别)手势。这可以允许人们区分不同类型的手势,或者利用已知的音频识别方法来增加分类和/或设备训练。
[0227]
在本说明书中,词语“包含”应以其“开放”的意义来理解,即以“包括”的意义,因此不限于其“封闭”的意义,即以“只由
……
组成”的意义。相应的含义还包括相应的词语“包含(comprise)”、“包含(comprised)”和“包含(comprises)”,即出现的该动词的各种变格。
[0228]
尽管已经描述了该技术的特定实施例,但是对于本领域技术人员显而易见的是,本技术可以以其他具体形式实现,而不脱离其基本特征。因此,本实施例和实例在所有方面被认为是说明性的而不是限制性的。例如,虽然本公开已经描述了诸如基于手部/手臂以及翻转的运动的检测,但是相同的主体可应用于其他大规模运动,例如用户在床上躺卧和坐位之间运动(以及反之亦然),达到特定目标(台灯或呼吸装置)等。
[0229]
还将理解,除非出现相反的表述,否则本领域已知的主题的任何参考都不构成对本技术领域的技术人员通常所知的此类主题的认可。
[0230]
零件列表:
[0231]
检测装置 100
[0232]
读取步骤 1502
[0233]
特征生成步骤 1504
[0234]
预测试设置步骤 1505
[0235]
训练设置步骤 1506
[0236]
分类步骤 1507
[0237]
训练分类步骤 1508
[0238]
视频性能步骤 1509
[0239]
视频性能步骤 1510
[0240]
检查步骤 1512
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1