一种基于微多普勒特征的手势识别方法及系统与流程

1.本发明涉及雷达技术领域，尤其一种基于微多普勒特征的雷达手势识别方法及系统。


背景技术：

2.雷达的微多普勒特征是指在目标运动时产生的主多普勒分量之外观察到的微运动现象。近年来，目标微动特性分析引起学术界及工程界广泛关注及研究。目标微运动产生的微多普勒特征包含了目标的精细结构和运动细节等信息，可以从该信号中提取有用信息进行识别。
3.目前，对于目标微运动的研究多建立在使用毫米波雷达进行直接的微动作观测，得到相应的目标回波，进而进行相应的动作识别。但当在雷达与目标之间存在障碍物时，毫米波雷达的穿透能力较差，则无法完成对有用信息的提取和识别。
4.但在，城市反恐或其他应用场景下，当必须采用手势指挥时，由于不可视的复杂建筑环境，使指挥手势无法被发现，从而影响相关人员对决策的必要信息的及时掌握，使指挥效率降低的问题。
5.因此，需要一种可以在障碍物遮挡情况下，应用穿墙透视感知技术进行指挥手势识别的技术，提高复杂条件下的指挥效率。


技术实现要素：

6.鉴于上述的分析，本发明旨在提供一种基于微多普勒特征的雷达手势识别方法及系统，解决障碍物遮挡下的指挥手势识别的问题。
7.本发明公开了一种基于微多普勒特征的手势识别方法，包括：
8.采用穿墙雷达观测被障碍物遮挡的指挥手势，得到雷达回波信号；所述障碍物包括墙体；
9.对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析，提取由障碍物遮挡指挥手势所引起的多维微多普勒特征；
10.建立由历史观测雷达回波信号中提取的多维微多普勒特征和对应的指挥手势组成的训练集，对分类器进行训练；
11.将实时提取的障碍物遮挡的指挥手势引起的多维微多普勒特征输入训练好的分类器进行识别，确定被遮挡的指挥手势。
12.进一步地，所述指挥手势包括四种单兵指挥手势：
13.横向纵队：手臂作握拳状，水平横向伸出手臂；
14.单纵队形：举起手臂，屈曲手肘，手掌垂直，前后作劈砍动作；
15.双纵队形：手肘屈曲，手举起至头顶高度，并作握拳状，食指和中指伸出作钩状前后摆动；
16.v字队形：作握拳状，伸直手臂和身体成一定角度，然后摆动至后方。
17.进一步地，所述多维微多普勒特征包括六维微多普勒特征；其中，
18.第一维特征表征由指挥手势引起的频域能量散布；
19.第二维特征表征由指挥手势引起的调制谱能量；
20.第三维特征表征由指挥手势引起的多普勒谱峰值；
21.第四维特征表征由指挥手势引起的总频率宽度；
22.第五维特征表征由指挥手势引起的频谱峰值周期；
23.第六维特征表征由指挥手势引起的多普勒频差。
24.进一步地，所述第一维特征为多普勒谱的波形熵；所述波形熵为雷达回波信号多普勒谱各个分量幅度的概率分布；
25.所述第二维特征为多普勒谱的差分取模求和；所述差分取模求和表示雷达回波信号多普勒谱各个分量幅度的相对变化关系；
26.所述第三维特征为短时傅里叶变换时频谱的时频熵；所述时频熵为雷达回波信号短时傅里叶变换时频谱中微多普勒调制谱宽度范围内能量的分布程度；
27.所述第四维特征为短时傅里叶变换时频谱的主分量带宽；所述主分量带宽为雷达回波信号短时傅里叶变换时频谱中最高和最低多普勒频率之间的总频率范围；
28.所述第五维特征为短时傅里叶变换时频谱的平均周期；所述平均周期为雷达回波信号短时傅里叶变换时频谱中微多普勒信号的每个正峰值之间时间差的平均值；
29.所述第六维特征为短时傅里叶变换时频谱的多普勒偏移；所述多普勒偏移为雷达回波信号短时傅里叶变换时频谱中最高和最低多普勒频率之间的差值。
30.进一步地，所述分类器为随机森林分类器。
31.进一步地，所述随机森林分类器的训练过程包括：
32.对雷达历史观测的不同人员的四种单兵手势的回波数据进行多维微多普勒特征提取和手势标注，形成训练样本集d；
33.对训练样本集d进行bootstrap采样，形成t个训练样本采样集；所述bootstrap为自助采样法；t为训练样本采样集个数，取值为正整数；
34.第t个训练样本采样集训练第t个决策树，训练样本采样集与决策树一一对应，训练后的各个决策树作为基分类器共同构成随机森林组合分类器，1≤t≤t。
35.进一步地，所述穿墙雷达工作频率为1.6g
‑
2.2ghz，单周期内连续发射300个步进脉冲，持续时间30ms。
36.本发明还公开了一种根据上述手势识别方法的手势识别系统，包括穿墙雷达、多维微多普勒特征提取模块和分类器；
37.所述穿墙雷达，用于观测被包括墙体在内的障碍物遮挡的指挥手势，得到雷达回波信号；
38.所述多维微多普勒特征提取模块，用于对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析，提取由障碍物遮挡的指挥手势引起的多维微多普勒特征；
39.所述分类器，用于对实时提取的由障碍物遮挡的指挥手势引起的多维微多普勒特征进行识别，确定被遮挡的指挥手势；
40.所述分类器通过从历史观测雷达回波信号中提取的多维微多普勒特征组成的训练集进行训练得到。
41.进一步地，所述指挥手势包括四种单兵手势：
42.横向纵队：手臂作握拳状，水平横向伸出手臂；
43.单纵队形：举起手臂，屈曲手肘，手掌垂直，前后作劈砍动作；
44.双纵队形：手肘屈曲，手举起至头顶高度，并作握拳状，食指和中指伸出作钩状前后摆动；
45.v字队形：作握拳状，伸直手臂和身体成一定角度，然后摆动至后方。
46.进一步地，所述多维微多普勒特征提取模块包括第一维特征提取模块、第二维特征提取模块、第三维特征提取模块、第四维特征提取模块、第五维特征提取模块和第六维特征提取模块；
47.第一维特征提取模块用于提取由指挥手势引起的频域能量散布特征；
48.第二维特征提取模块用于提取由指挥手势引起的调制谱能量的特征；
49.第三维特征提取模块用于提取由指挥手势引起的多普勒谱峰值的特征；
50.第四维特征提取模块用于提取由指挥手势引起的总频率宽度的特征；
51.第五维特征提取模块用于提取由指挥手势引起的频谱峰值周期的特征；
52.第六维特征提取模块用于提取由指挥手势引起的多普勒频差的特征。
53.本发明至少可实现以下有益效果之一：
54.本发明通过对穿透障碍物的雷达回波信号的多普勒谱与短时傅里叶变换时频谱的数据分析，得到与不同指挥手势动作对应的微多普勒特征，并基于随机森林分类器对多维微多普勒特征联合进行手势分类识别，得到理想的手势识别效果，为行动决策提供必要信息，提升效率。
附图说明
55.附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
56.图1为发明本实施例的手势识别方法流程图；
57.图2为发明本实施例的四种单兵手势的一维时间距离像比对图；
58.图3为发明本实施例的四种单兵手势单周期距离像比对图；
59.图4为发明本实施例的四种单兵手势的多普勒谱比对图；
60.图5为发明本实施例的四种单兵手势短时傅里叶变换(stft)时频谱比对图；
61.图6为发明本实施例的手势识别系统组成原理示意图。
具体实施方式
62.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。
63.本实施例公开了一种基于微多普勒特征的手势识别方法，如图1所示，包括以下步骤：
64.步骤s1、采用穿墙雷达观测被包括墙体在内的障碍物遮挡的指挥手势，得到雷达回波信号；
65.步骤s2、对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析，提取由障
碍物遮挡的指挥手势引起的多维微多普勒特征；
66.步骤s3、建立从历史观测雷达回波信号中提取的多维微多普勒特征组成的训练集对分类器进行训练；
67.步骤s4、将实时提取的障碍物遮挡的指挥手势引起的多维微多普勒特征输入训练好的分类器进行识别，确定被遮挡的指挥手势。
68.具体的，在步骤s1中，由于本实施例的应用场景为对包括墙体在内的障碍物遮挡的指挥手势进行观测和识别，因此目前应用于人体动作识别的毫米波雷达则无法实现对被障碍物遮挡的人体动作的识别。
69.并且，出于本实施例可应用与城市反恐等领域，其识别的指挥手势具体包括以下四种单兵手势：
70.横向纵队：手臂作握拳状，水平横向伸出手臂；
71.单纵队形：举起手臂，屈曲手肘，手掌垂直，前后作劈砍动作；
72.双纵队形：手肘屈曲，手举起至头顶高度，并作握拳状，食指和中指伸出作钩状前后摆动；
73.v字队形：作握拳状，伸直手臂和身体成一定角度，然后摆动至后方。
74.因此，本实施例构建的穿墙雷达对被障碍物遮挡的四种单兵手势进行观测，采用较低的脉冲重复频率，使得在雷达回波信号中，所有人的微多普勒都包含在明确的多普勒区域内；以记录和识别较为精细和缓慢的手势动作。
75.具体的，穿墙雷达的频率为1.6g
‑
2.2ghz，为分米波雷达，对障碍物的穿透性更好；
76.穿墙雷达的单周期内连续发射300个步进脉冲，持续时间30ms，纵向距离分辨率可达25cm；脉冲重复频率较低，使得在雷达回波信号中，所有人的微多普勒都包含在明确的多普勒区域内。
77.图2给出了四种单兵手势的一维时间距离像比对图；图3给出了四种单兵手势单周期距离像比对图(100个周期对消后的距离像)；
78.通过图2和图3的对比图观察得到，纵像距离上看，
79.横向纵队手势，手臂动作时横向的，但在纵像距离上没有扩展，目标距离像尺寸居中；
80.单纵队与v字队手势，手臂有前后幅度，目标距离像尺寸较大；
81.双纵队手势仅手部动作，幅度范围小，所得目标距离像尺寸最小。
82.本实施例中，步骤s2中通过对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析以提取由障碍物遮挡的指挥手势引起的多维微多普勒特征。
83.具体的，图4给出了四种单兵手势的多普勒谱比对图；
84.从四种手势动作的多普勒谱分析可知，横向纵队和双纵队手势的频谱能量分布较另外两种手势集中一些；单纵队手势的手掌垂直前后作劈砍动作，很明显体现在正负频率两个峰值；v字队形手势的朝后方摆动动作，使得目标频谱存在一定的不对称性，能量分布朝正频率偏移。
85.图5给出了四种单兵手势短时傅里叶变换(stft)时频谱比对图；
86.而从四种手势动作的stft时频谱分析，单纵队和v字队形手势呈现明显的周期性，而双纵队手势周期性最不明显；横向纵队手势，因是横向手臂速度，在雷达视线方向无法观
测到，因此主分量带宽最小；横向纵队和双纵队手势的时频谱能量分布，与多普勒谱一致，较另外两种手势集中一些。
87.对四种指挥手势的雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析。
88.通过对一维距离像，多普勒域及stft时频域三个维度所得数据分析中，本实施例从多种微多普勒特征选取六维多普勒特征，用于表征四种典型指挥手势的微多普勒特征，用于对四种典型指挥手势进行识别，具体包括：
89.1)第一维特征为表征指挥手势引起的频域能量散布的特征；
90.具体的，所述第一维特征为多普勒谱波形熵，所述多普勒谱波形熵为雷达回波信号多普勒谱各个分量幅度的概率分布；表征频域能量的散布程度，能量越集中，熵值越小。四种典型指挥手势在多普勒谱波形熵上存在区别，通过多普勒谱波形熵可对四种典型指挥手势实现一定概率的区分。
91.更具体的，雷达回波信号多普勒谱中目标幅度归一化后的多普勒谱为u＝(u1,u2,
…
,u
n
,
…
,u
n
)，u
n
代表第n个频点上的幅度值，n＝1,
…
，n；则u
n
在目标多普勒谱中出现的概率p
n
为：
[0092][0093]
由此，得到指挥手势引起的多普勒谱波形熵为：
[0094][0095]
2)第二维特征为表征指挥手势引起的调制谱能量的特征；
[0096]
具体的，所述第二维特征为多普勒谱差分取模求和；即，雷达回波信号多普勒谱中各个分量幅度的相对变化关系；当各分量之间存在较大变化时，差分取模求和的结果就会相应增大。各个多普勒频率成分对用的峰值可视为幅度变化较大的情况，多普勒谱差分取模求和可反应指挥手势引起的多普勒谱中峰值的大小和数量信息；通过多普勒谱差分取模求和可对四种典型指挥手势实现一定概率的区分。
[0097]
更具体的，多普勒谱差分取模求和fea2为：
[0098][0099]
u＝(u1,u2,...,u
n
,
…
,u
n
)，为雷达回波信号多普勒谱中目标幅度归一化后的多普勒谱，u
n
代表第n个频点上的幅度值，n＝1,
…
，n；
[0100]
3)第三维特征为表征指挥手势引起的多普勒谱峰值的特征；
[0101]
具体的，所述第三维特征为短时傅里叶变换时频谱的时频熵：所述时频熵为短时傅里叶变换时频谱中微多普勒调制谱宽度范围内能量的分布程度。通过时频熵可对四种典型指挥手势实现一定概率的区分。
[0102]
更具体的，雷达回波信号短时傅里叶变换时频谱中目标幅度归一化后的多普勒谱值为y＝(y1,y2,
…
,y
m
,
…
,y
m
)；y
m
代表第m个频率分量f
m
的频谱值，m＝1,
…
,m；
[0103]
则y
m
在短时傅里叶变换时频谱中出现的概率p
m
为：
[0104][0105]
由此得到短时傅里叶变换时频谱时频熵为：
[0106][0107]
4)第四维特征为表征指挥手势引起的总频率宽度的特征；
[0108]
具体的，所述第四维特征为短时傅里叶变换时频谱的主分量带宽；所述主分量带宽为雷达回波信号短时傅里叶变换时频谱中最高和最低多普勒频率之间的总频率范围；即，由于手臂摆动而出现短时傅里叶变换时频谱的正峰值和负峰值。所述主分量带宽指示微多普勒特征的总频率宽度，可以指示手势动作摆动的大小幅度。四种典型指挥手势动作摆动不同，通过主分量带宽可对四种典型指挥手势实现一定概率的区分。
[0109]
更具体的，主分量带宽fea4：
[0110]
fea4＝f
upper
‑
f
lower
[0111]
f
upper
为时频谱中最高多普勒频率，f
lower
为时频谱中最低多普勒频率。
[0112]
5)第五维特征为表征指挥手势引起的频谱峰值周期的特征；
[0113]
具体的，所述第五维特征为短时傅里叶变换时频谱的平均周期；所述平均周期为雷达回波信号短时傅里叶变换时频谱中微多普勒信号的每个正峰值之间时间差的平均值；所述平均周期用于表述手势动作的速度。四种典型指挥手势动作的速度不同，通过平均周期可对四种典型指挥手势实现一定概率的区分。
[0114]
更具体的，平均周期fea5：
[0115][0116]
其中，t
k
为短时傅里叶变换时频谱中第k个相邻两个正峰值时间差；k为正峰值个数减1值，即相邻正峰值的总数。
[0117]
6)第六维特征为表征指挥手势引起的多普勒频差的特征。
[0118]
具体的，所述第六维特征为短时傅里叶变换时频谱的多普勒偏移；所述多普勒偏移为雷达回波信号短时傅里叶变换时频谱中最高和最低多普勒频率之间的差值。所述多普勒偏移用于表述手势动作中的运动不对称性。四种典型指挥手势动作的运动不对称性不同，特别是v字队形手势的朝后方摆动动作，能量分布存在朝正频率偏移特性；通过多普勒偏移可对四种典型指挥手势实现一定概率的区分。
[0119]
更具体的，多普勒偏移fea6：
[0120][0121]
其中，f
p
为时频谱中正频率峰值，f
n
为负频率峰值。
[0122]
通过实际测试，上述六维特征作为单一特征，均可对四种典型指挥手势实现一定概率的区分，但重叠部分也较多，仅仅利用单个特征提供不了足够好的分类性能，仍然存在很大的识别误差。因此，在本实施例中，采用上述六维特征作为联合特征输入分类器中进行识别，以提高识别的准确性。
[0123]
具体的，本实施例中步骤s3的分类器随机森林分类器。
[0124]
所述随机森林分类器的训练过程包括：
[0125]
1)对雷达历史观测的不同人员的四种单兵手势的回波数据进行多维微多普勒特征提取和手势标注，形成训练样本集d；
[0126]
具体的，本实施例的训练样本集采用多个不同身高、体重、性别的人员受试者分别通过步骤s1录取四种手势雷达回波数据，共产生600多份雷达数据。采用步骤s2的方法对每份雷达数据，进行多普勒谱与短时傅里叶变换时频谱分析提取四种手势引起的多维微多普勒特征。并将对应手势的多维微多普勒特征进行手势标注，建立训练样本集d；
[0127]
d＝{fea1
i
,fea2
i
,fea3
i
,fea4
i
,fea5
i
,fea6
i
,r
j
}；i＝1,
…
,600；j＝1,
…
,4。
[0128]
r1为单兵手势为横向纵队；r2为单兵手势为单纵队形；r3为单兵手势为双纵队形；r4为单兵手势为v字队形。
[0129]
2)对训练样本集d进行bootstrap采样，形成t个训练样本采样集；所述bootstrap为自助采样法；t为训练样本采样集个数，取值为正整数；
[0130]
具体的，对训练样本集d进行bootstrap抽样，生成训练样本集d
t
，每个样本集构造一个对应的决策树。bootstrap抽样是指从原样本集中有放回地随机抽取与原样本集数量相同大小的训练样本集。
[0131]
3)第t个训练样本采样集训练第t个决策树，训练样本采样集与决策树一一对应，训练后的各个决策树作为基分类器共同构成随机森林组合分类器，1≤t≤t。
[0132]
具体的，依据gini指数，从六个特征中选择最佳分裂特征作为分裂节点。gini指数的计算方法如下。
[0133]
gini＝p1(1
‑
p1)+p2(1
‑
p2)+p3(1
‑
p3)+p4(1
‑
p4)
[0134]
其中，p1、p2、p3、p4为样本属于四种单兵手势横向纵队、单纵队形、双纵队形和v字队形的概率。节点纯度越低，gini值越大。
[0135]
如果样本集d
t
根据某个特征分割为d
t1
和d
t2
两个部分，那么在所述特征的条件下，集合d
t
的gini指数为：
[0136][0137]
按照所述基尼系数针对决策树对象的树节点进行分裂处理，直至建立l个决策树，树的集合为{h
t
}。
[0138]
基尼指数gini表示数据集合的不确定性，基尼指数gini的值越大，样本属于某个分类的不确定性也就越大。因此，最好的选取特征划分就是使得数据集合的基尼指数gini最小的划分。
[0139]
4)通过决策树集合投票决定待测样本类别。
[0140][0141]
其中，h(f)随机森林的分类结果，h
t
(f)是单个决策树分类结果，r为分类目标，i(
·
)为示性函数。
[0142]
更具体的，对训练好的模型进行测试的测试样本集可选取从训练样本集d中随机抽取一定数量的样本作为测试样本集，用于测试训练好的模型。例如随机抽取20％训练样本；
[0143]
可选的，对训练好的模型进行测试的测试样本集可选取对其他人员测试的历史数据样本。
[0144]
最终将实时提取的障碍物遮挡的指挥手势引起的六维微多普勒特征输入训练好的分类器进行识别，相对于单个特征有了明显提高，识别正确率达到85～90％。为行动决策提供必要信息，提升效率。
[0145]
本实施例还公开了一种根据上述手势识别方法的手势识别系统，如图6所示，包括穿墙雷达、多维微多普勒特征提取模块和分类器；
[0146]
所述穿墙雷达，用于观测被包括墙体在内的障碍物遮挡的指挥手势，得到雷达回波信号；
[0147]
所述多维微多普勒特征提取模块，用于对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析，提取由障碍物遮挡的指挥手势引起的多维微多普勒特征；
[0148]
所述分类器，用于对实时提取的由障碍物遮挡的指挥手势引起的多维微多普勒特征进行识别，确定被遮挡的指挥手势；
[0149]
所述分类器通过从历史观测雷达回波信号中提取的多维微多普勒特征组成的训练集进行训练。
[0150]
具体的，所述多维微多普勒特征提取模块包括第一维特征提取模块、第二维特征提取模块、第三维特征提取模块、第四维特征提取模块、第五维特征提取模块和第六维特征提取模块；
[0151]
第一维特征提取模块用于提取由指挥手势引起的频域能量散布特征；
[0152]
第二维特征提取模块用于提取由指挥手势引起的调制谱能量的特征；
[0153]
第三维特征提取模块用于提取由指挥手势引起的多普勒谱峰值的特征；
[0154]
第四维特征提取模块用于提取由指挥手势引起的总频率宽度的特征；
[0155]
第五维特征提取模块用于提取由指挥手势引起的频谱峰值周期的特征；
[0156]
第六维特征提取模块用于提取由指挥手势引起的多普勒频差的特征。
[0157]
本实施例的手势识别系统更具体的技术细节和有益效果与方法实施例中相同，在此就不一一赘述。
[0158]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。