基于Wi-Fi的路径独立的步态识别方法与流程
本发明涉及计算机网络，特别涉及到数据挖掘领域，尤其涉及一种基于商用wi-fi的路径独立的步态识别系统。
背景技术：
作为人类身份识别的流行生物识别技术，步态识别利用步行的方式来识别个体。在以下方面，步态比其他形式的生物特征，如面部，指纹和虹膜具有突出的优势:(1)独特：每个人似乎都有独特的行走方式，为识别提供独特的线索。(2)不引人注目：它不需要用户介入。由于其在不同领域的广泛需求，该技术在安全监控，医疗保健和人机交互方面引起了广泛关注。步态识别有各种传感技术，从基于可穿戴传感器，基于计算机视觉到基于环境感知的方法。但是，这些技术都有其自身的局限性。对于基于可穿戴传感器技术，人们总是需要佩戴并经常为可穿戴传感器充电。对于基于计算机视觉的传感技术，隐私侵犯，视线的必要性和实时处理的密集工作量使其不太理想。基于环境感知的传感技术，除了需要预先安装特殊设备外，活动诱导数据与环境相关的数据混合在一起，导致很难提取活动诱导的数据，这误导了识别结果。广泛部署的wi-fi设备和基于商用wi-fi的传感技术的发展，为基于商用wi-fi的人类活动识别提供了强有力的支持。商用wi-fi设备上的物理层信道状态信息(channelstateinformation，简称csi)揭示了子载波更细粒度的特征。
利用信号处理技术，可以从csi信号中提取出步态信息，进而应用于人类步态识别。与其他步态识别系统相比，基于商用wi-fi的系统具有无创，无处不在，覆盖范围更广，无需特殊硬件或硬件修改，无需隐私侵犯和光照条件的优势。最近，一些基于商用wi-fi的步态识别系统已经被提出。然而，当前步态识别系统都要求受试者沿给定的直线路径行走，当受试者沿着不同的路线行走时，由于wi-fi信号测量的差异，这些系统的识别精度会出现断崖式下跌。该缺点严重限制了步态识别系统的应用范围。
技术实现要素：
为克服现有技术的不足，本发明旨在引入一个wi-fi接受设备，用来观测两个维度上的步态信息，并根据每一小段时间内的运动角度，导出路径独立的步态信息，用来提取步态特征、进行步态识别，从而摆脱单一路径的约束，拓展应用范围。为此，本发明采取的技术方案是，基于商用wi-fi的路径独立的步态识别方法，在两个接收端上完成收集物理层信道状态信息csi数据，利用巴特沃斯带通滤波器处理csi信号，使用pca进一步去除csi信号冗余和去噪；根据频率谱密度psd分布状态检测运动的起始；利用滑动时间窗口将降维后的csi信号切成一系列的切片，并计算该窗口内的运动方向；在每个窗口切片中，利用短时傅里叶变换stft获得子光谱图；根据运动方向与csi信号观测方向的角度关系，将子光谱图映射到受试者的运动方向上；拼接所有窗口切片内的子光谱图，生成路径独立的完整光谱图，用来表示整条路径的运动信息；利用深度学习模型，从路径独立的子光谱图中提取特征并进行步态识别。
其中，利用滑动时间窗口将pca降维后的信号切成一系列的切片，将每个窗口切片中的运动方向视为不变的，根据菲涅尔理论，从csi信号中测得穿过菲涅尔区的个数和振幅信号的相位时延，依据这些数据推导出受试者在每个窗口切片中的行走方向；
在每个窗口切片中，对pca降维后的前n个主成分数据分别执行短时傅里叶变换stft(short-timefouriertransform)，将原本各频率混合的时域信号转化到时频域上，得到n个横轴为时间、纵轴为频率的子光谱图，将这n个子光谱图叠加，产生一个高质量的子光谱图，然后采用一个二维的高斯低通滤波器进行去噪；
根据所得到的行走方向，将子光谱图映射到反映人真实运动的方向上，并进行融合，得到一个能够反应人真实运动的高质量的子光谱图；
拼接所有窗口切片内的子光谱图，生成路径独立的完整光谱图，用来表示整条路径的运动信息，利用互相关计算相邻子光谱图的位置，据此来移除拼接过程中产生的错位误差。
利用深度学习模型，从路径独立的光谱图中自动提取特征并给出步态识别结果，该深度学习模型的框架由一个卷积神经网络cnn(convolutionalneuralnetwork)结构和一个长短期记忆网络lstm(longshorttermmemory)结构构成；其中，cnn用来提取空间特征，lstm用来提取时间特征。
采用指数移动平均算法来更新psd的峰度以检测运动是否开始，具体分为三步：
1)计算csi时间序列的psd
首先，采用滑动窗口对csi时间序列进行分割处理，然后计算每个时间窗口内csi数据的psd分布：
其中，c表示时间窗口内的csi向量，n表示csi向量中元素的个数，fft表示快速傅里叶变换，abs为取绝对值。
2)计算psd分布的峰度值，具体公式如下：
其中，si∈s是psd在每个频率点的值，μ是psd在所有频率点的平均值；
3)利用指数移动平均算法来更新psd的峰度，具体计算如下：
i(t)＝(1-α)i(t-1)+αk(t)(3)
其中，α设为0.1，k(t)表示t时刻psd的峰度值，i(t)的初试值，设为静止状态下两秒钟内psd峰度的均值；
运动的检测阈值设置为3倍的i(t)，即某一时刻的峰度大于等于当前时刻下3倍的i(t)时，则视为运动开始；只要两个接收端中有一个能够检测到运动时，即认为运动开始了，此时停止更新i(t)。
将时域信号转换到时频域上，具体分为以下3步：
2.1子光谱图生成；
在每个窗口中，采用主成分分析pca降维后的前10个主成分数据，分别执行短时傅里叶变换stft，将一维的时间序列转换成子光谱图，将这10个子光谱图叠加，产生一个高质量的子光谱图，然后采用一个二维的高斯低通滤波器进行去噪，如此，从两个接收端获得两个高质量的子光谱图sv和sh；
其中，sv是在y轴上的接收端测得的子光谱图，表示运动在x轴上的分量；sh是在x轴上的接收端测得的子光谱图，表示运动在y轴上的分量；
2.2子光谱图转换；
将子光谱图映射到运动方向上，具体步骤如下：
首先，由于两个子光谱图的横轴表示时间，纵轴表示频率，需将两个子光谱图纵轴所对应的频率向量映射到运动方向上，令运动方向与收发端形成的坐标系的x轴之间的夹角为θ，则会得到两个已映射到运动方向上的频率向量fh＝cf/sin(θ)和fv＝cf/cos(θ)，此时，两个子光谱图每一行所对应的频率变成了fh和fv中的元素，然后，采用插值法对两个子光谱图所有列进行插值，使其纵轴所对应的频率向量保持相同，得到两个转换到运动方向上的子光谱图s’v和s’h。插值函数形式如下：
s’v(k)＝interpolation(fv,sv(k),cf)，k＝1,2,…k(4)
s'h(k)＝interpolation(fh,sh(k),cf)，k＝1,2,…k(5)
其中，s’v(k)和s'h(k)分别表示s’v和s’h中的一列，sv(k)和sh(k)表示sv和sh中的一列，k表示子光谱图的列数，fv和sv，fh和sh为已知数据点，cf为插值点；
2.3子光谱图融合
采用加权平均的方法进行融合，公式如下：
其中，s为最终融合得到的子光谱图，cos(θ)和sin(θ)分别为s’v和s’h的权重，
当运动角度大于70°时，仅采用s’h作为最终子光谱图；运动角度小于20°时，采用s’v作为最终子光谱图。
至此，可以得到用于拼接的子光谱图。
光谱图优化步骤：具体操作分为两步：
第一步求出每个子光谱图的绝对位置，由于每个子光谱图可以视为一个矩阵，取两个相邻子光谱图的相邻两列，即第i个矩阵的最后一列和第(i+1)个矩阵的第一列，利用互相关求出这两列的相对位置，其中，1≤i＜n,n为子光谱图的个数，对每对相邻的子光谱图执行这样的操作便得到了每对相邻子光谱的相对位置，然后，根据相对位置导出每个子光谱图的绝对位置；
第二步计算每个子光谱图上下平移的距离，并移除子光谱图消除错位误差，为了避免上下移动距离过大导致光谱图失真，需要求出最小的移动距离：首先，需要根据每个子光谱图的绝对位置的大小，找到其中位数；然后，计算每个子光谱图的绝对位置到中位数的距离；据此，将子光谱图上下移动到中位数所在的高度，来消除错位误差。
本发明的特点及有益效果是：
1、本发明使用常规的wi-fi设备即可实现室内的步态识别，可以沿着任意形状的路径行走，不再要求沿单一方向路径，放宽了行走的条件。
2、本发明提出的数据处理方法，可用于其他领域，有很好的通用性；
3、步态识别的应用意义有很多，可用于安防、医疗和人机交互等。与其他生物特征识别相比，步态识别的突出特点主要是能远距离识别，而且很难被伪造，满足安防领域的需求；步态识别也可以应用在医疗康复领域，通过观察受试者的步态，来判定受试者的健康状况；同时，在智能家居中，步态识别方法可以根据不同的人来切换背景音乐和室内温度，满足人机交互领域的需求。
4、本发明基于商用的wi-fi设备，价格低廉便宜，无需投入大量资金。由于wi-fi设备已被广泛部署，所以无需增添额外的硬件，可以在现有的硬件基础上实施，节约成本。同时，与可穿戴设备相比，基于wi-fi的步态识别方法采用非侵入式，不要求受试者穿戴任何设备；与基于摄像头的步态识别方法相比，本发明不受光线明暗的约束，也不会侵犯人的隐私。
5、本发明仅适用于人数较少的应用场景。比如，拥有数人的实验室、客厅等，以及安全性、保密性比较高的，仅允许少量人员进入的银行金库等地。
附图说明：
图1为一种基于商用wi-fi的路径独立的步态识别方法的流程图；
图2为wi-fi设备摆放位置和人行走方向(举例)的示意图；
图3为csi振幅在数据清洗前后对比示意图；
其中，(a)为原始csi振幅数据，(b)为带通滤波器处理后的数据，(c)为pca(主成分分析)处理后的第一个主成分。
图4为行走与静止状态下psd(频率谱密度)的分布情况示意图；
其中，(a)为行走状态下psd的分布示意图，(b)为静止状态下psd的分布示意图。
图5显示了运动检测率与时间的关系示意图；
图6为wi-fi设备形成的菲涅尔区和沿不同路径行走穿过的菲涅尔区的个数示意图；
图7为光谱图的生成、融合优化等过程产生的光谱图(该光谱图由一系列子光谱图首尾拼接构成，例如，1.8-2.8s部分为一个子光谱图)；
其中，(a)为生成的用于测量垂直方向运动的光谱图，(b)为生成的用于测量水平方向运动的光谱图，(c)为将测量垂直方向运动的光谱图映射到运动路径后的光谱图，(d)为将测量水平方向运动的光谱图映射到运动路径后的光谱图，(e)为融合生成的高质量的路径独立的光谱图，(f)为消除错位现象后高质量的路径独立的光谱图。
图8表示本发明中深度学习模型的框架示意图；
图9为一种基于商用wi-fi的路径独立的步态识别方法的室内摆放结构示意图。
其中，tx为发射端，例如路由器；rx1和rx2为两个接收端，例如笔记本电脑，且笔记本电脑中包涵了微处理器。发射端与两个接收端分别形成的两个链路相互垂直，形成了一个5m×5m的矩形区域，人在该范围内行走。
具体实施方式
本发明依靠菲涅尔反射模型，根据wi-fi信号仅能测量垂直于视线(lineofsight，简称los)方向上的运动的特点，将wi-fi信号测得的垂直于los方向上的步态信息映射到受试者真实运动路径上，从而实现了不管受试者沿什么形状的路径行走，都能进行步态识别。
本发明的步态识别系统主要用于解决现有步态识别系统沿单一路径行走的问题，将wi-fi信号测得的某一维度上的信息映射到了受试者运动路径上，摆脱了路径的依赖，得到了路径独立的步态信息，实现了沿任何形状路径行走的步态识别。具体来说，本发明主要解决以下问题：
(1)由于一对wi-fi收发设备只能够测量垂直于los方向上的运动信息，所以获得的步态信息是路径依赖的。根据菲涅尔区定理，当受试者沿着不同的路径行走时，csi的波动差异很大，无法从这样的信号中提取能够反映人真实运动情况的步态信息。因而，现有的基于wi-fi的步态识别系统都要求受试者沿给定的单一路径运动，从而避免这种差异。但是，这样限制了系统的应用范围。由于一对wi-fi收发设备仅能测量二维平面上某一维上的运动信息，本发明引入了另一个wi-fi接受设备，用来观测两个维度上的步态信息，并根据每一小段时间内的运动角度，导出路径独立的步态信息，用来进行步态识别，从而摆脱了单一路径的约束，拓展了系统的应用范围。
(2)怎样提取步态特征。当人行走时，不同的身体部位以不同的频率运动，应该从csi信号中提取哪些特征用来反映人的步态信息？传统的步态特征，比如，步态周期、速度等手动特征都可以从步态信息中提取。但是仅基于这些特征进行步态识别，会导致精度不太理想。一是因为这些特征的数量相对较少，当识别人数增加时，精度下降很快；二是因为这些特征容易受到噪声的影响，导致识别精度波动很大。为了解决这个问题，本专利发明利用深度学习模型，从路径独立的光谱图中自动提取空间和时间特征，以实现较高的识别精度和较强的稳定性。
本发明提供了一种基于商用wi-fi的路径独立的步态识别方法，本发明通过使用一系列信号处理与数据挖掘技术来处理wi-fi信号，实现了使用常规的wi-fi设备即可对单人的步态进行识别，详见下文描述：
一种基于商用wi-fi的路径独立的步态识别方法，所述方法包括：
受试者沿着任意形状的路径重复行走，通过两对相互垂直的商用wi-fi设备采集受试者的csi信号的训练与测试数据；
利用巴特沃斯带通滤波器对所有振幅数据进行去噪处理；
采用主成分分析(principalcomponentanalysis，简称pca)降维算法去除数据冗余并进一步降噪；
利用pca降维后的数据，根据步行与静止状态下csi信号的频率谱密度(powerspectraldensity，简称psd)分布的不同状态进行运动检测；
利用滑动时间窗口将pca降维后的信号切成一系列的小切片。由于窗口时间很短，可以将每个窗口切片中的运动方向视为不变的。根据菲涅尔理论，本发明可以从csi信号中测得穿过菲涅尔区的个数和振幅信号的相位时延，依据这些数据推导出受试者在每个窗口切片中的行走方向；
在每个窗口切片中，对pca降维后的前10个主成分数据分别执行短时傅里叶变换(short-timefouriertransform，简称stft)，将原本各频率混合的时域信号转化到时频域上，得到10个横轴为时间、纵轴为频率的子光谱图。将这10个子光谱图叠加，产生一个高质量的子光谱图，然后采用一个二维的高斯低通滤波器(滤波器大小为5，方差为0.5)进行去噪；
由于一对wi-fi收发设备只能够测量垂直于los(lineofsight，简称los)方向上的运动信息，因此，一个子光谱图仅能反应受试者在某一维度上的步态信息。根据上面计算的运动方向，将子光谱图映射到反映人真实运动的方向上，并进行融合，得到一个能够反应人真实运动的高质量的子光谱图；
拼接所有窗口切片内的子光谱图，生成路径独立的完整光谱图，用来表示整条路径的运动信息。利用互相关计算相邻子光谱图的位置，据此来移除拼接过程中产生的错位误差；
利用深度学习模型，从路径独立的光谱图中自动提取特征并给出步态识别结果。该深度学习框架由一个cnn(convolutionalneuralnetwork，简称cnn)结构和一个lstm(longshorttermmemory，简称lstm)结构构成。其中，cnn用来提取空间特征，lstm用来提取时间特征。
另一实施例，一种基于商用wi-fi的路径独立的步态识别方法，所述方法包括：微处理器、一个wi-fi的发射端tx、以及两个wi-fi的接收端rx1和rx2；
所述wi-fi的发射端和接收端都放在距离地面40cm的小桌子上，一个发射端与两个接收端形成两对链路，这两对链路垂直摆放，形成一个平面直角坐标系。发射端位于坐标系(5m，5m)处，两个接收端分别位于x轴和y轴，到原点距离5米；
在两个接收端上收集完成csi数据后，通过tcp/ip协议将csi数据发送到微处理器上，通过matlab处理csi数据；
即，利用巴特沃斯带通滤波器处理数据，使用pca进一步去除数据冗余和去噪；根据psd分布状态检测运动的起始；利用滑动时间窗口将降维后的信号切成一系列的小切片，并计算该窗口内的运动方向；在每个窗口切片中，利用stft获得子光谱图；根据运动方向与csi信号观测方向的角度关系，将子光谱图映射到受试者的运动方向上；拼接所有窗口切片内的子光谱图，生成路径独立的完整光谱图，用来表示整条路径的运动信息；利用深度学习模型，从路径独立的子光谱图中提取特征并进行步态识别。
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
本发明实施例主要用于解决以下问题：
1、由于一对wi-fi收发设备只能够测量垂直于los方向上的运动信息，所以获得的步态信息是路径依赖的。根据菲涅尔区定理，当受试者沿着不同的路径行走时，csi的波动差异很大，无法从这样的信号中提取能够反映人真实运动情况的步态信息。因而，现有的基于wi-fi的步态识别方法都要求受试者沿给定的单一路径运动，从而避免这种差异。但是，这样限制了识别方法的应用范围。由于一对wi-fi收发设备仅能测量二维平面上某一维上的运动信息，本发明实施例引入了另一个wi-fi接受设备，用来观测两个维度上的步态信息，并根据每一小段时间内的运动角度，导出路径独立的步态信息，用来进行步态识别，从而摆脱了单一路径的约束，拓展了识别方法的应用范围。
2、怎样提取步态特征。当人行走时，不同的身体部位以不同的频率运动，应该从csi信号中提取哪些特征用来反映人的步态信息？传统的步态特征，比如，步态周期、速度等手动特征都可以从步态信息中提取。但是仅基于这些特征进行步态识别，会导致精度不太理想。一是因为这些特征的数量相对较少，当识别人数增加时，精度下降很快；二是因为这些特征容易受到噪声的影响，导致识别精度波动很大。为了解决这个问题，本专利发明利用深度学习模型，从路径独立的光谱图中自动提取空间和时间特征，以实现较高的识别精度和较强的稳定性。
实施例1
一种基于商用wi-fi的路径独立的步态识别方法，参见图1，该方法包括以下步骤：
受试者在预定的区域内重复行走指定的距离，通过商用wi-fi设备采集受试者的csi信号；
利用巴特沃斯带通滤波器对所有振幅数据进行去噪处理，并采用pca降维算法去除数据冗余并进一步降噪；
利用pca降维后的数据，根据步行与静止状态下csi信号psd分布的不同状态进行运动检测；
利用滑动时间窗口将降维后的信号切成一系列的小切片。由于窗口时间很短，可以将每个窗口切片中的运动方向视为不变的。同时，根据菲涅尔理论，从csi信号中测得穿过菲涅尔区的个数和振幅信号的相位时延，依据这些数据推导出受试者在每个窗口切片内的行走方向；
在每个窗口切片中，对pca降维后的前10个主成分数据分别执行stft(短时傅里叶变换)，将原本各频率混合的时域信号转化到时频域上，得到10个横轴为时间、纵轴为频率的子光谱图。将这10个子光谱图叠加，产生一个高质量的子光谱图，然后采用一个二维的高斯低通滤波器(滤波器大小为5，方差为0.5)进行去噪；
根据上面计算的运动方向，将子光谱图映射到反映人真实运动的方向上，并进行融合，得到一个能够反应人真实运动的高质量的子光谱图；
拼接所有窗口切片内的子光谱图，生成路径独立的完整光谱图，用来表示整条路径的运动信息。利用互相关计算相邻子光谱图的位置，据此来移除拼接过程中产生的错位误差；
利用深度学习模型，从路径独立的光谱图中自动提取空间和时间特征以进行步态识别。
综上所述，本发明实施例依靠菲涅尔反射模型，根据wi-fi信号仅能测量垂直于视线(lineofsight，简称los)方向上的运动的特点，将wi-fi信号测得的垂直于los方向上的步态信息映射到受试者真实运动路径上，从而实现了不管受试者沿什么形状的路径行走，都能进行步态识别。
实施例2
下面结合具体的实例、计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：
一、利用商用wi-fi采集csi信号
由于本发明实施例是针对较小的应用环境进行设计的，所以能够识别的人物数量有限，这里取能够使识别精度在可接受范围内的50个人的数量。
1)一个商用wi-fi设备作为发射端，另外两个商用wi-fi设备作为接收端，形成两对链路。这两对链路垂直摆放，形成一个直角坐标系，发射端位于坐标系(5m，5m)处，两个接收端分别位于x轴和y轴，距接收端5m；
例如：路由器，作为发射端持续发射无线信号；两个笔记本电脑，作为接收端，不断的接收csi信号。
具体实施时，本发明实施例对以上器件的型号均不做限制，只要能实现以上功能的器件均可。
2)检测开始时，受试者首先处于直立状态，站在坐标原点；
3)运动开始后，受试者可沿任意形状路径行走5s；
4)受试者重复步骤2)和3)170～200次，用来收集训练集数据。期间，受试者行走的路径可同可不同。
5)50人依次重复步骤2)—4)，直到所有人的步态数据被收集完毕。
注：当受试者采集数据时，在同一室内的其他人需保持静止，不能有大规模动作，即一次只能采集一个人的步态数据。
在受试者进行数据采集的过程中，wi-fi信号经过受试者反射产生独一无二、波动变化的csi信号，在接收端由于wi-fi信号受多径效应的影响，所以本方法可以利用信号处理技术获取受试者的步态特征信息，最后基于这些步态特征训练深度学习模型，用于步态识别。
二、数据清洗
上述获得的csi数据含有：静态成分、低频干扰和脉冲噪音，一是由时钟异步，无线电波干扰和发射端发射功率变化造成；二是在数据采集时，周围人微小的运动，受试者的呼吸等微弱动作以及环境温度的变化等，都会使csi数据中混入不同程度的低频和高频噪音，为步态特征的提取增加了难度。这要求不仅要有效地去除噪音，而且去噪后要尽可能维持波形不被改变，同时由于csi数据中脉冲噪音带宽大，能量高，所以单一滤波器不能有效地去除噪音。
为了解决这些问题，本发明实施例使用巴特沃斯带通滤波器和pca对csi振幅数据中每个子载波进行数据清洗，具体可分为两步：
1)使用巴特沃斯带通滤波器对csi数据中每个子载波进行去噪；
人步行的速度在0.3～2m/s，根据csi反射频率与人运动速度的关系：
2)使用pca对带通滤波器去噪后csi数据进行降维并进一步去噪。
由于csi数据中的各个子载波处于相邻的波段，因此行走对它们的影响是基本相同的，相邻子载波之间的数据相关性很高，数据冗余较大。为了去除数据冗余和进一步去噪，使用pca对所有子载波进行降维，然后采用前10个pca主成分进行后续处理。
三、运动检测
为了提取步态信息，首先需要检测步行是否开始。这里仅需要对第一个pca主成分进行检测即可。在实验中可以观察到，有无运动时csi信号的psd分布差异很大，见图4。由于有运动时psd的能量分布很密集，对应的峰度值较大，无运动时psd能量分布均匀，对应的峰度值较小，所以本发明实施例采用峰度对这种分布差异进行度量，并采用指数移动平均算法来更新psd的峰度以检测运动是否开始。具体可分为三步：
4)计算csi时间序列的psd。
首先，采用滑动窗口对csi时间序列进行分割处理，窗口大小为256，步长100。然后计算每个时间窗口内csi数据的psd分布：
其中，c表示时间窗口内的csi向量，n表示csi向量中元素的个数，fft表示快速傅里叶变换，abs为取绝对值。
5)计算psd分布的峰度值，具体公式如下：
其中，si∈s是psd在每个频率点的值，μ是psd在所有频率点的平均值。
6)利用指数移动平均算法来更新psd的峰度，具体计算如下：
i(t)＝(1-α)i(t-1)+αk(t)(3)
其中，α设为0.1，k(t)表示t时刻psd的峰度值。i(t)的初试值，设为静止状态下两秒钟内psd峰度的均值。
运动的检测阈值设置为3倍的i(t)，即某一时刻的峰度大于等于当前时刻下3倍的i(t)时，则视为运动开始。只要两个接收端中有一个能够检测到运动时，即认为运动开始了，此时停止更新i(t)。
四、路径依赖性移除
由于wi-fi信号测得的步态信息严重依赖于行走的路径，当路径发生变化时，csi信号也会发生很大的波动。为了实现路径独立的步态识别，步态信息的路径依赖性必须移除。由于一对wi-fi收发设备只能够测量垂直于los方向上的运动信息，本发明根据运动信息与运动方向的关系，将wi-fi设备每时每刻测得的运动信息映射到受试者的运动路径上。因此，不管受试者沿着何种形状的路径行走，都能映射到对应的步行路径上，实现路径依赖性的移除。
由于人的运动方向在短时间内是不变的，据此，我们采用滑动时间窗口将pca降维后的主成分分成一系列的切片，并认为在每个时间窗口内运动的方向是不变的。本发明中窗口大小设置为1s。然后，依次处理每个时间窗口内的数据。最终，拼接所有窗口内处理好的数据，用来反映路径独立的步态信息。具体分为一个窗口切片中的方向依赖性移除和光谱图优化两步。
1)一个窗口切片中的方向依赖性移除
在每个窗口切片中，为了建立csi信号波动频率与受试者运动方向的关系，并以此将步态信息映射到反应人的真实运动方向上，需要先确定受试者在该窗口内的行走方向。
1.行走方向估计
根据菲涅尔理论，当受试者沿着某个方向行走，依次穿过相邻的奇数和偶数菲涅尔区时，信号会交替的增强和减弱，且增强和减弱的个数与穿过奇数和偶数个菲涅尔区的个数相对应。并且，由于子载波所处的载波频率的不同，当受试者沿不同方向穿过菲涅尔区时，各子载波之间的振幅会出现不同程度的相位时延。根据该窗口内csi振幅信号波动的个数和相位时延，可以求出受试者在该窗口内的行走方向。具体可分为三步：
1.1计算受试者在该窗口内穿过菲涅尔区的个数，并以此获得运动方向角度；
由于受试者穿过菲涅尔区的个数与csi振幅信号的波动个数相对应，故可以用csi振幅波动个数来表示穿过菲涅区的个数。由于噪声等影响，直接计数会导致误差比较大，因此，采用fft来统计该时间窗口内csi的波动个数。
由于本发明实施例采用一对相互垂直的链路，形成了两个相互垂直的菲涅尔区，因此可以获得两个不同方向上穿过菲涅尔区的个数。例如：在后续如图6所示，
1.2计算csi振幅信号的相位时延，并以此获得运动方向角度；
由于相邻的两个子载波之间的载波频率相近，所以它们之间的相位时延很小，不容易观测。因此，本发明实施例依据非相邻的子载波计算相位时延，例如：1和6，2和7等等。
首先将csi时间序列平均分成若干段，由于信号具有噪声，这里采用互相关来计算一对子载波每一时间段的相位时延，然后取所有对子载波的所有时间段的相位时延的均值。由此可以获得有关两个垂直方向的相位时延，并采用同上述计算菲涅尔区个数的方法来判断运动方向角度。
1.3结合上述两个角度值，获得最终的运动方向角度，并据此计算出每个窗口内的运动角度。
当受试者运动方向分布在x轴与y轴较中间的方向时，两个方法的推断都比较准确，此时可以结合两个角度；当受试者运动方向靠近x轴或者是y轴的时候，由于靠近运动方向的一个接收端测得的穿过菲涅尔区不稳定，则利用菲涅尔区个数的推断偏差很大，此时仅依靠相位时延。这里角度的阈值设置为20°和70°。当通过相位时延获得的角度大于70°或小于20°，且另一个方法得到的角度接近该度数时，采用相位时延获得的角度，否则取两个角度的均值。
2.子光谱图生成、转换和融合
因为不同身体部位的信号反射混合在一起，所以从csi信号提取步态信息很困难。同时由于csi信号严重依赖于运动的路径，因此很难将步行方向推广到沿任意路径行走。考虑到行走状态下不同身体部位的运动速度不同，对csi信号的反射频率不同，本发明实施例将时域信号转换到时频域上，以此将不同身体部位的反射频率分离开来。由于一对wi-fi收发设备仅能够测量垂直于los上的运动信息，即获得的时频信息仅能反应垂直于los上的信息。同时，在短时间内的运动路径(即一个窗口内的路径)可视为直线，结合受试者的运动方向，可以将垂直于los上的信息映射到受试者的运动方向上，即不管受试者沿哪个方向运动，都可以将垂直于los上的信息映射到运动方向上，从而摆脱了方向的依赖性。具体分为以下3步：
2.1子光谱图生成；
在每个窗口中，采用上述pca降维后的前10个主成分数据，分别执行stft，将一维的时间序列转换成子光谱图。csi数据的采样频率为1000hz，滑动窗口的大小设置为1024，步长为6，由此可以获得较高的频率分辨率0.95hz和时间分辨率为6ms。将这10个子光谱图叠加，产生一个高质量的子光谱图，然后采用一个二维的高斯低通滤波器(滤波器大小为5，方差为0.5)进行去噪。如此，从两个接收端可以获得两个高质量的子光谱图sv和sh。
其中，sv是在y轴上的接收端测得的子光谱图，表示运动在x轴上的分量；sh是在x轴上的接收端测得的子光谱图，表示运动在y轴上的分量。两个子光谱图的横轴为时间，纵轴为频率，能量越高的地方，颜色越浓(以红色表示)。由于频率分辨率为0.95hz，所以两个子光谱图对应的纵轴频率向量相同，都为cf＝[0,0.95,1.90,…]。
2.2子光谱图转换；
由于一对收发设备仅能测量垂直于los上的运动信息，所以上述生成的两个高质量的子光谱图是真实运动信息在x轴与y轴上的分量。为了消除光谱图对方向的依赖性，需要将子光谱图映射到运动方向上。具体步骤如下：
首先，由于两个子光谱图的横轴表示时间，纵轴表示频率，需将两个子光谱图纵轴所对应的频率向量映射到运动方向上。令运动方向与收发端形成的坐标系的x轴之间的夹角为θ，θ可根据上述判定运动方向部分求出。则会得到两个已映射到运动方向上的频率向量fh＝cf/sin(θ)和fv＝cf/cos(θ)。此时，两个子光谱图每一行所对应的频率变成了fh和fv中的元素。然后，采用插值法对两个子光谱图所有列进行插值，使其纵轴所对应的频率向量保持相同，得到两个转换到运动方向上的子光谱图s’v和s’h。插值函数形式如下：
s’v(k)＝interpolation(fv,sv(k),cf)，k＝1,2,…k(4)
s'h(k)＝interpolation(fh,sh(k),cf)，k＝1,2,…k(5)
其中，s’v(k)和s'h(k)分别表示s’v和s’h中的一列，sv(k)和sh(k)表示sv和sh中的一列，k表示子光谱图的列数，fv和sv，fh和sh为已知数据点，cf为插值点。
2.3子光谱图融合
当运动角度在20°～70°之间时，能够得到两个高质量的子光谱图，为了能够提取出更多的步态信息，也为了减弱噪声的影响，需要对这两个子光谱图进行融合。由于两个子光谱图所包含的步态信息并非相等的。根据一对收发设备仅能测量垂直于los方向上的运动信息这一特点，可以知道运动方向与某对设备的夹角越大，所包含的步态信息越多。因此，本发明实施例采用加权平均的方法进行融合，公式如下：
其中，s为最终融合得到的子光谱图，cos(θ)和sin(θ)分别为s’v和s’h的权重。
当运动角度大于70°时，仅采用s’h作为最终子光谱图；运动角度小于20°时，采用s’v作为最终子光谱图。
至此，可以得到用于拼接的子光谱图。
2)光谱图优化
我们可以得到一系列的方向独立的子光谱图，用来刻画每一时间窗口路径内的步态信息。按照顺序首尾拼接这些子光谱图会形成一个完整的光谱图，用来刻画沿着某一形状路径行走采集的步态信息。由于不管受试者沿着什么样的路径行走，产生的光谱图都能被映射到对应的路径上，所以生成的光谱图是路径独立的。但是由于上述角度测量误差和噪声干扰等原因，导致拼接生成的光谱图有错位现象，如图7(e)3-5s部分所示。因此，我们需要采取操作来消除这种错位误差。具体操作分为两步：
第一步求出每个子光谱图的绝对位置。由于每个子光谱图可以视为一个矩阵，取两个相邻子光谱图的相邻两列，即第i个矩阵的最后一列和第(i+1)个矩阵的第一列，利用互相关求出这两列的相对位置。其中，1≤i＜n,n为子光谱图的个数。对每对相邻的子光谱图执行这样的操作便得到了每对相邻子光谱的相对位置。然后，可以根据相对位置导出每个子光谱图的绝对位置。
第二步计算每个子光谱图上下平移的距离，并移除子光谱图消除错位误差。为了避免上下移动距离过大导致光谱图失真，需要求出最小的移动距离。首先，我们需要根据每个子光谱图的绝对位置的大小，找到其中位数。然后，计算每个子光谱图的绝对位置到中位数的距离。这样就可以保证上下移动子光谱图的总距离最小。据此，将子光谱图上下移动到中位数所在的高度，来消除错位误差。
经过上述两步，就可以生成一个高质量的路径独立的光谱图，用来刻画沿任意形状行走的步态信息。
五、深度学习模型
由于传统的手工特征受噪声等干扰比较严重，而且由于特征非常有限，当识别人数增加时，识别结果很不稳定。本发明采用深度学习模型从路径独立的光谱图中提取步态特征，用来进行步态识别。为了提取更加全面的步态特征，本发明采用cnn+lstm的结构。cnn用来提取空间特征，lstm用来提取时间特征。然后，在利用一个输出结构进行分类。深度学习的模型的架构如图8所示。
具体的，输入数据是一个84×1000的矩阵，通过对路径独立的光谱图进行下采样得到。cnn结构由三个卷积层和三个池化层构成交替相连构成。卷积核大小为3×3，步长为1，通道数为3。因此，cnn将会输出27个通道。lstm结构由两个lstm层构成，用来从cnn的输出结果中提取时间特征。lstm每一层的节点数设置为128。输出结构有fc(fully-connected，简称fc)层和一个softmax函数构成。fc层用来避免过拟合和链接上一层的神经元，其大小设置为要分类的类别数。softmax函数用来进行分类，给出识别结果。最后，我们利用十折交叉验证对训练好的分类模型进行精度检验。
综上所述，本发明实施例通过采用一系列信号处理和数据挖掘技术来处理wi-fi信号，实现了使用商用wi-fi设备对任意形状路径行走的步态识别。
实施例3
下面结合附图对上述实施例1和2中的作用和效果进行展示。
本示例以csi数据处理为例给出具体的实施方式，具体步骤如下：
使用一个笔记本电脑作为wi-fi接入点，即发送端，另外两个笔记本电脑作为接收端，三台笔记本都安装了intel5300nic和ubuntu14.04lts桌面版系统，发射端有3根天线，每个接收端有3根天线，每端3根天线之间的距离为一个波长(5.79cm)，并且位于一条直线上。发射端和接收端分别放在三个小桌板上，距离地面40cm，同时发射端与每一个接收端形成一对链路，两对链路相互垂直，形成一个平面直角坐标系，发射端位于坐标系(5m，5m)处，两个接收端分别位于x轴和y轴上，距离发射端5m。设备的摆放位置及受试者运动的方向如图2所示。数据包的传输速率为1000hz，传输的链接工作在频段为5.825ghz的165信道上，本发明实施例选择5ghz的频段而不用2.4ghz的频段的原因是5ghz频段的波长短，短波长对运动速度有较高的分辨率。在接收端使用linuxcsitool收集csi数据后，通过tcp/ip协议将数据发送到配有nvidiageforcegtx1060显卡的inteli7-5600u2.6ghz电脑上，通过matlab处理csi数据。
首先本发明实施例对csi数据进行降噪处理。图3呈现了数据降噪的一个例子，图3(a)为原始信号，表现出很强的噪声；图3(b)为带通滤波后的csi信号，可以看出大部分噪声已被消除，但是信号的波动性并不是很明显；图3(c)为第一个主成分，其信号周期波动较为明显，符合预期的去噪效果。
降噪完成后，本发明实施运动检测，用于判断是否开始行走。图4显示了行走状态与静止状态下psd的分布情况。当有人行走时，psd能量比较集中；当无人行走时，psd能量比较分散。图5显示了检测方法能够检测到运动所需要的时间。由此可以看出，在行走开始后的0.8s内，该方法基本可以检测到所有的行走。
当检测到步行后，本发明实施例开始提取路径独立的步态信息。首先，本发明实施例采用滑动窗口的方法将完整的csi主成分分成若干小切片。然后，将每一窗口内的运动路径视为直线运动，分别进行处理。在每一窗口内，本发明实施例需要判定人的运动方向。如图6所示，本发明实施例根据穿过菲涅尔区的个数进行运动方向的判断，同时用信号的相位时延加以辅助，基本可以完成步行方向的判断。
在完成步行方向判断后，本发明实施例开始生成每一窗口的子光谱图，并对子光谱图进行转换和融合等处理，生成最终高质量的方向独立的子光谱图。图7(a-b)中1.8-2.8s部分显示了从两个接收端的接受信号生成的子光谱图，它们分别是经过了子光谱图叠加和二维高斯低通滤波器处理的结果，此时的子光谱图仅表示垂直于los方向上的步态信息。图7(c-d)中1.8-2.8s部分分别是经过了光谱转换后生成的子光谱图s’v和s’h。相比于图7(a-b)中1.8-2.8s部分，图7(c-d)中1.8-2.8s部分的能量所对应的频率有所升高，此时的子光谱图已经被映射到了运动方向上。图7(e)中1.8-2.8s部分显示了经过光谱图融合的最后结果。其中，红色部分表示躯干的反射，多出来的“蓝色的火焰”表示腿的反射。相比于融合前，融合后包含了更多的细节信息。
然后，对生成的子光谱图安装时间先后顺序首尾进行拼接。图7(e)整个光谱图显示了拼接的结果。拼接生成的光谱图是路径独立的。然而，在图7(e)中3-5s部分发生了明显的错位现象。我们需要采用光谱图优化消除拼接生成的光谱图的错位误差。图7(f)显示了错位误差消除后的结果。其中，3-5s部分的错位现象明显被消除了。
生成路径独立的光谱图后，本发明实施例开始从光谱图中提取步态特征，进行步态识别。图8显示了深度学习模型的基本架构，将生成的路径独立的光谱图作为输入，利用cnn来提取空间特征，lstm来提取时间特征。然后，利用softmax函数给出识别的结果。同时，利用十折交叉验证对训练好的分类模型进行精度检验。当人数较少时识别精度较高；人数增多时识别精度开始下降，当人数增加的50人时，识别精度在77％左右，在可接受范围内。
实施例4
一种基于商用wi-fi的路径独立的步态识别方法，参见图9，该方法包括：发射端、接收端和微处理器。
在本发明实施例中，利用未经改装的商用wi-fi设备设计并实现了一种无需限制运动方向的步态识别方法，它可以进行不同人员的识别。该方法包括：三个wi-fi设备，一个设备(例如：路由器，作为发射端)持续发射无线信号，另外两个设备(例如：笔记本电脑，作为接收端)不断接收无线信号。
微处理器对商用wi-fi采集的受试者的csi信号进行处理；利用巴特沃斯带通滤波器对所有振幅数据进行去噪处理，并采用pca降维算法去除数据冗余并进一步降噪；利用pca降维后的数据，根据步行与静止状态下csi信号psd分布的不同状态进行运动检测；
利用滑动时间窗口将pca降维后的信号切成一系列的小切片；由于窗口时间很短，可以将每个窗口切片中的运动方向视为不变的；根据菲涅尔理论，本发明可以从csi信号中测得穿过菲涅尔区的个数和振幅信号的相位时延，依据这些数据推导出受试者在每个窗口切片中的行走方向；在每个窗口切片中，对pca降维后的前10个主成分数据分别执行stft，并将生成的10个子光谱图叠加，产生一个高质量的子光谱图。然后采用一个二维高斯低通滤波器进行去噪；将子光谱图映射到反映人真实运动的方向上，并进行融合，得到一个能够反应人真实运动的高质量的子光谱图；拼接所有窗口切片内的子光谱图，生成路径独立的完整光谱图，用来表示整条路径的运动信息，并移除拼接过程中产生的错位误差；利用深度学习模型，从路径独立的光谱图中自动提取特征并给出步态识别结果。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！