一种室内人员动作识别方法、系统、介质、设备及终端

1.本发明属于无线通信技术领域，尤其涉及一种室内人员动作识别方法、系统、介质、设 备及终端。


背景技术：

2.目前，第五代移动通信技术(5th generation mobile networks，5g)的飞速发展，将人类 带入了万物互联的物联网时代。物联网的核心是“情境感知”，即通过感知当前的情景，物 联网系统能自动做出相应反应，进而提供以“人”为中心的智能服务。因此，对人体行为的 感知是研究者重点考虑的情景之一。“行为感知”一直以来都是重要的科学研究课题，nature 期刊自2017年开始为“行为感知”推出子刊nature human behavior。在典型的室内信道环境 下，人体行为感知的内容主要包括：对人体的肢体动作、手势、呼吸心率等生理指标，以及 对人体运动轨迹、运动速度、地理位置等等的感知。进一步，物联网技术与人体动作感知结 合，就可以给人们生活带来极大的方便，例如，智能导购系统可以对顾客人流轨迹以及停留 的兴趣点进行感知，从而挖掘消费者的购物习惯，实现个性化营销和定向广告推送；智能看 护系统会实时监测室内留守老人的动作情况，及时汇报老人所处的位置以及其异常状态；智 能安防监控系统则能够实时监测公共区域内人员动作，及时发现不轨行为和非法活动等等。因 此，室内环境下用户的轨迹、速度等动作信息在物联网智能系统中占据着举足轻重的位置，对 室内环境下的人体动作进行感知也已成为物联网研究中的重要课题之一。
3.根据被感知目标是否携带终端设备，室内环境下的人体行为感知技术可分为主动式感知 和被动式感知两种技术。主动式感知主要通过人佩戴的智能手表等可穿戴传感器来实现，其 缺点是容易被感知目标遗忘，需时时携带，不方便使用，且某些特殊人群无法时时佩戴传感 器，故主动式感知无法应用于老人看护和安防监控等领域。与此相对应，被动式感知是一种
ꢀ“
device-free”的感知技术，即被感知者无需佩戴任何设备，在被感知者没有任何察觉的情 况下即能对其进行感知。基于以上原因，被动式感知拥有更加广阔的发展前景。
4.伴随着网络技术的不断发展，wifi无线网络已经成为随处可见的公共基础设施。随着 wifi设备对信道状态信息(channel state information，csi)的成功获取，使其也具有了雷达 类似的功能，可以对周围的物理环境变化进行感知。wifi感知通过分析人体动作对无线信号 传播产生的影响从而实现被动式的人体动作感知。相比于传统的计算机视觉、超声波、毫米 波雷达等技术，wifi感知技术具有造价低、覆盖范围广、易大量推广应用的特点，现在已成 为最有发展前景的被动式感知实现方案之一，因此对wifi感知技术的研究势在必行。另外， wifi感知技术不会给人带来隐私问题，且易于大面积部署，在感知精度和造价成本上能够获 得较好的平衡，优势十分突出。
5.当人体在物理空间中运动时，人体动作会导致信号产生反射、衍射从而引起wifi信号 传播路径的改变。因此，人的动作对信号传播路径所造成的影响，会被到达接收端的
wifi 信号所刻画。通过将这些信号的变化与人的不同动作之间建立映射关系，就奠定了wifi人体 动作感知的基本思路。目前，基于wifi感知的室内人员动作识别系统已经被大量提出，比如 sigg、3e-eyes、carm、wihear等。sigg利用接收信号的信号强度(received signal strength， rss)，使用决策树、k最近邻(k-nearestneighbor，knn)算法，对人体日常动作进行感知。 e-eyes采用csi幅度作为特征量，使用动态时间归整(dynamic time warping，dtw)和希 尔伯特-黄变换对人体日常动作进行感知。carm通过离散小波变换从csi信息中提取人体各 肢体部分的运动速度，并建立人体各肢体运动速度与运动类型的关系模型，实现了对人体坐 下、起立、跑步、摔倒、下蹲等日常动作的感知。wihear通过dtw与多重聚类特征选择算 法提取人的嘴形对信号传播的影响，并通过大量模型匹配嘴形所对应的单词发音，实现了较 为基础的唇语识别。
6.综上所述，目前室内定位技术主要局限在于三个方面：缺乏抑制csi数据中噪声干扰的 有效措施，难以提高系统抗干扰能力；未能深度刻画室内人员的动作行为；缺乏高效的多模 特征融合机制。
7.通过上述分析，现有技术存在的问题及缺陷为：
8.(1)主动式感知通过人佩戴的智能手表等可穿戴传感器来实现，但容易被感知目标遗 忘，需时时携带，不方便使用，且某些特殊人群无法时时佩戴传感器，故主动式感知无法应 用于老人看护和安防监控等领域。
9.(2)目前室内定位技术主要局限在于三个方面：缺乏抑制csi数据中噪声干扰的有效 措施，难以提高系统抗干扰能力；未能深度刻画室内人员的动作行为；缺乏高效的多模特征 融合机制。
10.解决以上问题及缺陷的难度为：为了解决上述技术问题，主要有以下技术难点：建立室 内wifi感知模型和人员动作识别模型；有效抑制csi数据中噪声干扰的影响，并提取具有鲁 棒性的特征量；基于多个wifi传输链路，实现多模特征融合深度刻画人员动作；建立显著特 征量与人员动作之间的非线性关系，实现人员动作的精确分类和识别。
11.解决以上问题及缺陷的意义为：基于wifi感知的室内人员动作识别只利用一副wifi 收发设备，安装和使用成本较低，不需要人员佩戴任何专用设备或传感器，是一种无源被动 的方式。室内动作识别对于生产生活都有十分重要的意义，不论是家庭、办公楼还是工厂等 场所，都会有广泛的应用。解决上述技术问题，使被动式室内人员动作识别更能满足低成本 和高精度的要求。


技术实现要素：

12.针对现有技术存在的问题，本发明提供了一种室内人员动作识别方法、系统、介质、设 备及终端，尤其涉及一种基于wifi感知的室内人员动作识别方法、系统、介质、设备及终端， 旨在解决目前室内人员动作识别技术缺乏有效的噪声抑制策略及识别准确率低的问题。
13.本发明是这样实现的，一种室内人员动作识别方法，所述室内人员动作识别方法包括：
14.在室内环境下部署一副wifi收发设备，包括一根发射天线和多根接收天线，发射天线和 接收天线组成一个方形感知区域，以感知各种人员动作；利用wifi设备感知人员动
作和采集 包含有人员动作信息的csi数据；在每个wifi接收端，即接收天线处，利用每一个子载波上 的csi构造hankel矩阵后，整合所有的hankel矩阵构造一个csi张量；通过对csi张量进 行cp分解，获取显著特征量；在获取所有wifi接收端的特征量后，利用多模分解双线性池 mfb方法进行多模特征融合以深度刻画人员动作；基于每个动作对应的显著特征，构造动作 特征数据集，对集成方法adaboost进行训练，直到模型中的所有参量达到最优；利用训练好 的adaboost方法识别室内人员的具体动作。
15.进一步，所述室内人员动作识别方法包括以下步骤：
16.步骤一，利用wifi收发设备在典型的室内环境下进行感知和收集csi数据；基于wifi 感知的动作识别，具有保护隐私、较低安装成本、较大覆盖范围、无须佩戴专用设备等特点。 并且随着5g、6g等新一代无线通信系统的发展和落地，wifi感知也发挥着越来越重要的地 步。
17.步骤二，在每个wifi接收端构造多个hankel矩阵和相应的csi张量，并对csi张量进 行分解获取特征量；挖掘wifi csi自身隐含的结构性统计性特征。
18.步骤三，在获取所有wifi接收端的特征量后，利用mfb方法进行多模特征融合以刻画 人员动作；多维度特征数据融合，降低特征维度同时发掘多维度统计特征之间的内在关联， 提高动作识别的鲁棒性、稳定性与准确性。
19.步骤四，构造动作特征数据集，对集成方法adaboost进行训练，直到模型所有参量达到 最优，并利用训练好的adaboost方法识别室内人员的动作。将模型参量求解问题转化为智能 优化问题。通过利用多模态融合后的特征，动作识别精度大幅上升。
20.进一步，所述步骤一中的利用wifi收发设备在典型的室内环境下进行感知和收集csi 数据包括：
21.wifi收发设备之间的距离根据实验要求确定，对所有的人员动作进行编号，赋予相应的 标签。
22.(1)利用wifi收发设备感知由人员动作造成的室内环境变化，针对每个独立的人员动 作，收集包含动作信息的csi数据，其中在一条wifi传输链路上，即一根发射天线和一根接 收天线，获取的一组子载波信道测量h为：
23.h＝[h1,h2,h3,...,hi]
t i∈[1,n
sub
],
[0024]hi
＝||hi||exp(∠hi)；
[0025]
其中，[
·
]
t
表示转置操作，||hi||和∠hi是第i个子载波csi的幅度和相位信息。
[0026]
(2)对于一条wifi传输链路上的第i个子载波，对在时间方向上进行连续收集，并且 数据收集的时间窗设置为t，时间序列为：
[0027][0028]
进一步，所述步骤二中的在每个wifi接收端构造多个hankel矩阵和相应的csi张量， 并对csi张量进行分解获取特征量包括：
[0029]
(1)对于一条wifi传输链路上的第i个子载波，相应hankel矩阵构造为：
[0030][0031]
其中，hi(ι)表示在时间ι时的子载波i的取值。
[0032]
在wifi接收端即一根接收天线处，利用所有子载波的csi构造相同数量的hankel矩阵； 整合所有的hankel矩阵构造一个csi张量，此时一个wifi接收天线对应的一个csi张量为：
[0033][0034]
(2)利用cp分解方法对构造的csi张量进行相应的分解，结果为：
[0035][0036]
其中r＝1,2,...,r是分解时在中所对应的向量。
[0037]
令a＝[a1,a2,...,ar]b＝[b1,b2,...,br]，c＝[c1,c2,...,cr]，则公式重新写为：
[0038][0039]
(3)通过cp分解，获取多个单秩张量，选取a＝[a1,a2,...,ar]作为刻画人员动作的特征量。
[0040]
进一步，所述步骤三中的在获取所有wifi接收端的特征量后，利用mfb方法进行多模 特征融合以刻画人员动作包括：
[0041]
(1)获取多个不同的特征量，即一个wifi接收天线对应一个特征量后，利用mfb方 法对所述特征量进行多模特征融合；假设两个特征量分别是和则基于mfb方 法的双线性融合表示为：
[0042][0043]
其中，w是投影矩阵，z是mfb模型的输出。
[0044]
(2)将投影矩阵w分解为两个低秩的u和v矩阵，写为：
[0045][0046]
其中，k是分解矩阵的维度，表示哈达玛积，e是全一向量。
[0047]
将zj公式写为：
[0048][0049]
其中，sumpooling(
·
)是和池化函数。
[0050]
(3)通过在点积的结果上求和池化，并且池化窗口大小为k，获取多模特征融合的显著 特征量z，深度刻画人员动作。
[0051]
进一步，所述步骤四中的构造动作特征数据集，对集成方法adaboost进行训练，直
到模 型所有参量达到最优，并利用训练好的adaboost方法识别室内人员的动作，包括：
[0052]
在室内环境下，针对所有的人员动作，收集足够的csi数据，提取对应的多模融合后的 显著特征量z，构造一套动作特征数据集；利用adaboost算法在显著特征与各种动作之间建 立鲁棒的映射关系，用于实现人员动作识别；adaboost算法从弱学习算法出发，反复学习， 得到一系列弱分类器后，组合所述弱分类器，构成一个强分类器；在学习的时候，提高被前 一轮弱分类器错误分类样本的权值，降低被正确分类样本的权值；在决策的时候，采取加权 多数表决的方法，加大分类误差率小的弱分类器的权值，用于在表决中起较大的作用，同时 减小分类误差率大的弱分类器的权值，用于在表决中起较小的作用。
[0053]
(1)利用获得的动作特征数据集对adaboost模型进行训练，使得模型中的参量值达到 最优；将训练好的adaboost模型用于室内人员动作识别。
[0054]
输入模型中的动作特征数据集表示为：
[0055]
π＝{(z1,γ1),(z2,γ2),...,(zn,γn)},γn∈[1,2,...,c]；
[0056]
其中，γn是动作标签，c是人员动作数目。
[0057]
(2)初始化训练数据集的权值分布
[0058][0059]
(3)对于一系列弱分类器m＝1,2,
…
,m：
[0060]
3.1)使用具有权值分布dm的训练数据集学习，得到弱分类器gm(z)；
[0061]
3.2)计算gm(z)在训练数据集上的分类误差率：
[0062][0063]
3.3)计算弱分类器gm(zi)的系数：
[0064][0065]
3.4)更新训练数据集的权值分布：
[0066]dm+1
＝(w
m+1,1
,...,w
m+1,i
,...,w
m+1,n
)
[0067][0068][0069]
(4)在获取最优的样本权重和一系列弱分类器权重大小后，构建一系列弱分类器的线性 组合为：
[0070][0071]
(5)得到最终的强分类器为：
[0072][0073]
(6)当adaboost模型中的参量均达到最优时，训练结束，将adaboost模型g(z)用于室 内人员动作识别中。
[0074]
本发明的另一目的在于提供一种应用所述的室内人员动作识别方法的室内人员动作识别 系统，所述室内人员动作识别系统包括：
[0075]
csi数据获取模块，用于利用wifi收发设备在典型的室内环境下进行感知和收集csi数 据；
[0076]
csi张量构造模块，用于在每个wifi接收端构造多个hankel矩阵和相应的csi张量；
[0077]
csi张量分解模块，用于对csi张量进行分解，获取特征量；
[0078]
多模特征融合模块，用于在获取所有wifi接收端的特征量后，利用mfb方法进行多模 特征融合以刻画人员动作；
[0079]
adaboost训练模块，用于构造动作特征数据集，对集成方法adaboost进行训练，直到 模型所有参量达到最优；
[0080]
室内人员动作识别模块，用于利用训练好的adaboost方法识别室内人员的动作。
[0081]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所 述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如 下步骤：
[0082]
在室内环境下部署一副wifi收发设备，包括一根发射天线和多根接收天线，发射天线和 接收天线组成一个方形感知区域，以感知各种人员动作；利用wifi设备感知人员动作和采集 包含有人员动作信息的csi数据；在每个wifi接收端，即接收天线处，利用每一个子载波上 的csi构造hankel矩阵后，整合所有的hankel矩阵构造一个csi张量；
[0083]
通过对csi张量进行cp分解，获取显著特征量；在获取所有wifi接收端的特征量后， 利用多模分解双线性池mfb方法进行多模特征融合以深度刻画人员动作；基于每个动作对应 的显著特征，构造动作特征数据集，对集成方法adaboost进行训练，直到模型中的所有参量 达到最优；利用训练好的adaboost方法识别室内人员的具体动作。
[0084]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机 程序被处理器执行时，使得所述处理器执行如下步骤：
[0085]
在室内环境下部署一副wifi收发设备，包括一根发射天线和多根接收天线，发射天线和 接收天线组成一个方形感知区域，以感知各种人员动作；利用wifi设备感知人员动作和采集 包含有人员动作信息的csi数据；在每个wifi接收端，即接收天线处，利用每一个子载波上 的csi构造hankel矩阵后，整合所有的hankel矩阵构造一个csi张量；
[0086]
通过对csi张量进行cp分解，获取显著特征量；在获取所有wifi接收端的特征量后， 利用多模分解双线性池mfb方法进行多模特征融合以深度刻画人员动作；基于每个动作对应 的显著特征，构造动作特征数据集，对集成方法adaboost进行训练，直到模型中的所有参量 达到最优；利用训练好的adaboost方法识别室内人员的具体动作。
[0087]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所 述的室内人员动作识别系统。
[0088]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的室内人员 动作识别方法，具体涉及一种基于wifi信道状态信息(channel state information，csi)、张 量构造与分解、多模特征融合以及adaboost算法结合的室内目标三维定位方法，可用于人机 交互、智慧家庭及入侵检测，提高室内人员动作识别的精度、鲁棒
性及可靠性。本发明克服 了现有技术中识别表现差、识别结果可靠性低的不足，提高了系统的鲁棒性和动作识别精度。
[0089]
与现有技术相比，本发明还具有如下优点：
[0090]
第一，基于wifi感知的室内人员动作识别方法只利用一副wifi收发设备，安装成本较 低，没有隐私顾虑，不存在死角，并且不需要人员佩戴任何专用设备或传感器，是一种无源 被动的检测方式。
[0091]
第二，由于本发明利用了所有wifi接受端上csi信息构造csi张量，从多角度深度刻画 人员动作在室内环境中的信道特性；利用张量分解获取特征量和mfb方法进行多模特征融 合，有利于挖掘csi数据中隐含的结构化统计性特征，因此可以帮助提高系统鲁棒性、可靠 性和动作识别准确度。
[0092]
第三，由于本发明利用adaboost模型在显著特征量与人员动作之间建立了非线性映射关 系，实现了室内人员动作识别的智能化、自动化处理。
[0093]
第四，由于本发明采用了csi张量构造、张量分解、多模特征融合和adaboost结合的室 内动作识别方式，有效克服了随机噪声的影响，提高了动作识别准确性及可靠性。
附图说明
[0094]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附 图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0095]
图1是本发明实施例提供的室内人员动作识别方法流程图。
[0096]
图2是本发明实施例提供的室内人员动作识别方法原理图。
[0097]
图3是本发明实施例提供的室内人员动作识别系统结构框图；
[0098]
图中：1、csi数据获取模块；2、csi张量构造模块；3、csi张量分解模块；4、多模特 征融合模块；5、adaboost训练模块；6、室内人员动作识别模块。
[0099]
图4是本发明实施例提供的wifi收发设备部署示意图。
[0100]
图5(a)和图5(b)分别是本发明实施例提供的基于第一根天线，人员行走时的csi幅度和 相位结果图。
[0101]
图6(a)和图6(b)分别是本发明实施例提供的基于第一根天线，人员跑步时的csi幅度和 相位结果图。
[0102]
图7(a)和图7(b)分别是本发明实施例提供的基于第二根天线，人员行走时的csi幅度和 相位结果图。
[0103]
图8(a)和图8(b)分别是本发明实施例提供的基于第二根天线，人员跑步时的csi幅度和 相位结果图。
[0104]
图9是本发明实施例提供的csi张量构造示意图。
[0105]
图10是本发明实施例提供的多模特征融合示意图。
[0106]
图11是本发明实施例提供的adaboost模型示意图。
[0107]
图12是本发明实施例提供的在实验室环境下人员动作识别结果图。
[0108]
图13是本发明实施例提供的在不同实验环境下人员动作识别精度对比结果图。
[0109]
图14是本发明实施例提供的与其他两种方法的动作识别精度对比结果图。
具体实施方式
[0110]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行 进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定 本发明。
[0111]
针对现有技术存在的问题，本发明提供了一种室内人员动作识别方法、系统、介质、设 备及终端，下面结合附图对本发明作详细的描述。
[0112]
如图1所示，本发明实施例提供的室内人员动作识别方法包括以下步骤：
[0113]
s101，利用wifi收发设备在典型的室内环境下进行感知和收集csi数据；
[0114]
s102，在每个wifi接收端构造多个hankel矩阵和相应的csi张量，并对csi张量进行 分解获取特征量；
[0115]
s103，在获取所有wifi接收端的特征量后，利用mfb方法进行多模特征融合以刻画人 员动作；
[0116]
s104，构造动作特征数据集，对集成方法adaboost进行训练，直到模型所有参量达到最 优，并利用训练好的adaboost方法识别室内人员的动作。
[0117]
本发明实施例提供的室内人员动作识别方法原理图如图2所示。
[0118]
如图3所示，本发明实施例提供的室内人员动作识别系统包括：
[0119]
csi数据获取模块1，用于利用wifi收发设备在典型的室内环境下进行感知和收集csi 数据；
[0120]
csi张量构造模块2，用于在每个wifi接收端构造多个hankel矩阵和相应的csi张量；
[0121]
csi张量分解模块3，用于对csi张量进行分解，获取特征量；
[0122]
多模特征融合模块4，用于在获取所有wifi接收端的特征量后，利用mfb方法进行多 模特征融合以刻画人员动作；
[0123]
adaboost训练模块5，用于构造动作特征数据集，对集成方法adaboost进行训练，直到 模型所有参量达到最优；
[0124]
室内人员动作识别模块6，用于利用训练好的adaboost方法识别室内人员的动作。
[0125]
下面结合具体应用对本发明的技术方案作进一步描述。
[0126]
应用场景
[0127]
智慧家庭：随着中国进入老龄化社会，在家庭环境中，实现老年人状态的实时监测是保 证老人健康的一大重要举措，而摔倒作为老年人的一大风险源，实现摔倒的实时监测与报警 对维护老人健康具有重要意义。另外，实现室内环境下的人体动作轨迹、动作速度的感知， 可以与智能家居、智能看护等系统结合，为人们日常生活带来更大的便利。
[0128]
交互游戏：在室内环境下，利用广泛部署的wifi节点，只需要表现工作就可实现“沉浸 式”游戏，这种方式无需佩戴任何传感器，不存在定位死角、侵犯隐私等优点，并且可以实 现全区域实时覆盖。因此，基于wifi感知的室内人员动作识别技术拥有巨大的应用潜力。
[0129]
下面结合具体实施例对本发明的技术方案作进一步描述。
[0130]
实施例1
[0131]
本发明提供了一种基于wifi感知、csi张量构造与分解、多模特征融合和adaboost算 法结合的室内人员动作识别方法，以解决目前动作识别技术缺乏有效的噪声抑制策略及识别 效率低的问题，从而提高室内人员动作识别的精度、鲁棒性及可靠性。
[0132]
实现本发明目的的具体思路是，首先在室内环境下部署一副wifi收发设备，包括一根发 射天线和多根接收天线，发射天线和接收天线组成一个方形感知区域，以感知各种人员动作； 接着利用wifi设备感知人员动作和采集包含有人员动作信息的csi数据；在每个wifi接收 端，即接收天线处，利用每一个子载波上的csi构造hankel矩阵，然后整合所有的hankel 矩阵构造一个csi张量。通过对csi张量进行candecomp/parafac(cp)分解，获取 显著特征量；然后在获取所有wifi接收端的特征量后，利用多模分解双线性池(multimodalfactorizedbilinearpooling，mfb)方法进行多模特征融合以深度刻画人员动作；基于每个动 作对应的显著特征，构造动作特征数据集，然后对集成方法adaboost进行训练，直到模型中 的所有参量达到最优；最后利用训练好的adaboost方法识别室内人员的具体动作。
[0133]
本发明实现上述目的具体步骤如下：
[0134]
(1)在室内环境下部署一副wifi收发设备，包括一根发射天线和多根接收天线，发射 天线和接收天线组成一个方形感知区域，以感知各种人员动作。同时wifi收发设备之间的距 离根据实验要求确定。另外，对所有的人员动作进行编号，赋予相应的标签。
[0135]
(2)利用wifi收发设备感知由人员动作造成的室内环境变化，针对每个独立的人员动 作，收集包含动作信息的csi数据，其中在一条wifi传输链路上，即一根发射天线和一根接 收天线，获取的一组子载波信道测量h为：
[0136]
h＝[h1,h2,h3,...,hi]
t i∈[1,n
sub
],
[0137]hi
＝||hi||exp(∠hi)
[0138]
其中，[
·
]
t
表示转置操作，||hi||和∠hi是第i个子载波csi的幅度和相位信息；
[0139]
对于一条wifi传输链路上的第i个子载波，对它在时间方向上进行连续收集，并且数据 收集的时间窗设置为t，其时间序列为：
[0140][0141]
(3)对于一条wifi传输链路上的第i个子载波，相应的hankel矩阵可以构造为：
[0142][0143]
其中，hi(ι)表示在时间ι时的子载波i的取值。在wifi接收端即一根接收天线处，利用 所有子载波的csi构造相同数量的hankel矩阵。然后整合所有的hankel矩阵构造一个csi 张量，此时一个wifi接收天线对应的一个csi张量为：
[0144][0145]
利用candecamp/parafac(cp)分解方法对构造的csi张量进行相应的分解， 结
果为：
[0146][0147]
其中r＝1,2,...,r是分解时在中所对应的向量。另外，令 a＝[a1,a2,...,ar]b＝[b1,b2,...,br]，c＝[c1,c2,...,cr]，上式可以重新写为：
[0148][0149]
通过cp分解，可以获取多个单秩张量，选取a＝[a1,a2,...,ar]作为刻画人员动作的特征量。
[0150]
(4)所有wifi接收天线处的csi数据都要经过上面相同的处理，基于此可以获取多个 不同的特征量，即一个wifi接收天线对应一个特征量。为了深度刻画人员动作，利用mfb 方法对这些特征量进行多模特征融合，假设两个特征量分别是和那么基于mfb 方法的双线性融合可以表示为：
[0151][0152]
其中，w是投影矩阵，z是mfb模型的输出。为了简化运算将投影矩阵w分解为两个 低秩的u和v矩阵，可以写为：
[0153][0154]
其中，k是分解矩阵的维度，表示哈达玛积，e是全一向量。上式也可以写为：
[0155][0156]
其中，sumpooling(
·
)是和池化函数，通过在点积的结果上求和池化，并且池化窗口大小为 k，可以获取多模特征融合的显著特征量z，深度刻画人员动作。
[0157]
(5)在室内环境下，针对所有的人员动作，收集足够的csi数据，提取对应的多模融合 后的显著特征量z，基于此，可以构造一套动作特征数据集。为了实现人员动作识别，利用 adaboost算法在显著特征与各种动作之间建立鲁棒的映射关系。adaboost算法从弱学习算法 出发，反复学习，得到一系列弱分类器，然后组合这些弱分类器，构成一个强分类器。在学 习的时候，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的 权值；在决策的时候，采取加权多数表决的方法，加大分类误差率小的弱分类器的权值，使 其在表决中起较大的作用，同时减小分类误差率大的弱分类器的权值，使其在表决中起较小 的作用。
[0158]
(5.1)利用获得的动作特征数据集对adaboost模型进行训练，使得模型中的参量值达 到最优，然后将训练好的adaboost模型用于室内人员动作识别。首先，输入模型中的动作特 征数据集表示为：
[0159]
π＝{(z1,γ1),(z2,γ2),...,(zn,γn)},γn∈[1,2,...,c]
[0160]
其中，γn是动作标签，c是人员动作数目。
[0161]
(5.2)初始化训练数据集的权值分布
[0162][0163]
(5.3)对于一系列弱分类器m＝1,2,
…
,m
[0164]
(5.3a)使用具有权值分布dm的训练数据集学习，得到弱分类器gm(z)；
[0165]
(5.3b)计算gm(z)在训练数据集上的分类误差率
[0166][0167]
(5.3c)计算弱分类器gm(zi)的系数
[0168][0169]
(5.3d)更新训练数据集的权值分布
[0170]dm+1
＝(w
m+1
,1,...,w
m+1
,i,...,w
m+1,n
)
[0171][0172][0173]
(5.4)在获取最优的样本权重和一系列弱分类器权重大小后，可以构建一系列弱分类器 的线性组合为：
[0174][0175]
(5.5)最后可以得到最终的强分类器为：
[0176][0177]
(5.6)当adaboost模型中的参量都达到了最优时，训练结束，然后就可以将adaboost 模型g(z)用于室内人员动作识别中。
[0178]
实施例2
[0179]
参照图2，本实施例提供的基于wifi感知、csi张量构造与分解、多模特征融合以及 adaboost模型结合的室内人员动作识别方法包括以下步骤：
[0180]
步骤1，在典型的室内环境下，合理部署一副wifi收发设备。
[0181]
参照图4，本步骤的具体实现如下：
[0182]
(1.1)在室内环境下部署一副wifi收发设备，包括一根发射天线和多根接收天线，发 射天线和接收天线组成一个方形感知区域，以感知各种人员动作。同时wifi收发设备之间的 距离根据实验要求确定。
[0183]
(1.2)另外，对所有的人员动作进行编号，赋予相应的标签。
[0184]
步骤2，利用一副wifi收发设备感知由人员动作造成的室内环境变化和收集相应的csi 数据。
[0185]
参照图5、图6、图7和图8，本步骤的具体实现如下：
[0186]
(2.1)针对每个独立的人员动作，收集包含动作信息的csi数据，其中在一条wifi传 输链路上，即一根发射天线和一根接收天线，获取的一组子载波信道测量h为：
[0187]
h＝[h1,h2,h3,...,hi]
t i∈[1,n
sub
],
[0188]hi
＝||hi||exp(∠hi)
[0189]
其中，[
·
]
t
表示转置操作，||hi||和∠hi是第i个子载波csi的幅度和相位信息；
[0190]
(2.2)对于一条wifi传输链路上的第i个子载波，对它在时间方向上进行连续收
集，并 且数据收集的时间窗设置为t，其时间序列为：
[0191][0192]
步骤3，在每个wifi接收端，即接收天线处，利用每一个子载波上的csi构造hankel 矩阵，然后整合所有的hankel矩阵构造一个csi张量。通过对csi张量进行cp分解，获取 显著特征量。
[0193]
参照图9，本步骤的具体实现如下：
[0194]
(3.1)对于一条wifi传输链路上的第i个子载波，相应的hankel矩阵可以构造为：
[0195][0196]
其中，hi(ι)表示在时间ι时的子载波i的取值。在wifi接收端即一根接收天线处，利用 所有子载波的csi构造相同数量的hankel矩阵。然后整合所有的hankel矩阵构造一个csi 张量，此时一个wifi接收天线对应的一个csi张量为：
[0197][0198]
(3.2)利用candecamp/parafac(cp)分解方法对构造的csi张量进行相应的 分解，结果为：
[0199][0200]
其中r＝1,2,...,r是分解时在中所对应的向量。另外，令 a＝[a1,a2,...,ar]b＝[b1,b2,...,br]，c＝[c1,c2,...,cr]，上式可以重新写为：
[0201][0202]
(3.3)通过cp分解，可以获取多个单秩张量，选取a＝[a1,a2,...,ar]作为刻画人员动作的 特征量。
[0203]
步骤4，所有wifi接收天线处的csi数据都要经过上面相同的处理，基于此可以获取多 个不同的特征量，即一个wifi接收天线对应一个特征量。为了深度刻画人员动作，利用mfb 方法对这些特征量进行多模特征融合。
[0204]
参照图10，本步骤的具体实现如下：
[0205]
(4.1)假设两个特征量分别是和那么基于mfb方法的双线性融合可以表 示为：
[0206][0207]
其中，w是投影矩阵，z是mfb模型的输出。
[0208]
(4.2)为了简化运算将投影矩阵w分解为两个低秩的u和v矩阵，可以写为：
[0209]
[0210]
其中，k是分解矩阵的维度，表示哈达玛积，e是全一向量。上式也可以写为：
[0211][0212]
其中，sumpooling(
·
)是和池化函数。
[0213]
(4.3)通过在点积的结果上求和池化，并且池化窗口大小为k，可以获取多模特征融合 的显著特征量z，深度刻画人员动作。
[0214]
(5)在室内环境下，针对所有的人员动作，收集足够的csi数据，提取对应的多模融合 后的显著特征量z，基于此，可以构造一套动作特征数据集。为了实现人员动作识别，利用 adaboost算法在显著特征与各种动作之间建立鲁棒的映射关系。adaboost算法从弱学习算法 出发，反复学习，得到一系列弱分类器，然后组合这些弱分类器，构成一个强分类器。在学 习的时候，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的 权值；在决策的时候，采取加权多数表决的方法，加大分类误差率小的弱分类器的权值，使 其在表决中起较大的作用，同时减小分类误差率大的弱分类器的权值，使其在表决中起较小 的作用。
[0215]
参照图11，本步骤的具体实现如下：
[0216]
(5.1)利用获得的动作特征数据集对adaboost模型进行训练，使得模型中的参量值达 到最优，然后将训练好的adaboost模型用于室内人员动作识别。首先，输入模型中的动作特 征数据集表示为：
[0217]
π＝{(z1,γ1),(z2,γ2),...,(zn,γn)},γn∈[1,2,...,c]
[0218]
其中，γn是动作标签，c是人员动作数目。
[0219]
(5.2)初始化训练数据集的权值分布
[0220][0221]
(5.3)对于一系列弱分类器m＝1,2,
…
,m
[0222]
(5.3a)使用具有权值分布dm的训练数据集学习，得到弱分类器gm(z)；
[0223]
(5.3b)计算gm(z)在训练数据集上的分类误差率
[0224][0225]
(5.3c)计算弱分类器gm(zi)的系数
[0226][0227]
(5.3d)更新训练数据集的权值分布
[0228]dm+1
＝(w
m+1,1
,...,w
m+1,i
,...,w
m+1,n
)
[0229][0230][0231]
(5.4)在获取最优的样本权重和一系列弱分类器权重大小后，可以构建一系列弱分类器 的线性组合为：
度分别为96％、95％、93％。本发明与其他2种动作识别方法相比，平均识别精度最高。因 此本发明对随机噪声的鲁棒性更好，在实际应用中潜力更大。
[0249]
表3不同识别方法的识别精度对比
[0250] 行走跑步坐下站起躺下摔倒提出的方案98％97％94％94％96％97％ablstm97％96％92％93％94％97％wi-multi97％95％90％92％95％96％
[0251]
随着各类无线通信业务的快速发展，基于无线通信信号智能感知的各类服务，诸如位置 定位与跟踪、生理指标监测与汇聚、姿态动作分类与识别、危险材料检测、地形地貌估计与 刻画等以及与此相关的一系列无线感知应用逐渐受到了广泛的关注。其中，中国信通院 imt-2030(6g)推进组正式发布了《6g总体愿景与潜在关键技术白皮书》(以下简称《白 皮书》)，这可以说是中国通信产业界对于6g迄今为止最为全面的一次解读。《白皮书》 围绕着沉浸化、智慧化、全域化的发展趋势，描绘出6g将重点服务的八大业务领域—云化 xr、全息通信、感官互联、智慧交互、通信感知、普惠智能、数字孪生、全域覆盖。并且， 在对于6g赋能技术的预测中，《白皮书》也归纳出了当前业界广泛关注的6g十大潜在关键 技术，包括增强型无线空口技术、新物理维度无线传输技术、新型频谱使用技术、通信感知 一体化技术等新型无线技术，以及分布式网络架构、算力感知网络、确定性网络、星地一体 融合组网、网络内生安全等新型网络技术。由此表明，通信感知是未来无线通信系统重要研 究方向，新的频段和大规模天线的进一步演进为其提供了可行性；它和人工智能技术进一步 结合，实现万物互联到万物智联，带入新的应用世界。
[0252]
本发明可以应用在以下领域：
[0253]
老人看护：随着中国进入老龄化社会，在家庭环境中，实现老年人状态的实时监测是保 证老人健康的一大重要举措，而摔倒作为老年人的一大风险源，实现摔倒的实时监测与报警 对维护老人健康具有重要意义。这种看护可以是在家庭、养老院或者医院。无须佩戴任何专 用的传感器设备，就可以实现动作检测。另外，实现室内环境下的人体动作轨迹、动作速度 的感知，可以与智能家居、智能看护等系统结合，实现远程监控，为人们日常生活带来更大 的便利。
[0254]
智慧家庭：利用无处不在的wif信号进行感知各种人体动作，比如利用一个具体的动作 调节室内温度、打开灯光音乐等。另外，根据wifi感知也可以实现入侵检测。
[0255]
交互游戏：在室内环境下，利用广泛部署的wifi节点，只需要表现工作就可实现“沉浸 式”游戏，这种方式无需佩戴任何传感器，不存在定位死角、侵犯隐私等优点，并且可以实 现全区域实时覆盖。因此，基于wifi感知的室内人员动作识别技术拥有巨大的应用潜力。
[0256]
本发明通过利用hankel矩阵，构造csi张量并进行分解，来挖掘无线通信信号自身隐含 的结构性统计性特征。另外，从多维度提取统计特征共同刻画同一个人体动作，随后利用mfb 方法进行多维度统计特征融合，获取显著特征量，同时也降低数据维度。这帮助提高动作识 别的鲁棒性、稳定性与准确性，实现wifi感知与动作识别的全局优化。
[0257]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当 使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或
多个计算 机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施 例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他 可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存 储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计 算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例 如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。 所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可 用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、 硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd)) 等。
[0258]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉 本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任 何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。