基于人工智能的动作检测方法、装置、计算机设备及介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种基于人工智能的动作检测方法、装置、计算机设备及介质。


背景技术：

2.目前，计算机可以通过动作检测模型对信道数据进行分析，以实现动作检测任务，现有的动作检测模型将采集的信道数据当作二维图像信息进行分类，得到动作检测结果。
3.但是将信道数据当作二维图像信息分类时，主要提取的是信道数据空间维度的信息，由于信道数据的空间分布与常规图像数据的空间分布不同，导致信道数据的有效特征难以被提取，且用于提取特征的卷积核的尺寸难以与信道数据适配，进而导致动作检测的准确性不高。因此，如何提高通过信道数据进行动作检测的准确性成为亟待解决的问题。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种基于人工智能的动作检测方法、装置、计算机设备及介质，以解决通过信道数据进行动作检测的准确性较低的问题。
5.第一方面，本发明实施例提供一种基于人工智能的动作检测方法，所述动作检测方法包括：
6.采集目标时间点下每个信道的信道数据，得到所述目标时间点下对应信道的采样数据，所述信道数据用于表征对应信道的无线信号接收设备被用户动作遮挡的信息；
7.将所有信道的采样数据分别拼接为时间矩阵和信道矩阵，所述时间矩阵中时间维度为行，信道维度为列，所述信道矩阵中所述信道维度为行，所述时间维度为列；
8.将所述时间矩阵输入预训练好的时间模型，得到所述时间矩阵的时间模型分类向量，并将所述信道矩阵输入预训练好的信道模型，得到所述信道矩阵的信道模型分类向量；
9.将所述时间模型分类向量和所述信道模型分类向量进行加权求和，通过归一化指数函数将加权求和的结果映射为动作类别概率分布，确定所述动作类别概率分布中的最大概率，将所述最大概率对应的动作类别作为动作检测结果，所述动作类别概率分布包括每个动作类别对应的概率。
10.第二方面，本发明实施例提供一种基于人工智能的动作检测装置，所述动作检测装置包括：
11.数据采集模块，用于采集目标时间点下每个信道的信道数据，得到所述目标时间点下对应信道的采样数据，所述信道数据用于表征对应信道的无线信号接收设备被用户动作遮挡的信息；
12.数据拼接模块，用于将所有信道的采样数据分别拼接为时间矩阵和信道矩阵，所述时间矩阵中时间维度为行，信道维度为列，所述信道矩阵中所述信道维度为行，所述时间维度为列；
13.模型分类模块，用于将所述时间矩阵输入预训练好的时间模型，得到所述时间矩
阵的时间模型分类向量，并将所述信道矩阵输入预训练好的信道模型，得到所述信道矩阵的信道模型分类向量；
14.动作检测模块，用于将所述时间模型分类向量和所述信道模型分类向量进行加权求和，通过归一化指数函数将加权求和的结果映射为动作类别概率分布，确定所述动作类别概率分布中的最大概率，将所述最大概率对应的动作类别作为动作检测结果，所述动作类别概率分布包括每个动作类别对应的概率。
15.第三方面，本发明实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的动作检测方法。
16.第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的动作检测方法。
17.本发明实施例与现有技术相比存在的有益效果是：
18.采集目标时间点下每个信道的信道数据，得到目标时间点下对应信道的采样数据，信道数据用于表征对应信道的无线信号接收设备被用户动作遮挡的信息，将所有信道的采样数据分别拼接为时间矩阵和信道矩阵，时间矩阵中时间维度为行，信道维度为列，信道矩阵中信道维度为行，时间维度为列，将时间矩阵输入预训练好的时间模型，得到时间矩阵的时间模型分类向量，并将信道矩阵输入预训练好的信道模型，得到信道矩阵的信道模型分类向量，将时间模型分类向量和信道模型分类向量进行加权求和，通过归一化指数函数将加权求和的结果映射为动作类别概率分布，确定动作类别概率分布中的最大概率，将最大概率对应的动作类别作为动作检测结果，动作类别概率分布包括每个动作类别对应的概率，将采样数据按不同的方式拼接为时间矩阵和信道矩阵，再输入对应的时间模型和信道模型，能够充分提取信道数据的有效特征，且将两个模型输出的分类向量进行加权求和，能够有效避免采集过程中的信道数据缺失对动作检测准确率的影响，从而提高了通过信道数据进行动作检测的准确性。
附图说明
19.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
20.图1是本发明实施例一提供的一种基于人工智能的动作检测方法的一应用环境示意图；
21.图2是本发明实施例一提供的一种基于人工智能的动作检测方法的流程示意图；
22.图3是本发明实施例二提供的一种基于人工智能的动作检测方法的流程示意图；
23.图4是本发明实施例三提供的一种基于人工智能的动作检测装置的结构示意图；
24.图5是本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
25.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
26.应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
27.还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
28.如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0029]
另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0030]
在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0031]
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0032]
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0033]
应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0034]
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
[0035]
本发明实施例一提供的一种基于人工智能的动作检测方法，可应用在如图1的应用环境中，其中，客户端与监控端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、云端终端设备、个人数字助理(personal digital assistant，pda)等计算机设备。监控端包括但不限于红外线通信收发设备、蓝牙信号收发设备、紫蜂协议(zigbee)信号收发设
备、无线局域网(wireless local area network，wlan)信号收发设备等无线通信设备。
[0036]
参见图2，是本发明实施例一提供的一种基于人工智能的动作检测方法的流程示意图，上述动作检测方法可以应用于图1中的客户端，客户端用于接收监控端发送的信道数据，信道数据也即通信链路的信道属性，用于描述信号在每条传输路径上的衰弱因子。客户端对应的计算机设备中部署有预训练好的时间模型和信道模型，用于根据信道数据进行动作检测。如图2所示，该动作检测方法可以包括以下步骤：
[0037]
步骤s201，采集目标时间点下每个信道的信道数据，得到目标时间点下对应信道的采样数据。
[0038]
其中，时间点可以是指预设的采样时间点，信道可以是指无线信号的传输路径，采样数据可以是指在采样时间点采集到的信道数据，信道数据可以是指信号散射，环境衰弱，距离衰减等信道状态信息数据，信道数据用于表征对应信道的无线信号接收设备被用户动作遮挡的信息。
[0039]
具体地，在本实施例中，时间点可以预设为固定时间间隔的多个时间点，例如，固定时间间隔设置为d，时间点个数设置为t，则各个采样时间点为0，d，2d，
…
，(t-1)d。
[0040]
每个信道均对应于一组无线信号收发设备，无线信号收发设备包括无线信号发射设备和无线信号接收设备，无线信号发射设备在目标时间点向无线信号接收设备发送无线信号，无线信号接收设备在接收到无线信号后，评估信道状态信息并将信道状态信息量化，将量化后的信道状态信息作为采样数据发送给客户端。
[0041]
在本实施例中，无线信号收发设备部署于室内场景，默认信道可覆盖需要进行用户动作检测的目标区域，在目标区域内存在用户且用户处于活动状态时，用户不同的动作将会导致不同位置的信道被用户的肢体遮挡，进而导致信道数据受到影响，从而可以根据无线信号的信道数据来反向推测用户的动作。需要说明的是，在本实施例中，信道数据仅用于用户的动作检测，不考虑其他干扰项，其他干扰项可以是指桌、椅等物体，此类物体也会对信道数据产生影响，但此类物体造成的影响较易分辨，因此不作考虑。
[0042]
可选的是，在得到目标时间点下对应信道的采样数据之后，还包括：
[0043]
检测目标时间点下采样数据个数是否小于全部信道的信道个数；
[0044]
若目标时间点下采样数据个数小于全部信道的信道个数，则确定缺失的采样数据的目标信道；
[0045]
将目标信道下所有目标时间点的采样数据拼接，得到信道向量；
[0046]
根据信道向量，采用插值模型对缺失的采样数据进行插值，并以插值结果更新缺失的采样数据。
[0047]
其中，信道个数可以是指已启用的无线信号传输路径的总条数，缺失的采样数据可以是由于对应信道的无线信号接收设备未接收到无线信号，或者对应信道的无线信号接收设备未采集到信道状态信息。
[0048]
采样数据拼接可以是指将目标信道下所有目标时间点采集到的采样数据按照时序顺序拼接为一维向量。
[0049]
信道向量中缺失的采样数据对应的元素为零，不缺失的采样数据对应的元素不为零。
[0050]
在本实施例中，插值模型可以是指单线性插值模型，插值模型用于根据缺失的采
样数据的时间邻域信息推测缺失的采样数据。
[0051]
在一实施方式中，插值模型还可以是最近邻插值模型、双线性插值模型、高阶插值模型等。
[0052]
具体地，在检测到目标时间点下采样数据个数小于全部信道的信道个数时，说明目标时间点下存在采样数据缺失的情况，以缺失采样数据所在的信道作为目标信道，将目标信道下所有目标时间点的采样数据按时间顺序，以联结方式拼接为一维的信道向量，例如，在p2时间点中q2信道的采样数据缺失，则将q2信道在p
t
时间点的采样数据拼接，t∈{1,2,
…
,t}，得到表示在p
t
时间点q2信道的采样数据，其中，其他元素均不为零。单线性插值计算公式为：
[0053]
本实施例中在采样数据缺失的情况下，根据信道的时序采样数据进行插值，对缺失的采样数据进行预测，避免因数据缺失导致数据特征变化较大，从而影响动作检测的准确率。
[0054]
可选的是，在将目标信道下所有目标时间点的采样数据拼接，得到信道向量之后，还包括：
[0055]
检测信道向量中为零元素的个数是否大于预设的数量阈值；
[0056]
若检测到信道向量中为零元素的个数大于预设的数量阈值，则按时间维度为行，信道维度为列，将所有信道的采样数据拼接为待重构矩阵；
[0057]
使用预训练好的重构模型对待重构矩阵进行重构运算，得到重构矩阵；
[0058]
在重构矩阵满足预设条件时，以重构矩阵中对应元素的值更新为零元素对应的采样数据；
[0059]
若检测到信道向量中为零元素的个数小于或者等于预设的数量阈值，执行根据信道向量，采用插值模型对缺失的采样数据进行插值，并以插值结果更新缺失的采样数据步骤。
[0060]
其中，数量阈值可以是指信道向量中为零元素数量的阈值，待重构矩阵可以是指用于采样数据进行数据重构的时间矩阵，待重构矩阵的拼接方式与时间矩阵一致，目标信道对应的信道向量为待重构矩阵中的一列。
[0061]
预设条件可以是指用于判断是否根据重构矩阵更新缺失的采样数据的条件。
[0062]
具体地，在本实施例中，重构模型可以是指自编码器，自编码器包括重构编码器和重构解码器，待重构矩阵输入重构编码器提取重构特征，重构特征输入重构解码器得到重构矩阵。
[0063]
重构模型的训练方式为以重构样本作为训练数据，以重构样本自身作为训练标签，以均方误差损失作为损失函数，根据重构样本输入重构模型输出的重构样本矩阵与重构样本计算均方误差损失函数，以均方误差损失函数为依据，采用梯度下降法反向更新重构模型的参数，迭代直至均方误差损失函数收敛，得到训练好的重构模型。
[0064]
在一实施方式中，重构模型还可以是指对抗生成网络模型等。
[0065]
本实施例在缺失采样数据较多的情况下采用重构模型进行数据重构，能够保证重
构数据尽可能符合真实情况，在缺失的采样数据较少的情况下采用插值模型进行数据重构，降低计算量，从而在保证准确率的情况下提高缺失的采样数据的预测效率。
[0066]
可选的是，以重构矩阵中对应元素的值更新为零元素对应的采样数据包括：
[0067]
将重构矩阵输入预训练好的时间模型，得到重构类别以及重构类别对应的重构置信度；
[0068]
将待重构矩阵输入预训练好的时间模型，得到待重构类别以及待重构类别对应的待重构置信度；
[0069]
若重构类别与待重构类别一致，且重构置信度与待重构置信度的差值小于预设的置信度阈值，则确定重构矩阵满足预设条件，以重构矩阵中对应元素的值更新为零元素对应的采样数据。
[0070]
其中，重构类别和待重构类别可以是指动作根类别，动作根类别可以是指个人护理根类别、饮食根类别、家庭活动根类别、运动锻炼根类别等，重构类别可以是指重构矩阵输入预训练好的时间模型输出的动作根类别，待重构类别可以是指待重构矩阵输入预训练好的时间模型输出的动作根类别，置信度可以是指输入量属于动作根类别的概率。
[0071]
置信度阈值可以是指用于判断矩阵重构前后的置信度差值是否过大的阈值，预设条件可以是指用于判断是否采用重构矩阵进行数据更新的条件。
[0072]
具体地，预训练好的时间模型输出的动作类别可以是指动作子类别，例如手洗衣物动作子类别、熨烫衣物动作子类别、整理衣柜动作子类别、跳绳动作子类别等，其中，手洗衣物动作子类别、熨烫衣物动作子类别、整理衣柜动作子类别均属于家庭活动根类别，跳绳动作子类别属于运动锻炼根类别。
[0073]
动作根类别的置信度可以是指动作根类别包含的动作子类别对应置信度之和。例如，手洗衣物动作子类别对应置信度为0.3，熨烫衣物动作子类别对应置信度为0.4，整理衣柜动作子类别对应置信度为0.2，跳绳动作子类别对应置信度为0.1，则家庭活动根类别置信度为0.9，运动锻炼根类别置信度为0.1。
[0074]
在本实施例中，置信度阈值的预设值为0.25，实施者可根据实际情况调整该置信度阈值。
[0075]
本实施例采用动作根类别和对应的置信度阈值作为重构矩阵应用于采样数据更新的条件，避免重构矩阵出现异常的情况，提高了重构的准确率，从而提高了动作检测的准确率。
[0076]
可选的是，时间模型分类向量对应时间权重，信道模型分类向量对应信道权重；
[0077]
在检测信道向量中为零元素的个数是否大于预设的数量阈值之后，还包括：
[0078]
若信道向量中为零元素的个数小于或者等于预设的数量阈值，则增大时间权重的值，得到更新后的时间权重，减小信道权重的值，得到更新后的信道权重；
[0079]
若信道向量中为零元素的个数大于预设的数量阈值，则增大信道权重的值，得到更新后的信道权重，减小时间权重的值，得到更新后的时间权重。
[0080]
相应地，将时间模型分类向量和信道模型分类向量进行加权求和包括：
[0081]
根据更新后的信道权重和更新后的时间权重，将时间模型分类向量和信道模型分类向量进行加权求和。
[0082]
其中，时间权重可以是指时间模型分类向量进行加权求和时的权重，信道权重可
以是指信道模型分类向量加权求和时的权重。
[0083]
具体地，时间权重与信道权重预设的值相同，例如均采用0.5，在本实施例中，为保证权重的变化不对加权求和过程造成过大的影响，限制时间权重与信道权重之和为1，且取值范围均为[0，1]。
[0084]
由于时间权重与信道权重之和为1，因此权重增大和减小的幅度一致，在本实施例中，幅度设置为0.1，例如，时间权重与信道权重预设的值均为0.5，若信道向量中为零元素的个数大于预设的数量阈值，则增大信道权重的值，更新后的信道权重为0.6，更新后的时间权重为0.4。
[0085]
本实施例中根据缺失采样数据的个数确定时间模型分类向量和信道模型分类向量，当缺失采样数据数量较多时，对信道的空间特征影响较小，而当缺失采用数据数量较少时，时间特征更为可信，从而通过调整权重方式，提高分类向量整合后进行动作预测的准确率。
[0086]
上述采集目标时间点下每个信道的信道数据，得到目标时间点下对应信道的采样数据步骤，获取无线信道数据进行后续的动作检测处理，无需部署如摄像头、传感器等监控设备，提高了动作检测任务应用场景的灵活性。
[0087]
步骤s202，将所有信道的采样数据分别拼接为时间矩阵和信道矩阵。
[0088]
其中，时间矩阵中时间维度为行，信道维度为列，信道矩阵中信道维度为行，时间维度为列。
[0089]
具体地，时间矩阵中任一行元素表示在对应时间点下每个信道的信道数据，任一列元素表示对应信道在每个时间点的信道数据。
[0090]
信道矩阵中任一行元素表示对应信道在每个时间点的信道数据，任一列元素表示在对应时间点下每个信道的信道数据，信道矩阵与时间矩阵互为转置矩阵。
[0091]
举例说明，将时间点个数设置为t，信道个数设置为c，则有t*c个采样数据，第t个时间点表示为p
t
，其中，t∈{1,2,
…
,t}，第c个信道表示为qc，其中，c∈{1,2,
…
,c}。时间矩阵共有t行c列，时间矩阵中的第t行元素表示在第t个时间点c个信道采集的信道数据，第c列元素表示第c个信道在t个时间点采集的信道数据。信道矩阵共有c行t列，信道矩阵中的第c行元素表示第c个信道在t个时间点采集的信道数据，第t列元素表示在第t个时间点c个信道采集的信道数据。
[0092]
可选的是，时间模型包括时间编码器和时间全连接层，以样本时间矩阵作为时间模型预训练样本，以样本时间矩阵对应的动作类别作为时间模型预训练标签；
[0093]
时间模型的预训练过程包括：
[0094]
将样本时间矩阵输入时间编码器进行特征提取，得到样本时间特征张量；
[0095]
通过时间全连接层将样本时间特征张量映射为第一样本类别；
[0096]
根据第一样本类别与时间模型预训练标签计算交叉熵损失函数，以交叉熵损失函数为依据，采用梯度下降法反向更新时间模型的参数，迭代直至交叉熵损失函数收敛，得到预训练好的时间模型。
[0097]
其中，样本时间矩阵可以是指历史目标时间段的样本数据按时间矩阵拼接方式拼接得到的时间矩阵，样本时间矩阵对应的动作类别可以是指真实动作子类别。
[0098]
第一样本类别可以是指样本时间矩阵输入时间模型后输出的动作类别。
[0099]
梯度下降法可以是指随机梯度下降法、批量梯度下降法等，反向可以是指采用反向传播算法反向传播梯度。
[0100]
具体地，交叉熵损失函数为：其中，k为动作类别数，yi为标签表示，当样本属于第i类别时yi为1，否则为0，pi为样本属于第i类别的概率。
[0101]
本实施例对时间模型进行预训练，以便于预训练好的时间模型直接应用于动作检测，从而提高了动作检测的效率。
[0102]
可选的是，信道模型包括信道编码器和信道全连接层，以样本信道矩阵作为信道模型预训练样本，以样本信道矩阵对应的动作类别作为信道模型预训练标签；
[0103]
信道模型的预训练过程包括：
[0104]
将样本信道矩阵输入信道编码器进行特征提取，得到样本信道特征张量；
[0105]
通过信道全连接层将样本信道特征张量映射为第二样本类别；
[0106]
根据第二样本类别与信道模型预训练标签计算交叉熵损失函数，以交叉熵损失函数为依据，采用梯度下降法反向更新信道模型的参数，迭代直至交叉熵损失函数收敛，得到预训练好的信道模型。
[0107]
其中，样本信道矩阵可以是指历史目标时间段的样本数据按信道矩阵拼接方式拼接得到的信道矩阵，样本信道矩阵对应的动作类别可以是指真实动作子类别。
[0108]
第二样本类别可以是指样本信道矩阵输入信道模型后输出的动作类别。
[0109]
本实施例对信道模型进行预训练，以便于预训练好的信道模型直接应用于动作检测，从而提高了动作检测的效率。
[0110]
上述将所有信道的采样数据分别拼接为时间矩阵和信道矩阵步骤，通过不同的数据形式令后续特征提取过程提取到空间信息和时间信息，充分提取用户对信道数据的影响，提高了后续动作检测的准确性。
[0111]
步骤s203，将时间矩阵输入预训练好的时间模型，得到时间矩阵的时间模型分类向量，并将信道矩阵输入预训练好的信道模型，得到信道矩阵的信道模型分类向量。
[0112]
其中，时间模型和信道模型可以是指神经网络模型、支持向量机模型、多层感知机模型等，时间模型主要用于提取时间矩阵的时序特征，信道模型主要用于提取信道矩阵的空间特征，分类向量可以是指用于映射到类别空间的特征向量。
[0113]
具体地，在本实施例中，时间模型采用神经网络模型，预训练好的时间模型包括预训练好的时间编码器和预训练好的时间全连接层，预训练好的时间编码器的输入量为时间矩阵，用于对时间矩阵进行特征提取，输出量为时间特征张量。将时间特征张量压平处理为一维形式后输入预训练好的时间全连接层，输出一维的时间模型分类向量，时间模型分类向量形式为1行k列，k为动作检测任务中动作类别的数量。
[0114]
预训练好的信道模型包括预训练好的信道编码器和预训练好的信道全连接层，预训练好的信道编码器的输入量为信道矩阵，用于对信道矩阵进行特征提取，输出量为信道特征张量。将信道特征张量压平处理为一维形式后输入预训练好的信道全连接层，输出一维的信道模型分类向量，信道模型分类向量形式为1行k列。
[0115]
上述将时间矩阵输入预训练好的时间模型，得到时间矩阵的时间模型分类向量，并将信道矩阵输入预训练好的信道模型，得到信道矩阵的信道模型分类向量步骤，通过不同的模型提取特征能够保证模型学习到对应的特征提取偏好，从而避免在多信道场景下特
征提取混乱的情况，提高了动作检测的准确性。
[0116]
步骤s204，将时间模型分类向量和信道模型分类向量进行加权求和，通过归一化指数函数将加权求和的结果映射为动作类别概率分布，确定动作类别概率分布中的最大概率，将最大概率对应的动作类别作为动作检测结果。
[0117]
其中，动作类别概率分布包括每个动作类别对应的概率，在本实施例中，加权求和方式可以是指时间模型分类向量和信道模型分类向量中每个位置对应的元素进行加权求和。
[0118]
归一化指数函数为：其中，zi为第i个节点的输出值，softmax(zi)为第i个节点的输出值经归一化指数函数映射后的概率值，k为节点个数，也即动作类别个数，归一化指数函数用于将各个类别的输出值转换为范围在[0,1]且和为1的概率分布。
[0119]
动作类别可以是指扫地、跳绳、跑步、吃饭等动作子类别，实施者在划分动作类别时可采用如activitynet、weizmann等数据集中划分的类别。
[0120]
在一实施方式中，加权求和方式可以是指将时间模型分类向量和信道模型分类向量分别经归一化指数函数映射后，再将每个位置对应的元素进行加权求和。
[0121]
举例说明，设时间模型分类向量和信道模型分类向量的初始权重设置为1，时间模型分类向量为[2,4,6]，信道模型分类向量为[3,2,1]，则加权求和结果为[5,6,7]＝1*[2,4,6]+1*[3,2,1]，经归一化指数函数映射后的动作类别概率分布为最大概率为对应的动作类别为第三个动作类别，则第三个动作类别即为动作检测结果。
[0122]
上述将时间模型分类向量和信道模型分类向量进行加权求和，通过归一化指数函数将加权求和的结果映射为动作类别概率分布，确定动作类别概率分布中的最大概率，将最大概率对应的动作类别作为动作检测结果步骤，能够在采集过程中的出现信道数据缺失时，通过时间和空间两个维度的分类结果进行互相补充，进而提高动作检测的鲁棒性。
[0123]
本实施例将采样数据按不同的方式拼接为时间矩阵和信道矩阵，再输入对应的模型，能够充分提取信道数据的有效特征，且将两个模型输出的分类向量进行加权求和，能够有效避免采集过程中的信道数据缺失对动作检测准确率的影响，从而提高了通过信道数据进行动作检测的准确性。
[0124]
参见图3，是本发明实施例二提供的一种基于人工智能的动作检测方法的流程示意图，该动作检测方法中时间模型和信道模型的预训练方式可以采用分离训练方式，也可以采用联合训练方式。
[0125]
采用分离训练方式时，时间模型和信道模型的预训练过程参见实施例一。
[0126]
采用联合训练方式时，时间模型和信道模型的预训练损失函数包括时间分类损失、信道分类损失和联合损失，预训练过程包括：
[0127]
步骤s301，将样本时间矩阵和样本信道矩阵分别输入时间编码器和信道编码器进行特征提取，得到对应的样本时间特征张量和对应的样本信道特征向量。
[0128]
步骤s302，通过时间全连接层和信道全连接层分别将样本时间特征张量和样本信
道特征向量映射为对应的第一样本类别和对应的第二样本类别。
[0129]
步骤s303，根据第一样本类别、第二样本类别和预训练标签计算预训练损失函数，以预训练损失函数为依据，采用梯度下降法反向更新时间模型和信道模型的参数，迭代直至预训练损失函数收敛，得到预训练好的时间模型和预训练好的信道模型。
[0130]
其中，时间分类损失可以是指第一样本类别与预训练标签计算的交叉熵损失函数，信道分类损失可以是指第二样本类别与预训练标签计算的交叉熵损失函数，联合损失可以是指第一样本类别和第二样本类别计算的均方差损失函数。
[0131]
具体地，在训练时将样本时间矩阵与样本信道矩阵同时输入对应的时间模型和对应的信道模型。
[0132]
本实施例采用联合训练的方式对时间模型和信道模型进行训练，能够使模型学习到时域与空域的关联信息，提高时间模型和信道模型的预测准确率，从而提高动作检测的准确率。
[0133]
对应于上文实施例的基于人工智能的动作检测方法，图4示出了本发明实施例三提供的基于人工智能的动作检测装置的结构框图，上述动作检测装置应用于客户端，客户端用于接收监控端发送的信道数据，信道数据也即通信链路的信道属性，用于描述信号在每条传输路径上的衰弱因子。客户端对应的计算机设备中部署有预训练好的时间模型和信道模型，用于根据信道数据进行动作检测。为了便于说明，仅示出了与本发明实施例相关的部分。
[0134]
参见图4，该动作检测装置包括：
[0135]
数据采集模块41，用于采集目标时间点下每个信道的信道数据，得到目标时间点下对应信道的采样数据，信道数据用于表征对应信道的无线信号接收设备被用户动作遮挡的信息；
[0136]
数据拼接模块42，用于将所有信道的采样数据分别拼接为时间矩阵和信道矩阵，时间矩阵中时间维度为行，信道维度为列，信道矩阵中信道维度为行，时间维度为列；
[0137]
模型分类模块43，用于将时间矩阵输入预训练好的时间模型，得到时间矩阵的时间模型分类向量，并将信道矩阵输入预训练好的信道模型，得到信道矩阵的信道模型分类向量；
[0138]
动作检测模块44，用于将时间模型分类向量和信道模型分类向量进行加权求和，通过归一化指数函数将加权求和的结果映射为动作类别概率分布，确定动作类别概率分布中的最大概率，将最大概率对应的动作类别作为动作检测结果，动作类别概率分布包括每个动作类别对应的概率。
[0139]
可选的是，时间模型包括时间编码器和时间全连接层，以样本时间矩阵作为时间模型预训练样本，以样本时间矩阵对应的动作类别作为时间模型预训练标签；
[0140]
上述动作检测装置还包括：
[0141]
时间样本编码模块，用于将样本时间矩阵输入时间编码器进行特征提取，得到样本时间特征张量；
[0142]
时间样本分类模块，用于通过时间全连接层将样本时间特征张量映射为第一样本类别；
[0143]
时间模型训练模块，用于根据第一样本类别与时间模型预训练标签计算交叉熵损
失函数，以交叉熵损失函数为依据，采用梯度下降法反向更新时间模型的参数，迭代直至交叉熵损失函数收敛，得到预训练好的时间模型。
[0144]
可选的是，信道模型包括信道编码器和信道全连接层，以样本信道矩阵作为信道模型预训练样本，以样本信道矩阵对应的动作类别作为信道模型预训练标签；
[0145]
上述动作检测装置还包括：
[0146]
信道样本编码模块，用于将样本信道矩阵输入信道编码器进行特征提取，得到样本信道特征张量；
[0147]
信道样本分类模块，用于通过信道全连接层将样本信道特征张量映射为第二样本类别；
[0148]
信道模型训练模块，用于根据第二样本类别与信道模型预训练标签计算交叉熵损失函数，以交叉熵损失函数为依据，采用梯度下降法反向更新信道模型的参数，迭代直至交叉熵损失函数收敛，得到预训练好的信道模型。
[0149]
可选的是，上述数据采集模块41包括：
[0150]
采样个数检测子模块，用于检测目标时间点下采样数据个数是否小于全部信道的信息个数；
[0151]
目标信道确定子模块，用于若目标时间点下采样数据个数小于全部信道的信道个数，则确定缺失的采样数据的目标信道；
[0152]
信道向量拼接子模块，用于将目标信道下所有目标时间点的采样数据拼接，得到信道向量，信道向量中缺失的采样数据对应的元素为零，不缺失的采样数据对应的元素不为零；
[0153]
数据插值子模块，用于根据信道向量，采用插值模型对缺失的采样数据进行插值，并以插值结果更新缺失的采样数据。
[0154]
可选的是，上述信道向量拼接子模块包括：
[0155]
元素值检测单元，用于检测信道向量中为零元素的个数是否大于预设的数量阈值；
[0156]
拼接矩阵单元，用于若检测到信道向量中为零元素的个数大于预设的数量阈值，则按时间维度为行，信道维度为列，将所有信道的采样数据拼接为待重构矩阵，目标信道对应的信道向量为待重构矩阵中的一列；
[0157]
矩阵重构单元，用于使用预训练好的重构模型对待重构矩阵进行重构运算，得到重构矩阵；
[0158]
元素值更新单元，用于在重构矩阵满足预设条件时，以重构矩阵中对应元素的值更新为零元素对应的采样数据；
[0159]
插值跳转单元，用于若检测到信道向量中为零元素的个数小于或者等于预设的数量阈值，执行根据信道向量，采用插值模型对缺失的采样数据进行插值，并以插值结果更新缺失的采样数据步骤。
[0160]
可选的是，上述元素值更新单元包括：
[0161]
重构分类子单元，用于将重构矩阵输入预训练好的时间模型分支，得到重构类别以及重构类别对应的重构置信度；
[0162]
待重构分类子单元，用于将待重构矩阵输入预训练好的时间模型分支，得到待重
构类别以及待重构类别对应的待重构置信度；
[0163]
数据更新子单元，用于若重构类别与待重构类别一致，且重构置信度与待重构置信度的差值小于预设的置信度阈值，则确定重构矩阵满足预设条件，以重构矩阵中对应元素的值更新为零元素对应的采样数据。
[0164]
可选的是，时间模型分类向量对应时间权重，信道模型分类向量对应信道权重，时间权重与信道权重预设的值相同；
[0165]
上述元素值检测单元包括：
[0166]
第一权重更新子单元，用于若信道向量中为零元素的个数小于或者等于预设的数量阈值，则增大时间权重的值，得到更新后的时间权重，减小信道权重的值，得到更新后的信道权重；
[0167]
第二权重更新子单元，用于若信道向量中为零元素的个数大于预设的数量阈值，则增大信道权重的值，得到更新后的信道权重，减小时间权重的值，得到更新后的时间权重。
[0168]
相应地，在动作检测模块44中，将时间模型分类向量和信道模型分类向量进行加权求和包括：
[0169]
根据更新后的信道权重和更新后的时间权重，将时间模型分类向量和信道模型分类向量进行加权求和。
[0170]
需要说明的是，上述模块、子模块、单元和子单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0171]
图5为本发明实施例四提供的一种计算机设备的结构示意图。如图5所示，该实施例的计算机设备包括：至少一个处理器(图5中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个动作检测方法实施例中的步骤。
[0172]
该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图5仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
[0173]
所称处理器可以是cpu，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0174]
存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载
程序(bootloader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
[0175]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0176]
本发明实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述方法实施例中的步骤。
[0177]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0178]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0179]
在本发明所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0180]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0181]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。