基于神经网络的动作检测装置和方法与流程

1.本技术实施例涉及雷达检测技术领域。


背景技术：

2.在对人体动作进行检测的过程中，可以检测人体的关键点，例如头部、颈部、手臂、足部、腰部等等。人体关键点检测具有广泛的应用场景，是智能家居、健康监护、行为理解等应用的关键技术。当前广泛使用基于视频的人体关键点检测技术。但是视频严重侵犯隐私，无法应用于私密场合；同时，视频受环境影响大，在无光和遮挡场景中无法发挥作用。
3.雷达通过无线信号对物体(例如人体)进行探测，不曝露隐私，不依赖于光照条件，在部分遮挡场景下能够正常工作。因此，基于雷达的关键点检测能够弥补视频技术的不足。
4.应该注意，上面对技术背景的介绍只是为了方便对本技术的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述，不能仅仅因为这些方案在本技术的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。


技术实现要素：

5.但是，发明人发现：常规的基于雷达的人体动作检测方法只能实现对少量特定动作的检测，极大地限制了其应用场景。
6.针对上述技术问题的至少之一，本技术实施例提供一种基于神经网络的动作检测装置和方法。根据雷达点云检测物体(例如人体)的关键点，不限定动作类别，需要的计算资源少，检测准确率高。
7.根据本技术实施例的一个方面，提供一种基于神经网络的动作检测装置，包括：
8.感知单元，其通过雷达对物体进行感知以获得点云数据；
9.预处理单元，其对一段时间内获得的点云数据进行预处理，获得排序后的多个点的多维特征数据；以及
10.检测单元，其利用基于神经网络的动作检测模型对所述特征数据进行动作检测，以输出所述物体的关键点数据。
11.根据本技术实施例的另一个方面，提供一种基于神经网络的动作检测方法，包括：
12.通过雷达对物体进行感知以获得点云数据；
13.对一段时间内获得的点云数据进行预处理，获得排序后的多个点的多维特征数据；以及
14.利用基于神经网络的动作检测模型对所述特征数据进行动作检测，以输出所述物体的关键点数据。
15.本技术实施例的有益效果之一在于：通过雷达对物体进行感知以获得点云数据；对一段时间内获得的点云数据进行预处理，获得排序后的多个点的多维特征数据；以及利用基于神经网络的动作检测模型对所述特征数据进行动作检测，以输出所述物体的关键点数据。由此，根据雷达点云检测物体(例如人体)的关键点，不限定动作类别，需要的计算资
源少，检测准确率高。
16.参照后文的说明和附图，详细公开了本技术实施例的特定实施方式，指明了本技术实施例的原理可以被采用的方式。应该理解，本技术的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本技术的实施方式包括许多改变、修改和等同。
附图说明
17.所包括的附图用来提供对本技术实施例的进一步的理解，其构成了说明书的一部分，用于例示本技术的实施方式，并与文字描述一起来阐释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施方式。在附图中：
18.图1是本技术实施例的基于神经网络的动作检测方法的一示意图；
19.图2是本技术实施例的人体关键点的一示例图；
20.图3是本技术实施例的数据预处理的一示意图；
21.图4是本技术实施例的点云数据特征扩展的一示意图；
22.图5是本技术实施例的动作检测的一示意图；
23.图6是本技术实施例的基于神经网络的动作检测模型的一示意图；
24.图7是本技术实施例的单点特征提取层的一示例图；
25.图8是本技术实施例的局部特征提取层的一示例图；
26.图9是本技术实施例的全局特征提取层的一示例图；
27.图10是本技术实施例的特征合并层的一示例图；
28.图11是本技术实施例的动作识别层的一示例图；
29.图12是本技术实施例的基于神经网络的动作检测装置的一示意图；
30.图13是本技术实施例的电子设备的示意图。
具体实施方式
31.参照附图，通过下面的说明书，本技术实施例的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本技术的特定实施方式，其表明了其中可以采用本技术实施例的原则的部分实施方式，应了解的是，本技术不限于所描述的实施方式，相反，本技术实施例包括落入所附权利要求的范围内的全部修改、变型以及等同物。
32.在本技术实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
33.在本技术实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据
……”
，术语“基于”应理解为“至少部分基于
……”
，除非上下文另外明确指出。
34.针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
35.在本技术实施例中，雷达可以是毫米波(mmwave)雷达，但不限于此。该雷达通过发射天线发射电磁波，经过不同物体反射后接收到相应的反射波(可称为雷达回波信息)。通过对雷达回波信息进行分析，能够有效提取到物体距离雷达的位置、径向运动速度等信息，这些信息能够满足许多应用场景的需求。
36.在本技术实施例中，作为检测目标的物体可以是各种年龄阶段的人，例如可以是老年人，也可以是儿童，还可以是老年人和/或护理人员，儿童和/或监护人员。本技术不限于此，作为检测目标的物体还可以是具有生命特征的动物，或者是不具有生命特征的机器人等等。以下以人体为例进行说明。
37.第一方面的实施例
38.本技术实施例提供一种基于神经网络的动作检测方法。图1是本技术实施例的基于神经网络的动作检测方法的一示意图，如图1所示，该方法包括：
39.101，通过雷达对物体进行感知以获得点云数据；
40.102，对一段时间内获得的点云数据进行预处理，获得排序后的多个点的多维特征数据；以及
41.103，利用基于神经网络的动作检测模型对所述特征数据进行动作检测，以输出所述物体的关键点数据。
42.值得注意的是，以上附图1仅示意性地对本技术实施例进行了说明，但本技术不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图1的记载。
43.在一些实施例中，雷达通过无线信号对外部空间进行感知，雷达输出的点云数据包括雷达检测到的空间中物体的距离、速度和位置信息，等等。雷达周期性地发射无线信号进行检测，点云信息也是周期性的输出的。雷达执行一次检测所输出的点云信息，可称为一帧点云数据。
44.在本技术实施例中，以n帧连续的雷达点云数据为输入，经过雷达点云数据的预处理和动作检测模型的计算，输出人体的关键点信息，用来表示人的动作。n帧雷达点云数据可以用表示；帧序号i按照时间顺序进行排列，帧序号越大说明其对应的点云数据出现的越晚，因此pn表示最新的雷达点云数据。
45.在一些实施例中，雷达的一帧点云数据p由若干个点组成，p＝{pj,1≤j≤n}，其中n是该帧点云包含的点数，pj是第j个点。点云数据中一个点用p表示，p＝(s,v,p,x,y,z)，其中s为帧序号，v为相对雷达的多普勒速度，p为该点的信号强度，(x,y,z)是其空间坐标值。
46.在一些实施例中，人体关键点对应人体的主要关节或器官，例如鼻子、肩、手肘、手腕、胯等。本技术对人体关键点的选择没有限制，根据具体应用的需求，可以选择不同的人体关键点。
47.图2是本技术实施例的人体关键点的一示例图。如图2所示，人体关键点信息可以
指关键点对应的人体关节或器官的相对位置关系，用h＝{(xk,yk,zk),1≤k≤m}表示，(xk,yk,zk)为第k个关键点的坐标。当只有2维位置信息时，可以将关键点坐标的某一维置为0；例如可以将z置为0，这样只有(x,y)包含有效的位置信息。
48.以上对于雷达点云数据进行了示意性说明，以下对于数据预处理进行说明。
49.图3是本技术实施例的数据预处理的一示意图，如图3所示，该预处理可包括：
50.301，点云数据的杂点过滤；
51.在一些实施例中，可以过滤(删除)掉所述一段时间内获得的n帧点云数据中多普勒速度的绝对值小于速度阈值t1的点。
52.例如，如前所述，输入数据为n帧雷达点云数据用表示，其中pi为第i帧雷达点云数据。人在执行某种动作过程中，在雷达上会产生具有一定速度的点云；多普勒速度很小的点云在预测人的动作过程中起的作用不大。因此，在点云数据的杂点过滤操作中，可以删除雷达点云数据中多普勒速度绝对值小于阈值t1的点。
53.302，点云数据合并；
54.在一些实施例中，可以将n帧点云数据按照时间顺序进行合并，以获得最新出现的多个点云数据。
55.例如，为了解决单帧雷达点云数据不足的问题，点云数据合并操作将输入的n帧雷达点云数据按照帧序号从大到小的顺序合并起来，得到一帧数量不大于阈值t2的点云；即，点云数据合并操作从n帧点云数据中选择最新出现的不大于t2个点。合并后的一帧点云数据可以用pc＝{pj,1≤j≤c}表示，其中c≤t2是合并后点云数据中点的数量。
56.303，点云数据特征扩展；
57.在一些实施例中，可以根据空间位置信息对多个点云数据进行特征扩展，以针对每个点云数据获得多个附加特征。例如，点云数据特征扩展操作根据点云的空间位置信息计算其邻域空间特性作为点云的附加特征。
58.图4是本技术实施例的点云数据特征扩展的一示意图，如图4所示，该特征扩展包括：
59.401，选择点云数据中的一个点pj；
60.402，对于该点pj，计算pj与其他所有点之间的欧氏距离；
61.例如，对于合并后点云数据pc中的某个点pj，计算pj与合并后点云数据pc其他所有点的欧氏距离。
62.403，计算所述欧氏距离中最小的d个距离的均值；
63.例如，假设d为4，则从402计算出的多个欧氏距离中选择最小的4个欧氏距离，计算这4个欧氏距离的均值；
64.404，将所述均值作为所述点pj的一个附加特征，其中d为正整数。
65.由此，通过上述403和404，可以为该点pj扩展一个特征。
66.在一些实施例中，还可以为所述点pj选择m个d的不同值，以获得所述m个d的不同值所对应的n个附加特征，其中m为正整数。
67.如图4所示，所述特征扩展还可以包括：
68.405，确定是否m个d值已经被使用，如果为是则执行407，如果为否则执行406；
69.406，更新d的值，并继续执行403；
70.例如d共有3个不同值(m＝3)，分别为4、5、6；在d＝4的情况下可以执行403和404得到一个附加特征，之后可以将d更新为5，在d＝5的情况下可以执行403和404得到另一个附加特征，之后可以将d更新为6，在d＝6的情况下可以执行403和404得到另一个附加特征；由此可以获得3(m＝3)个附加特征。
71.407，确定是否还有其他点，在还有其他点的情况下执行401，继续针对其他点进行特征扩展；如果没有其他点则结束该特征扩展过程。
72.值得注意的是，以上附图4仅示意性地对本技术实施例的特征扩展进行了说明，但本技术不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图4的记载。
73.如图3所示，该预处理还可包括：
74.304，点云数据特征归一化；
75.在一些实施例中，可以对除多普勒速度和高度之外的其他特征执行归一化操作。
76.例如，点云数据特征归一化操作在特征扩展后的点云上，对除多普勒速度v和高度z之外的特征执行归一化操作。具体地，对一帧特征扩展的点云的特征a进行归一化时，首先计算点云中所有点在特征a上的均值ea和标准差va，然后将所有点云的特征a的值减去均值ea除以标准差va。特征a可以是点云特征(s,p,x,y)和扩展距离相关特征。
77.305，点云数据排序；
78.在一些实施例中，可以按照多普勒速度对多个点云数据进行排序；例如点云数据排序操作对点云数据中所有点按照多普勒速度的绝对值以降序(或升序)进行排序。但本技术不限于此，例如还可以按照信号强度排序，或者按照帧序号排序，等等。
79.306，点云数据补齐；
80.在一些实施例中，在所述点云数据的点数量小于数量阈值t2的情况下，添加空数据使得点数量等于所述数量阈值t2，其中t2为正整数。
81.例如，点云数据补齐操作在点云数据中添加空数据，使点云数量等于t2；所谓空数据指点云数据在各个特征维上的取值均为0。该操作保证进入后续动作检测模型的点云具有相同数量的点，数据长度一致。
82.值得注意的是，以上附图3仅示意性地对本技术实施例的预处理进行了说明，但本技术不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图3的记载。
83.经过上述点云数据的预处理操作后，n帧雷达点云数据被整合为一帧点云数据，其结果可以用p
′
＝{p
′j,1≤j≤t2}表示；p
′j＝(s
′j,vj,p
′j,x
′j,y
′j,zj,d
′
j,1
,d
′
j,2
,
…
,d
′
j,e
)是一个经过预处理的点数据，其中vj和zj分别为该点的多普勒频点和高度值，s
′j和p
′j分别为该点数据归一化的帧序号和能量值，(x
′j,y
′j)为归一化后该点数据在水平面上的坐标值，(d
′
j,1
,d
′
j,2
,
…
,d
′
j,e
)是该点数据归一化的扩展特征，e表示扩展特征的个数。
84.预处理的点云数据p
′
由t2个点组成，每个点具有e+6维特征，因此p
′
也可以表示为一个大小为(t2,e+6)的二维矩阵，其中每一行表示点云中一个点的数据，每一列表示点云中所有点在某个特征维上的数据。
85.以上对于数据预处理进行了示意性说明，以下再对动作检测进行说明。
86.图5是本技术实施例的动作检测的一示意图，如图5所示，该动作检测包括：
87.501，对单个点的特征进行卷积和非线性运算以获得单点特征数据；
88.502，对多个相邻点的特征进行卷积和非线性运算以获得局部特征数据；
89.503，对全部点的特征进行卷积和非线性运算以获得全局特征数据；
90.504，将所述单点特征数据、所述局部特征数据和所述全局特征数据进行特征合并；以及
91.505，对合并后的特征数据进行运算以输出所述关键点数据。
92.值得注意的是，以上附图5仅示意性地对本技术实施例的动作检测进行了说明，但本技术不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图5的记载。
93.在本技术实施例中，动作检测模型是一种基于神经网络的模型，将预处理后的点云数据p
′
输入该动作检测模型后，可以输出点云对应时刻的人体关键点信息h＝{(xk,yk,zk),1≤k≤m}，其中(xk,yk,zk)是第k个人体关键点的空间坐标。
94.图6是本技术实施例的基于神经网络的动作检测模型的一示意图，如图6所示，该基于神经网络的动作检测模型包括：
95.单点特征提取层601，其对单个点的特征进行卷积和非线性运算以获得单点特征数据；
96.局部特征提取层602，其对多个相邻点的特征进行卷积和非线性运算以获得局部特征数据；
97.全局特征提取层603，其对全部点的特征进行卷积和非线性运算以获得全局特征数据；
98.特征合并层604，其将所述单点特征数据、所述局部特征数据和所述全局特征数据进行特征合并；以及
99.动作识别层605，其对合并后的特征数据进行运算以输出所述关键点数据。
100.在一些实施例中，单点特征提取层601在对单个点的特征进行卷积和非线性运算之前，还对输入的数据进行一维批归一化；对单个点的特征进行卷积和非线性运算中，卷积核的大小为1。
101.图7是本技术实施例的单点特征提取层的一示例图。如图7所示，第1层是一维批归一化层(1d batch normalization layer)701，对输入的每一列数据(即点云在各特征的数据)进行归一化；
102.如图7所示，第2层是一维卷积层(1d convolutional layer)702，对每个点所有特征上的数据进行卷积和非线性运算，其中卷积的核大小为1，步长为1，输出的通道数为n1。
103.单点特征提取层601的输入是预处理的点云数据p
′
，其数据组成大小为(t2,e+6)的二维矩阵；经过图7所示的单点特征提取层601的处理，得到单点的特征数据f1，其大小为(t2,n1)，并可以作为后续的局部特征提取层602的输入。为了获得更复杂的单点特征，可以将图7所示的结构多次叠加，以组成更复杂的单点特征提取层601。
104.在一些实施例中，局部特征提取层602在对多个相邻点的特征进行卷积和非线性
运算之前，还对输入的数据进行一维批归一化；对多个相邻点的特征进行卷积和非线性运算中，卷积核的大小为大于1的整数。
105.图8是本技术实施例的局部特征提取层的一示例图。如图8所示，第1层是一维批归一化层801，对输入的每一列数据(即f1各通道的数据)进行归一化操作；第2层是一维卷积层802，对k1行f1数据进行卷积和非线性运算，其中卷积的核大小为k1，步长为1，输出通道数为n2。k1为大于1的整数。
106.经过图8所示的局部特征提取层602的处理，得到点云局部特征数据f2，其大小为(t2,n2)，并可以作为后续的全局特征提取层603的输入。为了获得更复杂的点云局部特征，可以将图8所示的结构多次叠加，以组成更复杂的局部特征提取层602。
107.在一些实施例中，全局特征提取层603在对全部点的特征进行卷积和非线性运算之前，还对单点特征数据或者局部特征数据进行转置，并对转置后的特征数据进行一维批归一化；对全部点的特征进行卷积和非线性运算中，卷积核的大小为大于0的整数。
108.图9是本技术实施例的全局特征提取层的一示例图。如图9所示，第1层对输入数据(即点云局部特征数据f2)进行转置901，获得大小为(n2,t2)的点云数据，其中每一行表示点云中所有邻居点云在某个通道上的数据，每一列表示点云中一组邻居点云在各通道上的数据；
109.如图9所示，第2层是一维批归一化层902，对第1层输出的每一列数据(即邻居点云在各通道上的数据)进行归一化操作；第3层是一维卷积层903，对k2行上一层的输出数据(即k2个通道上的所有邻居点云数据)进行卷积和非线性运算，其中卷积的核大小为k2，步长为1，通道数为n3。k2为大于0的整数。
110.经过图9所示的全局特征提取层603的处理，得到点云全局特征数据f3，其大小为(n2,n3)。为了获得更复杂的点云全局特征，可以将图9所示的第2层和第3层多次叠加，以获得更复杂的全局特征提取层603。
111.在一些实施例中，特征合并层604在将所述单点特征数据、所述局部特征数据和所述全局特征数据进行特征合并之前，还可以将所述单点特征数据进行池化；将所述局部特征数据进行池化；以及将所述全局特征数据进行转置并进行池化。
112.在一些实施例中，特征合并层604将所述单点特征数据、所述局部特征数据和所述全局特征数据进行特征合并包括：将池化后的所述单点特征数据、所述局部特征数据和所述全局特征数据进行求和；以及将求和后的数据展开为一维向量。
113.图10是本技术实施例的特征合并层的一示例图。如图10所示，特征合并层604将单点特征f1、点云局部特征f2、点云全局特征f3合并起来，形成用于后续动作识别的点云特征f。
114.如图10所示，单点特征f1是大小为(t2,n1)的数据矩阵，经过池化层1001的处理，抽取部分特征得到大小为(t2,n4)的数据矩阵；点云局部特征f2是大小为(t2,n2)的数据矩阵，经过池化层1002的处理，抽取部分特征得到大小为(t2,n4)的数据矩阵；f3为(n2,n3)的数据矩阵，经过数据转置1003和池化层1004的处理，抽取部分特征得到大小为(t2,n4)的数据矩阵。
115.然后，如图10所示，第5层1005把所有池化后的结果求和并展开为一维向量，得到用于后续动作识别的特征f；f为大小为t2×
n4的一维向量。在本技术实施例中，池化层所使
用的具体算法不作限制，例如可以采用常规的最大值池化(max pooling)或均值池化(average pooling)等。
116.在一些实施例中，动作识别层605对合并后的特征数据进行运算以输出所述关键点数据包括：使用全连接对合并后的特征数据进行加权和非线性运算。
117.图11是本技术实施例的动作识别层的一示例图。如图11所示，动作识别层605以合并后的特征f为输入，经过运算输出人体的关键点数据h。如图11所示，全连接层1101对合并特征f进行加权和非线性运算，输出人体的关键点数据。为了适应更复杂的情况，可以将图11所示结构进行多次叠加，获得多层全连接网络，形成更复杂的动作识别层605。
118.以上对于动作检测方法和动作检测模型进行了示意性说明。动作检测模型包含大量参数，本技术实施例可以通过有监督的训练方法获得一组/多组最优参数；然后将参数应用到该动作检测模型中，对输入的雷达点云数据进行运算，得到相应的人体关键点信息。本技术实施例对模型的具体训练不作限定，例如可以使用sgd(stochastic gradient descent)优化、adam(adaptive moment estimation)优化，等等。
119.以上仅对与本技术相关的各步骤或过程进行了说明，但本技术不限于此。动作检测方法还可以包括其他步骤或者过程，关于这些步骤或者过程的具体内容，可以参考现有技术。此外，以上仅以动作检测模型的一些结构为例对本技术实施例进行了示例性说明，但本技术不限于这些结构，还可以对这些结构进行适当的变型，这些变型的实施方式均应包含在本技术实施例的范围之内。
120.以上各个实施例仅对本技术实施例进行了示例性说明，但本技术不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
121.由上述实施例可知，通过雷达对物体进行感知以获得点云数据；对一段时间内获得的点云数据进行预处理，获得排序后的多个点的多维特征数据；以及利用基于神经网络的动作检测模型对所述特征数据进行动作检测，以输出所述物体的关键点数据。由此，根据雷达点云检测物体(例如人体)的关键点，不限定动作类别，需要的计算资源少，检测准确率高。
122.第二方面的实施例
123.本技术实施例提供一种基于神经网络的动作检测装置，与第一方面的实施例相同的内容不再赘述。
124.图12是本技术实施例的基于神经网络的动作检测装置的一示意图，如图12所示，基于神经网络的动作检测装置1200包括：
125.感知单元1201，其通过雷达对物体进行感知以获得点云数据；
126.预处理单元1202，其对一段时间内获得的点云数据进行预处理，获得排序后的多个点的多维特征数据；以及
127.检测单元1203，其利用基于神经网络的动作检测模型对所述特征数据进行动作检测，以输出所述物体的关键点数据。
128.在一些实施例中，所述预处理单元1202还用于：
129.过滤掉所述一段时间内获得的n帧点云数据中多普勒速度的绝对值小于速度阈值t1的点；和/或
130.将n帧点云数据按照时间顺序进行合并，以获得最新出现的多个点云数据；其中n和t1均为正整数。
131.在一些实施例中，所述预处理单元1202还用于：
132.根据空间位置信息对多个点云数据进行特征扩展，以针对每个点云数据获得多个附加特征；以及
133.对除多普勒速度和高度之外的其他特征执行归一化操作。
134.在一些实施例中，所述特征扩展包括：
135.对于点p，计算p与其他所有点之间的欧氏距离；
136.计算所述欧氏距离中最小的d个距离的均值，以及
137.将所述均值作为所述点p的一个附加特征，其中d为正整数；
138.其中，为所述点p选择d的m个不同值，以获得所述d的m个不同值所对应的m个附加特征，其中m为正整数。
139.在一些实施例中，所述预处理单元1202还用于：
140.按照多普勒速度对多个点云数据进行排序；以及
141.在所述点云数据的点数量小于数量阈值t2的情况下，添加空数据使得点数量等于所述数量阈值t2，其中t2为正整数。
142.在一些实施例中，如图6所示，所述基于神经网络的动作检测模型包括：
143.单点特征提取层601，其对单个点的特征进行卷积和非线性运算以获得单点特征数据；
144.局部特征提取层602，其对多个相邻点的特征进行卷积和非线性运算以获得局部特征数据；
145.全局特征提取层603，其对全部点的特征进行卷积和非线性运算以获得全局特征数据；
146.特征合并层604，其将所述单点特征数据、所述局部特征数据和所述全局特征数据进行特征合并；以及
147.动作识别层605，其对合并后的特征数据进行运算以输出所述关键点数据。
148.在一些实施例中，所述单点特征提取层601在对单个点的特征进行卷积和非线性运算之前，还对输入的数据进行一维批归一化；对单个点的特征进行卷积和非线性运算中，卷积核的大小为1；
149.所述局部特征提取层602在对多个相邻点的特征进行卷积和非线性运算之前，还对输入的数据进行一维批归一化；对多个相邻点的特征进行卷积和非线性运算中，卷积核的大小为大于1的整数；
150.所述全局特征提取层603在对全部点的特征进行卷积和非线性运算之前，还对单点特征数据或者局部特征数据进行转置，并对转置后的特征数据进行一维批归一化；对全部点的特征进行卷积和非线性运算中，卷积核的大小为大于0的整数。
151.在一些实施例中，所述特征合并层604在将所述单点特征数据、所述局部特征数据和所述全局特征数据进行特征合并之前，将所述单点特征数据进行池化；将所述局部特征数据进行池化；以及将所述全局特征数据进行转置并进行池化。
152.在一些实施例中，所述特征合并层604将池化后的所述单点特征数据、所述局部特
征数据和所述全局特征数据进行求和；以及将求和后的数据展开为一维向量。
153.在一些实施例中，所述动作识别层605使用全连接对合并后的特征数据进行加权和非线性运算。
154.值得注意的是，以上仅对与本技术相关的各部件或模块进行了说明，但本技术不限于此。基于神经网络的动作检测装置1200还可以包括其他部件或者模块，关于这些部件或者模块的具体内容，可以参考相关技术。
155.为了简单起见，图12中仅示例性示出了各个部件或模块之间的连接关系或信号走向，但是本领域技术人员应该清楚的是，可以采用总线连接等各种相关技术。上述各个部件或模块可以通过例如处理器、存储器等硬件设施来实现；本技术实施例并不对此进行限制。
156.以上各个实施例仅对本技术实施例进行了示例性说明，但本技术不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
157.由上述实施例可知，通过雷达对物体进行感知以获得点云数据；对一段时间内获得的点云数据进行预处理，获得排序后的多个点的多维特征数据；以及利用基于神经网络的动作检测模型对所述特征数据进行动作检测，以输出所述物体的关键点数据。由此，根据雷达点云检测物体(例如人体)的关键点，不限定动作类别，需要的计算资源少，检测准确率高。
158.第三方面的实施例
159.本技术实施例提供一种电子设备，包括有如第二方面的实施例所述的基于神经网络的动作检测装置1200，其内容被合并于此。该电子设备例如可以是计算机、服务器、工作站、膝上型计算机、智能手机，等等；但本技术实施例不限于此。
160.图13是本技术实施例的电子设备的示意图。如图13所示，电子设备1300可以包括：处理器(例如中央处理器cpu)1310和存储器1320；存储器1320耦合到中央处理器1310。其中该存储器1320可存储各种数据；此外还存储信息处理的程序1321，并且在处理器1310的控制下执行该程序1321。
161.在一些实施例中，基于神经网络的动作检测装置1200的功能被集成到处理器1310中实现。其中，处理器1310被配置为实现如第一方面的实施例所述的基于神经网络的动作检测方法。
162.在一些实施例中，基于神经网络的动作检测装置1200与处理器1310分开配置，例如可以将基于神经网络的动作检测装置1200配置为与处理器1310连接的芯片，通过处理器1310的控制来实现基于神经网络的动作检测装置1200的功能。
163.例如，处理器1310被配置为进行如下的控制：通过雷达对物体进行感知以获得点云数据；对一段时间内获得的点云数据进行预处理，获得排序后的多个点的多维特征数据；以及利用基于神经网络的动作检测模型对所述特征数据进行动作检测，以输出所述物体的关键点数据。
164.此外，如图13所示，电子设备1300还可以包括：输入输出(i/o)设备1330和显示器1340等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备1300也并不是必须要包括图13中所示的所有部件；此外，电子设备1300还可以包括图13中没有示出的部件，可以参考相关技术。
165.本技术实施例还提供一种计算机可读程序，其中当在电子设备中执行所述程序时，所述程序使得计算机在所述电子设备中执行如第一方面的实施例所述的基于神经网络的动作检测方法。
166.本技术实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行如第一方面的实施例所述的基于神经网络的动作检测方法。
167.本技术以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本技术涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本技术还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、dvd、flash存储器等。
168.结合本技术实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图中所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(fpga)将这些软件模块固化而实现。
169.软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于asic中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的mega-sim卡或者大容量的闪存装置，则该软件模块可存储在该mega-sim卡或者大容量的闪存装置中。
170.针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，可以实现为用于执行本技术所描述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp通信结合的一个或多个微处理器或者任何其它这种配置。
171.以上结合具体的实施方式对本技术进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本技术保护范围的限制。本领域技术人员可以根据本技术原理对本技术做出各种变型和修改，这些变型和修改也在本技术的范围内。
172.关于包括以上实施例的实施方式，还公开下述的附记：
173.附记1.一种基于神经网络的动作检测方法，包括：
174.通过雷达对物体进行感知以获得点云数据；
175.对一段时间内获得的点云数据进行预处理，获得排序后的多个点的多维特征数据；以及
176.利用基于神经网络的动作检测模型对所述特征数据进行动作检测，以输出所述物体的关键点数据。
177.附记2.根据附记1所述的方法，其中，所述预处理包括：
178.过滤(删除)掉所述一段时间内获得的n帧点云数据中多普勒速度的绝对值小于速度阈值t1的点。
179.附记3.根据附记1或2所述的方法，其中，所述预处理还包括：
180.将n帧点云数据按照时间顺序进行合并，以获得最新出现的多个点云数据。
181.附记4.根据附记1至3任一项所述的方法，其中，所述预处理还包括：
182.根据空间位置信息对多个点云数据进行特征扩展，以针对每个点云数据获得多个附加特征；以及
183.对除多普勒速度和高度之外的其他特征执行归一化操作。
184.附记5.根据附记4所述的方法，其中，所述特征扩展包括：
185.对于点p，计算p与其他所有点之间的欧氏距离；
186.计算所述欧氏距离中最小的d个距离的均值，以及
187.将所述均值作为所述点p的一个附加特征，其中d为正整数。
188.附记6.根据附记5所述的方法，其中，所述特征扩展还包括：
189.为所述点p选择m个d的不同值，以获得所述m个d的不同值所对应的n个附加特征，其中m为正整数。
190.附记7.根据附记1至6任一项所述的方法，其中，所述预处理还包括：
191.按照多普勒速度对多个点云数据进行排序；以及
192.在所述点云数据的点数量小于数量阈值t2的情况下，添加空数据使得点数量等于所述数量阈值t2，其中t2为正整数。
193.附记8.根据附记1至7任一项所述的方法，其中，所述动作检测包括：
194.对单个点的特征进行卷积和非线性运算以获得单点特征数据；
195.对多个相邻点的特征进行卷积和非线性运算以获得局部特征数据；
196.对全部点的特征进行卷积和非线性运算以获得全局特征数据；
197.将所述单点特征数据、所述局部特征数据和所述全局特征数据进行特征合并；以及
198.对合并后的特征数据进行运算以输出所述关键点数据。
199.附记9.根据附记8所述的方法，其中，在对单个点的特征进行卷积和非线性运算之前，还对输入的数据进行一维批归一化；
200.对单个点的特征进行卷积和非线性运算中，卷积核的大小为1。
201.附记10.根据附记8或9所述的方法，其中，在对多个相邻点的特征进行卷积和非线性运算之前，还对输入的数据进行一维批归一化；
202.对多个相邻点的特征进行卷积和非线性运算中，卷积核的大小为大于1的整数。
203.附记11.根据附记8至10任一项所述的方法，其中，在对全部点的特征进行卷积和非线性运算之前，还对单点特征数据或者局部特征数据进行转置，并对转置后的特征数据进行一维批归一化；
204.对全部点的特征进行卷积和非线性运算中，卷积核的大小为大于0的整数。
205.附记12.根据附记8至11任一项所述的方法，其中，在将所述单点特征数据、所述局部特征数据和所述全局特征数据进行特征合并之前，所述方法还包括：
206.将所述单点特征数据进行池化；
207.将所述局部特征数据进行池化；以及
208.将所述全局特征数据进行转置并进行池化。
209.附记13.根据附记12所述的方法，其中，将所述单点特征数据、所述局部特征数据和所述全局特征数据进行特征合并包括：
210.将池化后的所述单点特征数据、所述局部特征数据和所述全局特征数据进行求和；以及
211.将求和后的数据展开为一维向量。
212.附记14.根据附记8至13任一项所述的方法，其中，对合并后的特征数据进行运算以输出所述关键点数据包括：
213.使用全连接对合并后的特征数据进行加权和非线性运算。
214.附记15.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置为执行所述计算机程序而实现如附记1至14任一项所述的基于神经网络的动作检测方法。
215.附记16.一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行如附记1至14任一项所述的基于神经网络的动作检测方法。