基于雷达测量的人员计数的制作方法

本公开的各种示例整体上涉及基于雷达测量的人员计数。

背景技术：

1、人员计数是指确定场景中的人员的计数。确定由传感器监视的场景中的人员计数。

2、人员计数在各种使用情况(诸如监视入口或限制区域的事故)中都很有帮助。

3、基于使用相机获取的图像进行人员计数是已知的。参见us7692684b2、us20140355829a1和us20160109566a1。还参见：li,bin,et al.“a people countingmethod based on head detection and tracking.”2014international conference onsmart computing.ieee,2014。此外，参见jiang,xiaoheng,et al.“attention scalingfor crowd counting.”proceedings of the ieee/cvf conference on computer visionand pattern recognition.2020。这样的技术面临一定的限制。例如，已注意到基于相机图像的人员计数的准确性随着照明条件而变化。

4、基于雷达的人员计数可以缓解一部分上述限制和缺点。根据kr 10-2051855、kr10-1582404、kr 10-1678373以及kr 10-1917313，已知基于雷达的人员计数的参考技术。在aydogdu,cem yusuf,et al.“multi-modal cross learning for improved peoplecounting using short-range fmcw radar.”2020ieee international radarconference(radar).ieee,2020中公开了基于相机图像和雷达测量数据集的融合的另一技术。

技术实现思路

1、需要先进的人员计数技术。具体地，需要基于雷达测量的先进的人员计数技术。

2、独立权利要求的特征满足了该需求。从属权利要求的特征限定了实施例。

3、在下文中，将公开有助于基于雷达测量进行人员计数的技术。使用所公开的技术，可以确定准确的人员计数。可以对相当多的人进行计数，例如多达5或10人。可以基于雷达测量数据将场景中站得近的人分离。

4、一种计算机实施的方法包括：基于通过场景的雷达测量获得的雷达测量数据集，确定第一距离多普勒测量图，并且确定第二距离多普勒测量图。第一距离多普勒测量图指示场景中包括的一个或多个人的宏多普勒特征。第二距离多普勒测量图指示场景中包括的一个或多个人的微多普勒特征。第一距离多普勒测量图和第二距离多普勒测量图各自沿着距离维度和多普勒维度而被解析。计算机实施的方法还包括估计场景中包括的一个或多个人的人员计数。人员计数的所述估计包括将第一距离多普勒测量图输入到神经网络算法的第一数据处理管线，以及将第二距离多普勒测量图输入到神经网络算法的第二数据处理管线。第一数据处理管线和第二数据处理管线中的每一个包括距离多普勒卷积层，其实现沿着距离维度和多普勒维度的2维卷积。神经网络算法还包括输出区段，其用于在回归块中处理第一数据处理管线的第一输出和第二数据处理管线的第二输出的组合。

5、例如，回归块可以输出预测人员计数的一维(1-d)值。在包括单个神经元的回归块中可以包括相应的完全连接层。

6、备选地或附加地，回归块可以输出更高维度的值，即，在嵌入空间中具有特定位置的相应特征向量(嵌入输出)。嵌入空间的维数可以通过回归块的相应完全连接层的神经元计数来限定。然后可以基于嵌入空间中的位置来预测人员计数。

7、例如，如果与宏多普勒距离多普勒测量图相比，微多普勒距离多普勒测量图可以指示在更长的观察周期内观察到的特征。

8、例如，微多普勒距离多普勒测量图可以基于雷达测量帧的第一计数来确定，并且宏多普勒距离多普勒测量图可以基于雷达测量帧的第二计数来确定，其中第一计数大于第二计数。因此，如果与由宏多普勒距离多普勒测量图提供的速度分辨率相比，由微多普勒距离多普勒测量图提供的速率分辨率可以更高。

9、计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由至少一个处理器加载和执行。在加载和执行程序代码时，至少一个处理器执行计算机实施的方法。计算机实施的方法包括基于通过场景的雷达测量获得的雷达测量数据集来确定第一距离多普勒测量图和确定第二距离多普勒测量图。第一距离多普勒测量图指示场景中包括的一个或多个人的宏多普勒特征。第二距离多普勒测量图指示场景中包括的一个或多个人的微多普勒特征。第一距离多普勒测量图和第二距离多普勒测量图各自沿着距离维度和多普勒维度而被解析。计算机实施的方法还包括估计场景中包括的一个或多个人的人员计数。人员计数的所述估计包括将第一距离多普勒测量图输入到神经网络算法的第一数据处理管线，以及将第二距离多普勒测量图输入到神经网络算法的第二数据处理管线。第一数据处理管线和第二数据处理管线中的每一个包括距离多普勒卷积层，该距离多普勒卷积层实现沿着距离维度和多普勒维度的2维卷积。神经网络算法还包括输出区段，其用于在回归块中处理第一数据处理管线的第一输出和第二数据处理管线的第二输出的组合。

10、一种计算机实施的方法包括基于通过场景的雷达测量获得的雷达测量数据集来确定指示场景中包括的一个或多个人的特征的至少一个测量图。该方法还包括在包括回归块的机器学习算法中处理至少一个测量图。回归块的输出的嵌入空间中的预定义区域与场景中包括的一个或多个人的不同人员计数相关联。在嵌入空间中对预定义区域进行排序。计算机实施的方法还包括应用跟踪滤波器来跟踪多个后续雷达测量数据集的嵌入空间中的回归块的输出的演变。

11、可以使用不同类型的测量图，例如，距离多普勒测量图、二维角度测量图或距离-角度测量图。如上所述，可以在预处理中依赖于微多普勒和宏多普勒特征分离，即，提供相应的微多普勒和宏多普勒测量图。

12、计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由至少一个处理器加载和执行。在加载并执行程序代码时，至少一个处理器执行计算机实施的方法。计算机实施的方法包括基于通过场景的雷达测量获得的雷达测量数据集来确定指示场景中包括的一个或多个人的特征的至少一个测量图。该方法还包括在包括回归块的机器学习算法中处理至少一个测量图。回归块的输出的嵌入空间中的预定义区域与场景中包括的一个或多个人的不同人员计数相关联。在嵌入空间中对预定义区域进行排序。计算机实施的方法还包括应用跟踪滤波器来跟踪多个后续雷达测量数据集的嵌入空间中的回归块的输出的演变。

13、一种计算机实施的方法包括获得通过一个或多个场景的雷达测量获得的多个训练雷达测量数据集。该方法还包括针对多个训练雷达测量数据集中的每一个获得指示一个或多个场景中的相应场景中的一个或多人的人员计数的相应地面实况标签。该方法还包括针对多个训练雷达测量数据集中的每一个，确定指示一个或多个场景中的相应场景中包括的一个人或多个人的宏多普勒特征的相应第一距离多普勒测量图，并且确定与场景中包括的一个或多个人的微多普勒特征相关联的相应第二距离多普勒测量图，第一距离多普勒测量图和第二距离多普勒测量图沿着距离维度和多普勒维度而被解析。该方法还包括，针对多个训练雷达测量数据集中的每一个，将第一距离多普勒测量图输入到神经网络算法的第一数据处理管线中，并将第二距离多普勒测量图输入到神经网络算法的第二数据处理管线中，其中第一数据处理管线和第二数据处理管线中的每一个包括距离多普勒卷积层，该距离多普勒卷积层实现沿着距离维度和多普勒维度的二维卷积。相应内核可以沿着距离维度和多普勒维度而被移动。神经网络算法包括输出区段，用于在回归块中处理第一数据处理管线的第一输出和第二数据处理管线的第二输出的组合。基于回归块的输出，可以确定场景中的一个或多个人的人员计数。该方法还包括使用标签感知分级损失来执行神经网络算法的训练，其中对于具有指示相同人员计数的地面实况标签的训练雷达测量数据集的对，标签感知分级损失惩罚回归块的输出的嵌入空间中的较大距离；此外，对于具有指示不同人员计数的地面实况标签的训练雷达测量数据集的对，标签感知分级损失惩罚回归块的输出的嵌入空间中的较小距离；此外，标签感知分级损失考虑了由训练测量数据集的对的地面实况标签指示的人员计数之间的距离。

14、例如，雷达测量可以使用雷达传感器相对于一个或多个场景的多个姿态来设置，该多个姿态包括多个剪切角和/或多个扫描角。

15、计算机程序或计算机程序产品或计算机可读存储介质包括程序代码。程序代码可以由至少一个处理器加载和执行。在加载和执行程序代码时，至少一个处理器执行计算机实施的方法。该计算机实施的方法包括获得通过一个或多个场景的雷达测量获得的多个训练雷达测量数据集。该方法还包括针对多个训练雷达测量数据集中的每一个获得指示一个或多个场景中的相应场景中的一个或多个人的人员计数的相应地面实况标签。该方法还包括针对多个训练雷达测量数据集中的每一个，确定指示一个或多个场景中的相应场景中包括的一个或多个人的宏多普勒特征的相应第一距离多普勒测量图，并且确定与场景中包括的一个或多个人的微多普勒特征相关联的相应第二距离多普勒测量图，第一距离多普勒测量图和第二距离多普勒测量图沿着距离维度和多普勒维度而被解析。该方法还包括，针对多个训练雷达测量数据集中的每一个，将第一距离多普勒测量图输入到神经网络算法的第一数据处理管线中，并且将第二距离多普勒测量图输入到神经网络算法的第二数据处理管线中，其中第一数据处理管线和第二数据处理管线中的每一个包括距离多普勒卷积层，距离多普勒卷积层沿着距离维度和多普勒维度实现二维卷积。神经网络算法包括输出区段，用于在回归块中处理第一数据处理管线的第一输出和第二数据处理管线的第二输出的组合。基于回归块的输出，可以确定场景中的一个或多个人的人员计数。该方法还包括使用标签感知分级损失来执行神经网络算法的训练，其中针对具有指示相同人员计数的地面实况标签的训练雷达测量数据集的对，标签感知分级损失惩罚回归块的输出的嵌入空间中的较大距离；此外，针对具有指示不同人员计数的地面实况标签的训练雷达测量数据集的对，标签感知分级损失惩罚回归块的输出的嵌入空间中的较小距离；此外，标签感知分级损失考虑了由训练测量数据集的对的地面实况标签指示的人员计数之间的距离。

16、提供了实现如上所公开的计算机实施的方法的相应设备。设备可以包括至少一个处理器，该至少一个处理器可以加载并执行程序代码，使得在执行程序代码时，至少一个处理器执行这样的方法。

17、应当理解，在不脱离本发明的范围的情况下，上述特征和以下将要解释的特征不仅可以在所指示的相应组合中使用，还可以在其他组合中使用或单独使用。