便携式三维穿墙成像雷达卷积神经网络部署方法及装置

1.本技术涉及人工智能技术领域，尤其涉及一种便携式三维穿墙成像雷达卷积神经网络部署方法及装置。


背景技术：

2.近年来，随着人工智能与计算机技术的飞速发展，卷积神经网络技术在光学图像处理领域取得巨大突破，随之为三维穿墙雷达图像的处理提供新的思路。目前，已有多个运用卷积神经网络技术处理三维穿墙雷达图像的研究。但相关技术中，卷积神经网络的模型结构庞大复杂，所需计算量大，需要大型计算设备提供实时计算，与三维穿墙雷达系统的便携性能要求冲突。


技术实现要素：

3.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本技术提出一种便携式三维穿墙成像雷达卷积神经网络部署方法及装置，能够提高三维穿墙成像雷达系统的便携性。
4.第一方面，本技术实施例提供了一种便携式三维穿墙成像雷达卷积神经网络部署方法，所述方法包括：
5.获取三维雷达图像；
6.根据所述三维雷达图像对预训练的原始卷积神经网络进行处理，得到轻量化卷积神经网络；
7.将所述轻量化卷积神经网络部署在边缘计算设备上，其中，所述边缘计算设备集成在便携式三维穿墙成像雷达系统中。
8.在本技术的一些实施例中，所述获取三维雷达图像包括：
9.接收原始雷达回波信号，所述雷达回波信号由三维穿墙雷达对墙后场景进行探测得到；
10.对所述原始雷达回波信号进行压缩及滤波处理，得到第一雷达回波信号；
11.根据后向投影成像算法对所述第一雷达回波信号进行处理，得到所述三维雷达图像。
12.在本技术的一些实施例中，所述根据所述三维雷达图像对预训练的原始卷积神经网络进行处理，得到轻量化卷积神经网络包括：
13.根据所述三维雷达图像对所述原始卷积神经网络进行训练，得到第一神经网络；
14.对所述第一神经网络进行裁剪，得到第二神经网络；
15.根据所述原始卷积神经网络对所述第二神经网络进行知识蒸馏，得到所述轻量化卷积神经网络。
16.在本技术的一些实施例中，所述根据所述三维雷达图像对所述原始卷积神经网络进行训练，得到第一神经网络，包括：
17.将所述三维雷达图像输入至所述原始卷积神经网络，得到人体目标信息；
18.根据所述人体目标信息和所述三维雷达图像对应的预设标签计算所述原始卷积神经网络的损失函数，得到损失值；
19.根据所述损失值更新所述原始卷积神经网络的模型参数，得到所述第一神经网络。
20.在本技术的一些实施例中，所述对所述第一神经网络进行裁剪，得到第二神经网络，包括：
21.将所述第一神经网络的模型参数按数值大小进行排序，得到排序后的模型参数；
22.根据预设压缩比删除预设数量的所述排序后的模型参数，得到所述第二神经网络。
23.在本技术的一些实施例中，所述根据所述原始卷积神经网络对所述第二神经网络进行知识蒸馏，得到所述轻量化卷积神经网络，包括：
24.将所述原始卷积神经网络作为教师网络、所述第二神经网络作为学生网络，并将所述三维雷达图像输入至所述教师网络得到第一目标输出；
25.将所述三维雷达图像输入至所述学生网络得到第二目标输出；
26.根据所述第一目标输出和所述第二目标输出，计算得到所述学生网络的目标损失；
27.根据所述目标损失更新所述学生网络的模型参数，得到所述轻量化卷积神经网络。
28.在本技术的一些实施例中，所述根据所述第一目标输出和所述第二目标输出，计算得到所述学生网络的目标损失，包括：
29.对所述第一目标输出和所述第二目标输出进行均方误差计算，得到软损失；
30.对所述第二目标输出和所述三维雷达图像对应的预设标签进行均方误差计算，得到硬损失；
31.对所述软损失和所述硬损失进行加权求和，得到所述目标损失。
32.在本技术的一些实施例中，所述根据所述目标损失更新所述学生网络的模型参数，得到所述轻量化卷积神经网络，包括：
33.将所述目标损失作为反向传播量，并采用梯度下降算法对所述学生网络的模型参数进行优化，得到所述轻量化卷积神经网络。
34.第二方面，本技术实施例还提供了一种便携式三维穿墙成像雷达卷积神经网络部署装置，包括：
35.图像获取模块，用于获取三维雷达图像；
36.图像处理模块，用于根据所述三维雷达图像对预训练的原始卷积神经网络进行处理，得到轻量化卷积神经网络；
37.网络部署模块，用于将所述轻量化卷积神经网络部署在边缘计算设备上，其中，所述边缘计算设备集成在便携式三维穿墙成像雷达系统中。
38.第三方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项实施例所述的方法。
39.本技术实施例提出的便携式三维穿墙成像雷达卷积神经网络部署方法及装置，首先获取三维雷达图像，再根据三维雷达图像对预训练的原始卷积神经网络进行处理，得到轻量化卷积神经网络，之后，将该轻量化卷积神经网络部署在边缘计算设备上，该边缘计算设备集成在便携式三维穿墙成像雷达系统中。本技术通过对原始卷积神经网络进行处理，使经过处理后得到的轻量化卷积神经网络能够部署在边缘计算设备上，并且由于该边缘计算设备集成在便携式三维穿墙成像雷达系统中，由此能够提高三维穿墙成像雷达系统的集成度、实时性和便携性。
40.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。
附图说明
41.附图用来提供对本技术技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
42.图1是本技术一些实施例提供的便携式三维穿墙成像雷达卷积神经网络部署方法的流程图；
43.图2是图1中步骤100的流程图；
44.图3是图1中步骤200的流程图；
45.图4是图3中步骤210的流程图；
46.图5是图3中步骤220的流程图；
47.图6是图3中步骤230的流程图；
48.图7是图6中步骤233的流程图；
49.图8是本技术一些实施例提供的便携式三维穿墙成像雷达卷积神经网络部署装置的模块结构图。
具体实施方式
50.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能理解为对本技术的限制。
51.在本技术的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
52.本技术的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
53.近年来，随着人工智能与计算机技术的飞速发展，卷积神经网络技术在光学图像处理领域取得巨大突破，随之为三维穿墙雷达图像的处理提供新的思路。目前，已有多个运
用卷积神经网络技术处理三维穿墙雷达图像的研究。但相关技术中，卷积神经网络的模型结构庞大复杂，所需计算量大，需要大型计算设备提供实时计算，与三维穿墙雷达系统的便携性能要求冲突，并且，由于大型计算设备和三维穿墙雷达系统之间需要通过无线设备传输数据，导致其时间延迟较高，系统实时性较差。
54.基于此，本技术提供了一种便携式三维穿墙成像雷达卷积神经网络部署方法及装置，该方法如下，首先获取三维雷达图像，再根据三维雷达图像对预训练的原始卷积神经网络进行处理，得到轻量化卷积神经网络，之后，将该轻量化卷积神经网络部署在边缘计算设备上，该边缘计算设备集成在便携式三维穿墙成像雷达系统中。本技术通过对原始卷积神经网络进行处理，使经过处理后得到的轻量化卷积神经网络能够部署在边缘计算设备上，并且由于该边缘计算设备集成在便携式三维穿墙成像雷达系统中，因此本技术能够提高三维穿墙成像雷达系统的集成度、实时性和便携性。
55.本技术实施例提供的便携式三维穿墙成像雷达卷积神经网络部署方法，可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现上述方法的应用等，但并不局限于以上形式。
56.本技术实施例可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费计算机设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
57.下面结合附图，对本技术实施例作进一步的阐述。
58.参考图1，本技术的一些实施例提供了一种便携式三维穿墙成像雷达卷积神经网络部署方法，该方法包括但不限于步骤100、步骤200、步骤300。
59.步骤100，获取三维雷达图像。
60.在一些实施例中，三维雷达图像由三维穿墙成像雷达扫描墙后场景得到，在实际应用中，三维穿墙雷达扫描墙后场景得到三维雷达图像，并将得到的三维雷达图像存储在数据库中，故数据库中保存有若干三维雷达图像，当需要使用该三维雷达图像时，从数据库中查询获取。
61.步骤200，根据三维雷达图像对预训练的原始卷积神经网络进行处理，得到轻量化卷积神经网络。
62.在一些实施例中，获取三维雷达图像后，根据三维雷达图像对预训练的原始卷积神经网络进行处理，得到轻量化卷积神经网络。在实际应用中，为降低原始卷积神经网络的计算量，以适应便携式计算设备需求，并保证原始卷积神经网络的性能，需要对预训练的原
始卷积神经网络进行处理，得到处理后的轻量化卷积神经网络。
63.可以理解的是，卷积神经网络主要由卷积层、非线性激活函数、批归一化层堆叠而成，其通过卷积层提取数据的特征，非线性激活函数实现模型的非线性拟合能力，批归一化层提高泛化能力。通过层层堆叠，卷积神经网络可以提取出数据的深层特征进行后续计算，并输出其计算结果。在三维雷达图像处理中，卷积神经网络一般应用于图像分类上。
64.步骤300，将轻量化卷积神经网络部署在边缘计算设备上。
65.在一些实施例中，将得到的轻量化卷积神经网络部署在边缘计算设备上，该边缘计算设备集成在便携式三维穿墙成像雷达系统中，以此，提高三维穿墙成像雷达系统的集成度、实时性及便携性。可以理解的是，在实际应用中，可以将轻量化卷积神经网络部署在边缘计算设备上之后，再将该边缘计算设备集成在便携式三维穿墙成像雷达系统中。
66.需要说明的是，未经处理的原始卷积神经网络由于其结构庞大复杂，因此不能直接部署在边缘计算设备上，本技术通过对原始卷积神经网络进行处理，使其能够部署在边缘计算设备上，从而集成在便携式三维穿墙成像雷达系统中，进而能够提高三维穿墙成像雷达系统的集成度、实时性和便携性。其中，边缘计算设备是指靠近数据采集端的计算设备，具有体积小、重量轻、功耗低的提点，具有低延迟、高安全性、高稳定性的优势。
67.可以理解的是，卷积神经网络部署是指将取得性能最优的卷积神经网络参数固定下来，通过搭建卷积神经网络运行所需的软件环境，在对应的设备上进行运行。在实际应用中，以英伟达的jetson tx2i嵌入式模块作为本技术实施例的边缘计算设备，首先配置该边缘计算设备的软件环境，对jetson tx2i进行刷机处理，并安装cuda、cudnn、tensorrt等基本库。之后，对卷积神经网络进行转换，具体过程为将基于pytorch运行的卷积神经网络，借助pytorch自带的转换函数，将卷积神经网络转换为onnx模型，然后再转换至tensorrt模型。之后，使用相同的数据，对比在tensorrt平台上运行卷积神经网络的结果和原pytorch平台上卷积神经网络的结果，验证卷积神经网络转换的可靠性。最后，将三维穿墙成像雷达的数据输出接口与tx2i的usb接口连接起来，使得三维雷达图像可以快速输入到tx2i中的卷积神经网络进行计算，完成三维穿墙成像雷达系统的集成。
68.其中，cuda是一种由nvidia推出的通用并行计算架构，该架构使gpu能够解决复杂的计算问题，它包含了cuda指令集架构(isa)以及gpu内部的并行计算引擎；nvidia cudnn(cuda deep neural network)是用于深度神经网络的gpu加速库；tensor是一个有助于在nvidia图形处理单元(gpu)上高性能推理c++库。pytorch是一个开源的python机器学习库，基于torch，用于自然语言处理等应用程序。onnx(open neural network exchange，开放神经网络交换)是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。
69.在一些实施例中，如图2所示，图2是步骤100的细化步骤流程图，步骤100包括但不限于步骤110、步骤120、步骤130。
70.步骤110，接收原始雷达回波信号；
71.步骤120，对原始雷达回波信号进行压缩及滤波处理，得到第一雷达回波信号；
72.步骤130，根据后向投影成像算法对第一雷达回波信号进行处理，得到三维雷达图像。
73.具体的，获取三维雷达图像，首先接收原始雷达回波信号，该原始雷达回波信号由三维穿墙雷达对墙后场景进行探测得到，之后，对原始雷达回波信号进行压缩及滤波处理，
得到第一雷达回波信号，最后，根据后向投影成像算法对第一雷达回波信号进行处理，得到三维雷达图像。在实际应用中，使用便携式三维穿墙成像雷达对墙后场景进行探测得到原始雷达回波信号，在接收到该原始雷达回波信号后，对该原始雷达回波信号进行脉冲压缩以及滑动平均滤波，再通过后向投影成像算法构建得到三维雷达图像。可以理解的是，便携式三维穿墙成像雷达为步进调频连续波多进多出超宽带雷达，具有二维面阵的天线阵列结构，可发射步进调频连续波信号，利用具有多个天线单元的二维面阵天线阵列对空间进行采样，可通过雷达回波获得空间物体的三维信息。
74.在一些实施例中，如图3所示，图3是步骤200的细化步骤流程图，步骤200包括但不限于步骤210、步骤220、步骤230。
75.步骤210，根据三维雷达图像对原始卷积神经网络进行训练，得到第一神经网络；
76.步骤220，对第一神经网络进行裁剪，得到第二神经网络；
77.步骤230，根据原始卷积神经网络对第二神经网络进行知识蒸馏，得到轻量化卷积神经网络。
78.具体的，对预训练的原始卷积神经网络进行处理的具体过程包括，首先根据三维雷达图像训练原始卷积神经网络，得到第一神经网络，提高了原始卷积神经网络的性能，之后，对得到的第一神经网络进行裁剪，得到第二神经网络，简化了第一神经网络的模型结构，降低了使用第一神经网络的计算量，最后，根据原始卷积神经网络对第二神经网络进行知识蒸馏，得到性能较高的轻量化卷积神经网络。
79.在一些实施例中，如图4所示，图4是步骤210的细化步骤流程图，步骤210包括但不限于步骤211、步骤212、步骤213。
80.步骤211，将三维雷达图像输入至原始卷积神经网络，得到人体目标信息；
81.步骤212，根据人体目标信息和三维雷达图像对应的预设标签计算原始卷积神经网络的损失函数，得到损失值；
82.步骤213，根据损失值更新原始卷积神经网络的模型参数，得到第一神经网络。
83.具体的，原始卷积神经网络的训练过程包括，首先将三维雷达图像输入至原始卷积神经网络，得到人体目标信息，再根据人体目标信息和三维雷达图像对应的预设标签计算原始卷积神经网络的损失函数，得到损失值，最后将得到的损失值作为反向传播量，对原始卷积神经网络的模型参数进行更新调整，得到第一神经网络。可以理解的是，可以采用梯度下降算法更新模型参数，通过一步步的迭代求解，能够得到较小化的损失函数，从而更新模型参数，以此提高第一神经网络的性能。
84.在一些实施例中，如图5所示，图5是步骤220的细化步骤流程图，步骤220包括但不限于步骤221、步骤222。
85.步骤221，将第一神经网络的模型参数按数值大小进行排序，得到排序后的模型参数；
86.步骤222，根据预设压缩比删除预设数量的排序后的模型参数，得到第二神经网络。
87.具体的，对第一神经网络进行裁剪，首先将第一神经网络的模型参数按数值大小进行排序，再根据预设压缩比删除预设数量的排序后的模型参数，得到第二神经网络，由此简化了第一神经网络的模型结构。
88.在一些具体实施例中，首先在多种不同墙体、室内人体目标不同姿态的情况下，通过便携式三维穿墙成像雷达，得到室内场景的雷达回波，进而得到三维雷达图像，并标注人体目标信息作为对应标签，由此得到若干三维雷达图像，再将得到的三维雷达图像输入至预训练的原始卷积神经网络，对该原始卷积神经网络进行多次训练，得到性能较好的卷积神经网络，即第一神经网络，之后，再将第一神经网络的模型参数按数值大小进行排序，并根据预设压缩比删除预设数量的模型参数，得到第二神经网络，需要说明的是，为了使删除预设数量的模型参数后得到的第二神经网络的输出大小和原来的第一神经网络的输出大小一致，还可以对裁剪后的第二神经网络的网络结构进行微调，将微调后的网络作为新的第二神经网络，另外，该处的“预设数量”可根据需求进行设定。最后，根据原始卷积神经网络对第二神经网络进行知识蒸馏，得到轻量化卷积神经网络。
89.在一些实施例中，如图6所示，图6是步骤230的细化步骤流程图，步骤230包括但不限于步骤231、步骤232、步骤233、步骤234。
90.步骤231，将原始卷积神经网络作为教师网络、第二神经网络作为学生网络，并将三维雷达图像输入至教师网络得到第一目标输出；
91.步骤232，将三维雷达图像输入至学生网络得到第二目标输出；
92.步骤233，根据第一目标输出和第二目标输出，计算得到学生网络的目标损失；
93.步骤234，根据目标损失更新学生网络的模型参数，得到轻量化卷积神经网络。
94.具体的，根据原始卷积神经网络对第二神经网络进行知识蒸馏的过程包括，首先将原始卷积神经网络作为教师网络，将第二神经网络作为学生网络，之后，将三维雷达图像分别输入至教师网络和学生网络，得到与教师网络对应的第一目标输出以及与学生网络对应的第二目标输出，再根据第一目标输出和第二目标输出计算得到学生网络的目标损失，最后根据目标损失更新学生网络的模型参数，即将目标损失作为反向传播量，并采用梯度下降算法对学生网络的模型参数进行优化，得到轻量化卷积神经网络。由此，本技术实施例能够在实现网络轻量化的同时保留较好的性能，并使得轻量化卷积神经网络能够部署在边缘计算设备上。
95.在一些实施例中，如图7所示，图7是步骤233的细化步骤流程图，步骤233包括但不限于步骤2331、步骤2332、步骤2333。
96.步骤2331，对第一目标输出和第二目标输出进行均方误差计算，得到软损失；
97.步骤2332，对第二目标输出和三维雷达图像对应的预设标签进行均方误差计算，得到硬损失；
98.步骤2333，对软损失和硬损失进行加权求和，得到目标损失。
99.具体的，为了得到学生网络的目标损失，首先对第一目标输出和第二目标输出进行均方误差计算，得到软损失，再对第二目标输出和三维雷达图像对应的预设标签进行均方误差计算，得到硬损失，最后对软损失和硬损失进行加权求和，得到目标损失。可以理解的是，步骤2331和步骤2332并无严格的先后顺序，能计算得到软损失和硬损失即可。
100.在一些具体实施例中，将三维雷达图像输入至教师网络，得到第一目标输出，将三维雷达图像输入至学生网络，得到第二目标输出，之后，将教师网络的第一目标输出和学生网络的第二目标输出进行均方误差计算，得到软损失，将第二目标输出和三维雷达图像对应的预设标签进行均方误差计算，得到硬损失，然后，将软损失与权重一相乘，硬损失与权
重二相乘，最后将相乘后得到的软损失和硬损失相加得到目标损失。可以理解的是，权重一和权重二之和为1，权重一大于权重二，在实际应用中，权重一为0.9，权重二为0.1。最后，根据目标损失对学生网络的模型参数求梯度，并根据梯度下降算法优化学生网络的模型参数，经过多次迭代后得到性能较好的学生网络，即轻量化卷积神经网络。
101.参考图8，本技术的一些实施例提供了一种便携式三维穿墙成像雷达卷积神经网络部署装置，该装置包括图像获取模块410、图像处理模块420和网络部署模块430。图像获取模块410获取三维雷达图像后，再由图像处理模块420根据三维雷达图像对预训练的原始卷积神经网络进行处理，得到轻量化卷积神经网络，之后，网络部署模块430将该轻量化卷积神经网络部署在边缘计算设备上，其中，该边缘计算设备集成在便携式三维穿墙成像雷达系统中。本技术通过对原始卷积神经网络进行处理，使经过处理后得到的轻量化卷积神经网络能够部署在边缘计算设备上，并且由于该边缘计算设备集成在便携式三维穿墙成像雷达系统中，因此本技术能够提高三维穿墙成像雷达系统的集成度、实时性和便携性。
102.此外，本技术的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，在计算机可执行指令用于使计算机执行如上任意实施例中的方法，例如，执行以上描述的图1中的方法步骤100至300、图2中的方法步骤110至130、图3中的方法步骤210至230、图4中的方法步骤211至213、图5中的方法步骤221至222、图6中的方法步骤231至234、图7中的方法步骤2331至2333。
103.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
104.上面结合附图对本技术实施例作了详细说明，但是本技术不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本技术宗旨的前提下作出各种变化。此外，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。