一种基于少学习参数神经网络的物联网设备数据服务方法

本发明涉及物联网设备，尤其涉及一种基于少学习参数神经网络的物联网设备数据服务方法。

背景技术：

1、在万物互联时代，物联网设备的入网数量爆炸式增长，根据预测到2028年全世界的物联网设备的接入数量将达到347亿个。在无处不在的物联网设备上部署高性能神经网络将为用户提供多种便利的高性能服务。然而，物联网设备的计算与存储资源不足，难以支撑高性能神经网络训练。因此，利用云服务器辅助物联网设备训练神经网络已成为主流。

2、现有技术中的神经网络训练方案主要使用云辅助训练推理神经网络。云辅助的实现方案通常使用资源充足的云服务器训练神经网络模型，再将神经网络模型发送至物联网设备上，辅助物联网设备服务的部署与更新。

3、现有的一种基于云辅助的神经网络模型monocnn利用种子卷积核与生成函数保存模型中的卷积核参数，云服务器完成模型的训练后，只需要向物联网设备传输种子卷积核，再由物联网设备利用种子卷积核与生成函数复现完整的神经网络模型。该方案减少了云辅助的传输资源消耗，但是仍然需要发送具有一定参数数量的种子卷积核。

4、上述现有技术中的神经网络训练方案的缺点包括：

5、(1)传输资源受限。当云服务器协助部署和更新模型时，需要向物联网设备重新传输大量模型参数，一台云服务器通常需要辅助数千个物联网设备，大量的模型参数传输将导致网络负载过重，难以提供在线服务。

6、(2)物联网设备计算资源受限。由于现有的神经网络模型包含大量浮点运算量(floating-pointoperations，flops)，使其难以在资源受限的物联网设备上高效运行。

7、(3)物联网设备存储资源受限。在物联网设备上部署完整的神经网络模型需要占用大量存储资源。

技术实现思路

1、本发明的实施例提供了一种基于少学习参数神经网络的物联网设备数据服务方法，以实现物联网设备的资源友好性。

2、为了实现上述目的，本发明采取了如下技术方案。

3、一种基于少学习参数神经网络的物联网设备数据服务方法，包括：

4、使用不学习模块替换深度神经网络模型中的可学习卷积层，得到少学习参数神经网络模型；

5、云服务器中将训练好的少学习参数神经网络模型中的不学习参数去除，得到只包含可学习参数的手术模型，将随机种子和所述手术模型通过网络传输给物联网设备；

6、所述物联网设备将所述手术模型中的有梯度的可学习参数转化为无梯度的推理时参数，通过随机种子动态生成不学习参数，根据所述不学习参数与包含无梯度的推理时参数得到完整的神经网络模型，利用所述完整的神经网络模型提供数据服务。

7、优选地，使用不学习模块替换深度神经网络模型中的可学习卷积层，得到少学习参数神经网络模型，包括：

8、由不学习算子层与可学习的点卷积组成不学习模块，所述不学习算子层由一个不学习卷积与多个不学习滤波器组成，所述不学习卷积为无梯度、不参与训练的卷积，所述不学习卷积中包含不学习参数，该不学习参数为无梯度权重；

9、所述不学习滤波器为非卷积的特征提取操作，将不学习卷积和不学习滤波器作为不学习算子，由于不同不学习算子提取的特征相互独立，使用拼接操作将不学习算子的独立特征组合，利用可学习点卷积将所述不学习算子层的组合特征进行融合；将不学习卷积与点卷积设置为分组卷积，在分组点卷积之后引入通道洗牌模块；

10、将所述不学习模块替换卷积神经网络中的可学习卷积，得到少学习参数神经网络模型。

11、优选地，所述的物联网设备将所述手术模型中的有梯度的可学习参数转化为无梯度的推理时参数，通过随机种子动态生成不学习参数，根据所述不学习参数与包含无梯度的推理时参数得到完整的神经网络模型，利用所述完整的神经网络模型提供数据服务，包括：

12、物联网设备接收并存储所述云服务器发送过来的手术模型与随机种子，物联网设备去掉手术模型中可学习参数的梯度，将手术模型中的有梯度的可学习参数转化为无梯度的推理时参数；

13、当需要启动神经网络模型以提供数据服务时，物联网设备将手术模型的参数加载入内存后，通过随机种子与参数生成函数在手术模型内存中动态生成不学习参数，将不学习参数与包含无梯度的推理时参数的手术模型在内存中组合，得到完整的神经网络模型，利用所述完整的神经网络模型提供本地数据服务。

14、优选地，在所述少学习参数神经网络模型更新时，在物联网设备只再次接收与存储由云服务器发送的参数更新后的手术模型和随机种子。

15、由上述本发明的实施例提供的技术方案可以看出，本发明提出的少学习参数神经网络中的不学习模块的不学习参数在训练时固定，物联网设备只需存储云服务器传输的可学习参数与随机种子，就可以在物联网设备上部署完整的神经网络，减少了云服务器传输至物联网设备的模型参数数量与物联网设备的存储资源开销。

16、本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种基于少学习参数神经网络的物联网设备数据服务方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，使用不学习模块替换深度神经网络模型中的可学习卷积层，得到少学习参数神经网络模型，包括：

3.根据权利要求2所述方法，其特征在于，所述的物联网设备将所述手术模型中的有梯度的可学习参数转化为无梯度的推理时参数，通过随机种子动态生成不学习参数，根据所述不学习参数与包含无梯度的推理时参数得到完整的神经网络模型，利用所述完整的神经网络模型提供数据服务，包括：

4.根据权利要求1所述方法，其特征在于，在所述少学习参数神经网络模型更新时，在物联网设备只再次接收与存储由云服务器发送的参数更新后的手术模型和随机种子。

技术总结
本发明提供了一种基于少学习参数神经网络的物联网设备数据服务方法。该方法包括：使用不学习模块替换深度神经网络模型中的可学习卷积层，得到少学习参数神经网络模型；云服务器中将训练好的少学习参数神经网络模型中的不学习参数去除，得到只包含可学习参数的手术模型，将随机种子和手术模型通过网络传输给物联网设备；物联网设备通过随机种子动态生成不学习参数，根据不学习参数与包含无梯度的推理时参数得到完整的神经网络模型，以提供数据服务。本发明方法中的物联网设备只需存储云服务器传输的可学习参数与随机种子，就可以在物联网设备上部署完整的神经网络，减少了云服务器传输至物联网设备的模型参数数量与物联网设备的存储资源开销。

技术研发人员：丁春涛,谢建行,李浥东,金一,郎丛妍,王涛
受保护的技术使用者：北京交通大学
技术研发日：
技术公布日：2024/4/24