一种基于强化学习的自适应多信道分布式深度学习方法

1.本发明涉及分布式深度学习的技术领域，尤其涉及一种基于强化学习的自 适应多信道分布式深度学习方法。


背景技术：

2.近年来，研究人员和工程师已经将深度学习技术应用到包括计算机视觉、 自然语言处理、语音识别等在内的诸多领域,并取得了广泛的成功。对于移动设 备数据通常以孤岛的形式存在，收集数据进行集中训练会导致严重的隐私问 题，甚至可能被法规禁止。
3.跨移动设备的分布式深度学习已成为一种有效的解决方案，它可以用于分 析和处理移动边缘计算(mec)中的数据驱动任务(例如，自动驾驶，虚拟现 实，图像分类等)的分布式数据。通过在边缘设备(例如，手机和平板电脑) 上执行训练任务并在边缘服务器上聚合学习的参数，跨设备分布式深度学习显 着减少了应用程序的网络带宽使用，并保护了边缘设备的数据隐私。
4.然而，要在边缘网络中实际部署分布式深度学习仍然面临一些困难。1)动 态边缘网络中，客户端和服务器之间的通信可能非常不可用、缓慢且成本高昂。 2)mec系统中的资源(例如，带宽和电池寿命)通常会受到限制。现代边 缘设备通常可以通过多个通信通道(例如，4g，lte和5g)连接到边缘服务 器，从而缓解这些问题。但是，拥有一个边缘设备，用于沿多个通道以一个固 定的方式将本地模型的副本发送到服务器是多余的、耗时的，并且会浪费资源 (例如，带宽、电池寿命和货币成本)。
5.已经提出了一些开创性的工作来管理系统资源，以实现边缘网络中的高效 分布式深度学习。然而，这些研究的重点是减少资源消耗，提高资源利用率和 训练效率。在最近的工作中提出的一个有希望的解决方案是将梯度压缩策略整 合到分布式深度学习算法中，这可以大大降低通信成本，而对学习成果几乎没 有影响。但是，这些压缩技术没有调整到底层的通信通道，并且可能无法充分 利用通道资源。


技术实现要素：

6.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较 佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或 省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略 不能用于限制本发明的范围。
7.鉴于上述现有基于强化学习的自适应多信道分布式深度学习方法存在的 问题，提出了本发明。
8.因此，本发明目的是提供一种基于强化学习的自适应多信道分布式深度学 习方法。
9.为解决上述技术问题，本发明提供如下技术方案：一种基于强化学习的自 适应多信道分布式深度学习方法，包括如下步骤，
10.建立基于强化学习的自适应多信道分布式深度学习框架；
11.框架内部每个设备计算局部梯度；
12.框架内部的压缩器压缩梯度；
13.通过多个通道将压缩梯度的编码层发送到边缘服务器；
14.服务器接收所有客户端的梯度数据并进行结果计算，而后发送至框架内所 有设备；
15.每个设备使用更新后结果数据更新本地模型。
16.作为本发明所述基于强化学习的自适应多信道分布式深度学习方法的一 种优选方案，其中：自适应多信道分布式深度学习框架包含边缘服务器和若干 个设备，若干个设备通过迭代计算和通信与边缘服务器协作训练学习模型。
17.作为本发明所述基于强化学习的自适应多信道分布式深度学习方法的一 种优选方案，其中：在进行数据传输之前，自适应多信道分布式深度学习框架 在进行信息传输之前压缩本地计算的梯度，并通过多个通道发送给各个设备。
18.作为本发明所述基于强化学习的自适应多信道分布式深度学习方法的一 种优选方案，其中：利用topk运算符压缩梯度，将topk扩展到top
α，β
(1≤α＜β≤d)， 以获得稀疏的top-(α，β)梯度。具体来说，对于向量和 top
α，β
(x)的i(i＝1，2，...，d)个元素被定义为：
[0019][0020]
其中xi是x的第i个元素，thr
α
是x中元素的第α最大绝对值，thr
β
是x中元素 的第β大绝对值。
[0021]
作为本发明所述基于强化学习的自适应多信道分布式深度学习方法的一 种优选方案，其中：需要连接到c数量个通道的设备，这些通道之间的流量分 配由向量表示，设备使用topα，β压缩器将渐变元素编码到不同的层中， 并获取
[0022][0023]
而后每个层通过不同的通道发送到服务器。
[0024]
作为本发明所述基于强化学习的自适应多信道分布式深度学习方法的一 种优选方案，其中：制定资源约束下最小化全局损失的函数：
[0025][0026]
使得，
[0027][0028][0029]
[0030][0031]
其中是设备m在t轮迭代对于r资源本地计算的总资源消耗和是设备m在t轮迭代对于r资源的通信消耗系数，表示设备m在t轮 通信时的本地更新步骤数，表示在t轮通信时设备m的通道n处的流量分配， b
m，r
表示设备m中的资源r的总预算。
[0032]
作为本发明所述基于强化学习的自适应多信道分布式深度学习方法的一 种优选方案，其中：服务器建立深度强化学习控制算法，并指定状态空间、动 作空间以及奖励函数，进而实现公式化，进行计算。
[0033]
作为本发明所述基于强化学习的自适应多信道分布式深度学习方法的一 种优选方案，其中：公式化指定状态空间：
[0034]
每个代理的状态都包含每种类型的资源的当前资源消耗，状态空间表示为 并且定义
[0035][0036]
其中
[0037][0038][0039]
状态变量描述如下：
[0040]
表示在轮次t设备m处通信资源r的消耗因子。
[0041]
表示在轮次t设备m处本地计算资源r的。
[0042]
作为本发明所述基于强化学习的自适应多信道分布式深度学习方法的一种 优选方案，其中：在每个设备m内都指定有表示为的动作空间， 在接收状态时，代理m需要选择其本地计算和通信决策，操作可以表示为：
[0043][0044]
其中
[0045]
操作变量描述如下：
[0046]
表示轮次t设备m处的本地迭代次数。
[0047]
表示轮次t通过设备n的通道n的梯度分量数。
[0048]
作为本发明所述基于强化学习的自适应多信道分布式深度学习方法的一种 优选方案，其中：将奖励函数定义为迭代轮次t时设备m处r类资源的加权平均效 用函数，如下所
示：
[0049][0050]
其中αr是效用函数的权重。
[0051]
本发明的有益效果：在视频流中分层编码技术的启发下下，提出了一种称 为分层梯度压缩(lgc)的新型分布式深度学习框架，具体而言，在lgc中， 来自设备的局部梯度被编码为多个层，并且每个层都沿着不同的通道发送到服 务器。服务器聚合从设备接收的本地梯度以更新全局模型，并将结果发送回设 备。定义了与lgc的资源效率联合学习问题。然后，为每个设备提出一种基 于学习的算法，以动态调整其梯度计算(即局部梯度的数量)和通信决策(即 不同层的压缩水平和梯度到信道映射)。利用所提出的基于学习的控制算法评 估了lgc的性能，结果表明，与基线相比，使用此算法，lgc显着减少了训 练时间，提高了资源利用率，同时实现了相似的准确性。
附图说明
[0052]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需 要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的 一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下， 还可以根据这些附图获得其它的附图。其中：
[0053]
图1为本发明基于强化学习的自适应多信道分布式深度学习方法的框架示 意图。
[0054]
图2为本发明基于强化学习的自适应多信道分布式深度学习方法所述的自 适应控制算法图。
[0055]
图3为本发明基于强化学习的自适应多信道分布式深度学习方法所述的不 同方法的训练精度对比图。
[0056]
图4为本发明基于强化学习的自适应多信道分布式深度学习方法所述的不 同方法的能量消耗对比图。
[0057]
图5为本发明基于强化学习的自适应多信道分布式深度学习方法所述的不 同方法的通信成本对比图。
具体实施方式
[0058]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书 附图对本发明的具体实施方式做详细的说明。
[0059]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明 还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不 违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例 的限制。
[0060]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少 一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在 一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施 例互相排斥的实施例。
[0061]
再其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便 于说明，
表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图 只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长 度、宽度及深度的三维空间尺寸。
[0062]
实施例1
[0063]
参照图1-5，本发明公开了一种基于强化学习的自适应多信道分布式深度 学习方法，主要依赖于分层梯度压缩(lgc)的新型分布式深度学习框架，lgc 的框架遵循典型的分布式深度学习架构，如图1所示，由边缘服务器和m个 设备两部分组成。在lgc中，m边缘设备通过迭代计算和 通信与边缘服务器协作训练学习模型。为了缓解通信瓶颈，lgc在传输之前 压缩本地计算的梯度，并通过多个通道发送它们。
[0064]
在lgc中，每个设备计算局部梯度，通过lgc压缩器压缩梯度，并通 过多个通道将压缩梯度的编码层发送到边缘服务器，服务器将一直等待，直到 收到来自所有客户端的渐变，然后，它们将它们相加并将结果发送到所有设备， 然后，设备使用它们来更新本地模型，多个通道由不同的颜色指示。
[0065]
s1，每个设备计算局部梯度；
[0066]
s2，lgc压缩器压缩梯度；
[0067]
s3，通过多个通道将压缩梯度的编码层发送到边缘服务器；
[0068]
s4，服务器将一直等待，直到收到来自所有客户端的梯度，将它们相加； 并将结果发送到所有设备
[0069]
s5，设备使用它们来更新本地模型。
[0070]
1.lgc算法
[0071]
为了压缩梯度，我们考虑topk运算符，这是分布式训练中稀疏化运算符的 一个重要示例。我们将其扩展到lgck，用于多个通信通道。对于任何top 是一个d长度向量，其最多具有k个非零分量，其索引对应于x的最 大k个分量(绝对值)的指数。在给出lgck的定义之前，我们将topk扩展到 top
α，β
(1≤α＜β≤d)，以获得稀疏的top-(α，β)梯度。具体来说，对于向量对于向量和top
α，β
(x)的i(i＝1，2，...，d)个元素被定义为
[0072][0073]
其中xi是x的第i个元素，thr
α
是x中元素的第α最大绝对值，thr
β
是x中元素 的第β大绝对值。
[0074]
现代边缘设备通常可以连接多个通信通道。考虑到连接到c个通道的设 备，这些通道之间的流量分配由向量表示。设备使用topα，β压缩器将渐 变元素编码到不同的层中，并获取然后，每个层通过不同 的通道发送到服务器。服务器从所有通道收集梯度，对其进行解码并获取 lgck(x)。for a vector和lgck(x)。对于向量和 lgck(x)的第i(i＝1，2，...，d)元素，lgck(x)被定义为
[0075]
[0076]
与之前要求所有参与者具有相同数量的局部计算和压缩级别的研究不同， 我们提出并分析了一种特定形式的异步操作，其中设备在任意时间与主设备同 步。我们还允许参与设备以不同的压缩系数执行梯度稀疏化。这确实有助于适 应通道条件较差的离群者，从而减轻过时更新的影响。根据定义，我们还允许 设备配备不同数量和类型的通信通道。
[0077]
设设表示设备m与服务器通信的一组索引。我们假设 对于每个都成立，这意味着每个设备的更新时间的最大延迟都 有一个统一的界限。每个设备都维护一个本地参数向量该参数向量 在每次迭代t中更新。如果则错误补偿更新将发送到服务器，客户端 将更新其本地累积错误从发送其梯度的每个设备接收后，服务器 将聚合它们，更新全局模型，并将新模型w
(t+1)
发送到所有客户端；在收到后， 他们设置了他们的本地模型等于全局模型w
(t+1)
。
[0078]
2.资源高效的lgc分布式深度学习的定义
[0079]
我们使用定义了资源高效的lgc分布式深度学习。考虑到不同移动设备的 资源不同，我们制定了资源约束下最小化全局损失函数的优化问题，如下所示。
[0080][0081]
使得，
[0082][0083][0084][0085][0086]
其中是设备m在t轮迭代对于r资源本地计算的总资源消耗和是设备m在t轮迭代对于r资源的通信消耗系数。表示设备m在t轮通 信时的本地更新步骤数。表示在t轮通信时设备m的通道n处的流量分配。b
m，r
表示设备m中的资源r的总预算。
[0087]
由于通常部署在高度动态的边缘网络中，因此基于学习的方法可用于自适 应地调整本地计算和通信决策，同时满足mec中每个迭代的资源约束。
[0088]
3.深度强化学习控制算法
[0089]
drl方法的工作流程如图2所示。在每个迭代t时，对于每个设备m，它测 量其状态计算相应的奖励并根据其策略选择其操作在设备m， 将其状态更新为
在下一个epocht+1后，它将元组放在 经验回放缓冲区中，用于累积经验。然后，critic网络从回放缓冲区读取数据， 并将策略与优化程序一起更新为特别是，更新了目标是最大累积奖 励其中γ∈(0，1]是未来的奖励折扣系数。
[0090]
为了使用drl技术实现公式化的问题，我们首先指定状态空间，动作空间 和奖励函数。
[0091]
1)状态空间
[0092]
每个代理的状态都包含每种类型的资源的当前资源消耗。我们表示状态空 间表示为并且我们定义如下：
[0093][0094]
其中
[0095][0096][0097]
状态变量描述如下：
[0098]
表示在轮次t设备m处通信资源r的消耗因子。
[0099]
表示在轮次t设备m处本地计算资源r的。
[0100]
2)动作空间
[0101]
每个设备m都有一个表示为的动作空间。在接收状态时， 代理m需要选择其本地计算和通信决策。具体而言，操作可以表示为
[0102][0103]
其中
[0104]
操作变量描述如下：
[0105]
表示轮次t设备m处的本地迭代次数。
[0106]
表示轮次t通过设备n的通道n的梯度分量数。
[0107]
3)奖励函数
[0108]
在每个训练轮次t时，代理m在特定状态执行操作后将获得奖励 目标函数是最小化资源约束下的全局损失函数因 此，我们对于每个设备m在其资源约束下最小化我们首先定义在迭代轮次t时 设备m的资源r上的效用函数，如下所示：
[0109][0110]
其中
[0111][0112][0113]
然后，我们将奖励函数定义为迭代轮次t时设备m处r类资源的加权平均效用 函数，如下所示：
[0114][0115]
其中αr是效用函数的权重。
[0116]
为了检验本发明能在提升资源利用率的同时还能保证模型精度，本实施例 子还设计了以下实验。对于所有实验，我们将学习率和批大小设置为0.01和 64，并为分布式深度学习设置3个不同的通信通道。
[0117]
本实例数据集为cifar-10数据集，如表1所示。cnn在cifar-10上都 经过训练。cifar-10包括50000张用于训练的图像和10000张用于测试的图像， 并具有10种不同类型的对象。
[0118]
表1数据集的信息
[0119]
数据集分类数训练集大小测试集大小cifar-10105000010000
[0120]
我们基于强化学习控制算法的lgc分布式深度学习与基线进行比较。模型 精度的收敛曲线，如图3。可以发现，本发明提出的方法对模型精度损失影响可 以忽略不计。通过图4和图5最后两个图的结果，lgc在达到目标精度时可以 大大减少电池能耗和通信花费的金钱成本。
[0121]
重要的是，应注意，在多个不同示例性实施方案中示出的本技术的构造和 布置仅是例示性的。尽管在此公开内容中仅详细描述了几个实施方案，但参阅 此公开内容的人员应容易理解，在实质上不偏离该申请中所描述的主题的新颖 教导和优点的前提下，许多改型是可能的(例如，各种元件的尺寸、尺度、结 构、形状和比例、以及参数值(例如，温度、压力等)、安装布置、材料的使 用、颜色、定向的变化等)。例如，示出为整体成形的元件可以由多个部分或 元件构成，元件的位置可被倒置或以其它方式改变，并且分立元件的性质或数 目或位置可被更改或改变。因此，所有这样的改型旨在被包含在本发明的范围 内。可以根据替代的实施方案改变或重新排序任何过程或方法步骤的次序或顺 序。在权利要求中，任何“装置加功能”的条款都旨在覆盖在本文中所描述的 执行所述功能的结构，且不仅是结构等同而且还是等同结构。在不背离本发明 的范围的前提下，可以在示例性实施方案的设计、运行状况和布置中做出其他 替换、改型、改变和省略。因此，本发明不限制于特定的实施方案，而是扩展 至仍落在所附的权利要求书的范围内的多种改型。
[0122]
此外，为了提供示例性实施方案的简练描述，可以不描述实际实施方案的 所有特
征(即，与当前考虑的执行本发明的最佳模式不相关的那些特征，或于 实现本发明不相关的那些特征)。
[0123]
应理解的是，在任何实际实施方式的开发过程中，如在任何工程或设计项 目中，可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时 的，但对于那些得益于此公开内容的普通技术人员来说，不需要过多实验，所 述开发努力将是一个设计、制造和生产的常规工作。
[0124]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参 照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可 以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精 神和范围，其均应涵盖在本发明的权利要求范围当中。