边缘计算节点选择方法及终端设备

1.本发明属于车联网技术领域，尤其涉及一种边缘计算节点选择方法及终端设备。


背景技术：

2.随着科技的发展，车联网(internet of vehicles，iov)作为汽车自动驾驶的关键辅助技术手段之一，成为了汽车工业当下的重要发展方向。车联网环境下提供计算服务的过程中，计算量庞大，难以在车载系统上进行，边缘计算技术凭借效率高、成本低、延迟时间短等优势在车联网中得到了广泛引用。
3.由于边缘计算的节点选择受数据集大小、模型训练质量、历史节点选择方案及历史声誉值等多因素的影响，现有技术中边缘计算的节点选择方法考虑不够全面，不适用于复杂多变的环境，节点选择方案不够优化。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种边缘计算节点选择方法及终端设备，以解决现有技术中边缘计算节点选择方法考虑不够全面，不适用于复杂多变的环境，节点选择方案不够优化的问题。
5.本发明实施例的第一方面提供了一种边缘计算节点选择方法，包括：
6.将所有设备在联邦学习系统中注册并广播；
7.基于联邦学习系统建立节点选择模型；
8.根据预先确定的目标函数，采用深度强化学习算法确定节点选择模型的最优解，得到目标节点选择方案。
9.本发明实施例的第二方面提供了一种边缘计算节点选择装置，包括：
10.初始化模块，用于将所有设备在联邦学习系统中注册并广播；
11.模型建立模块，用于基于联邦学习系统建立节点选择模型；
12.优化求解模块，用于根据预先确定的目标函数，采用深度强化学习算法确定节点选择模型的最优解，得到目标节点选择方案。
13.本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如本发明实施例第一方面提供的边缘计算节点选择方法的步骤。
14.本发明实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如本发明实施例第一方面提供的边缘计算节点选择方法的步骤。
15.本发明实施例提供了一种边缘计算节点选择方法，包括：将所有设备在联邦学习系统中注册并广播；基于联邦学习系统建立节点选择模型；根据预先确定的目标函数，采用深度强化学习算法确定节点选择模型的最优解，得到目标节点选择方案。本发明实施例采用深度强化学习算法，通过反馈强化的过程对节点进行选择，通过不断的试错动态的选择
节点策略，适用于复杂状态环境及多维的动作空间，节点选择方案更加优化，符合实际应用需求。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明实施例提供的边缘计算节点选择方法的实现流程示意图；
18.图2是本发明实施例提供的采用a3c算法与dqn算法的损失函数的对比图；
19.图3是本发明实施例提供的采用a3c算法、dqn算法及random算法的时延的对比图；
20.图4是本发明实施例提供的采用a3c算法、dqn算法及random算法的吞吐量的对比图；
21.图5是本发明实施例提供的边缘计算节点选择装置的示意图；
22.图6是本发明实施例提供的终端设备的示意图。
具体实施方式
23.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
24.为了说明本发明的技术方案，下面通过具体实施例来进行说明。
25.参考图1，本发明实施例提供了一种边缘计算节点选择方法，包括：
26.步骤s101：将所有设备在联邦学习系统中注册并广播；
27.步骤s102：基于联邦学习系统建立节点选择模型；
28.步骤s103：根据预先确定的目标函数，采用深度强化学习算法确定节点选择模型的最优解，得到目标节点选择方案。
29.移动边缘系统模型由数个mec(mobile edge computing，移动边缘计算)服务器、基站和每个mec服务器接入的设备组成。令z表示mec服务器集合。每一个mec服务器通常接入数个设备，令d∈d
z
，d
z
为设备集合，表示与mec服务器相连接的设备集合，设备有有限的计算和通信资源。令i表示任务集合，当新的联邦学习任务i发布时，任务发布方选择相关的mec服务器组建为新的联邦学习任务集群。接下来每一个mec服务器根据设备和联邦学习任务的属性信息使用深度强化学习选择本地设备节点进行联邦学习的训练。设备在本地拉取新的全局模型并且不断更新全局模型参数，数据传输在本地设备节点之间中主要通过d2d(device
‑
to
‑
device，设备到设备)通信。联邦学习任务i的具体信息可以表示为φ
i
＝{z
i
,c
i
,m
g
},其中z
i
为任务i的相应mec服务器集合，c
i
为该联邦学习系统计算数据集中一组数据所需要的cpu计算资源量，m
g
为初始的全局模型。
30.在发布联邦学习任务前，所有具有联邦学习能力(计算，通信资源足够)的设备d需要在联邦学习系统中注册以便在任务发布阶段，选择设备节点时可以发现自己。在任务发
布阶段，任务发布方向mec服务器广播联邦学习任务的具体要求φ
i
，符合相关条件的mec节点被选中加入联邦学习中并组建关于该具体联邦学习的mec集群。
31.在复杂多变的边缘环境下，节点选择方案需要随着环境状态信息的变化而发生改变，本发明实施例中基于联邦学习任务、边缘节点以及设备建立节点选择模型，同时采用深度强化学习算法(actor
‑
critic algorithm，a3c)对节点选择模型求解。深度强化学习算法不依赖准确可解的数学模型，并可以从环境交互中获得的经验中学习，学习之后可以基于当前的网络状态可以直接得到具有最大长期奖励的节点选择方案。本发明实施例中结合深度强化学习算法在联邦学习过程中动态的选择执行任务的节点，并异步更新公共参数，通过反馈强化的过程对节点进行选择，可适应复杂多变的环境，节点选择方案更加优化，符合实际应用需求。
32.一些实施例中，步骤s103可以包括：
33.步骤s1031：确定当前的环境状态信息；
34.步骤s1032：将当前的环境状态信息输入节点选择模型得到中间节点选择方案；
35.步骤s1033：执行中间节点选择方案得到新的环境状态信息，并根据预先确定的目标函数确定中间节点选择方案对应的回报值；
36.步骤s1034：确定中间节点选择方案对应的回报值是否满足收敛条件；
37.步骤s1035：若中间节点选择方案对应的回报值满足收敛条件，则确定中间节点选择方案为目标节点选择方案
38.步骤s1036：若中间节点选择方案对应的回报值不满足收敛条件，则跳转至将当前的环境状态信息输入节点选择模型得到中间节点选择方案的步骤循环执行，直至得到目标节点选择方案。
39.深度强化学习过程总共包含4个元素：智能体、状态空间、动作空间以及瞬时奖惩。
40.智能体：本发明实施例中的智能体为mec服务器；
41.状态空间：环境状态信息由联邦学习相关的几个元素组成，例如，环境状态信息为s
t
＝{c
t
,τ
t
,h
t
‑1,a
t
‑1,φ
i
}；其中，s
t
为t时刻的环境状态信息，c
t
为t时刻设备可用于联邦学习任务的计算资源，τ
t
为t时刻的声誉值，h
t
‑1为设备在t时刻的前一时刻的数据集大小，a
t
‑1为t时刻的前一时刻的节点选择方案，φ
i
为联邦学习任务i的任务信息。
42.动作空间：
43.在每个步骤中，mec节点仅允许一种节点选择方案，节点选择方案可以为a
t
＝{β1,β2,
…
β
d
,...,β
n
},d∈d
z
,β
d
∈{0,1}，β
d
＝1表示设备被选择，β
d
＝0表示设备在此次节点选择方案中不被选择。
44.瞬时奖惩：当执行一种节点选择动作后，系统的状态信息会随之变化并且得到一个用于评价此次行为的奖惩值。
45.智能体与环境进行交互，在每个时间步t，智能体都会收到当前的环境状态信息s
t
，然后执行节点选择方案a
t
，并在收到新的环境状态信息s
t+1
时获得奖励r
t
。智能体的目标是将环境控制到最佳状态，以从状态获得最大回报g
t
。
46.一些实施例中，预先确定的目标函数可以包括：损失函数最小及联邦学习每一学习回合的总时延最小。
47.一些实施例中，联邦学习每一学习回合的总时延可以为时延最大的设备对应的时
延；
48.设备对应的时延为设备的计算时延和模型参数的总传输时延的和。
49.损失函数小代表模型准确率高，模型准确率及联邦学习每一学习回合的总时延两个因素可以很好的评价模型的性能，因此本发明实施例中以模型准确率高及时延小作为目标函数。
50.损失函数
51.联邦学习每一学习回合的总时延包括：设备的计算时延及设备向mec节点的传输时延；
52.设备的计算时延可以表示为其中，c
z,d
为终端设备执行联邦学习任务时的cpu频率，c
s
为联邦学习任务s训练一个数据集所需的cpu周期数。
53.u
l
，u
g
分别表示模型参数在lmuc和gmuc中的传输速率。
[0054][0055]
其中，b为信道带宽，g
d
表示设备d的无线信道增益，p
d
为设备d和mec节点之间的无线信道功率，n0为噪声的功率谱密度。
[0056]
由于区块链的共识时间是确定的，所以这里只计算传输时延，由此设备向mec节点的传输时延为：
[0057][0058]
由以上可以得到联邦学习每一学习回合的总时延为：
[0059][0060]
一些实施例中，回报值的计算公式为：
[0061][0062][0063]
其中，g
t
为t时刻的回报值，γ
t
‑1为t时刻的前一时刻的折扣因子，γ
t
‑1∈{0,1}；r
t
为t时刻的瞬时奖励，β
dt
∈{0,1}，β
dt
＝0表示t时刻设备d未被选择，β
dt
＝1表示t时刻设备d被选择，d∈d
z
，d
z
为设备集合；h
dt
为t时刻设备d的数据集大小，d
t
为t时刻的联邦学习每一学习回合的总时延，f
act
为t时刻的损失函数。
[0064]
一些实施例中，环境状态信息为：
[0065]
s
t
＝{c
t
,τ
t
,h
t
‑1,a
t
‑1,φ
i
}
[0066]
其中，s
t
为t时刻的环境状态信息，c
t
为t时刻设备可用于联邦学习任务的计算资源，τ
t
为t时刻的声誉值，h
t
‑1为设备在t时刻的前一时刻的数据集大小，a
t
‑1为t时刻的前一时刻的节点选择方案，φ
i
为联邦学习任务i的任务信息。
[0067]
对于上述实施例进行实验说明。
[0068]
本发明实施例使用python代码模拟实验流程，实验电脑配置为2.3ghz i5 4核8线程cpu，16gb内存，联邦学习节点选择算法使用tensorflow框架编写，actor网络和critic网络的学习率均设置为0.001。设置了一个随机的网络拓扑图，设置10个设备节点，每一个终端节点都有不同的计算资源(资源量范围为10到100)。
[0069]
将本发明实施例与常用算法(例如，dqn算法及random算法)进行比较，为公平地比较节点选择算法与这些算法的性能，将模型中的代理，状态空间，动作空间，系统奖励以及网络的参数等均设置为相等。
[0070]
由图2可知，a3c算法收敛速度明显较快，且在应对复杂的状态环境和高维的动作空间时有良好的表现。
[0071]
由图3可知，随着联邦学习设备的数量的增加，节点选择算法显著减少了联邦学习迭代的时延；由图4可知，本发明实施例提供的算法在优化模型训练质量上也有很大的优势，而dqn和random在模型训练质量上表现得非常不稳定，本发明实施例采用a3c算法相比其他算法有更好的性能优势。
[0072]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0073]
参考图5，本发明实施例还提供了一种边缘计算节点选择装置，包括：
[0074]
初始化模块21，用于将所有设备在联邦学习系统中注册并广播；
[0075]
模型建立模块22，用于基于联邦学习系统建立节点选择模型；
[0076]
优化求解模块23，用于根据预先确定的目标函数，采用深度强化学习算法确定节点选择模型的最优解，得到目标节点选择方案。
[0077]
一些实施例中，优化求解模块23包括：
[0078]
环境状态信息确定单元231，用于确定当前的环境状态信息；
[0079]
中间节点选择方案确定单元232，用于将当前的环境状态信息输入节点选择模型得到中间节点选择方案；
[0080]
回报值确定单元233，用于执行中间节点选择方案得到新的环境状态信息，并根据预先确定的目标函数确定中间节点选择方案对应的回报；
[0081]
收敛确定单元234，用于确定中间节点选择方案对应的回报是否满足收敛条件；
[0082]
第一判断单元235，用于若中间节点选择方案对应的回报满足收敛条件，则确定中间节点选择方案为目标节点选择方案
[0083]
第二判断单元236，用于若中间节点选择方案对应的回报不满足收敛条件，则跳转至将当前的环境状态信息输入节点选择模型得到中间节点选择方案的步骤循环执行，直至得到目标节点选择方案。
[0084]
一些实施例中，预先确定的目标函数包括：损失函数最小及联邦学习每一学习回合的总时延最小。
[0085]
一些实施例中，回报值的计算公式为：
[0086][0087][0088]
其中，g
t
为t时刻的回报值，γ
t
‑1为t时刻的前一时刻的折扣因子，γ
t
‑1∈[0,1]；r
t
为t时刻的瞬时奖励，β
dt
∈[0,1]，β
dt
＝0表示t时刻设备d未被选择，β
d
＝1表示t时刻设备d被选择，d∈d
z
，d
z
为设备集合；h
dt
为t时刻设备d的数据集大小，d
t
为t时刻的联邦学习每一学习回合的总时延，f
act
为t时刻的损失函数。
[0089]
一些实施例中，联邦学习每一学习回合的总时延为时延最大的设备对应的时延；
[0090]
设备对应的时延为设备的计算时延和模型参数的总传输时延的和。
[0091]
一些实施例中，环境状态信息为：
[0092]
s
t
＝{c
t
,τ
t
,h
t
‑1,a
t
‑1,φ
i
}
[0093]
其中，s
t
为t时刻的环境状态信息，c
t
为t时刻设备可用于联邦学习任务的计算资源，τ
t
为t时刻的声誉值，h
t
‑1为设备在t时刻的前一时刻的数据集大小，a
t
‑1为t时刻的前一时刻的节点选择方案，φ
i
为联邦学习任务i的任务信息。
[0094]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将终端设备的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0095]
图6是本发明一实施例提供的终端设备的示意框图。如图6所示，该实施例的终端设备4包括：一个或多个处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。处理器40执行计算机程序42时实现上述各个边缘计算节点选择方法实施例中的步骤，例如图1所示的步骤s101至s103。或者，处理器40执行计算机程序42时实现上述边缘计算节点选择装置实施例中各模块/单元的功能，例如图5所示模块21至23的功能。
[0096]
示例性地，计算机程序42可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器41中，并由处理器40执行，以完成本技术。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序42在终端设备4中的执行过程。例如，计算机程序42可以被分割成初始化模块21、模型建立模块22及优化求解模块23。
[0097]
初始化模块21，用于将所有设备在联邦学习系统中注册并广播；
[0098]
模型建立模块22，用于基于联邦学习系统建立节点选择模型；
[0099]
优化求解模块23，用于根据预先确定的目标函数，采用深度强化学习算法确定节
点选择模型的最优解，得到目标节点选择方案。
[0100]
其它模块或者单元在此不再赘述。
[0101]
终端设备4包括但不仅限于处理器40、存储器41。本领域技术人员可以理解，图6仅仅是终端设备4的一个示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备4还可以包括输入设备、输出设备、网络接入设备、总线等。
[0102]
处理器40可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0103]
存储器41可以是终端设备的内部存储单元，例如终端设备的硬盘或内存。存储器41也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器41还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器41用于存储计算机程序42以及终端设备所需的其他程序和数据。存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
[0104]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0105]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0106]
在本技术所提供的实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0107]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0108]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0109]
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方
法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
[0110]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。