一种网络化机器学习系统的自适应通信方法

本发明涉及计算机技术领域，具体涉及一种网络化机器学习系统的自适应通信方法。

背景技术：

近年来，随着机器学习中数据的爆炸式增长，单个计算机的存储容量已很难满足要求，且提高单机计算性能的方法成本太高，网络化系统机器学习被越来越多地应用。网络化系统包含多个具有感知、计算和通信功能的智能体，网络结构如附图1所示，图中圆点代表智能体，直线代表通信链路，该网络没有中心节点。每个智能体只存储部分数据，它们通过局部计算并将计算结果与各自的邻居通信，训练机器学习的模型。网络化系统机器学习仅依赖于智能体的局部数据、局部计算和局部通信，该方法因其自主性、鲁棒性和可扩展性比传统的集中式方法更为合理高效。

但是，网络化系统机器学习的性能常常会受到通信的影响。在实际应用中，智能体通信模块的带宽和耗电量常常是有限制的，因此智能体通信时发送的数据量也受到限制，这就需要设计高效的通信机制，在使用尽量少的通信成本的情况下，使网络化系统机器学习拥有不错的性能表现。

目前，网络化系统机器学习中的通信高效机制主要有固定量化(fixquantization)和随机稀疏(randomsparsification)两种方法，固定量化就是引入量化器(quantizer)，将通信信息中的元素量化成固定点，降低通信信息的精度，达到降低通信成本的目的；随机稀疏方法是将通信信息中较小的元素稀疏为0，只传输主要信息，忽略次要信息，从而减少通信成本。

但以上方法都是开环的，要根据具体问题调节参数，费时费力，不具有普适性。我们希望开发一种具有自主调节能力的高效通信机制。

技术实现要素：

本发明的目的是根据上述现有技术的不足之处，提供一种网络化机器学习系统的自适应通信方法，其根据智能体之间通信信息的相似度对通信链路的状态以及通信信息的稀疏度进行自适应调节，在不降低收敛精度的前提下，实现了节约通信成本的目的。

本发明目的实现由以下技术方案完成：

一种网络化机器学习系统的自适应通信方法，网络化机器学习系统包括多个智能体，所述自适应通信方法包括：

(s1)初始化各智能体之间的网络拓扑，使得各智能体通过通信链路连接；对于任意一个智能体，初始化之后通过通信链路与其直接连接的智能体为相邻智能体；初始化之后，各通信链路处于活跃状态；

(s2)在每个时间步中，智能体通过处于活跃状态的通信链路与相邻智能体交换通信信息，并根据其与相邻智能体之间最新一次交换的通信信息之间的差异计算该智能体与相邻智能体之间的通信链路在下一个时间步中处于活跃状态的概率值，并依照概率值确定该通信链路在下一个时间步中是否处于活跃状态。

本发明的进一步改进在于，概率值的表达式为：

其中：i为智能体的编号，j为相邻智能体的编号；pij(t+1)为概率值；xi(t)为最新一次交换过程中智能体的通信信息；xj(t)为最新一次交换过程中来自相邻智能体的通信信息；||xi(t)-xj(t)||2表示最新一次交换的两个通信信息之间的差值的2范数；

当上述表达式的计算结果小于0时，令pij(t+1)＝δ，δ的取值范围为0.01≤δ≤0.1。

本发明的进一步改进在于，当智能体与某个相邻智能体之间的通信链路在至少两个连续的时间步中均保持活跃状态时，从第二个时间步开始，该智能体与相邻智能体交换通信信息的过程中采用随机稀疏器对通信信息进行稀疏化，并根据上一时间步计算得到的概率值确定当前时间步所述随机稀疏器所采用的稀疏度；稀疏度的表示为：

sij(t)＝1-pij(t)

其中，i为所述智能体的编号，j为相邻智能体的编号。

本发明的进一步改进在于，参数a的大小与网络化机器学习系统的收敛速度负相关，参数a以及b的取值范围均为(0,1]。

本发明的进一步改进在于，网络化机器学习系统的运行的算法为qdgd算法。

本发明的进一步改进在于，所述通信信息包括梯度向量。

本发明的优点是：通过该自适应通信方法，可以在保持训练效果的同时，降低总的通信成本。对随机稀疏器所采用的稀疏度进行自适应调节，可以在确保通信质量的同时，进一步降低通信成本。

附图说明

图1为本实施例网络化机器学习系统的原理图；

图2为自适应通信方法在仿真过程中优化精度随迭代次数的变化曲线；

图3为自适应通信方法在仿真过程中优化精度随通信成本的变化曲线。

具体实施方式

以下结合附图通过实施例对本发明的特征及其它相关特征作进一步详细说明，以便于同行业技术人员的理解：

实施例：本发明的实施例包括一种网络化机器学习系统的自适应通信方法，应用于网络化机器学习系统的智能体。如图1所示，网络化机器学习系统(networkedmachinelearningsystems)使用分布式梯度下降算法，该系统包括多个智能体(agent)，图1中每个点表示一个智能体，智能体为计算机、传感器、无人机等具有计算和通信能力的实体。智能体总数n＝10，令di表示智能体i的连通度，表示i的邻居的集合。每个智能体更新状态变量的公式为：

其中混合矩阵w＝[ωij]为双随机矩阵，当时，ωij＝1/di，当时，ωij＝0。

本实施的自适应通信方法具体包括以下步骤：

(s1)初始化各智能体之间的网络拓扑(network)，使得各智能体通过通信链路(communicationlink)连接；对于任意一个智能体，初始化之后通过通信链路与其直接连接的智能体为相邻智能体；初始化之后，各通信链路处于活跃状态。通信链路用于交换通信信息(transforminformation)，本实施例中通信信息包括梯度向量。

在本实施例中，使用理想数据集，每个智能体有5条数据，数据维数为50。使用完全图作为网络拓扑的基图，即t＝1(t表示时间步)时，每个智能体的连通度(通信链路的数目)为n-1。

(s2)在每个时间步中，智能体通过处于活跃状态的通信链路与相邻智能体交换通信信息，并根据其与相邻智能体之间最新一次交换的通信信息之间的差异(difference)计算该智能体与相邻智能体之间的通信链路在下一个时间步中处于活跃状态的概率值，并依照概率值确定该通信链路在下一个时间步中是否处于活跃状态。若某个通信链路不再活跃，它连接的两个智能体也停止通信。具体的，概率值的表达式为：

其中：i为智能体的编号，j为相邻智能体的编号；pij(t+1)为概率值；xi(t)为最新一次交换过程中智能体的通信信息；xj(t)为最新一次交换过程中来自相邻智能体的通信信息；||xi(t)-xj(t)||2表示最新一次交换的两个通信信息之间的差值的2范数(euclideannorm)；当上述表达式的计算结果小于0时，令pij(t+1)＝δ，δ的取值范围为0.01≤δ≤0.1。

上述的“最新一次交换过程”未必指的是当前时间步t所交换的通信信息。若相应的通信链路在当前时间步t不处于活跃状态，则计算概率值的过程中采用通信链路连接的两个智能体在最近一次通信过程中交换的通信信息。由于各通信链路在初始化(时间步t＝1)时均处于活跃状态，因此对于任意一个通信链路，总会有“最新一次交换过程”。

上述过程的原理是：若两个智能体的状态相等或接近时，对方的信息对自身的决策作用不大，让状态接近的两个智能体互相之间不通信，从而降低通信成本。上述概率值pij的计算过程中，最终的概率值与两个智能体的通信信息的差异度正相关。

上述表达式中，参数a的大小与网络化机器学习系统的收敛速度(convergencerate)负相关，a越小，算法的收敛速度越快，a越大，算法的收敛速度越慢。参数a以及b的取值范围均为(0,1]。参数b是状态差值的缩放比例。

将该实施例与采用固定的完全图的系统进行对比试验。试验过程中，步长a＝0.01/t^0.5，实验总共跑10轮，每轮迭代10000步。实验结果如图2、3所示，图2横坐标为迭代次数，纵坐标为优化精度可以看出使用自适应的网络通信算法的收敛速度与使用固定图相当。图3为优化精度随通信成本的变化曲线，说明通信成本相同时，使用自适应的拓扑动态管理可以达到更高的优化精度。

在另一些实施例中，当某个智能体与某个相邻智能体之间的通信链路在至少两个连续的时间步中均保持活跃状态时，从持续活跃的第二个时间步开始，该智能体与相邻智能体交换通信信息的过程中采用随机稀疏器(sparsifi)对通信信息进行梯度稀疏，并根据上一时间步计算得到的概率值确定当前时间步所述随机稀疏器所采用的稀疏度(sparsity)；稀疏度的表示为：

sij(t)＝1-pij(t)

其中，i为智能体的编号，j为相邻智能体的编号。

随机稀疏器q(·)为一种将通信信息x＝[x1,…,xd]^t无偏稀疏化的计算方法。每一个数据xi有pi的概率稀疏为0，有1-pi的概率被保留为xi/(1-pi)，即p(xi＝0)＝pi,p(xi＝xi/(1-pi))＝1-pi。稀疏化后，通信信息的总量减小，可节省通信带宽。

采用概率值pij对稀疏度进行调节的原理为：若上一时间步发起交换的智能体i和相邻智能体j的通信信息接近，表示本时间步二者可采用更大稀疏度，使得智能体i发出的通信信息较上一时间步更加稀疏，以降低通信成本。反之，若差异较大，则减小智能体i的稀疏度，保留更多的信息。采用这种方式，使得智能体与各相邻的智能体在交换通信信息的过程中采用各自的稀疏度，从而实现稀疏度的自适应量化。

以上的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、同替换和改进等，均应包含在本发明的保护范围之内。