一种基于智能网关的安全缓存部署系统及方法与流程

1.本发明涉及数据处理的技术领域，尤其涉及一种基于智能网关的安全缓存部署系统及方法。


背景技术：

2.随着科技的发展，人们的生活方式和工作习惯以及学习方式都发生了巨大的变化。学习环境的逐渐变化和对个性化、适应性学习的需求日益增加，推动了教育领域的改革与发展。作为智慧教育系统的高端形态，智慧校园已成为现实，越来越受到世界各国的关注。由于近年来智能移动设备的普及以及新型智慧校园综合教学、科研、办公服务等诸多应用程序配合使用的增长，在线教育信息资源呈现井喷式增长。然而，海量数据对校园网的承载能力提出了很高的要求，智慧校园的社交内容交付遇到了瓶颈，无法获得移动用户满意的性能。由于内容服务器通常远离用户，给移动用户检索内容带来了很大的延迟。边缘缓存技术被提倡以解决上述问题，得到了业界和学术界的广泛关注。通过在网络边缘预取和存储部分热门教育视频内容，以实现低延迟、高速率的内容交付服务。考虑到无线电接入的高渗透率和大规模，具有不同无线接入技术(rat)、覆盖区域和回程能力的各种接入点(例如支持缓存的小型蜂窝基站或者无线接入点)成为边缘缓存的理想载体。大的部署密度使ap能够提供大覆盖区域和高质量的无线链路，而边缘缓存通过使内容更接近用户来缓解前传流量瓶颈并减少请求服务延迟。因此，可以控制高速前传链路的系统成本，提高用户体验。
3.为了实现大规模分布式数据的联合训练，传统的联邦学习fl框架隐含地假设一个模型可以同时拟合所有边缘端的数据生成分布，但现实情况并非如此。假设多个ap正在尝试联合训练一个内容流行度预测模型，以预测未来流行度高的内容文件。但现实中由于用户的请求随机行为导致不同的ap会对某些内容的流行度有不同的看法，一个单一的模型永远无法同时准确地预测某个内容文件在所有ap的流行度趋势。此外ap覆盖范围下用户请求的统计数据可能会因不同ap的地理位置因素、不同时间段的偏好等而有很大差异。例如，白天处于教学楼的ap通常会显示与寝室楼ap不同的用户请求数量统计数据。
4.在所有上述情况下，普通的fl框架，其中所有ap端都被平等对待并且只学习一个单一的全局模型，无法实现这一目标。


技术实现要素：

5.为解决背景技术智能网关侧的问题，为此，本发明提出了一种基于智能网关的安全缓存部署系统及方法，具体方案如下：
6.一种基于智能网关的安全缓存部署系统，为由智能网关层sg和密集部署的无线接入点层ap构成的边缘缓存网络架构；所述智能网关层sg包括依次设置联盟决策模块、全局模型聚合模块、缓存决策模块；所述联盟决策模块将所有ap划分为不同ap联盟；全局模型聚合模块通过计算所有接收到的局部模型的加权来生成的全局模型；缓存决策模块用于生成缓存决策。
7.具体地说，所述联盟决策模块收集无线接入点层ap发送来的用户请求数据特征信息，基于智能网关和超密集部署的ap构成的分层网络架构，利用基于跨媒体数据特征相似性度量的聚类算法将所有ap划分为不同ap联盟，并根据平均传输最小的原则确定代表ap。
8.具体地说，所述缓存决策模块基于联邦学习架构中的深度学习文件流行度预测的全局模型预测内容流行度而生成缓存决策。
9.基于上述一种基于智能网关的安全缓存部署系统的方法，所述智能网关层sg侧的流程步骤为：
10.sa1、智能网关层sg的联盟决策模块接收网络域下所有无线接入点层ap请求的特征数据；
11.sa2、智能网关层sg根据每个无线接入点层ap的请求内容，基于跨媒体数据特征相似性度量的类聚算法将所有ap划分为若干个差异子组，每个子组形成一个ap联盟；
12.sa3、判断是否开启新一轮通信轮次，如果是进入步骤sa4,否则进入步骤sa6；
13.sa4、智能网关层sg向基于平均传输距离最小的原则在每个ap联盟内选择代表ap内发送全局模型；
14.sa5、智能网关层sg传输全局模型至无线接入点层中的代表ap，代表ap将全局模型传输到对应的ap联盟中进行训练，获得更新的局部模型；然后全局模型聚合模块将获得的代表ap的全部局部模型聚合形成更新后的全局模型；
15.sa6、通信轮次完成后，判断是否收敛，如果没有收敛，则返回执行步骤sa3，如果已经收敛，则智能网关层sg的缓存决策模块确定获得缓存决策。
16.一种计算机设备，包括处理器、存储介质，存储介质上存有计算机程序，处理器从存储介质上读取并运行计算机程序以执行如权利要求4所述的一种基于智能网关的安全缓存部署系统的方法。
17.本发明的有益效果在于：
18.(1)本技术由超密集部署的固定接入点ap和智能网关sg形成的一种边缘缓存架构，为多个固定或移动性低的用户提供服务。在提出的架构中，智能网关层sg作为中央协调器可以提供全局服务，例如缓存整个区域的热门内容，监视本地ap中用户生成的所有请求，集中调度存储资源并负责执行缓存放置决策。
19.(2)为了实现大规模分布式数据的联合训练和解决各种终端用户的个人敏感信息，本技术首先提出联盟ap概念，将所有ap划分为最大差异的子组，构成了一种新颖的半分布式学习架构。基于上述联盟，将ap之间的分布式协作学习引入本地更新过程中，利用联盟内ap之间的低功耗通信来进行协作和交换信息以提高模型训练性能，缓解由于单个ap很难收集到足够的海量特征数据进行模型学习的困难。并且选择代表的ap来训练模型。由于在全局聚合期间只有联盟中的一个ap需要将局部模型上传到sg，与传统的联邦学习架构相反，大多数设备都需要上传其本地模型，减轻了传统方法相对于星形拓扑的资源密集型上行链路通信的成本，以及由于不可靠通信对模型准确度的影响，同时实现了通过本地低功耗d2d通信，提高完全分散的去中心化架构的可扩展性。
20.(3)本技术提出了一种半分布式架构下基于联邦学习的协同缓存方案，通过考虑ap覆盖范围下用户偏好的动态特性来研究边缘缓存问题，智能网关可以根据可用数据个性化ap的存储，以最大限度地提高整体缓存命中率，共享的本地数据可以增加模型训练的准
确度，提高文件流行度预测的准确性。
21.(4)缓存决策模块利用一个基于深度学习的文件流行度预测全局模型，使用来自网络域下ap提取的用户请求特征数据来预测内容流行度，并生成缓存决策。由于网络域下所有ap在本地收集用户请求数据和捕获特征信息，并选择代表的ap在本地进行模型训练，只将模型参数发送回sg用于构建更新的全局模型，无需将所有ap收集到的用户请求数据和特征信息上传到sg，从而起到了保护用户隐私的效果。
附图说明
22.图1为智能网关层sg的结构图。
23.图2为无线接入点层ap的结构图。
24.图3为智能网关层sg侧流程图。
25.图4为无线接入点层ap侧流程图。
具体实施方式
26.如图1-2所示，基于智能网关的半分布式联邦学习协同优化缓存部署系统，为由智能网关层sg和密集部署的无线接入点层ap构成的边缘缓存网络架构。
27.所述智能网关层sg包括依次设置的联盟决策模块、全局模型聚合模块、缓存决策模块。所述联盟决策模块收集无线接入点层ap发送来的用户请求数据特征信息，基于智能网关和超密集部署的ap构成的分层网络架构，利用基于跨媒体数据特征相似性度量的聚类算法将所有ap划分为不同ap联盟，并根据平均传输最小的原则确定代表ap；全局模型聚合模块通过计算所有接收到的局部模型的加权来生成的全局模型，用于下一通信轮次使用；缓存决策模块，利用收敛的基于联邦学习架构中深度学习的文件流行度预测的全局模型使用来自网络域下ap的数据来预测内容流行度，生成缓存决策。
28.所述无线接入点层包括依次设置的用户请求收集模块、请求特征提取模块、协同学习模块、本地模型训练模块、缓存模块。所述用户请求收集模块收集无线接入点层ap覆盖范围下终端用户的内容请求信息；请求特征提取模块用于提取用户请求内容的包含细粒度上下文信息的不同媒体特征，并将不同的媒体特征所对应的信息发送到所述智能网关层sg；协同学习模块在智能网关层sg确定ap联盟以及代表ap后，联盟内其他非代表ap将本地收集到的数据信息共享给代表ap，提高其模型训练的准确度；本地模型训练模块在每次通信轮次中，由代表ap负责本地模型训练，并将局部模型参数的更新作为反馈发回智能网关层sg；缓存模块根据智能网关层sg生成的缓存决策，将具体的媒体内容预取到本地缓存中。
29.本发明基于智能网关和超密集部署的ap构成的边缘缓存网络架构，基于此分层架构，引入联盟概念，由于不同ap的地理位置因素、不同时间段的偏好等而有很大差异，我们引入一个基于跨媒体数据特征相似性度量的聚类算法将所有ap划分为最大差异子组。具体来说，我们通过分析不同ap接收到的用户请求内容特征进行聚类。尽管用户请求的图像、音频和文本等多媒体对象具有不同的形态，但它们之间存在大量的语义关联。以流行疫情为例，所有关于它的文字描述、图像、视频、都描述了相似的语义。在提取到包含细粒度上下文信息的不同媒体特征之后，旨在学习一个公共共享空间，并将不同媒体类型的数据显式投影到这个空间后，这样我们便可以使用通用距离度量(如欧几里得距离和余弦距离)直接进
行异构数据对象之间的相似性测量实现聚类，构建联盟ap。然后，基于平均传输距离最小的原则，选择联盟内的代表ap。选定的代表ap从sg下载全局模型，并在本地模型训练过程中引入分布式协同学习机制，接受来自联盟内其他ap共享的本地数据，用于提高模型训练的准确性。并在每个通信轮次中，由代表ap将模型参数的更新作为反馈发回sg。在ap上传模型后，sg通过计算所有接收到的局部模型的加权和来生成新的全局模型。最后，sg中的基于深度学习的文件流行度预测模型使用来自网络域下ap的数据来预测内容流行度，并将其预测结果预取到缓存中。
30.如图3所示，基于上述结构，所述智能网关层sg侧的流程步骤为：
31.sa1、智能网关层sg的联盟决策模块接收网络域下所有无线接入点层ap请求的特征数据；
32.sa2、智能网关层sg根据每个无线接入点层ap的请求内容，基于跨媒体数据特征相似性度量的类聚算法将所有ap划分为若干个差异子组，每个子组形成一个ap联盟；
33.sa3、判断是否开启新一轮通信轮次，如果是进入步骤sa4,否则进入步骤sa6；
34.sa4、智能网关层sg向基于平均传输距离最小的原则在每个ap联盟内选择代表ap内发送全局模型；
35.sa5、智能网关层sg传输全局模型至无线接入点层中的代表ap，代表ap将全局模型传输到对应的ap联盟中进行训练，获得更新的局部模型；然后全局模型聚合模块将获得的代表ap的全部局部模型聚合形成更新后的全局模型；
36.sa6、通信轮次完成后，判断是否收敛，如果没有收敛，则返回执行步骤sa3，如果已经收敛，则智能网关层sg的缓存决策模块确定获得缓存决策。
37.如图4所示，所述无线接入点层ap侧的流程如下：
38.sb1、无线接入点层ap的用户请求收集模块收集终端用户请求数据后，请求特征提取模块提取用户请求数据特征；
39.sb2、根据智能网关层sg联盟决策模块来判断无线接入点层ap是否是代表ap，如果是，代表ap从智能网关层sg下载全局模型，如果不是，进入步骤sb3；
40.sb3、代表ap利用协同学习模块收集和存储联盟ap内其他ap本地数据，并通过本地模型训练模块利用联盟内所有ap提取的用户请求特征数据进行本地模型训练，然后代表ap上传局部模型到智能网关层sg；
41.sb4，通信轮次完成后，判断是否收敛，当收敛时，代表ap接收智能网关层sg的缓存决策，缓存模块进行联盟ap内容缓存。
42.从双侧角度来说，半分布式联邦学习协同优化缓存部署系统的方法，包括以下步骤：
43.s1、无线接入点层ap收集终端用户请求数据，然后提取用户请求数据特征；将所有无线接入点层ap请求的特征数据发送到智能网关层sg；
44.s2、智能网关层sg根据每个无线接入点层ap的请求内容，基于跨媒体数据特征相似性度量的类聚算法将所有ap划分为若干个差异子组，每个子组形成一个ap联盟；基于平均传输距离最小的原则在每个ap联盟内选择代表ap；
45.s3、判断是否开启新一轮的通信轮次,根据智能网关层sg联盟决策模块来判断判断是否是代表ap，如果是，代表ap从智能网关层sg下载全局模型进入步骤s5，如果不是，进
入步骤s4；
46.s4、代表ap利用协同学习模块收集和存储联盟ap内其他ap本地数据，并通过本地模型训练模块利用联盟内所有ap提取的用户请求特征数据进行本地模型训练，代表ap上传全部的局部模型到智能网关层sg中，智能网关层sg通过全局模型聚合模块聚合形成更新后的全局模型；
47.s5、通信轮次完成后，判断是否收敛，如果没有收敛，则返回执行步骤s3，如果已经收敛，则智能网关层sg确定获得缓存决策；
48.s6、无线接入点层ap接收智能网关层sg的缓存决策，进行联盟ap内容缓存。
49.一种计算机设备，包括处理器、存储介质，存储介质上存有计算机程序，处理器从存储介质上读取并运行计算机程序以执行上述一种基于智能网关的安全缓存部署系统的方法。
50.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。