数据传输与处理方法、装置及系统与流程

1.本发明涉及通信技术领域，尤其涉及一种数据传输与处理方法、装置及系统。


背景技术：

2.目前，手机、5g通信模块等无线通信技术已经运用到各个领域。在5g的商业应用中，除了医疗领域对速率与时延都有高要求外，在自动驾驶、工业自动化、远程医疗、远程控制这些应用中，对于时延的实际要求也要高于速率，为用户提供毫秒级的端到端时延是这些应用能否高效安全运行的关键所在。针对各系统的数据处理与数据传输产生的时延，是评估系统安全的重要指标，低时延将关乎最终生产的产品是否合格、是否会引发生产事故。因此降低数据处理、传输过程中消耗的时间，是亟待解决的问题。
3.目前针对大型数据量处理通常采用云计算的方式，移动终端将需要处理的数据上传至互联网上的数据中心里，由数据中心进行处理后返回处理结果，这将花费大量的传输时间。因此，现有技术中的数据传输与处理方案存在效率较低、耗时长的问题。


技术实现要素：

4.本发明提供的数据传输与处理方法、装置及系统，能够提高数据传输与处理的效率，降低时延。
5.第一方面，本发明提供一种数据传输与处理方法，所述方法应用于边缘服务器，所述方法包括：
6.接收移动终端发送的样本数据；
7.对所述样本数据进行多粒度扫描，获得特征向量；
8.将所述特征向量上传至云计算中心，以使云计算中心基于所述特征向量对级联森林进行训练，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型，将测试样本输入所述训练模型进行数据处理，并将处理结果发送至移动终端。
9.可选地，所述对所述样本数据进行多粒度扫描，获得特征向量包括：
10.采用不同维度的采样滑窗对训练样本的原始特征量进行多粒度扫描，通过随机森林和完全随机森林将扫描得到的特征量分别添加到每一层级的预测向量后，得到多粒度扫描后的增强特征向量。
11.第二方面，本发明提供另一种数据传输与处理方法，所述方法应用于云计算中心，所述方法包括：
12.接收边缘服务器上传的特征向量，其中，所述特征向量由边缘服务器对移动终端发送的样本数据进行多粒度扫描后得到；
13.基于所述特征向量对级联森林进行训练，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型，将测试样本输入所述训练模型进行数据处理，得到处理结果；
14.将所述处理结果发送至移动终端。
15.可选地，所述基于所述特征向量对级联森林进行训练，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型包括：
16.启动多粒度扫描与级联森林中的每棵子树进行自适应调整权值，优化森林中决策树的投票结果；
17.对级联森林进行逐级训练，计算子树在训练样本集上不同结果的概率向量；
18.计算级联森林各个层级在训练样本集上的预测结果；
19.判断准确率是否提升，若有提升，则增加级联森林的层数，继续训练随机森林中的每一棵决策树，直至获得准确率最高时的训练模型，最终得到自适应深度森林的训练模型。
20.第三方面，本发明提供一种数据传输与处理装置，所述装置位于边缘服务器，所述装置包括：
21.第一接收单元，用于接收移动终端发送的样本数据；
22.第一处理单元，用于对所述样本数据进行多粒度扫描，获得特征向量；
23.上传单元，用于将所述特征向量上传至云计算中心，以使云计算中心基于所述特征向量对级联森林进行训练，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型，将测试样本输入所述训练模型进行数据处理，并将处理结果发送至移动终端。
24.可选地，所述第一处理单元，还用于采用不同维度的采样滑窗对训练样本的原始特征量进行多粒度扫描，通过随机森林和完全随机森林将扫描得到的特征量分别添加到每一层级的预测向量后，得到多粒度扫描后的增强特征向量。
25.第四方面，本发明提供另一种数据传输与处理装置，所述装置位于云计算中心，所述装置包括：
26.第二接收单元，用于接收边缘服务器上传的特征向量，其中，所述特征向量由边缘服务器对移动终端发送的样本数据进行多粒度扫描后得到；
27.第二处理单元，用于基于所述特征向量对级联森林进行训练，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型，将测试样本输入所述训练模型进行数据处理，得到处理结果；
28.发送单元，用于将所述处理结果发送至移动终端。
29.可选地，所述第二处理单元，还用于启动多粒度扫描与级联森林中的每棵子树进行自适应调整权值，优化森林中决策树的投票结果；对级联森林进行逐级训练，计算子树在训练样本集上不同结果的概率向量；计算级联森林各个层级在训练样本集上的预测结果；判断准确率是否提升，若有提升，则增加级联森林的层数，继续训练随机森林中的每一棵决策树，直至获得准确率最高时的训练模型，最终得到自适应深度森林的训练模型。
30.第五方面，本发明提供一种数据传输与处理系统，所述系统包括移动终端、边缘服务器和云计算中心，其中，
31.所述移动终端，用于采集样本数据，将所述样本数据发送至所述边缘服务器；
32.所述边缘服务器，用于对所述样本数据进行多粒度扫描，获得特征向量，将所述特征向量上传至云计算中心；
33.所述云计算中心，用于基于所述特征向量对级联森林进行训练，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型，将测试样本输入所述训练模型进行数据处理，并将处理结果发送至所述移动终端。
34.第六方面，本发明提供一种边缘服务器，所述边缘服务器包括：
35.至少一个处理器；以及
36.与所述至少一个处理器通信连接的存储器；其中，
37.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述应用于边缘服务器的数据传输与处理方法。
38.第七方面，本发明提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现上述应用于边缘服务器的数据传输与处理方法。
39.第八方面，本发明提供一种云计算中心，所述云计算中心包括：
40.至少一个处理器；以及
41.与所述至少一个处理器通信连接的存储器；其中，
42.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述应用于云计算中心的数据传输与处理方法。
43.第九方面，本发明提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现上述应用于云计算中心的数据传输与处理方法。
44.本发明实施例提供的数据传输与处理方法、装置及系统，针对数据处理过程中深度森林的不同阶段进行分级处理，将深度森林的多粒度扫描部分放在边缘服务器上，将深度森林的级联森林部分放到云计算中心，移动终端将待处理的数据发送给边缘服务器，边缘服务器将多粒度扫描处理后的结果发送给云计算中心，由云计算中心进行级联森林部分的数据处理，最后将处理结果回传给移动终端，从而实现计算开销和通信开销之间的平衡，提高数据传输与处理的效率，降低时延。
附图说明
45.图1为本发明一实施例数据传输与处理方法的流程图；
46.图2为本发明另一实施例数据传输与处理方法的流程图；
47.图3为本发明再一实施例数据传输与处理方法的流程图；
48.图4为本发明实施例提供的滑动窗口扫描过程示意图；
49.图5为本发明实施例提供的级联森林的结构示意图；
50.图6为本发明实施例提供的自适应调整权值的决策树类向量生成图；
51.图7为本发明一实施例数据传输与处理装置的结构示意图；
52.图8为本发明另一实施例数据传输与处理装置的结构示意图；
53.图9为本发明一实施例数据传输与处理系统的结构示意图。
具体实施方式
54.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅
仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.本发明实施例提供一种数据传输与处理方法，所述方法应用于边缘服务器，如图1所示，所述方法包括：
56.s11、接收移动终端发送的样本数据；
57.s12、对所述样本数据进行多粒度扫描，获得特征向量；
58.s13、将所述特征向量上传至云计算中心，以使云计算中心基于所述特征向量对级联森林进行训练，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型，将测试样本输入所述训练模型进行数据处理，并将处理结果发送至移动终端。
59.本发明实施例提供的数据传输与处理方法，针对数据处理过程中深度森林的不同阶段进行分级处理，将深度森林的多粒度扫描部分放在边缘服务器上，将深度森林的级联森林部分放到云计算中心，移动终端将待处理的数据发送给边缘服务器，边缘服务器将多粒度扫描处理后的结果发送给云计算中心，由云计算中心进行级联森林部分的数据处理，最后将处理结果回传给移动终端，从而实现计算开销和通信开销之间的平衡，提高数据传输与处理的效率，降低时延。
60.本发明实施例提供另一种数据传输与处理方法，所述方法应用于云计算中心，如图2所示，所述方法包括：
61.s21、接收边缘服务器上传的特征向量，其中，所述特征向量由边缘服务器对移动终端发送的样本数据进行多粒度扫描后得到；
62.s22、基于所述特征向量对级联森林进行训练，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型，将测试样本输入所述训练模型进行数据处理，得到处理结果；
63.s23、将所述处理结果发送至移动终端。
64.本发明实施例提供的数据传输与处理方法，针对数据处理过程中深度森林的不同阶段进行分级处理，将深度森林的多粒度扫描部分放在边缘服务器上，将深度森林的级联森林部分放到云计算中心，移动终端将待处理的数据发送给边缘服务器，边缘服务器将多粒度扫描处理后的结果发送给云计算中心，由云计算中心进行级联森林部分的数据处理，最后将处理结果回传给移动终端，从而实现计算开销和通信开销之间的平衡，提高数据传输与处理的效率，降低时延。
65.下面结合具体实施例对本发明数据传输与处理方法进行详细说明。
66.如图3所示，本实施例提供的数据传输与处理方法包括：
67.s301、移动终端采集用于训练的样本数据，并发送给边缘服务器。
68.移动终端收集传感器采集的各类数据，筛选出代表不同特征量的样本，并将其作为训练样本集，发送给边缘服务器，当训练模型完成后将采集的数据作为测试样本集。
69.用于深度森林的输入的样本为向量，若移动终端采集的数据为单个数据，则将其组合为向量形式，确定为训练样本。由于终端的数据处理能力有限，所以仅对数据进行向量化处理，并作为多粒度扫描的输入。
70.s302、边缘服务器对所述样本数据进行多粒度扫描，获得特征向量，并将所述特征向量上传至云计算中心。
71.自适应深度森林的多粒度扫描部分针对输入向量进行特征增强，需要花费一定的计算量，故将其传输到边缘服务器上，最终得到信息更加丰富的特征向量。
72.在边缘服务器上采用不同维度的采样滑窗对训练样本的原始特征量进行多粒度扫描，通过随机森林和完全随机森林将扫描得到的特征量分别添加到每一层级的预测向量后，得到多粒度扫描后的增强特征向量。
73.深度森林是基于树的深度学习模型，可以解决深度神经网络中参数多、模型复杂的问题。深度森林主要包含两种结构：多粒度扫描和级联森林。相较于深度神经网络在处理特征关系时的表现，深度森林通过使用不同维度的滑动窗口扫描原始特征，将生成不同粒度的特征向量，多粒度扫描增强了级联森林的特征处理能力，使得处理效果更好。假设有400维原始特征量，使用100个特征作为滑动窗口，对于采集的序列数据，通过滑动1次特征量窗口来产生1个100维特征向量，总共产生了301个特征向量。从相同维度的窗口中产生的向量，将用于训练随机森林和完全随机森林，然后生成类向量并将其连接为新的特征向量。本发明实施例中每个完全随机森林包含500棵完全随机的决策树，通过随机选择节点处的特征并生成树直到纯叶(每个叶节点仅包含相同类别)而生成的。同样，每个随机森林包含500棵决策树，通过随机选择个特征作为候选，其中d为输入的特征量，然后选择具有最佳基尼(gini)值的一个进行分割。
74.如图4所示，假设是二分类问题，对400维原始特征向量采用100维度的滑动窗口，那么每个森林将产生301个特征向量样本，经过随机森林后，每个森林会生成301个2维的特征向量，最终得到的1204维变换后新的特征向量。当有大量的增强特征时，会传递非常丰富的增强信息，这种特征增强对最终分类结果的准确性具有非常大的提升作用。
75.s303、云计算中心对级联森林中的决策树进行逐级训练。
76.s304、计算子树在训练样本集上不同的概率向量。
77.s305、计算子树的预测结果。
78.s306、计算当前级联森林各个层级在训练样本集上的预测结果。
79.s307、判断准确率是否提升，若是，则执行步骤s308，否则执行步骤s309。
80.云计算中心根据预测结果判断准确率是否提升，直到获得准确率最高时的训练模型或者增加级联森林的层数继续训练随机森林中的每一棵决策树，最终得到自适应深度森林的数据训练模型。
81.s308、增加级联森林的层数，并返回执行步骤s303-s307。
82.s309、得到最终级联森林的预测结果。
83.s310、得到数据处理的训练模型。
84.s311、将测试样本输入所述训练模型，完成数据到结果状态的映射，输出数据处理结果。
85.s312、将数据处理结果返回给移动终端。
86.云计算对于大型的数据处理能力极强，级联森林不仅需要大量迭代而且需要计算大量的参数，所以将特征向量传输到云计算中心，对级联森林进行训练。为了简化层级数对级联中随机森林的投票机制进行自适应处理，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型。当自适应深度森林的模型得到后即可针对测试样本进行数据处理，处理结果返回移动终端，最终完成所有的传输和处理过程。
87.级联森林结构是从多粒度扫描得到的特征向量开始进行逐层处理，其中级联的每个层级都接收由其上一级处理的特征信息，经过该层级处理后将结果输出到下一层级，最后在同一森林中的所有决策树上取平均来得出处理结果的预测值。级联森林的结构示意图如图5所示。级联森林中的每一级是由若干个随机森林a和若干个完全随机森林b组成的，而若干棵决策树又集成了随机森林，所以每一个级别都是决策树森林的集合。通过级联结构的增强特征来评估整个级联结构在验证集上的性能，当性能提升不显著时，则终止训练，实现自动确定级联结构的层级数量。无论训练数据的规模大小，深度森林模型都可以通过终止训练来自适应地确定其模型复杂度，同时降低了训练成本、减少了计算资源的浪费。
88.由于森林中决策树的投票方式具有不确定性，为了防止投票权重固定造成预测结果的不稳定性和延时性，使用自适应的方法对投票权重进行改进，优化森林中决策树的投票机制，使得各个决策树特征识别达到最优化，减少深度森林的层级数量。深度森林中每一棵决策树辨识的特征对于最终结果起着至关重要的作用，一般情况下都是通过经验人为设定决策树的权重因子大小。固定的权重值将严重影响随机森林的分类结果，对于深度森林的级联结构更是一级又一级逐渐增加识别的误差。本发明采用自适应调整权值的方式逐级调整每个森林中决策树的投票权重，通过计算每一层级决策树的预测概率，自适应分配优化目标的权重值，从而进一步减少级联结构的层数，提升数据处理的准确率。
89.每个森林的结构如图6所示。第e级森林第c类的自适应加权的概率为：
90.d
ec
＝ω
1e
p
1c
+ω
2e
p
2c
+
…
+ω
ke
p
kc
+
…
+ω
te
p
tc
ꢀꢀꢀ
(1)
91.式中，d
ec
为第e级森林第c类的概率，ω
ke
为e级森林第k棵树的权重值，p
kc
为第k个子树第c类的概率。
92.上述公式(1)中的权重值ω
ke
通过以下方式计算得出：
93.由于最小二乘法可以求得与真实数据之间误差平方和最小的未知数据，从而达到获得最优函数的目的，因此，针对单个森林的权重值问题，采用最小二乘法进行处理，以误差的平方和最小为目标函数：
[0094][0095]
其中，是第e级单个森林c类的概率，d为临近历史样本窗宽。
[0096]
把d
ec
代入(2)后得到：
[0097][0098]
求取q对组合系数ω
ke
的偏导：
[0099][0100]
令偏导等于0，即可计算得到ω
ke
的值。
[0101]
为了防止计算过程中出现误差，导致权重值和不满足“1”的约束条件，在计算过程中，对每个森林的权重值进行归一化处理。
[0102]
本发明实施例提供的数据传输与处理方法，采用自适应深度森林对数据处理过程进行切分，将深度森林的多粒度扫描部分放在边缘服务器上，将深度森林的级联森林部分
放到云计算中心。由于深度森林的调节参数较多，所以当云计算中心完成了训练模型后，将参数共享到各个测试模型。移动终端将待处理的数据发送给边缘服务器，边缘服务器将多粒度扫描处理后的结果发送给云计算中心，由云计算中心进行级联森林部分的数据处理，最后将处理结果回传给移动终端，从而实现计算开销和通信开销之间的平衡，提高数据传输与处理的效率，降低时延。
[0103]
本发明实施例还提供一种数据传输与处理装置，所述装置位于边缘服务器，如图7所示，所述装置包括：
[0104]
第一接收单元11，用于接收移动终端发送的样本数据；
[0105]
第一处理单元12，用于对所述样本数据进行多粒度扫描，获得特征向量；
[0106]
上传单元13，用于将所述特征向量上传至云计算中心，以使云计算中心基于所述特征向量对级联森林进行训练，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型，将测试样本输入所述训练模型进行数据处理，并将处理结果发送至移动终端。
[0107]
本发明实施例提供的数据传输与处理装置，针对数据处理过程中深度森林的不同阶段进行分级处理，将深度森林的多粒度扫描部分放在边缘服务器上，将深度森林的级联森林部分放到云计算中心，移动终端将待处理的数据发送给边缘服务器，边缘服务器将多粒度扫描处理后的结果发送给云计算中心，由云计算中心进行级联森林部分的数据处理，最后将处理结果回传给移动终端，从而实现计算开销和通信开销之间的平衡，提高数据传输与处理的效率，降低时延。
[0108]
进一步地，所述第一处理单元12，还用于采用不同维度的采样滑窗对训练样本的原始特征量进行多粒度扫描，通过随机森林和完全随机森林将扫描得到的特征量分别添加到每一层级的预测向量后，得到多粒度扫描后的增强特征向量。
[0109]
本实施例的装置，可以用于执行上述应用于边缘服务器的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0110]
本发明实施例还提供另一种数据传输与处理装置，所述装置位于云计算中心，如图8所示，所述装置包括：
[0111]
第二接收单元21，用于接收边缘服务器上传的特征向量，其中，所述特征向量由边缘服务器对移动终端发送的样本数据进行多粒度扫描后得到；
[0112]
第二处理单元22，用于基于所述特征向量对级联森林进行训练，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型，将测试样本输入所述训练模型进行数据处理，得到处理结果；
[0113]
发送单元23，用于将所述处理结果发送至移动终端。
[0114]
本发明实施例提供的数据传输与处理装置，针对数据处理过程中深度森林的不同阶段进行分级处理，将深度森林的多粒度扫描部分放在边缘服务器上，将深度森林的级联森林部分放到云计算中心，移动终端将待处理的数据发送给边缘服务器，边缘服务器将多粒度扫描处理后的结果发送给云计算中心，由云计算中心进行级联森林部分的数据处理，最后将处理结果回传给移动终端，从而实现计算开销和通信开销之间的平衡，提高数据传输与处理的效率，降低时延。
[0115]
可选地，所述第二处理单元22，还用于启动多粒度扫描与级联森林中的每棵子树
进行自适应调整权值，优化森林中决策树的投票结果；对级联森林进行逐级训练，计算子树在训练样本集上不同结果的概率向量；计算级联森林各个层级在训练样本集上的预测结果；判断准确率是否提升，若有提升，则增加级联森林的层数，继续训练随机森林中的每一棵决策树，直至获得准确率最高时的训练模型，最终得到自适应深度森林的训练模型。
[0116]
本实施例的装置，可以用于执行上述应用于云计算中心的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0117]
本发明实施例还提供一种数据传输与处理系统，如图9所示，所述系统包括移动终端31、边缘服务器32和云计算中心33，其中，
[0118]
所述移动终端31，用于采集样本数据，将所述样本数据发送至所述边缘服务器32；
[0119]
所述边缘服务器32，用于对所述样本数据进行多粒度扫描，获得特征向量，将所述特征向量上传至云计算中心33；
[0120]
所述云计算中心33，用于基于所述特征向量对级联森林进行训练，通过不断迭代优化每个层级每个森林中的各个参数，最终得到训练模型，将测试样本输入所述训练模型进行数据处理，并将处理结果发送至所述移动终端31。
[0121]
本发明实施例提供的数据传输与处理系统，针对数据处理过程中深度森林的不同阶段进行分级处理，将深度森林的多粒度扫描部分放在边缘服务器上，将深度森林的级联森林部分放到云计算中心，移动终端将待处理的数据发送给边缘服务器，边缘服务器将多粒度扫描处理后的结果发送给云计算中心，由云计算中心进行级联森林部分的数据处理，最后将处理结果回传给移动终端，从而实现计算开销和通信开销之间的平衡，提高数据传输与处理的效率，降低时延。
[0122]
本实施例的系统，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0123]
本发明实施例还提供一种边缘服务器，所述边缘服务器包括：
[0124]
至少一个处理器；以及
[0125]
与所述至少一个处理器通信连接的存储器；其中，
[0126]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述应用于边缘服务器的数据传输与处理方法。
[0127]
本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现上述应用于边缘服务器的数据传输与处理方法。
[0128]
本发明实施例还提供一种云计算中心，所述云计算中心包括：
[0129]
至少一个处理器；以及
[0130]
与所述至少一个处理器通信连接的存储器；其中，
[0131]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述应用于云计算中心的数据传输与处理方法。
[0132]
本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现上述应用于云计算中心的数据传
输与处理方法。
[0133]
本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0134]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。