一种数据切片传输方法与流程

1.本技术涉及信息数据处理及传输技术领域，主要涉及一种数据切片传输方法。


背景技术：

2.随着大数据和通信技术的迅猛发展，目前，电力行业的各类数据已逐步采用分散采集集中处理的方式进行处理，因此，在大量电力数据需要及时传输和校对的情况下，各类耦合、批量、连续数据的处理和传输极大程度决定了数据传输的准确性和安全性，传统的数据切割方式以及传输方式过于单一，决策选择上不够灵活，面对大量的电力数据和高速率的，传输效率无法随着当前的数据量和传输速率及时做出优化调整，严重时，会影响到电力系统的数据储存、分析和决策。


技术实现要素：

3.本技术的目的在于提供一种数据切片传输方法，用于解决传统数据传输时存在的方案选择不灵活、效率低的问题。
4.为了实现上述目的，本技术提供了以下技术方案如下：
5.本技术提供了一种数据切片传输方法，所述方法包括：
6.数据切片传输方法，其特征在于，所述方法包括：
7.获取来自于电力系统的数据，可以但不局限于通过蓝牙、wifi、4g/5g、局域网、移动存储设备等方式获取数据，初步分析数据类型及数据大小、长度，预备足够空间分析处理数据。
8.读取电力数据的属性，根据数据大小和长度，对电力数据进行分类，确定数据切片方式的预切片模型。
9.确定切片属性。利用lstm模型分析数据的属性，根据分析结果和数据长度，选择切片优化方式，调整切片长度和切片数量，尽量达到均衡快速的分割原始数据和切片打包等工作。
10.将深度学习模型lstm模型应用于解决对电力数据属性的辨识和分析问题中，对同类型数据属性特征量进行记忆，建立输入映射到输出的内在联系，实现对数据属性的可靠辨识。
11.与浅层辨识算法相比，lstm算法解决由于属性类别繁多所引起的低辨识准确率问题；与rnn模型相比，能够有效解决以往在大样本数据训练过程出现的“梯度消失”现象，能够提高属性分析的可靠性，为后续数据切片和传输提供基础支撑。
12.切片属性包含有：切片指针、切片长度、切片容量。在lstm模型进行数据属性分析后，系统将选择适合于该数据的切片长度和方法，对数据进行切片，同时编辑切片的指针、长度和容量，与切片内容一起合成用于网络链路传输的数据包。以备传输使用。
13.根据算法计算结果，对数据包的长度和传输复杂度，在现有系统网络连接良好的传输方式(包含但不限于蓝牙、wifi、4g/5g、局域网、移动存储设备等方式)中，结合接收端
设备的数据接收方式，选择传输的链路类型，尤其是对于大切片数据选择网络链路传输切片数据
14.根据数据切片的方法和指针地址，定位并提取切片数据包，并通过切片属性还原切片内容数据，用于后续的数据存储和分析研究。
15.上述过程均不需要人为参与，运行前检查并保证系统正常运行即可，使用方便快捷。
附图说明
16.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本技术的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本技术的主旨。
17.图1是本技术方法流程示意图；
18.图2是本技术方法的技术应用架构示意图；
19.图3是本技术lstm实施流程图。
具体实施方式
20.为使本技术实施方式的目的、技术方案和优点更加清楚，下面将结合本技术实施方式中的附图，对本技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本技术一部分实施方式，而不是全部的实施方式。基于本技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本技术保护的范围。因此，以下对在附图中提供的本技术的实施方式的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施方式。基于本技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本技术保护的范围。
21.实施例
22.如图1所示，本技术提供一种数据切片传输方法，该方法系统架构如图2所示，具体方法包括：
23.获取来自于电力系统的数据，可以但不局限于通过蓝牙、wifi、4g/5g、局域网、移动存储设备等方式获取数据，初步分析数据类型及数据大小、长度，预备足够空间分析处理数据。
24.读取电力数据的属性，根据数据大小和长度，对电力数据进行分类，确定数据切片方式的预切片模型。
25.确定切片属性。利用lstm模型分析数据的属性，根据分析结果和数据长度，选择切片优化方式，调整切片长度和切片数量，尽量达到均衡快速的分割原始数据和切片打包等工作。
26.将深度学习模型lstm模型应用于解决对电力数据属性的辨识和分析问题中，对同
类型数据属性特征量进行记忆，建立输入映射到输出的内在联系，实现对数据属性的可靠辨识。
27.与浅层辨识算法相比，lstm算法解决由于属性类别繁多所引起的低辨识准确率问题；与rnn模型相比，能够有效解决以往在大样本数据训练过程出现的“梯度消失”现象，能够提高属性分析的可靠性，为后续数据切片和传输提供基础支撑。
28.lstm深度学习算法通过训练大量数据样本来学习其中潜在的规律和特性，其整个框架如附图2所示。为了获得更好的学习样本，在电力数据样本中，引入数据属性检测和分析机制，以明确不同电力数据的种类和切割要求，然后再通过lstm进行训练、学习等操作。
29.结合lstm网络的电力数据属性分析算法流程主要分为以下几个步骤，如图3所示。
30.(1)准备训练和测试样本数据
31.在准备训练样本时，采样装置不断获取当前需要传输的电力数据，在不同时间段、电力设备、使用用途的组合情况下，将短期的数据记录在本地数据库上。
32.测试样本直接将采集到的数据进行实时分析。为了后续验证算法的性能，这里也将其缓存到本地数据库上，同时也方便测试和分析。
33.(2)输入输出节点数和隐含层神经元个数的选取
34.将lstm神经网络应用于电力数据属性分析，其神经元节点和网络层数决定了辨识和分析结果的好坏。将输入的电力数据特征要求的维数决定输入层节点的个数，而相应期望的负荷标签向量的维数则决定输出节点的个数。而隐含层神经元个数的选择通常与工程实际有关，一般而言，神经元个数越少，对混叠特征下的样本辨识效果越差，而随着神经元个数增多，辨识效果会逐步提升，但是超过一定个数，则辨识效果会趋于稳定。据实际经验，一般选择2倍的输入神经元个数或更多。
35.根据电力数据属性的不同组合，选取输入层神经元个数为n，输入的时序变量为x1,x2,
…
,x
t
，其中在采样时刻t神经元的输入时间序列为，其中在采样时刻t神经元的输入时间序列为
36.(3)定义输出层变量
37.定义不同电力数据属性对应的提示编号，对具有明显特征的电力数据进行初步测试，则选取输出层神经元的个数，对输出变量按照进行定义。
38.(4)网络层数
39.对于每个数据属性对应的数据特征输入信号，每个采样时间点的数据获取对应一层网络。隐含层是神经网络学习过程中具有对细节认知的功能，能够更好的区分类别。因此相对来说，层数越多其辨识准确度越高，但训练过程也越复杂。通常，隐含层的层数与输入的特征类别有关，单一特征情况下一般设置一层隐含层。
40.(5)各层激活函数的确定
41.在人工神经网络中，激活函数表示网络中节点针对给定输入产生相应输出的映射关系。由于二进制函数和线性函数构建的网络模型具有非常不稳定的收敛特性，因此，通常使用规范的s形激活函数来解决。目前应用范围最广的函数是sigmoid函数。其函数表达式为
42.43.其中λ＝1，b＝0。
44.(6)损失函数的选取
45.在神经网络中，网络模型理想的输出值与真实值之间的差值即为误差，损失函数则是描述并评估该差值的函数，将模型预测输出与相关联类标签的偏离程度进行量化。在分类模型或回归模型中，监督式学习机制以损失函数为标准，对训练效果进行评估，其目的在于使预测值与实际值之间的差值最小化。
46.损失函数的选取与网络对权重的修正作用有重要关联，在很大程度上影响着网络的学习能力。优化模型中一般选取全局连续和可微的损失函数，本文选取对数似然损失函数(log-likelihoodlossfunction)，其表达式为：
[0047][0048]
切片属性包含有：切片指针、切片长度、切片容量。在lstm模型进行数据属性分析后，系统将选择适合于该数据的切片长度和方法，对数据进行切片，同时编辑切片的指针、长度和容量，与切片内容一起合成用于网络链路传输的数据包。以备传输使用。
[0049]
根据算法计算结果，对数据包的长度和传输复杂度，在现有系统网络连接良好的传输方式(包含但不限于蓝牙、wifi、4g/5g、局域网、移动存储设备等方式)中，结合接收端设备的数据接收方式，选择传输的链路类型，尤其是对于大切片数据选择网络链路传输切片数据
[0050]
根据数据切片的方法和指针地址，定位并提取切片数据包，并通过切片属性还原切片内容数据，用于后续的数据存储和分析研究。