一种数据封装集成的方法及系统与流程

本发明涉及计算机、智能计算领域，尤其涉及一种数据封装集成的方法及装置。

背景技术：

数据封装集成是指对上层产生的传输单元在数据链路层经过一系列处理，组成帧结构并进行有效传输的过程。

现有的数据封装集成处理方法由以下流程构成：

1、用户信息转换为数据，以便在网络上传输

2、数据转换为数据段，并在发送方和接收方主机之间建立一条可靠的连接

3、数据段转换为数据包或数据报，并在报头中放上逻辑地址，这样每一个数据包都可以通过互联网络进行传输

4、数据包或数据报转换为帧，以便在本地网络中传输。在本地网段上，使用硬件地址唯一标识每一台主机

5、帧转换为比特流，并采用数字编码和时钟方案对封装信息进行标记。

现有封装技术的拥塞控制能力和对于网络的适应性较差，且存在帧开销大、硬件实现难度大的不足，会出现传输单元速率不一致、封装难度大和传输效率低等问题，无法满足多元异构场景下数据传输的安全性和可靠性需求，数据封装集成的效率也有待提高。

鉴于此，需要提供一种数据封装集成的方法及装置，能够解决上述问题。

技术实现要素：

本申请所要解决的技术问题是提供一种数据封装集成的方法及装置，解决现有封装技术的拥塞控制能力和对于网络的适应性较差，且存在帧开销大、硬件实现难度大的问题。

为解决上述技术问题，本发明的数据封装集成的方法，包括下列步骤，

s1.根据预设的数据封装集成请求在预设周期内获取待处理数据，对其进行处理得到待封装数据，接收用户的数据划分指令进行身份验证传输；

s2.根据接收数据划分指令中的预设数量对待封装数据进行划分，并根据频率上调阈值和频率下调阈值向采集模块10反馈调整采集周期；

s3.将待封装数据根据数据类型进行分类，建立模块间不同数据格式的安全通道，将待封装数据发送给数据封装模块80；

s4.数据封装模块80接入封装协议，对数据进行封装集成，并验证数据封装集成是否执行成功。

进一步的，所述s1中，包括下列步骤，

采集模块10根据预设的数据封装集成请求在预设周期内获取待处理数据，数据封装集成请求信息可以通过用户发送或根据用户的需求生成；第一处理模块20对待处理数据进行处理，以获取所对应的处理参数；

第一处理模块20将处理参数发送给数据封装模块80的接口单元802，接口单元802将处理参数封装为统一的接口参数，通过数据预处理实现统一的接口，保证封装协议的接入；第一处理模块20按预设周期向判断模块60输出采集的待封装数据；

指令发布模块30接收用户的数据划分指令，数据划分指令用于根据使用者的命令将数据流划分为数据段；过滤网关40向指令发布模块30发送数据划分指令获取请求，数据划分指令获取请求中含有过滤网关40的身份标识；指令发布模块30根据过滤网关40的身份标识对其进行身份验证；

通过身份验证的过滤网关40接收数据划分指令，并下发至转发模块50；转发模块50用于存储数据划分指令，并将数据划分指令发送给判断模块60；数据划分指令用于指示判断模块60需要划分的数据信息的预设数量。

上述步骤中数据处理和身份验证的有益效果为：对待处理数据进行清洗、标定、归一化等处理，得到处理参数，方便后面进行接口统一，为接入封装协议奠定基础；通过对过滤网关进行身份验证，确保数据传输的安全性。

具体的，第一处理模块对待处理数据进行处理，以获取所对应的处理参数，得到待封装数据：

其中，m为待封装数据，m0为原数据，a1、a2、a3均为处理参数，mmax和mmin分别为m0中的最大值和最小值。

具体的，身份验证规则为：其中，ri是过滤网关40i的转发效率，根据实际情况进行计算，vi是过滤网关40i的数据处理速度，ri是过滤网关40i的参数，ti是过滤网关40i发送数据到指令发布模块30的时间；选择εi≥ε0的过滤网关40发送数据划分指令，ε0为网关信任阈值。

进一步的，所述s2中，判断模块60接收第一处理模块20按预设周期发送的待封装数据，根据接收数据划分指令中的预设数量对待封装数据进行划分，并根据频率上调阈值和频率下调阈值向采集模块10反馈调整采集周期；频率上调阈值和频率下调阈值根据实际需求自行设定。

具体的，判断模块60对待封装数据的划分过程为：

首先，判断模块60判断数据信息数量是否大于预设数量μ，若是，则将前μ个数据信息以数据包的形式发送给第二处理模块70，并确定未进行划分的剩余数据信息；否则，将所有数据信息以数据包的形式发送给第二处理模块70；

然后，判断预设数量与剩余数据信息数量的大小，选择二者中较大值作为新的数量阈值；到达下一个预设周期时间点时，根据新的数量阈值对数据进行划分，并以数据包的形式发送给第二处理模块70；若预设数量大于剩余数据信息数量，则对上一次的剩余数据信息和本次新到达的数据信息进行划分，本次划分的操作可以参考上一次划分操作。

上述步骤中待封装数据划分方法的有益效果为：动态调整数据划分阈值，提高系统的智能化和适用能力，根据频率上调阈值和频率下调阈值反馈频率调整指令，提高系统采集的自适应能力。

进一步的，所述s3中，第二处理模块70根据待封装数据的数据类型，确定需要封装成的数据对象的格式，将待封装数据根据数据类型进行分类，建立模块间的安全通道，通过安全通道将不同格式的数据对应输出给数据封装模块80；

安全通道的建立方法为，第二处理模块70向数据封装模块80发送安全通道建立请求，第二处理模块70中的每个格式单元都有数据封装模块80之间建有单独的安全通道，安全通道建立请求中包括该格式单元对应的过滤网关40、转发模块50的身份标识和公钥，数据封装模块80生成自己的公钥和私钥，并把公钥发送给第二处理模块70，第二处理模块70根据数据封装模块80的公钥生成一个信息钥匙对，用公钥加密待封装数据，把加密后的信息发给数据封装模块80，数据封装模块80用公钥进行解密得到待封装数据。

具体的，加密方法为，每个格式单元随机选取三个大素数p、q、s作为私钥pk秘密保存，并满足|p|＝|q|＝|s|＝λ，λ是安全参数；格式单元计算各自的公钥bk＝pqs，计算秘密信息n＝pq，传输n个待封装数据mi(i＝1，2，...，n)，进行加密计算：

其中，mi，p、mi，q分别表示通过素数p、q对数据进行加密，≡表示等价于；格式单元随机选取盲化系数计算使得：

如果

或者

格式单元重新选择盲化系数；设定1≡(q-1)qmodp和1≡(p-1)pmodq，对随机素数进行哈希加密：

c1＝h(p||s)

其中，h表示哈希函数，|||表示联结操作，q^-1表示q的逆元素，p^-1表示p的逆元素；然后格式单元将c＝(c1，c2，c3，c4，c5)发送给数据封装模块80。

上述步骤中建立安全通道的有益效果为：通过本发明所述的加密方法设置了独有的信息钥匙对，增强数据传输的安全性和可靠性。

进一步的，所述s4中，数据封装模块80中的接口单元802将第一处理模块20发送的处理参数封装为统一的接口参数，通过数据预处理实现统一的接口，保证封装协议的接入；映射单元803将接收到的不同类型的数据通过接口单元802映射到封装协议的净荷中，形成数据对象；接口单元802将封装后的数据对象传输至目的数据库，获取数据对象中的数据，对其进行集成。

上述步骤中进行数据封装集成的有益效果为：对处理参数封装为统一的接口参数，通过数据预处理实现接口的统一，保证封装协议的接入，提高数据封装集成的成功率。

本发明还涉及一种运行上述基于工业互联网的大数据预测分析系统，包括以下部分：采集模块10、第一处理模块20、指令发布模块30、过滤网关40、转发模块50、判断模块60、第二处理模块70和数据封装模块80。

本发明的有益效果是：

(1)对待处理数据进行清洗、标定、归一化等处理，得到处理参数，方便后面进行接口统一，为接入封装协议奠定基础；通过对过滤网关进行身份验证，确保数据传输的安全性；

(2)动态调整数据划分阈值，提高系统的智能化和适用能力，根据频率上调阈值和频率下调阈值反馈频率调整指令，提高系统采集的自适应能力；

(3)通过本发明所述的加密方法设置了独有的信息钥匙对，增强数据传输的安全性和可靠性；

(4)对处理参数封装为统一的接口参数，通过数据预处理实现接口的统一，保证封装协议的接入，提高数据封装集成的成功率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1本发明数据封装集成系统结构图。

图2本发明的数据封装模块数据传输流程图。

图3本发明的数据封装集成的方法的流程图。

具体实施方式

以下将结合本实施例中的附图来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

参照图1，本发明所述的一种数据封装集成装置包括以下部分：

采集模块10、第一处理模块20、指令发布模块30、过滤网关40、转发模块50、判断模块60、第二处理模块70和数据封装模块80

所述采集模块10，用于根据预设的数据封装集成请求在预设周期内获取待处理数据，将采集的数据通过数据传输的方式发送给第一处理模块20，并将采集周期通过数据传输的方式发送给所述判断模块60；

所述第一处理模块20，用于根据按实际需求预先设置的处理方法对待处理数据进行清洗、标定、归一化等处理，以获取所对应的处理参数，得到待封装数据，将处理参数通过数据传输的方式发送给所述数据封装模块80，将待封装数据通过数据传输的方式发送给所述判断模块60；

所述指令发布模块30，用于接收用户的数据划分指令，所述数据划分指令用于根据使用者的命令将数据流划分为数据段。指令发布模块30将数据划分指令通过数据传输的方式发送给通过身份验证的过滤网关40；

所述过滤网关40，用于向所述指令发布模块30发送数据划分指令获取请求，接收数据划分指令，将数据划分指令通过数据传输的方式发送给转发模块50；

所述转发模块50，用于存储数据划分指令，并将数据划分指令通过数据传输的方式发送给所述判断模块60；

所述判断模块60，用于根据接收数据划分指令中的预设数量对待封装数据进行划分，并根据频率上调阈值和频率下调阈值向采集模块10反馈调整采集周期。判断模块60将划分后的数据以数据包的形式发送给第二处理模块70，将频率调整指令通过数据传输的方式发送给所述采集模块10；

所述第二处理模块70，包含若干个格式单元，用于根据待封装数据的数据类型，确定需要封装成的数据对象的格式，不同类型的待封装数据进入不同的格式单元中，每个格式单元与数据封装模块80建立模块间的安全通道，通过安全通道将不同格式的数据对应输出给数据封装模块80，格式单元的数量由数据类型数量决定。第二处理模块70通过数据连接的方式通过安全通道将待封装数据传输给所述数据封装模块80；

所述数据封装模块80，用于将数据封装在数据对象中，包括数据接收单元801、接口单元802、映射单元803和校验单元804，如图2所示。所述数据接收单元801，用于接收所述第二处理模块70发送的待封装数据，数据接收单元801中包含与格式单元数量等同的接收块；所述接口单元802，用于将所述第一处理模块20发送的处理参数封装为统一的接口参数，通过数据预处理实现统一的接口，接入封装协议；所述映射单元803，用于将接收到的不同类型的数据通过接口单元802映射到封装协议的净荷中，形成数据对象；所述校验单元804，用于验证数据封装是否执行成功，若成功则执行下一步，否则重新调用等待封装的数据。

采集模块10根据预设的数据封装集成请求在预设周期内获取待处理数据，将采集的数据通过数据传输的方式发送给第一处理模块20，并将采集周期通过数据传输的方式发送给所述判断模块60；第一处理模块20对待处理数据进行处理，以获取所对应的处理参数，得到待封装数据，将处理参数通过数据传输的方式发送给所述数据封装模块80，将待封装数据通过数据传输的方式发送给所述判断模块60；指令发布模块30接收用户的数据划分指令，将数据划分指令通过数据传输的方式发送给通过身份验证的过滤网关40；过滤网关40接收数据划分指令，将数据划分指令通过数据传输的方式发送给转发模块50；转发模块50存储数据划分指令，并将数据划分指令通过数据传输的方式发送给所述判断模块60；判断模块60对待封装数据进行划分，并根据频率上调阈值和频率下调阈值向采集模块10反馈调整采集周期，然后将划分后的数据以数据包的形式发送给第二处理模块70，将频率调整指令通过数据传输的方式发送给所述采集模块10；第二处理模块70中的每个格式单元与数据封装模块80建立模块间的安全通道，通过安全通道将不同格式的数据对应输出给数据封装模块80；数据封装模块80包括数据接收单元801、接口单元802、映射单元803和校验单元804。接口单元802接入封装协议，数据接收单元801接收第二处理模块70的待封装数据，发送给映射单元803，映射单元803通过接口单元802进行数据映射，完成数据封装，校验单元804对验证数据封装是否执行成功，若成功，则由接口单元802发送至目的数据库。

参照图3，本发明所述一种数据封装集成的方法包括：

s1.根据预设的数据封装集成请求在预设周期内获取待处理数据，对其进行处理得到待封装数据，接收用户的数据划分指令进行身份验证传输；

所述采集模块10根据预设的数据封装集成请求在预设周期内获取待处理数据，所述数据封装集成请求信息可以通过用户发送或根据用户的需求生成。第一处理模块20对待处理数据进行清洗、标定、归一化等处理，以获取所对应的处理参数，得到待封装数据：

其中，m为待封装数据，m0为原数据，a1、a2、a3均为处理参数，mmax和mmin分别为m0中的最大值和最小值。第一处理模块20将处理参数发送给数据封装模块80的接口单元802，接口单元802将处理参数封装为统一的接口参数，通过数据预处理实现统一的接口，保证封装协议的接入。第一处理模块20按预设周期向判断模块60输出采集的待封装数据。

所述指令发布模块30接收用户的数据划分指令，所述数据划分指令用于根据使用者的命令将数据流划分为数据段。所述过滤网关40向所述指令发布模块30发送数据划分指令获取请求，所述数据划分指令获取请求中含有过滤网关40的身份标识。指令发布模块30根据过滤网关40的身份标识对其进行身份验证，所述身份验证规则为：

其中，ri是过滤网关40i的转发效率，根据实际情况进行计算，vi是过滤网关40i的数据处理速度，ri是过滤网关40i的参数，ti是过滤网关40i发送数据到指令发布模块30的时间。选择εi≥ε0的过滤网关40发送数据划分指令，ε0为网关信任阈值。

通过身份验证的过滤网关40接收数据划分指令，并下发至转发模块50。所述转发模块50用于存储数据划分指令，并将数据划分指令发送给所述判断模块60。所述数据划分指令用于指示判断模块60需要划分的数据信息的预设数量。

所述步骤s1中数据处理和身份验证的有益效果为：对待处理数据进行清洗、标定、归一化等处理，得到处理参数，方便后面进行接口统一，为接入封装协议奠定基础；通过对过滤网关进行身份验证，确保数据传输的安全性。

s2.根据接收数据划分指令中的预设数量对待封装数据进行划分，并根据频率上调阈值和频率下调阈值向采集模块10反馈调整采集周期；

所述判断模块60接收第一处理模块20按预设周期发送的待封装数据，根据接收数据划分指令中的预设数量对待封装数据进行划分，并根据频率上调阈值和频率下调阈值向采集模块10反馈调整采集周期。所述频率上调阈值和频率下调阈值根据实际需求自行设定。

所述判断模块60对待封装数据的划分过程为：

首先，所述判断模块60判断所述数据信息数量是否大于预设数量μ，若是，则将前μ个数据信息以数据包的形式发送给第二处理模块70，并确定未进行划分的剩余数据信息；否则，将所有数据信息以数据包的形式发送给第二处理模块70。然后，判断预设数量与剩余数据信息数量的大小，选择二者中较大值作为新的数量阈值。到达下一个预设周期时间点时，根据新的数量阈值对数据进行划分，并以数据包的形式发送给第二处理模块70。若预设数量大于剩余数据信息数量，则对上一次的剩余数据信息和本次新到达的数据信息进行划分，本次划分的操作可以参考上一次划分操作，此处不再赘述。

所述判断模块60判断预设周期内的数据信息数量是否大于频率上调阈值或小于频率下调阈值，若是，则向所述采集模块10发送频率调整指令，指示所述采集模块10相应的提高或降低数据的上报频率。

所述步骤s2中待封装数据划分方法的有益效果为：动态调整数据划分阈值，提高系统的智能化和适用能力，根据频率上调阈值和频率下调阈值反馈频率调整指令，提高系统采集的自适应能力。

s3.将待封装数据根据数据类型进行分类，建立模块间不同数据格式的安全通道，将待封装数据发送给所述数据封装模块80；

所述第二处理模块70根据待封装数据的数据类型，确定需要封装成的数据对象的格式，将待封装数据根据数据类型进行分类，建立模块间的安全通道，通过安全通道将不同格式的数据对应输出给数据封装模块80。所述安全通道的建立方法为：

第二处理模块70向数据封装模块80发送安全通道建立请求，第二处理模块70中的每个格式单元都有数据封装模块80之间建有单独的安全通道，所述安全通道建立请求中包括该格式单元对应的过滤网关40、转发模块50的身份标识和公钥。数据封装模块80生成自己的公钥和私钥，并把公钥发送给第二处理模块70，第二处理模块70根据数据封装模块80的公钥生成一个信息钥匙对，用公钥加密待封装数据，把加密后的信息发给数据封装模块80，数据封装模块80用公钥进行解密得到待封装数据。

所述加密方法为：每个格式单元随机选取三个大素数p、q、s作为私钥pk秘密保存，并满足|p|＝|q|＝|s|＝λ，λ是安全参数。格式单元计算各自的公钥bk＝pqs，计算秘密信息n＝pq，传输n个待封装数据mi(i＝1，2，...，n)，进行加密计算：

其中，mi，p、mi，q分别表示通过素数p、q对数据进行加密，表示等价于。格式单元随机选取盲化系数计算使得：

如果或者格式单元重新选择盲化系数。设定1≡(q-1)qmodp和1≡(p-1)pmodq，对随机素数进行哈希加密：

c1＝h(p||s)

其中，h表示哈希函数，||表示联结操作，q^-1表示q的逆元素，p^-1表示p的逆元素。然后格式单元将c＝(c1，c2，c3，c4，c5)发送给数据封装模块80。

所述步骤s3中建立安全通道的有益效果为：通过本发明所述的加密方法设置了独有的信息钥匙对，增强数据传输的安全性和可靠性。

s4.所述数据封装模块80接入封装协议，对数据进行封装集成，并验证数据封装集成是否执行成功。

所述数据封装模块80中的接口单元802将第一处理模块20发送的处理参数封装为统一的接口参数，通过数据预处理实现统一的接口，保证封装协议的接入。映射单元803将接收到的不同类型的数据通过接口单元802映射到封装协议的净荷中，形成数据对象。所述接口单元802将封装后的数据对象传输至目的数据库，获取数据对象中的数据，对其进行集成。判断在获取数据对象中的数据，对数据进行集成的过程中是否存在异常，当存在异常时，将数据对象输出到日志文件中。

确定数据封装模块80的封装标准，通过统一的调用方法、服务等形式作为接口的具体展示方式。将构件内部代码规范化，所述封装标准由用户设定，例如可设定为：封装的数据对象必须以component结尾；需要重写run方法，并且run方法需要被@comonent、@returns注解修饰；@component注解用于标识该数据对象，如果没有这个注解，该数据对象无法被平台调用；@returns注解用于指定封装的数据输出格式。

所述步骤s4进行数据封装集成的有益效果为：对处理参数封装为统一的接口参数，通过数据预处理实现接口的统一，保证封装协议的接入，提高数据封装集成的成功率。

综上所述，便完成了本发明所述的一种数据封装集成的方法及装置。

以上所述仅为本发明的较佳实施例，并不用于限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。