1.本发明涉及电力系统自动化技术领域，尤其是一种基于数据流渠道分析的电力运营实时监测和拟合方法。
背景技术：
2.在电力用户渠道来源和渠道引流项目的建设中，对于电力运营累计数据的分析和处理是项目建设的基础和支撑，事关电力渠道引流平台全局，也是决定项目建设实用性和时效性的关键。由于电力运营的运营数据非常庞大，对海量的运营数据进行处理和分析这需要耗费很高的硬件资源和时间成本。降低数据处理的运算量，提高数据处理效率，成为解决硬件成本和时间成本的关键。
技术实现要素：
3.本发明要解决的技术问题是提供一种电力运营渠道数据流实时监测和拟合方法。
4.为解决上述技术问题，本发明所采取的技术方案如下。
5.基于数据流分析的电力运营实时监测和拟合方法，包括以下步骤：a、收集电力运营中心运营数据；b、对运营数据按照不同类型进行优先级分段；c、对每一类数据进行数据清洗和数据合并；d、使用步骤c处理后的数据对电力运营中心的运营状态进行实时监测，并对未来运营状态进行实时模拟。
6.作为优选，步骤b中，对运营数据进行优先级分类包括以下步骤，b1、运营数据类型包括实时数据、非实时数据、用电侧数据、发电侧数据、结构化数据、非结构化数据，对每个数据类型赋予权重值；b2、对运营数据按照步骤b1中的数据类型进行分类，然后使用数据所属的若干类型对应的权重值进行求和，按照权重值求和结果对运营数据进行优先级排序，权重值求和结果与优先级成正比；b3、将按照优先级排序的数据进行分段。
7.作为优选，步骤b3中，每段数据中包括步骤b1中所有的数据类型。
8.作为优选，步骤c中，对每段数据进行数据清理包括以下步骤，c11、根据数据库中记载的异常数据包特征对数据段中与异常数据包特征相同的数据包进行标记，记做第一标记数据包；c12、将与步骤c11中标记的任意一个数据包相关度大于阈值的数据包进行标记，记做第二标记数据包；c13、以每个第一标记数据包为基准，以数据段中所有数据与作为基准的第一标记数据包的相关度作为对象，对数据段的所有数据包进行正态分布拟合，直至所有第一标记数据包均作为基准进行了拟合操作，记录每个数据包在不同拟合曲线中的位置；
c14、若数据包在任意一个拟合曲线中的位置超出了μ
±
3δ的范围，则将此数据包进行暂存，然后将其他第一标记数据包和第二标记数据包进行删除，μ为拟合曲线的均值，δ为拟合曲线的方差。
9.作为优选，步骤c12中，计算不同第二标记数据包之间相关度的标准差，若标准差大于阈值，则对第二标记数据包进行删除，保证不同第二标记数据包之间相关度的标准差小于或等于阈值。
10.作为优选，步骤c中，对经过数据清洗的数据进行数据合并包括以下步骤，c21、对数据包的数据格式进行变换统一，统一后的数据格式为，头段，用于记录数据包原始格式；地址段，用于记录数据包发送地址；数据段，用于记录数据内容；标记段，用于记录数据的优先级和标记信息；校验段，用于记录数据包的校验信息；c22、根据数据段记录的数据内容进行特征向量提取；c23、当两个数据包的特征向量线性相关，且数据包的优先级相同，则将两个数据包进行合并，合并时头段、地址段和校验段进行直接复制合并，数据段根据特征向量的线性关系进行加权相加；合并后的数据中至多包括一个步骤c14暂存的数据包。
11.作为优选，步骤c21中，校验信息与地址段和数据段的数据信息相关联。
12.作为优选，步骤c22中，对数据内容进行特征向量提取包括以下步骤，c221、对数据内容进行归一化处理；c222、设定滑动窗口，对归一化处理后的数据内容进行遍历，采集滑动窗口内数据内容相同的部分，若采集的数量不足最低阈值，则扩大滑动窗口的长度，重新进行遍历采集，直至采集的数量满足最低阈值；c223、使用采集到的数据以及数据在数据内容中的位置组成特征向量。
13.作为优选，滑动窗口的初始长度为待处理数据段长度的2.5%。
14.作为优选，步骤c23中，将未进行合并的步骤c14中暂存的数据包的特征向量与合并后的数据包的特征向量进行对比，若对比结果的线性相关度高于设定阈值，则将此合并后的数据包删除，完成全部对比后，将未进行合并的步骤c14中暂存的数据包进行删除。
15.作为优选，步骤d中，对电力运营中心的运营状态进行实时监测包括以下步骤，d11、使用校验信息对数据包进行校验；若校验通过则转至步骤d12，否则转至步骤d13；d12、使用地址段内容和数据段内容还原数据信息，根据还原的数据信息得到电力运营中心的实时运营状态；优先使用优先级高的数据包；d13、使用头段内容对数据包进行反变换，得到原始格式的数据包。
16.作为优选，步骤d11中，优先使用校验信息中与地址段相关联的内容进行校验。
17.作为优选，步骤d中，对未来运营状态进行实时模拟包括以下步骤，d21、根据步骤步骤d12中得到的电力运营中心的实时运营状态绘制运营状态图谱；d22、根据运营状态图谱的变化趋势对未来运营状态进行实时模拟；
d23、使用步骤d13得到的原始格式的数据包进行拟合，然后与步骤d22得到的未来运营状态图谱进行对比，对步骤d22得到的未来运营状态图谱进行修正。
18.采用上述技术方案所带来的有益效果在于：本发明首先根据不同的数据类型，对数据的优先级进行认定，然后根据数据清洗之后的结果和数据的优先级对数据进行合并，这样可以在精简数据的同时，保证高优先级数据的优先使用。数据清洗过程，首先使用异常数据包特征对数据包进行预过滤，将确定的异常数据进行标记，然后使用确定的异常数据来快速计算与异常数据有关联的数据。由于这些数据可能包含有效信息，所以通过正态分布拟合的方式对这些数据进行二次筛选。这一清洗过程不需要对每个数据进行有效性检测，计算量大大降低。数据合并处理过程中，首先对数据进行格式统一，这样可以减少合并过程中的计算量。本发明提供的数据格式简单，便于数据合并运算。在提取数据特征向量的过程中，采用滑动窗口循环遍历的方式进行快速采集，由于这一采集方式的操作具有重复性，所以可以在操作过程中对于重复性操作中的运算结果进行直接使用而不需要重新进行运算，这样又可以进一步降低运算量。对于暂存下来的与异常数据关联性较低的数据包，虽然不能将其直接用于数据合并，但是本发明利用其对合并后的数据包进行对比校验，从而充分利用了原始数据，减少由于数据清洗和合并产生的数据删除量，提高了原始数据的利用率。在对于运营状态的监测阶段，首先对数据包再次进行校验，并使用校验通过的数据计算电力运营的实时运营状态，从而保证计算的准确性，而对于未通过校验的数据，并不直接删除，而是通过反变换的方式去除数据处理过程中带来的误差，在模拟未来运营状态时进行图谱修正，有效提高数据的利用率。
具体实施方式
19.在以下实施例的描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
20.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
21.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
22.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0023]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0024]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0025]
实施例1、电力运营渠道引流数据分析和处理框架力运营中心渠道引流数据分析和处理框架，作为整个项目建设的全部数据来源，对于项目成效具有基础性的决定作用。数据分析的框架化步骤包括：a、收集电力运营中心运营数据；b、对运营数据按照不同类型进行优先级分段；c、对每一类数据进行数据清洗和数据合并；d、使用步骤c处理后的数据对电力运营的运营状态进行实时监测，并对未来运营状态进行实时模拟。
[0026]
实施例2、对运营数据进行优先级分类对运营数据进行优先级分类包括以下步骤：b1、运营数据类型包括实时数据、非实时数据、用电侧数据、发电侧数据、结构化数据、非结构化数据，对每个数据类型赋予权重值；b2、对运营数据按照步骤b1中的数据类型进行分类，然后使用数据所属的若干类型对应的权重值进行求和，按照权重值求和结果对运营数据进行优先级排序，权重值求和结果与优先级成正比；b3、将按照优先级排序的数据进行分段；步骤b3中，每段数据中包括步骤b1中所有的数据类型。
[0027]
实施例3、数据清理数据清理包括以下步骤：c11、根据数据库中记载的异常数据包特征对数据段中与异常数据包特征相同的数据包进行标记，记做第一标记数据包；c12、将与步骤c11中标记的任意一个数据包相关度大于阈值的数据包进行标记，记做第二标记数据包；c13、以每个第一标记数据包为基准，以数据段中所有数据与作为基准的第一标记数据包的相关度作为对象，对数据段的所有数据包进行正态分布拟合，直至所有第一标记数据包均作为基准进行了拟合操作，记录每个数据包在不同拟合曲线中的位置；c14、若数据包在任意一个拟合曲线中的位置超出了μ
±
3δ的范围，则将此数据包进行暂存，然后将其他第一标记数据包和第二标记数据包进行删除，μ为拟合曲线的均值，δ为拟合曲线的方差；步骤c12中，计算不同第二标记数据包之间相关度的标准差，若标准差大于阈值，则对第二标记数据包进行删除，保证不同第二标记数据包之间相关度的标准差小于或等于阈值。
[0028]
实施例4、数据合并对经过数据清洗的数据进行数据合并包括以下步骤：c21、对数据包的数据格式进行变换统一，统一后的数据格式为，头段，用于记录数据包原始格式；地址段，用于记录数据包发送地址；数据段，用于记录数据内容；标记段，用于记录数据的优先级和标记信息；校验段，用于记录数据包的校验信息；c22、根据数据段记录的数据内容进行特征向量提取；c23、当两个数据包的特征向量线性相关，且数据包的优先级相同，则将两个数据包进行合并，合并时头段、地址段和校验段进行直接复制合并，数据段根据特征向量的线性关系进行加权相加；合并后的数据中至多包括一个步骤c14暂存的数据包。
[0029]
步骤c21中，校验信息与地址段和数据段的数据信息相关联。步骤c22中，对数据内容进行特征向量提取包括以下步骤，c221、对数据内容进行归一化处理；c222、设定滑动窗口，对归一化处理后的数据内容进行遍历，采集滑动窗口内数据内容相同的部分，若采集的数量不足最低阈值，则扩大滑动窗口的长度，重新进行遍历采集，直至采集的数量满足最低
阈值；c223、使用采集到的数据以及数据在数据内容中的位置组成特征向量。滑动窗口的初始长度为待处理数据段长度的2.5%。
[0030]
步骤c23中，将未进行合并的步骤c14中暂存的数据包的特征向量与合并后的数据包的特征向量进行对比，若对比结果的线性相关度高于设定阈值，则将此合并后的数据包删除，完成全部对比后，将未进行合并的步骤c14中暂存的数据包进行删除。
[0031]
实施例5、数据监测对电力运营中心的运营状态进行实时监测包括以下步骤，d11、使用校验信息对数据包进行校验；若校验通过则转至步骤d12，否则转至步骤d13；d12、使用地址段内容和数据段内容还原数据信息，根据还原的数据信息得到电力运营中心的实时运营状态；优先使用优先级高的数据包；d13、使用头段内容对数据包进行反变换，得到原始格式的数据包。步骤d11中，优先使用校验信息中与地址段相关联的内容进行校验。
[0032]
实施例6、数据模拟对未来运营状态进行实时模拟包括以下步骤，d21、根据步骤步骤d12中得到的电力运营中心的实时运营状态绘制运营状态图谱；d22、根据运营状态图谱的变化趋势建立训练模型，对未来运营状态进行实时模拟；23、使用步骤d13得到的原始格式的数据包进行拟合，然后与步骤d22得到的未来运营状态图谱进行对比，对步骤d22得到的未来运营状态图谱进行修正。修正过程中，若拟合得到的图谱片段与未来运营状态图谱线性相关，则将未来运营状态图谱对应的位置标记为高可信度片段，否则标记为低可信度片段；分别建立高可信度片段和低可信度片段的特征集合，使用特征集合的数据对未来运营状态图谱的其余位置进行可信度判定，得到未来运营状态图谱的可信度判定结果，使用未来运营状态图谱的可信度判定结果对步骤d22中建立的训练模型进行反馈修正，根据最小二乘估计法得到训练模型参数的最优解。
[0033]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0034]
在各个实施例中，技术的硬件实现可以直接采用现有的智能设备，包括但不限于工控机、pc机、智能手机、手持单机、落地式单机等。其输入设备优选采用屏幕键盘，其数据存储和计算模块采用现有的存储器、计算器、控制器，其内部通信模块采用现有的通信端口和协议，其远程通信采用现有的gprs网络、万维互联网等。
[0035]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0036]
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个
单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0037]
在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random acces memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0038]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。