一种多源数据的全景展示方法、装置、存储介质及系统与流程

1.本发明涉及低压台区多源数据的全景展示技术领域，尤其涉及一种多源数据的全景展示方法、装置、存储介质及系统。


背景技术：

2.面向高比例新能源海量设备的接入，需要通过低压台区全景展示，以实现对台区运行状态精确感知，辅助低压台区进行决策，支撑源网荷储的协同调控与互补共济。
3.在现有技术中，通常通过云边协同以及中间件技术来灵活高效地处理海量数据，实现电力终端设备的数据和数据分析的统一管理，其中，中间件作为核心部件，可以有效减小设备运行维护的工作量，支撑低压台区全景展示。
4.但是，现有技术仍存在如下缺陷：1、低压台区内多主体实时产生的海量异构数据之间存在数据壁垒，难以实现多元数据的融合管理；2、低压台区通信环境复杂，存在较多噪声干扰，影响低压台区全景展示的实现，当前技术缺少噪声数据库和云边协同设计，无法充分利用噪声的先验信息与历史数据，导致噪声滤除效率低、精度差。
5.因此，当前需要一种多源数据的全景展示方法、装置、计算机可读存储介质以及系统，从而克服现有技术中存在的上述缺陷。


技术实现要素：

6.本发明实施例提供一种多源数据的全景展示方法、装置、计算机可读存储介质以及系统，从而提升多源数据的处理效率并提升噪声滤除效率。
7.本发明一实施例提供一种多源数据的全景展示方法，所述全景展示方法包括：获取待展示低压台区的多源数据；通过噪声库比对模块以及噪声滤除模块，对所述多源数据进行匹配滤除，获得第一多源数据；通过预设的全景聚合模型，对所述第一多源数据进行融合处理，获得第二多源数据，并根据所述第二多源数据进行数据全景展示。
8.作为上述方案的改进，通过噪声库比对模块以及噪声滤除模块，对所述多源数据进行匹配滤除，获得第一多源数据，具体包括：将所述多源数据与噪声库对比模块中的噪声样本进行对比匹配，判断所述噪声库对比模块的噪声样本中是否存在与所述多源数据匹配的第一噪声样本；若存在，则根据所述第一噪声样本，在本地对所述多源数据进行噪声滤除，获得赌徒第一多源数据；若不存在，则将所述多源数据上传至云端，以使所述云端根据所述多源数据以及所述噪声库对比模块，对所述多源数据进行分析降噪，获得第一多源数据。
9.作为上述方案的改进，通过预设的全景聚合模型，对所述第一多源数据进行融合处理，获得第二多源数据，具体包括：根据预设的全景聚合模型，对所述第一多源数据进行数据统一，获得标准化数据；根据预设的全景聚合模型，对所述标准化数据进行数据清洗，获得清洁数据；根据预设的全景聚合模型，对所述清洁数据进行数据补全，获得补全数据；根据预设的全景聚合模型，对所述补全数据进行数据融合，获得第二多源数据。
10.作为上述方案的改进，根据预设的全景聚合模型，对所述第一多源数据进行数据统一，获得标准化数据，具体包括：将所述第一多源数据分为结构化数据以及非结构化数据；根据预设的映射模型，将所述结构化数据转化为第一标准数据，并对所述非结构化数据进行语义分析和图像分析以获取第二标准数据；将所述第一标准数据以及所述第二标准数据作为标准化数据。
11.作为上述方案的改进，根据预设的全景聚合模型，对所述补全数据进行数据融合，获得第二多源数据，具体包括：根据预设的信息提取方法，从所述补全数据中提取待识别信息；计算待识别信息之间的相似度，并根据预设的相似判断阈值，判断待识别信息对应的补全数据之间是否相似；将判断认为相似的补全数据进行合并，获得第二多源数据。
12.本发明另一实施例对应提供了一种多源数据的全景展示装置，所述全景展示装置包括数据获取单元、噪声滤除单元以及融合展示单元，所述数据获取单元用于获取待展示低压台区的多源数据；所述噪声滤除单元用于通过噪声库比对模块以及噪声滤除模块，对所述多源数据进行匹配滤除，获得第一多源数据；所述融合展示单元用于通过预设的全景聚合模型，对所述第一多源数据进行融合处理，获得第二多源数据，并根据所述第二多源数据进行数据全景展示。
13.作为上述方案的改进，所述噪声滤除单元还用于：将所述多源数据与噪声库对比模块中的噪声样本进行对比匹配，判断所述噪声库对比模块的噪声样本中是否存在与所述多源数据匹配的第一噪声样本；若存在，则根据所述第一噪声样本，在本地对所述多源数据进行噪声滤除，获得赌徒第一多源数据；若不存在，则将所述多源数据上传至云端，以使所述云端根据所述多源数据以及所述噪声库对比模块，对所述多源数据进行分析降噪，获得第一多源数据。
14.作为上述方案的改进，所述融合展示单元还用于：根据预设的全景聚合模型，对所述第一多源数据进行数据统一，获得标准化数据；根据预设的全景聚合模型，对所述标准化数据进行数据清洗，获得清洁数据；根据预设的全景聚合模型，对所述清洁数据进行数据补全，获得补全数据；根据预设的全景聚合模型，对所述补全数据进行数据融合，获得第二多源数据。
15.作为上述方案的改进，所述融合展示单元还用于：将所述第一多源数据分为结构化数据以及非结构化数据；根据预设的映射模型，将所述结构化数据转化为第一标准数据，并对所述非结构化数据进行语义分析和图像分析以获取第二标准数据；将所述第一标准数据以及所述第二标准数据作为标准化数据。
16.作为上述方案的改进，所述融合展示单元还用于：根据预设的信息提取方法，从所述补全数据中提取待识别信息；计算待识别信息之间的相似度，并根据预设的相似判断阈值，判断待识别信息对应的补全数据之间是否相似；将判断认为相似的补全数据进行合并，获得第二多源数据。
17.本发明另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如前所述的多源数据的全景展示方法。
18.本发明另一实施例提供了一种多源数据的全景展示系统，所述全景展示系统包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所
述处理器执行所述计算机程序时实现如前所述的多源数据的全景展示方法。
19.与现有技术相比，本技术方案存在如下有益效果：
20.本发明提供了一种多源数据的全景展示方法、装置、计算机可读存储介质以及系统，通过利用噪声库对比模块对获取的多源数据进行噪声滤除，并对滤除噪声后的多源数据进行数据统一融合，该全景展示方法、装置、计算机可读存储介质以及系统提升了多源数据的处理效率，并提升了噪声滤除效率。
附图说明
21.图1是本发明一实施例提供的一种多源数据的全景展示方法的流程示意图；
22.图2是本发明一实施例提供的一种多源数据的全景展示装置的结构示意图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.具体实施例一
25.本发明实施例首先描述了一种多源数据的全景展示方法。图1是本发明一实施例提供的一种多源数据的全景展示方法的流程示意图。
26.如图1所示，所述全景展示方法包括：
27.s1:获取待展示低压台区的多源数据。
28.s2:通过噪声库比对模块以及噪声滤除模块，对所述多源数据进行匹配滤除，获得第一多源数据。
29.在获得多源数据后，为了提升噪声滤除的效率，首先基于噪声库比对模块的噪声历史数据，对数据流中可能存在的噪声干扰进行匹配分析，若数据中的噪声与噪声库比对模块的已有信息的匹配程度高，则在本地直接滤除噪声；否则，云边协同噪声滤除模块通过北向接口向低压台区数据管理平台发送云端处理请求，数据管理平台分析噪声类型，更新噪声库比对模块的噪声信息，并辅助云边协同噪声滤除模块的滤波器进行噪声消除，实现云边协同的噪声干扰滤除。
30.在一个实施例中，通过噪声库比对模块以及噪声滤除模块，对所述多源数据进行匹配滤除，获得第一多源数据，具体包括：将所述多源数据与噪声库对比模块中的噪声样本进行对比匹配，判断所述噪声库对比模块的噪声样本中是否存在与所述多源数据匹配的第一噪声样本；若存在，则根据所述第一噪声样本，在本地对所述多源数据进行噪声滤除，获得赌徒第一多源数据；若不存在，则将所述多源数据上传至云端，以使所述云端根据所述多源数据以及所述噪声库对比模块，对所述多源数据进行分析降噪，获得第一多源数据。
31.s3:通过预设的全景聚合模型，对所述第一多源数据进行融合处理，获得第二多源数据，并根据所述第二多源数据进行数据全景展示。
32.在本步骤中，需要实时更新ai全景聚合模型，对低压台区的多源数据进行智能集成融合，从而实现智能预处理(包括统一数据格式、数据清洗、重复项缺失项检查等)，进而
打破低压台区多源异构资源间的数据壁垒，支撑台区的全景聚合与可视化展示。
33.在一个实施例中，通过预设的全景聚合模型，对所述第一多源数据进行融合处理，获得第二多源数据，具体包括：根据预设的全景聚合模型，对所述第一多源数据进行数据统一，获得标准化数据；根据预设的全景聚合模型，对所述标准化数据进行数据清洗，获得清洁数据；根据预设的全景聚合模型，对所述清洁数据进行数据补全，获得补全数据；根据预设的全景聚合模型，对所述补全数据进行数据融合，获得第二多源数据。
34.在一个实施例中，根据预设的全景聚合模型，对所述第一多源数据进行数据统一，获得标准化数据，具体包括：将所述第一多源数据分为结构化数据以及非结构化数据；根据预设的映射模型，将所述结构化数据转化为第一标准数据，并对所述非结构化数据进行语义分析和图像分析以获取第二标准数据；将所述第一标准数据以及所述第二标准数据作为标准化数据。
35.在一个实施例中，根据预设的全景聚合模型，对所述补全数据进行数据融合，获得第二多源数据，具体包括：根据预设的信息提取方法，从所述补全数据中提取待识别信息；计算待识别信息之间的相似度，并根据预设的相似判断阈值，判断待识别信息对应的补全数据之间是否相似；将判断认为相似的补全数据进行合并，获得第二多源数据。
36.本发明实施例描述了一种多源数据的全景展示方法，通过利用噪声库对比模块对获取的多源数据进行噪声滤除，并对滤除噪声后的多源数据进行数据统一融合，该全景展示方法提升了多源数据的处理效率，并提升了噪声滤除效率。
37.具体实施例二
38.除上述方法外，本发明实施例还公开了一种多源数据的全景展示装置。图2是本发明一实施例提供的一种多源数据的全景展示装置的结构示意图。
39.如图2所示，所述全景展示装置包括数据获取单元11、噪声滤除单元12以及融合展示单元13。
40.数据获取单元11用于获取待展示低压台区的多源数据。
41.噪声滤除单元12用于通过噪声库比对模块以及噪声滤除模块，对所述多源数据进行匹配滤除，获得第一多源数据。
42.在一个实施例中，噪声滤除单元12还用于：将所述多源数据与噪声库对比模块中的噪声样本进行对比匹配，判断所述噪声库对比模块的噪声样本中是否存在与所述多源数据匹配的第一噪声样本；若存在，则根据所述第一噪声样本，在本地对所述多源数据进行噪声滤除，获得赌徒第一多源数据；若不存在，则将所述多源数据上传至云端，以使所述云端根据所述多源数据以及所述噪声库对比模块，对所述多源数据进行分析降噪，获得第一多源数据。
43.融合展示单元13用于通过预设的全景聚合模型，对所述第一多源数据进行融合处理，获得第二多源数据，并根据所述第二多源数据进行数据全景展示。
44.在一个实施例中，融合展示单元13还用于：根据预设的全景聚合模型，对所述第一多源数据进行数据统一，获得标准化数据；根据预设的全景聚合模型，对所述标准化数据进行数据清洗，获得清洁数据；根据预设的全景聚合模型，对所述清洁数据进行数据补全，获得补全数据；根据预设的全景聚合模型，对所述补全数据进行数据融合，获得第二多源数据。
45.在一个实施例中，融合展示单元13还用于：将所述第一多源数据分为结构化数据以及非结构化数据；根据预设的映射模型，将所述结构化数据转化为第一标准数据，并对所述非结构化数据进行语义分析和图像分析以获取第二标准数据；将所述第一标准数据以及所述第二标准数据作为标准化数据。
46.在一个实施例中，融合展示单元13还用于：根据预设的信息提取方法，从所述补全数据中提取待识别信息；计算待识别信息之间的相似度，并根据预设的相似判断阈值，判断待识别信息对应的补全数据之间是否相似；将判断认为相似的补全数据进行合并，获得第二多源数据。
47.其中，所述全景展示装置集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。本发明另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如前所述的多源数据的全景展示方法。
48.其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
49.所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
50.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，单元之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
51.本发明实施例描述了一种多源数据的全景展示装置及计算机可读存储介质，通过利用噪声库对比模块对获取的多源数据进行噪声滤除，并对滤除噪声后的多源数据进行数据统一融合，该全景展示装置及计算机可读存储介质提升了多源数据的处理效率，并提升了噪声滤除效率。
52.具体实施例三
53.除上述方法和装置外，本发明实施例还描述了一种多源数据的全景展示系统。
54.所述全景展示系统包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的多源数据的全景展示方法。
55.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述装置的控制中心，利用各种接口和线路连接整个装置的各个部分。
56.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
57.为进一步描述技术方案，以本发明可以但不限于实际实施为一种支撑低压台区运行全景展示的云边协同ai中间件及系统为例进行说明。本发明实施例可以实施为一种包括平台部分和中间件部分的云边协同ai系统，从而支撑低压台区运行全景展示。
58.在该系统中，平台部分包括低压台区数据监控平台、低压台区数据管理平台和低压台区全景展示平台；中间件部分对应本发明前述实施例的技术方案，具体地，中间件部分包括数据ai全景聚合模块、噪声库比对模块、云边协同噪声干扰滤除模块、协议适配转换模块以及多个接口。
59.在低压台区数据监控平台中，低压台区数据监控平台可对处理后的海量数据进行分类、汇总、可视化处理等操作，支撑低压台区数据全景展示。
60.在低压台区数据管理平台中，低压台区数据管理平台设有处理器，可实时更新用于数据聚合的ai全景聚合模型，并作为云端服务器参与云边协同噪声干扰滤除。同时，低压台区数据管理平台可辅助低压台区数据监控平台进行数据管理与计算。
61.在低压台区全景展示平台中，低压台区全景展示平台可提供台区内各类资源的图表，多维度形象地展示源、荷、储资源的当前状态与未来趋势，辅助低压台区各类资源的协同调控。
62.在数据ai全景聚合模块中，数据集成融合单元从-区数据管理平台实时更新ai全景聚合模型，对低压台区的多源数据进行智能集成融合，可实现智能预处理，包括统一数据格式、数据清洗、重复项缺失项检查等功能，打破低压台区多源异构资源间的数据壁垒，支撑台区的全景聚合与可视化展示。
63.在噪声库比对模块中，噪声库比对模块存储了台区噪声的历史数据，可反映各类噪声的特征。
64.在云边协同噪声干扰滤除模块中，云边协同噪声滤除模块基于噪声库比对模块的噪声历史数据，对数据流中可能存在的噪声干扰进行匹配分析。若数据中的噪声与噪声库比对模块的已有信息的匹配程度高，则在本地直接滤除噪声；否则，云边协同噪声滤除模块通过北向接口向低压台区数据管理平台发送云端处理请求，数据管理平台分析噪声类型，
更新噪声库比对模块的噪声信息，并辅助云边协同噪声滤除模块的滤波器进行噪声消除，实现云边协同的噪声干扰滤除。
65.在协议适配转换模块中，基于低压台区主体总多、多种通信媒介共存、通信环境复杂的问题，中间件配有协议适配转换模块，可对376.1、698.42、iec104、iec 102等多种协议的适配与转换，支撑多源异构数据的实时传输。
66.中间件接口主要包括北向接口和南向接口。北向接口与低压台区数据监控平台和数据管理平台通过通信协议对接，将处理后的数据和中间件的请求发送到平台；南向接口可接收低压台区的源荷储数据。
67.所设计的支撑低压台区运行全景展示的云边协同ai中间件及系统运行时，低压台区内的源荷储数据通过南向接口和协议适配转换环节接入云边协同ai中间件。中间件内，数据在噪声库比对模块进行噪声匹配分析，基于分析结果在云边协同噪声滤除模块进行噪声滤除，传输至数据ai全景聚合模块。数据ai全景聚合模块接收低压台区数据管理平台实时更新的ai全景聚合模型，对数据进行格式统一、清洗、数据补全、数据融合等操作。其中，数据统一流程建立标准数据格式，对于结构化数据，根据映射模型转换为标准数据格式，对于非结构化的文本、图像等数据，通过语义分析和图像分析得到标准化的数据；数据清洗可筛查数据中的空值、异常值，过滤脏数据；数据补全中，数据ai全景聚合模块存有多种数据补全方法，可基于噪声库比对模块匹配的噪声模型，根据不同类型噪声滤除后产生的数据缺漏，选择最合适的补全方法进行数据补全；数据融合从标准数据格式、标准化文本数据和标准化图片数据中提取关键信息，进行相似度计算，根据计算结果，对具有相同属性的数据进行合并。
68.处理后的数据通过北向接口，经协议适配转换模块上传至低压台区数据监控平台与数据管理平台，进行数据分类、计算、可视化处理等操作。最后，数据传送至低压台区全景展示平台，进行全景展示。
69.与现有技术相比，本发明提出的支撑低压台区运行全景展示的云边协同ai中间件集成了数据ai全景聚合模块、噪声库比对模块、云边协同噪声干扰滤除模块以及协议适配转换模块，可实现台区海量异构数据的智能聚合，并通过云边协同设计显著改善了低压台区数据的降噪精准度与降噪效率，有效提高了低压台区全景展示的数据质量与数据处理能力，为低压台区全景展示提供强有力支撑；在此基础上，本发明提出了低压台区运行全景展示系统，设计了低压台区数据监控平台、低压台区数据管理平台和低压台区全景展示平台，可对台区源荷储数据进行精细化处理，实现了低压台区全景展示。
70.本发明实施例描述了一种多源数据的全景展示系统，通过利用噪声库对比模块对获取的多源数据进行噪声滤除，并对滤除噪声后的多源数据进行数据统一融合，该全景展示系统提升了多源数据的处理效率，并提升了噪声滤除效率。
71.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。