电力人工智能平台多级协同样本数据的交互方法和系统与流程

1.本发明涉及电力样本领域，特别是指一种电力人工智能平台多级协同样本数据交互的方法和系统。


背景技术：

2.电力样本可有效支撑人工智能模型研发，样本多级协同涉及平台间、平台与边设备、边设备与端设备等协同，实现样本采集、样本共享服务。由于人工智能应用需求越来越多，电力行业建立了多级人工智能平台，包括公司总部人工智能平台、省公司人工智能平台。总部人工智能平台汇聚公司内部设备、安检、调度、营销等各专业样本资源，为公司业务部门研发专业模型提供样本共享服务。
3.省公司人工智能平台汇聚省公司业务样本资源，可为总部共享样本，也可使用总部的样本资源，省公司人工智能平台通过边缘组件，实现样本在边缘端的配置和采集。
4.现有技术中，对于样本在电力人工智能平台之间以及平台与边端侧之间的相互数据交互，尚未建立样本协同方法，制约了样本共享，和支撑模型训练的能力。


技术实现要素：

5.有鉴于此，本发明在于提供一种电力人工智能平台多级协同样本数据的交互方法和系统，以解决上述电力人工智能平台，样本数据多级协同方法，实现样本共享，提高支撑模型训练的能力。。
6.为解决上述问题，本发明提供一种电力人工智能平台多级协同样本数据的交互系统，包括：总部侧样本库和省侧样本库，共两个数据库；两个数据库均用于存储样本资源和更新样本目录；
7.所述总部侧样本库，还用于存储第二样本资源、样本目录的审核记录；
8.所述省侧样本库，用于存储样本资源服务目录，以及第一样本资源；所述第二样本资源与所述第一样本资源交互同步；
9.作为内网的省侧平台，用于存储所述省侧样本库，连接第一物联管理平台、第一边侧设备，采集第一端侧设备的数据，包括至少以下之一：图像数据、录音、文本、规范化的机器采集数据；并对接所述总部侧样本库；
10.作为外网的互联大区平台，包括：第二物联管理平台，连接第二边侧设备、采集第二端侧设备的数据，包括至少以下之一：图像数据、录音、文本、规范化的机器采集数据；
11.所述省侧平台、所述互联大区平台、所述物联管理平台、所述边侧设备、所述端侧设备之间的协同，采用mqtt协议，所述两个物联管理平台向人工智能平台上报样本数据采用kafka消息队列方式。
12.优选的，所述样本资源信息应以json、xml格式进行封装，采用http/https接口方式同步到所述总部侧样本库中；两类所述样本资源采用s3协议、挂载方式posix协议或hdfs接口方式，使用minio官方的各语言版本sdk。
13.优选的，所述样本资源的文件以压缩包方式进行协同，对要协同的所有样本应打包成一个压缩文；所述压缩包支持tar、zip格式，接口协议采用http/https、sftp、ftps，http/https请求采用get、post、put、patch或delete方法，服务接口可采用restful方式设计。
14.优选的，所述省侧平台，提供样本采集任务下发、样本接收、样本存储服务，第一边侧设备具备采集任务接收、样本上传接口，通过第一物联管理平台将样本源文件和样本属性信息上传到所述省侧样本库；
15.所述第一边侧设备/第二边侧设备具备样本接收接口，第一端侧设备/第二端侧设备具备样本上传接口；
16.所述第一端侧设备将采集的原始样本以及样本属性信息等上传至第一边侧设备；以及，所述第二端侧设备讲采集的原始样本以及样本属性信息等上传至第二边侧设备。
17.优选的，所述第一边侧设备，包括x86架构的边缘服务的计算机设备，或arm架构的计边缘服务的算机设备。
18.优选的，所述总部侧样本库，用于与所述省侧样本库进行协同，并提供调用接口；
19.所述省侧平台，用于调用所述总部侧样本库第二样本资源目录的上传、删除、修改接口，以及第二样本资源的上传、删除、修改；
20.所述第二样本资源为经过审查修改后的所述第一样本资源。
21.优选的，所述第一边侧设备/第二边侧设备，用于按照所述物联管理平台下方的任务，按照频率采集，包含采集地点、时间、设备属性信息能力，属性信息存储格式可为xml、json格式；
22.或，将采集的定期将本侧样本源文件及样本属性信息上传，压缩成tar、zip、rar等格式，上传至相应的所述物联管理平台。
23.优选的，本发明还提供包含上述系统的一种电力人工智能平台多级协同样本数据的交互方法，通过所述第一或第二端侧设备进行数据的采集，并通过相应的第一或第二边侧设备上传到相应的第一或第二物联管理平台；
24.所述第一物联管理平台与所述第二物联管理平台之间的网络，通过防火墙进行安全隔离，并进行采集的样本同步；
25.所述第一物联管理平台对所述省侧样本库，更新所述样本资源服务目录，以及第一样本资源。
26.本发明通过上述的多级协同，包括多个平台、边侧设备、物联管理平台、端侧设备、存储数据库等，提出了人工智能平台样本多级协同方法，实现样本在平台间协同共享，以及平台与边/端侧样本采集、样本上传等能力，支撑电力专用模型研发，通过模型推理支撑电力智能化应用。
附图说明
27.图1为本发明的人工智能平台样本多级协同架构；
28.图2为本发明的边端样本协同架构；
29.图3本发明系统的实施流程图。
具体实施方式
30.本技术实施例中的技术方案，详细内容如下：
31.针对电力样本之间的相互数据传输，尚未建立电力样本多级协同方法，制约了样本共享和支撑模型训练的能力，，提供了一种为电力人工智能平台多级协同样本数据的交互系统，通过多级协同，包括多个平台、边侧设备、物联管理平台、端侧设备、存储数据库等，提出了人工智能平台样本多级协同方法，实现样本在平台间协同共享，以及平台与边/端侧样本采集、样本上传等能力，支撑电力专用模型的研发，通过模型推理支撑电力智能化应用
32.本发明实施例的方案，参见图1和图2，主要包括以下两个部分：
33.(一)人工智能平台样本多级协同架构。包括：总部侧样本库和省侧样本库，共两个数据库；两个数据库均用于存储样本资源和更新样本目录；
34.(二)边端样本协同架构。包括：内网的省侧平台和外网的互联大区平台。
35.作为内网的省侧平台，用于存储所述省侧样本库，连接第一物联管理平台、第一边侧设备，采集第一端侧设备的数据，包括至少以下之一：图像数据、录音、文本、规范化的机器采集数据；并对接所述总部侧样本库；
36.作为外网的互联大区平台，包括：第二物联管理平台，连接第二边侧设备、采集第二端侧设备的数据，包括至少以下之一：图像数据、录音、文本、规范化的机器采集数据。
37.现通过平台间样本协同、平台与边端样本协同两个方面，来阐述本发明的具体实施方式。
38.1、平台间样本协同。人工智能平台样本协同具备物理归集和逻辑归集能力，样本协同流程如图1所示。物理归集支持样本资源文件的协同，省侧上传已标注好的样本资源，通过总部侧审批后，更新总部侧样本资源信息和样本资源目录；逻辑归集支持样本资源目录的协同，省侧可上传样本资源目录，通过总部审批后，更新总部样本资源目录。
39.(1)样本资源传输格式
40.样本资源信息应以json、xml等格式进行封装，采用http/https接口方式同步到总部侧样本库中；样本资源采用s3协议、挂载方式posix协议或hdfs接口方式，使用minio官方的各语言版本sdk，支持样本文件单个或者批量传输到总部侧两库一平台底层对象存储服务器上，根据来源及专业领域建立存储分区。
41.(2)样本资源目录协同：
42.样本资源目录协同具备样本资源目录上传、删除、修改、查询等协同能力，总部侧具备样本资源目录管理、样本目录审批等服务。具体步骤如下：
43.步骤1：样本资源目录上传。总部侧提供样本资源目录上传服务，省侧具备调用总部侧样本资源目录上传服务的接口，将样本资源目录通过内网上传至总部样本库，接口信息应包括父级目录id、目录名称、单位编码、单位名称，可包含提供者姓名、提供者电话等；
44.步骤2：样本资源目录删除。总部侧提供样本资源目录删除服务，省侧具备调用总部侧样本资源目录删除服务的接口，对样本资源目录执行删除操作；
45.步骤3：样本资源目录修改。总部侧提供样本资源目录修改服务，省侧具备调用总部侧样本资源目录修改服务的接口，对样本资源目录进行修改；
46.步骤4：样本资源目录查询。总部侧提供样本资源目录查询服务，省侧具备调用总部侧样本资源目录查询服务的接口，查询样本资源并获取样本资源目录列表。
47.(3)样本资源协同
48.样本资源协同具备样本资源信息上传、样本资源信息查询、样本资源上传、样本资源下载等协同能力，总部侧具备样本资源管理、样本资源审批等服务。具体步骤如下：
49.步骤1：样本资源信息上传。总部侧提供样本资源信息上传服务，省侧具备调用总部侧样本资源信息上传服务的接口，将样本资源信息通过内网定期上传至总部样本库，样本资源信息上传的接口应包括样本资源目录id、样本名称、样本描述、样本格式、单位名称、样本大小、单位数量、单位标注格式、存储位置，可包含样本所属单位、样本所属业务系统、样本所属业务部门、提供者姓名、提供者电话等；
50.步骤2：样本资源查询。总部侧提供样本资源查询服务，省侧具备调用总部侧样本资源查询服务的接口，对样本资源进行查询；
51.步骤3：样本资源上传。总部侧提供样本资源上传服务，省侧具备调用总部侧样本资源上传服务的接口，将样本和标注文件通过内网上传至总部样本库；
52.步骤4：样本资源下载。总部侧提供样本资源下载服务，省侧具备调用总部侧样本资源下载服务的接口，下载总部或其他省侧共享的样本资源。
53.(4)样本资源文件及接口格式
54.样本资源文件以压缩包方式进行协同，对要协同的所有样本应打包成一个压缩文件，压缩包支持tar、zip格式，接口协议采用http/https、sftp、ftps，http/https请求采用get、post、put、patch或delete方法，服务接口可采用restful方式进行设计。
55.2、平台与边端样本协同
56.平台与边端样本协同包括端设备与边缘物联代理、边缘物联代理与第二物联管理平台、第一物联管理平台与人工智能平台样本传输和样本采集协同组成，管理信息大区与互联网大区样本通过样本同步模块实现内外网样本同步，样本协同流程如图2所示。
57.(1)省侧提供样本采集任务下发、样本接收、样本存储服务，第一边侧应具备采集任务接收、样本上传接口，通过第一物联管理平台将样本源文件和样本属性信息上传到省侧样本库。第一边侧具备样本接收接口，第一端侧具备样本上传接口，第一端侧设备将采集的原始样本以及样本属性信息等上传至第一边侧。
58.(2)边端侧样本协同能力包括第一/第二边端样本采集、第一/第二边端样本上传等能力。样本协同流程包括第一/第二端侧设备与边缘物联代理、边缘物联代理与第一/第二物联管理平台、第一/第二物联管理平台与人工智能平台样本传输和样本采集协同组成。管理信息大区与互联网大区样本应通过样本同步模块实现内外网样本同步。
59.边缘物联代理位于电力物联网的感知层，利用设备本地通信接口对各类传感器、终端等设备接入并统一管理，通过协议解析将业务数据提取、汇聚及存储，并按模型要求进行标准化建模，利用边缘计算能力对业务数据处理后发送至平台层。
60.步骤如下：
61.步骤1：边端样本采集。第一/第二边端侧样本通过第一/第二边端设备获取，以图像、视频、音频等文件格式形成样本，第一/第二边侧具备汇聚第一/第二端侧设备或者智能装置样本能力。在外网环境下，边缘代理将数据上送至外网第二物联管理平台，外网第二物联管理平台通过安全隔离装置与内网第一物联管理平台实现数据同步。
62.第一/第二边端侧设备具备接收由人工智能平台、第一/第二物联管理平台下发的
样本采集任务能力，第一/第二边侧以及第一/第二端侧智能设备按照设定的频率开展样本采样；第一/第二边端侧设备具备添加样本采集地点、时间、设备等属性信息能力，属性信息存储格式可为xml、json格式。
63.步骤2：边端样本上传。第一边侧设备汇聚第一端侧上传的样本，经过第一物联管理平台上传到省侧人工智能平台；第二边侧设备汇聚第二端侧上传的样本，经过第二物联管理平台上传到外网人工智能平台，第一物联管理平台与所述第二物联管理平台之间的网络，通过防火墙进行安全隔离，并进行采集的样本同步。
64.第一/第二边端侧设备设置定时或者触发条件，定期将本侧样本源文件及样本属性信息上传；第一/第二边侧设备具备接收和处理第一/第二端侧上传样本的能力，宜将样本压缩成tar、zip、rar等格式，将样本上传至第一/第二物联管理平台。
65.(3)协同方式
66.样本协同方式包括省侧/外网侧人工智能平台、第一/第二物联管理平台、边缘物联代理、第一/第二端侧设备之间的协同，边缘物联代理向物联管理平台上报样本数据采用mqtt协议，物联管理平台向人工智能平台上报样本数据采用kafka消息队列方式。
67.(4)技术要求
68.边侧和端侧在无不可抗力环境下应满足7
×
24小时服务不中断，存储节点发生故障时，具备数据完整能力，消息队列节点发生故障时，消息不丢失，且不影响消息正常提交和消费，任务调度节点发生故障时，应不影响任务调度和执行；网络发生故障并恢复后，系统和任务、服务均可自动继续运行
。