一种开源太阳辐照度数据动态采集方法、系统及存储介质

本发明属于太阳辐照度数据计算与处理，特别涉及该领域中的一种太阳辐照度数据动态采集方法、系统及存储介质。

背景技术：

1、根据国家能源局核算数据，2021年我国光伏发电量仅占全社会用电量的3.9％，占可再生能源发电量的13.1％，光伏发电有待进一步开发。对太阳能资源的评估和预测离不开历史太阳辐照度数据的支撑，通过历史太阳辐照度数值能够较为准确的评估一个地区的太阳能发电潜力，也能用于预测未来的太阳辐照度，对于光伏发电大规模开发应用有着重要意义。然而历史太阳辐照度数据来源复杂，获取不易，质量不一，用于太阳能资源评估或预测前需经过复杂的前期流程。

2、历史太阳辐照度数据分为两种，一种通过地面观测得到，一种由卫星衍生再分析得到。前者的数据为点观测值，时间精度为1分钟、10分钟、1小时不等，例如baselinesurface radiation network(基线地表辐射网络)、the bureau of meteorology(澳大利亚气象局)、the national renewable energy laboratory(美国国家可再生能源实验室)、the national oceanic atmospheric administration(美国国家海洋大气管理局)、thesouth african universities radiation network(南非大学辐射网络)等机构运行的观测网络。后者的数据为网格形式，空间分辨率诸如0.5°×0.625°(纬度×经度)，时间分辨率为0.5小时到1小时不等，例如merra-2，cams-rad，sarah-2，sarah-e，ceres-syn1deg，solcast，era5，ecmwf等。

3、随着全球范围内科学家、科研组织和各国相关部门的共同努力，越来越多的地面遥感观测站以及地球同步气象卫星投入使用，每时每刻都有着海量的新生遥感数据供研究者使用。但是并非所有的遥感数据源数据都可轻易获得，有的并没有对外开放，有的需要注册申请，有的需要自行编写程序下载。dazhi yang开发了一个r包用于采集五个地点太阳辐射观测网络的数据，并在此基础上对r包进行了升级，加入了对bsrn数据的检索。jamiebright等开发了一个python包用于下载、提取和使用网格再分析数据库merra-2。xixi sun开发了一个python包用于下载、提取和使用himawari-8/9卫星数据。但对于大范围太阳辐照度数据采集的研究目前仍然稀少，造成太阳辐照度数据门槛较高。

技术实现思路

1、本发明针对现有技术的不足，提出一种开源太阳辐照度数据动态采集方法、系统及存储介质，为未来的太阳能资源评估、预测，光伏发电大规模开发应用等领域的研究提供数据支持和应用支撑。

2、为了解决上述技术问题，本发明的技术方案为：

3、一种开源太阳辐照度数据动态采集方法，包括如下步骤：

4、s1、开源数据的筛选和采集条件的分析

5、所述开源数据的筛选方法：对全球多个太阳辐照度数据进行筛选，选出可用于太阳辐照度预测及太阳能资源评估的数据源，获取所选数据的元信息，根据元信息将运行时间久、可靠性强、时空分辨率高的数据作为开源太阳辐照数据动态采集对象；

6、所述开源数据的采集条件分析：依次分析获取开源太阳辐照度数据源网站数据地址的规律，从待采集数据的形式、是否需要登陆账户以及密码、是否需要以ftp方式关联、是否需要变换数据格式等方面进行统计分析。根据以上分析，将开源数据网站采集条件分为一般和特殊两类，分别制定开源太阳辐照度数据源数据的采集规则；

7、s2、数据采集

8、s2-1、设定一般开源数据源网站采集规则，并进行数据采集；

9、具体的，所述一般开源数据源网站采集规则为：根据数据地址的统一资源定位符、数据生成时间、时间间隔，站点，生成用户指定站点、时间、时间间隔的统一资源定位符，通过所述统一资源定位符定位到数据的位置，执行数据采集任务。

10、s2-2、设定特殊开源数据源网站采集规则，并进行数据采集；

11、具体的，所述特殊开源数据源网站采集规则为：通过输入账号与密码登录特殊网站的ftp服务器，通过服务器接口执行数据采集任务。

12、s2-3、采集所述数据的清洗和入库。

13、作为优选，所述元信息包括种类、采集设备、采集频率、采集时间和维护频率。

14、作为优选，所述步骤s2-1中，根据一般开源数据源网站采集规则进行数据采集的方法为：

15、s2-1-1、创建一个新任务，选择一般数据源x，选择数据源x下的某个站点，以年月日的形式给出需采集数据的开始时间与结束时间；

16、s2-1-2、通过数据源x的名字得到数据源统一资源定位符的一般格式，将选择的站点映射成站点编号，将数据的产生时间标准化，最后将资源定位符的一般格式、站点编号、标准化时间关联形成数据的具体统一资源定位符，通过循环的方式生成开始时间以及结束时间内的所有数据采集任务；

17、s2-1-3、执行数据采集任务并导出数据，运行配置好的采集任务，待数据采集完毕，将数据原本的zip格式或dat格式进行转换，统一以csv的方式进行导出。

18、作为优选，所述步骤s2-2中，根据特殊开源数据源网站采集规则进行数据采集的方法为：

19、s2-2-1、创建一个新任务，选择特殊开源数据源y，输入该数据源网站的登录账户和密码，登陆该网站的ftp服务器；

20、s2-2-2、通过数据源y的名字得到数据源路径前缀的一般格式，将数据的产生时间标准化，将路径前缀的一般格式、站点名称、标准化时间关联形成数据的具体采集路径，通过循环的方式生成开始时间以及结束时间内的所有数据采集任务；

21、s2-2-3、执行数据采集任务并导出数据，运行配置好的采集任务，待数据采集完毕，将数据原本的dat.gz格式进行转换，统一以csv的方式进行导出。

22、作为优选，所述步骤s2-3中，数据的清洗和入库的方法为：

23、s2-3-1、读取csv文件中的太阳总辐照度g、太阳直接辐照度b、采集时间t、地点经度lon、纬度lat，将采集时间t转化为世界调整时间；

24、s2-3-2、设置g和b的物理上下限，计算地外太阳辐照度作为上限，

25、s2-3-3、缺失值处理；

26、s2-3-4、过滤太阳天顶角θ≥85°时间段内记录的g和b，将对应的g和b标记为缺失值，θ通过t和经纬度计算得到；

27、s2-3-5、将经过清洗的数据直接导入mysql数据库。

28、本发明还提供了一种开源太阳辐照度数据动态采集系统，包括后端主服务程序、采集规则配置前端和数据存储集群，

29、所述采集规则配置前端，用于进行数据采集规则的配置，并将配置好的采集规则发送到后端主服务程序；

30、后端主服务程序，用于根据采集规则配置前端发送的配置好的采集规则进行数据采集，并对采集的数据进行清洗，最后导入数据存储集群。

31、作为优选，所述后端主服务程序、采集规则配置前端和数据存储集群均部署在云服务器上。

32、作为优选，将开源太阳辐照度数据动态采集系统在太阳辐照度数据应用系统中进行应用集成，部署在云服务器上的太阳辐照度数据应用系统与开源太阳辐照度数据动态采集系统进行连接，开源太阳辐照度数据动态采集系统定期更新开源太阳辐照度数据以及历史太阳辐照度数据，太阳辐照度数据应用系统根据导出数据开展应用。

33、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

34、本发明具有以下的特点和有益效果：

35、本发明所公开的方法，根据各数据源数据的展现方式、采集技术、采集时间、采集频率等信息，筛选出运行时间久、可靠性强、质量高的数据源作为开源太阳辐照度数据动态采集的对象。依次对选定的开源辐照度数据网站进行分析，完成对各个网站数据采集策略的定制。按照指向数据地址的统一资源定位符的生成规律，通过已有数据来逆向生成对应数据采集规则的数据地址，也就是统一资源定位符来完成数据的采集。同时针对需要使用账号密码登录ftp服务器的网站，采用特殊规则进行处理。针对不同数据源网站的数据是异构且质量不高的问题，对所下载的数据进行质量控制，包括但不限于数据特征的选择、数据类型的转换、噪声、异常数据和缺失值的处理。

36、本发明所公开的方法，利用开源太阳辐照度数据动态采集系统为研究者和相关光伏企业提供便捷的数据访问，降低数据壁垒，为太阳能资源评估和预测提供了数据支撑和应用保障，进而提升光伏发电大规模开发应用的可行性，助力我国能源结构改革。