本发明涉及地球物理勘探,尤其涉及一种煤矿数据智能化管理方法及系统。
背景技术:
1、在我国能源结构中,煤炭工业扮演着不可或缺的角色。随着社会对环境保护、资源利用效率以及煤矿少人无人安全生产要求的提升,煤矿智能化技术的发展显得尤为紧迫和重要。当前煤矿地质灾害隐患透明化探测面临诸煤矿地质灾害源地球物理多源多场响应机制不清晰、现有矿井物探仪器探测精度低、范围小、地质信息反馈响应慢、数据处理智能化水平低,难以实现动态探测,预警响应不及时、矿井地质信息量不足,地质建模精度低,静态模型属性难更新等诸多难题。
2、为应对这些挑战并推动煤矿行业向智能化转型,亟需一种科学的煤矿数据采集、存储、处理、分析和解释方案,实现矿井地质透明化,进而实现煤炭绿色和智能精准开采。
技术实现思路
1、有鉴于此,本发明实施例提供一种煤矿数据智能化管理方法及系统,以实现煤矿地质信息的高效采集、存储和实时分析,提升煤矿地质信息的透明度,增强对地质灾害的监测和预警能力。
2、第一方面,本发明实施例提供一种煤矿数据智能化管理方法,应用于煤矿数据存算一体中心,所述方法包括:
3、获取如下至少一种原始煤矿数据:井下控制中转设备实时传输的煤矿数据,移动存储设备存储的煤矿数据,煤矿地质灾害隐患透明化业务系统传递的煤矿数据;
4、多过程处理获取到的原始煤矿数据,管理原始煤矿数据和处理煤矿数据;
5、将管理的煤矿数据发送给煤矿地质灾害隐患透明化业务系统。
6、进一步的,管理原始煤矿数据和处理煤矿数据,包括:
7、通过智能湖仓中的数据湖,按冷热程度分区存储原始煤矿数据:将属于热数据类别的原始煤矿数据存储在由固态硬盘组成的分布式文件系统服务器和高速缓存服务器;将属于冷数据类别的原始煤矿数据压缩存储在由硬盘驱动器组成的分布式文件系统服务器;
8、通过智能湖仓中的数据仓库,管理处理煤矿数据。
9、进一步的,冷数据和热数据的分类,依据如下公式确定:
10、
11、其中,的计算公式如下:
12、
13、为当前时刻t时数据d的访问频率,w为设定的时间滑动窗口大小,为在时刻i时数据 d的访问次数;
14、的计算公式如下:
15、
16、为当前时刻t时的热数据阈值,为前一时刻t-1时的热数据阈值,为设定的平滑系数, 为设定的数据d的重要性权重,β为设定的权重平滑系数。
17、进一步的,根据如下公式从多种压缩策略中选定一个压缩策略,对属于冷数据类别的原始煤矿数据压缩:
18、
19、其中,为选定的压缩策略,为压缩策略 的计算成本,为压缩策略 的压缩效率,为压缩策略 的的执行时间,为压缩策略执行时对当前系统资源使用情况实时监控值,为权重系数。
20、进一步的,通过智能湖仓中的数据仓库,管理处理煤矿数据,包括:
21、在数据仓库操作数据存储层,得到并存储对原始煤矿数据进行预处理生成的操作数据;
22、在数据仓库明细层,得到并存储基于所述操作数据生成的符合煤矿地质灾害隐患透明化业务需求的数据模型;
23、在数据仓库服务层,接收并响应外部基于数据仓库存储数据的访问接口发起的数据访问请求;
24、在数据仓库分析型数据存储层,得到并存储对原始煤矿数据进行多过程处理生成的分析型数据。
25、进一步的,多过程处理获取到的原始煤矿数据,包括:
26、分析获取到的原始煤矿数据,得到如下至少一种加速数据,用于生成智能湖仓中数据仓库的存储数据:煤矿数据类别、煤矿数据间的关联关系、煤矿数据的共享机制、煤矿数据的访问权限;
27、其中,基于关联关系动态更新算法实时维护煤矿数据间的关联性,在该算法中:
28、煤矿数据间的关联强度更新公式如下:
29、
30、为数据 和 在当前时刻t的关联强度;为数据 和 在下一时刻t+1的关联强度;为数据 和 的相似度函数;为预设的平衡系数; 为数据 和 在当前时刻t的变化速率;为预设的变化速率的影响系数;
31、煤矿数据间的关联性阈值更新公式如下:
32、
33、为当前时刻时关联性判断的阈值,为前一时刻时关联性判断的阈值,为预先设定的更新系数;
34、当超过时,煤矿数据 和 之间具有关联性。
35、进一步的,多过程处理获取到的原始煤矿数据,包括:
36、通过计算中心的管理节点,调度计算池中的各计算节点以负载均衡的方式执行计算任务,以处理获取到的符合设定高算力需求的原始煤矿数据和/或中间处理煤矿数据;
37、其中,计算任务的分配函数如下:
38、
39、为第j个计算任务在第i个计算节点上的分配时间,为第j个计算任务的计算权重,为第i个计算节点的计算能力,为第i个计算节点在下一时刻t+1的负载预测值;
40、负载均衡调整公式如下:
41、
42、为第i个计算节点在当前时刻t的负载比率;为第i个计算节点在当前时刻t的计算能力或负载能力;为通过负载均衡调整后,第i个计算节点在下一时刻t+1的计算能力或负载能力;为所有计算节点在当前时刻t的负载比率中的最大值。
43、进一步的,在将管理的煤矿数据发送给煤矿地质灾害隐患透明化业务系统之后,所述方法还包括:
44、接收到煤矿地质灾害隐患透明化业务系统发送的异常信息反馈后,通知井下终端。
45、第二方面,本发明实施例提供一种煤矿数据智能化管理系统,应用于上述第一方面所述的煤矿数据智能化管理方法,所述煤矿数据智能化管理系统包括煤矿数据存算一体中心,其中,所述煤矿数据存算一体中心包括:数据获取模块,用于获取如下至少一种原始煤矿数据:井下控制中转设备实时传输的煤矿数据,移动存储设备存储的煤矿数据,煤矿地质灾害隐患透明化业务系统传递的煤矿数据;数据管理模块,用于多过程处理获取到的原始煤矿数据,管理原始煤矿数据和处理煤矿数据;数据使用模块,用于将管理的煤矿数据发送给煤矿地质灾害隐患透明化业务系统。
46、进一步的,所述煤矿数据智能化管理系统还包括煤矿多场多源传感器、井下控制中转设备和移动存储设备,其中:
47、第一种煤矿多场多源传感器,用于采集第一原始煤矿数据,实时将第一原始煤矿数据传输至井下控制中转设备;
48、第二种煤矿多场多源传感器,用于采集第二原始煤矿数据,定期将第二原始煤矿数据存储至移动存储设备。
1.一种煤矿数据智能化管理方法,其特征在于,应用于煤矿数据存算一体中心,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,管理原始煤矿数据和处理煤矿数据,包括:
3.根据权利要求2所述的方法,其特征在于,冷数据和热数据的分类,依据如下公式确定:
4.根据权利要求2所述的方法,其特征在于,根据如下公式从多种压缩策略中选定一个压缩策略,对属于冷数据类别的原始煤矿数据压缩:
5.根据权利要求2所述的方法,其特征在于,通过智能湖仓中的数据仓库,管理处理煤矿数据,包括:
6.根据权利要求2所述的方法,其特征在于,多过程处理获取到的原始煤矿数据,包括:
7.根据权利要求1-6中任一项所述的方法,其特征在于,多过程处理获取到的原始煤矿数据,包括:
8.根据权利要求1所述的方法,其特征在于,在将管理的煤矿数据发送给煤矿地质灾害隐患透明化业务系统之后,所述方法还包括:
9.一种煤矿数据智能化管理系统,其特征在于,应用于如权利要求1-8所述的煤矿数据智能化管理方法,所述煤矿数据智能化管理系统包括煤矿数据存算一体中心;
10.根据权利要求9所述的煤矿数据智能化管理系统,其特征在于,所述煤矿数据智能化管理系统还包括煤矿多场多源传感器、井下控制中转设备和移动存储设备,其中: