碳排放数据处理方法、装置、设备及可读存储介质与流程

本发明涉及碳排放数据处理，尤其涉及碳排放数据处理方法、装置、设备及可读存储介质。

背景技术：

1、随着全球气候变暖问题日益严峻，控制碳排放已成为国际社会的广泛共识，各国纷纷制定严格的碳排放政策与目标，力求减缓温室气体对生态环境的负面影响。在此背景下，精准、可靠的碳排放数据作为衡量碳排放水平、评估减排成效以及制定科学合理的能源与产业政策的基石，其重要性愈发凸显。

2、传统的碳排放数据处理方式主要依赖人工核算与简单的监测手段。在数据采集环节，往往仅部署有限种类且布局不够优化的传感器，例如部分工厂仅安装基础的能耗计量装置，难以全面捕捉复杂生产流程中各个环节、各类物质的碳排放细节；且不同监测设备之间缺乏有效协同，数据传输稳定性差，时常出现数据丢失、延迟等问题，致使采集到的原始数据存在大量缺失值与错误值，无法真实反映碳排放状况。

3、进入数据处理阶段，由于缺乏先进的技术手段，多采用人工经验判断结合常规统计方法来甄别异常数据，这种方式效率低下且极易受主观因素干扰，对于复杂工况下的细微异常难以精准识别，导致大量不准确的数据混入最终分析结果。同时，传统方法未能充分挖掘碳排放数据与能源利用之间的深层内在联系，仅孤立看待碳排放问题，忽视了能源优化配置对降低碳排放的协同促进作用，使得企业在节能减排实践中常常陷入盲目性，无法实现碳排放与能源效率提升的双赢局面。

4、此外，现有技术在应对实时性需求方面捉襟见肘，无法对碳排放数据进行快速、动态的分析与反馈，难以及时察觉碳排放的异常波动并做出有效应对，极大地制约了企业及时调整生产策略、监管部门快速实施管控措施的能力，进而阻碍了整个社会向低碳转型的进程。

5、因此，本技术提出碳排放数据处理方法、装置、设备及可读存储介质。

技术实现思路

1、本发明的目的是针对背景技术中存在无法对碳排放数据进行快速、动态的分析与反馈的问题，提出碳排放数据处理方法、装置、设备及可读存储介质。

2、第一方面，本技术提供碳排放数据处理方法，包括以下步骤：

3、数据采集与预处理：构建多元数据采集网络并对采集的数据进行预处理，以获取可供后续分析的规范碳排放数据；

4、基于混合机器学习模型的异常数据识别与修正：利用融合决策树、支持向量机与神经网络的混合模型，对预处理后的数据进行异常识别与修正，输出精准的碳排放数据；

5、能源优化配置辅助：挖掘碳排放数据与能源利用的关联，基于处理后的碳排放数据为能源利用提供优化配置建议；

6、实时监测与反馈调整：对实时采集的碳排放数据持续监测，发现异常及时反馈调整，保障数据的准确性与稳定性。

7、可选的，所述构建多元数据采集网络具体包括：

8、部署涵盖二氧化碳传感器、氮氧化物传感器、能耗传感器以及生产过程参数传感器的多种类型传感器，覆盖各类潜在碳排放源区域，包括工厂车间、能源转换设施、交通运输枢纽；

9、针对不同排放源特性优化传感器选型与布局，在钢铁厂依据热气流扩散模型在关键生产设备周边布置特定气体传感器，在化工园区结合气象数据设置挥发性有机物传感器并动态调整监测方向；

10、通过物联网采用低功耗广域网协议，lorawan或nb-iot，将传感器数据实时、稳定传输至数据汇聚中心，且在将传感器数据实时、稳定传输至数据汇聚中心，且在传输节点设置数据缓存机制，当网络故障时缓存一定时间数据，待恢复后自动补发，缓存时间为1小时。

11、可选的，所述数据预处理流程具体包括以下步骤：

12、数据清洗：依据规则和统计分析去除明显错误数据，针对能耗传感器，若某时刻采集值远超历史同期均值3倍标准差范围且持续时间小于1分钟，判定为故障数据予以剔除；针对二氧化碳浓度传感器，当检测到浓度值低于大气本底值或高于同类型排放源正常排放上限2倍标准差时，标记为异常待核实数据，还利用数据时间序列特性，对相邻时段前后5分钟内多个同时超出合理范围且变化趋势不符合物理规律的数据点进一步确认为无效数据，一并剔除；

13、数据归一化：采用min-max归一化方法将不同量纲数据统一映射到[0,1]区间，设原始数据为x，归一化后的数据为xnorm，计算公式为：

14、

15、其中，min(x)和max(x)分别为数据集中该变量的最小值与最大值，且在归一化过程中对超出均值±5倍标准差的数据进行winsorize处理，即将其值替换为均值±5倍标准差对应的数值。

16、可选的，所述基于混合机器学习模型的异常数据识别与修正包括模型构建，具体包括以下步骤：

17、采用集成学习融合模型：决策树以行业、排放源、生产时段特征分碳排放数据集为子区域，构建时用信息增益比：

18、

19、其中ig(s,a)是特征a对数据集s的信息增益，iv(a)是特征a的固有值，选优特征挖规律；

20、决策树分支末端接svm，对二维数据，设训练集{(x1,y1),(x1,y1),…,(xn,yn)}，其中xi为输入特征向量，yi为对应的碳排放标签，svm求最优超平面ω·x+b＝0，解：

21、

22、subjectto yi(ω·xi+b)≥1-ξi,ξi≥1,2,…,n

23、其中,ω为超平面法向量，b为截距，c为惩罚参数，用于平衡模型复杂度与训练误差，ξi为松弛变量；

24、用核函数映射低维到高维识别异常；

25、其中，γ为核参数，交叉验证选[0.1,10]内使验证集准确率最高值；

26、对svm判定疑似异常区，引入至少两层隐藏层的mlp神经网络，两层隐藏层用relu激活，f(x)＝max(0,x)，三层时，设输入x，隐藏层权重矩阵w1、w2，偏置向量b1、b2，输出层权重矩阵w3、偏置向量b3，隐藏层输出:

27、h1＝relu(w1x+b1)

28、h2＝relu(w2h1+b2)

29、输出层预测值:

30、

31、训练初用xavier初始化权重防梯度问题加速收敛。

32、可选的，还包括模型训练与优化,具体包括：

33、分层抽样，从预处理历史数据取70％训练集、15％验证集、15％测试集，依行业标准人工标注训练集标签；

34、迭代训练，先将决策树训至8层划分数据空间，固定树结构后用网格搜索与交叉验证优化svm超参数c、γ，再在svm筛选疑似异常数据上用反向传播训神经网络，以目标函数：

35、

36、其中，m为样本数量，为预测值，yi为真实值，训练用l2正则化约束神经网络权重，惩罚系数[0.001,0.01]依验证集性能调；

37、验证集评估，准确率未达90％就调整模型或增数据量，重复至稳定高性能，最后测试集独立测试保泛化能力。

38、可选的，所述能源优化配置辅助中,具体包括以下步骤：

39、特征提取与相关建模：混合模型处理数据时，提取能源种类、输入速率、设备功率、生产负荷等与能源相关特征及修正后碳排放数据构成综合特征集，用pca降维，设原始综合特征集矩阵x，协方差求特征值、向量排序，选前k个组成投影矩阵p，得降维特征向量xpca＝xp，据此建多元线性回归模型：

40、y＝β0+β1xpca1+β2xpca2+…+βkxpcak

41、其中，y为能源利用效率，βi为回归系数，用最小二乘法求系数使

42、

43、其中，m为样本数量，yi为真实的能源利用效率值，为预测值；

44、优化建议生成：用训练好回归模型分析实时采集并处理后数据，预测能源效率，与同行业先进或企业目标值比，当预测值低于同行业先进80％，且某环节能源输入速率高于行业平均120％、其负向影响在因素中排前30％，判定该环节问题大，生成建议如用变频调速将能源输入速率降至行业平均100％-110％，或优化流程、设备升级使能源消耗降至少10％，结合碳排放核算模型评估，有碳排放增加趋势就微调，每月依新数据更新回归模型。

45、可选的，所述实时监测与反馈调整步骤中：

46、实时监测：实时采集并预处理的碳排放数据输入训练好混合模型，模型依规律判断，单数据点异常概率高于0.7判异常，用滑动窗口对连续5个数据综合判断，窗口内异常占比超60％，即便单数据未超阈值也预警；

47、反馈调整：发现异常立启反馈，一方面令数据采集端校准或二次采样，如二氧化碳传感器异常，触发校准用标准气源校零点、量程，校准后重采数据再入模型验证，多次校准仍异常换备用传感器并通知检修；另一方面，异常数据及修正信息反馈至数据管理系统，更新数据库，助模型训练优化，生成详细异常报告供管理优化流程、调设备布局用。

48、第二方面，本技术提供一种碳排放数据处理装置，所述装置包括：

49、数据采集与预处理模块：构建多元数据采集网络并对采集的数据进行预处理，以获取可供后续分析的规范碳排放数据；

50、基于混合机器学习模型的异常数据识别与修正模块：利用融合决策树、支持向量机与神经网络的混合模型，对预处理后的数据进行异常识别与修正，输出精准的碳排放数据；

51、能源优化配置辅助模块：挖掘碳排放数据与能源利用的关联，基于处理后的碳排放数据为能源利用提供优化配置建议；

52、实时监测与反馈调整模块：对实时采集的碳排放数据持续监测，发现异常及时反馈调整。

53、第三方面，本技术提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现第一方面所述的方法的步骤。

54、第四方面，本技术提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面所述的方法的步骤。

55、与现有技术相比，本技术包括以下至少一种有益技术效果：

56、基于规则与统计的清洗算法，严格甄别能耗、气体浓度等传感器数据，剔除故障、异常值，结合时间序列二次筛查无效数据，将错误数据拦截在分析前端。归一化操作统一量纲，经此精细预处理，数据准确性相比传统粗放处理实现质的飞跃，为后续精准分析筑牢根基；

57、融合决策树、svm和神经网络的混合模型优势互补。决策树依据行业、排放源、生产时段特征细分数据空间，挖掘规律；svm凭借核函数在决策树分支精准定位边界异常，非线性处理能力出色；神经网络针对疑似异常深度挖掘、精准修正，提升整体对复杂工况异常识别准确率。

58、模型在不同场景、领域碳排放数据处理上游刃有余，泛化能力经测试集验证，输出稳定可靠，修正后碳排放数据贴近真实值；

59、深挖碳排放与能源利用内在联系，提取能源相关特征结合修正碳排放数据降维建模，精准锁定影响能源效率因素。

60、实时采集数据入训练模型，异常判定阈值与滑动窗口双保险，发现异常即刻触发反馈，异常信息回传优化数据库与模型，系统自适应进化，长期稳定护航碳排放管控。

61、本发明通过多元采集网络与精细预处理，大幅提升数据的全面性、准确性与时效性，为精准分析筑牢根基，通过混合机器学习模型精准识别修正异常，提升准确率，保障数据可靠，挖掘碳排与能源关联，助力企业优化能源配置，提升能源利用效率，降低碳排放，并借实时监测反馈强化系统稳定性。