1.本发明涉及环保数据处理技术领域,具体而言,涉及一种环保数据监测与处理方法及系统。
背景技术:2.现有技术中,对于环保数据一般采用传感器执行环保监测数据的采集,通常是将监测的数据与预设的预警值进行对比,判断是否进行报警反馈和处理,但是对数据未来的预测以及通过数据获得较为准确的信息这样的功能还不完善,不能对环保大数据进行有效地利用。但是,现有的人为对环保数据执行异常判断过渡依赖于阈值,有时候出现误报,或准确率低的情况,一般判别效率低且准确率低。
技术实现要素:3.有鉴于此,本发明实施例的目的在于提供基于神经网络的概率模型执行的对一般水质执行导电率的监测以及处理分析,以解决判别的误差以及提高判别的准确度。
4.本发明的第一方面提供了一种环保数据监测与处理方法, 所述方法包括:s1,获取所述环保监测数据,并执行预处理;所述环保监测数据至少包括污水的电导率系数;s2,根据所述监测向量图输入至基于神经网络的判别模型确定所述监测数据是否异常;所述判别模型包括多个判别神经元;所述基于神经网络的判别模型,包括概率子模型:其中,指示在第一特征系数之下,所述判别模型将输入的电导率系数x判别在类别j的概率系数;指示在第一特征系数之下,判别模型根据输入的电导率系数x执行计算得到的类别j所对应的判别神经元所计算出的指数级特征系数;k为分类的总类别数;指示在第一特征系数之下,判别模型根据输入的电导率系数x执行计算得到的类别1至k所对应的判别神经元所处的特征系数之和;为不同类别j下的第一特征系数;为不同类别判别神经元下的第一特征系数;所述、、的取值相同。
5.s3,根据所述概率子模型的输出概率,确定环保监测数据的正常或异常。
6.进一步,所述类别j包括电导率正常类别以及电导率异常类别;所述确定环保监测数据的正常或异常,包括确定电导率正常或电导率异常;所述s1,获取所述环保监测数据,并执行预处理,包括:对所述电导率系数执行归
一化处理,转换为0-1之间的归一化数据;根据预处理的结果执行输入至判别模型执行概率判断。
7.进一步,基于代价函数对所述判别模型执行训练;其中,所述代价函数表示为:其中,m表示训练样本总数,i用于表示m个样本中第i个样本;指示在第一特征系数之下,所述判别模型将训练样本的电导率系数判别在类别j的概率系数:其中,表示判别模型对样本分类的结果;指示在第一特征系数之下,判别模型根据输入的电导率系数执行计算得到的类别j所对应的判别神经元所计算出的指数级特征系数;k为分类的总类别数;指示在第一特征系数之下,判别模型根据输入的电导率系数执行计算得到的类别1至k所对应的判别神经元所处的特征系数之和。
8.进一步,所述基于代价函数对所述判别模型执行训练,还包括:采用梯度迭代方式迭代优化第一特征系数,以最小化所述代价函数;梯度迭代方式迭代的第一特征系数:其中,表示迭代速率;根据梯度迭代方式确定最小化所述代价函数所对应的最优第一特征系数确定为概率子模型的第一特征系数。
9.进一步,所述s3,根据所述概率子模型的输出概率,确定环保监测数据的正常或异常,包括:s51,确定所述输出概率是否大于一定阈值,若大于一定阈值,确定所述输出概率对应的类别为监测数据的类别;s52,若所述监测数据的类别为异常,则触发报警,向终端发送报警信息。
10.此外, 本发明还提出一种环保数据监测与处理系统,所述系统包括:获取与处理模块,获取所述环保监测数据,并执行预处理;所述环保监测数据至少包括污水的电导率系数;判别处理模块,根据所述监测向量图输入至基于神经网络的判别模型确定所述监
测数据是否异常;所述判别模型包括多个判别神经元;所述基于神经网络的判别模型,包括概率子模型:其中,指示在第一特征系数之下,所述判别模型将输入的电导率系数x判别在类别j的概率系数;指示在第一特征系数之下,判别模型根据输入的电导率系数x执行计算得到的类别j所对应的判别神经元所计算出的指数级特征系数;k为分类的总类别数;指示在第一特征系数之下,判别模型根据输入的电导率系数x执行计算得到的类别1至k所对应的判别神经元所处的特征系数之和;为不同类别j下的第一特征系数;为不同类别判别神经元下的第一特征系数;所述、、的取值相同。
11.报警模块,根据所述概率子模型的输出概率,确定环保监测数据是否正常,并执行触发报警。
12.进一步,所述判别处理模块还包括:训练子模块;所述训练子模块,用于基于代价函数对所述判别模型执行训练;其中,所述代价函数表示为:其中,m表示训练样本总数,i用于表示m个样本中第i个样本;指示在第一特征系数之下,所述判别模型将训练样本的电导率系数判别在类别j的概率系数:其中,表示判别模型对样本分类的结果;指示在第一特征系数之下,判别模型根据输入的电导率系数执行计算得到的类别j所对应的判别神经元所计算出的指数级特征系数;k为分类的总类别数;指示在第一特征系数之下,判别模型根据输入的电导率系数执行计算得到的类别1至k所对应的判别神经元所处的特征系数之和;所述、、的取值相同。
13.进一步,所述训练子模块,还用于采用梯度迭代方式迭代优化第一特征系数,以最小化所述代价函数:
其中,梯度迭代方式迭代的第一特征系数:其中,表示迭代速率;根据梯度迭代方式确定最小化所述代价函数所对应的最优第一特征系数确定为概率子模型的第一特征系数。
14.此外,本发明第三方面还提出一种电子装置,所述电子装置包括:一个或多个处理器,存储器,所述存储器用于存储一个或多个计算机程序;所述计算机程序被配置成由所述一个或多个处理器执行,所述程序包括用于执行如上所述环保数据监测与处理方法步骤。
15.此外,本发明第四方面还提出一种存储介质,所述存储介质存储有计算机程序;所述程序由处理器加载并执行如上所述环保数据监测与处理方法步骤。
16.本发明的方案中,通过获取所述环保监测数据,并执行预处理;所述环保监测数据至少包括污水的电导率系数;根据所述监测向量图输入至基于神经网络的判别模型确定所述监测数据是否异常;所述判别模型包括多个判别神经元;所述基于神经网络的判别模型,包括概率子模型;根据所述概率子模型的输出概率,确定环保监测数据的正常或异常。通过设置神经网络的判别模型并调整模型参数,通过代价函数的确定优化的适用于电导率系数判别监测的环保数据是否异常的特征系数,从而实现判别模型的精准度,实现监测数据监测与处理的高效准确。
附图说明
17.为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
18.图1是本发明实施例公开的环保数据监测与处理方法的流程示意图。
19.图2是本发明实施例公开的环保数据监测与处理方法的结构示意图。
具体实施方式
20.现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本技术将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
21.此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本技术的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本技术的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
22.附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现
这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
23.附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
24.现有技术中,一般用电导率进行工业废水水质监测,通过前端取水设备收集预处理废水排口的废水样本,特征因子在线监测仪器和在线电导率仪对收集的水样进行分析,在线电导率仪通过电导率对水质情况进行定性分析;采用gprs无线进行数据传输,客户端实时监测企业污水排水口水质状况,所征因子在线监测仪器和在线电导率仪监测到污水排放实时数据超标,但是,这样依赖于阈值的固定判断,难以执行综合的数据模型的分析与评估,针对一般重金属含量超标的水质也难以适应于更为精准的多条件影响执行的综合分析与判别。鉴于此,本实施例,通过设置神经网络的判别模型并调整模型参数,通过代价函数的确定优化的适用于电导率系数判别监测的环保数据是否异常的特征系数,从而实现判别模型的精准度,实现监测数据监测与处理的高效准确。
25.以下对本技术实施例的技术方案的实现细节进行详细阐述:请参阅图1,图1是本发明实施例公开的一种环保数据监测与处理方法, 如图1所示,所述方法包括:s1,获取所述环保监测数据,并执行预处理;所述环保监测数据至少包括污水的电导率系数。
26.所述s1,获取所述环保监测数据,并执行预处理,包括:对所述电导率系数执行归一化处理,转换为0-1之间的归一化数据;根据预处理的结果执行输入至判别模型执行概率判断。
27.具体地,本实施例,归一化的表示方法,是通过(采集的电导率系数-电导率系数最小值)/(电导率系数最大值-电导率系数最小值)计算得来。
28.s2,根据所述监测向量图输入至基于神经网络的判别模型确定所述监测数据是否异常;所述判别模型包括多个判别神经元;所述基于神经网络的判别模型,包括概率子模型:其中,指示在第一特征系数之下,所述判别模型将输入的电导率系数x判别在类别j的概率系数;指示在第一特征系数之下,判别模型根据输入的电导率系数x执行计算得到的类别j所对应的判别神经元所计算出的指数级特征系数;k为分类的总类别数;指示在第一特征系数之下,判别模型根据输入的电导率系数x执行计算得到的类别1至k所对应的判别神经元所处的特征系数之和;为不同类别j下的第一特征系数;为不同类别判别神经元下的第一特征系数;所述、、的取值相同。
29.s3,根据所述概率子模型的输出概率,确定环保监测数据的正常或异常。
30.进一步,所述类别j包括电导率正常类别以及电导率异常类别;所述确定环保监测数据的正常或异常,包括确定电导率正常或电导率异常;进一步,基于代价函数对所述判别模型执行训练;其中,所述代价函数表示为:其中,m表示训练样本总数,i用于表示m个样本中第i个样本;指示在第一特征系数之下,所述判别模型将训练样本的电导率系数判别在类别j的概率系数:其中,表示判别模型对样本分类的结果;指示在第一特征系数之下,判别模型根据输入的电导率系数执行计算得到的类别j所对应的判别神经元所计算出的指数级特征系数;k为分类的总类别数;指示在第一特征系数之下,判别模型根据输入的电导率系数执行计算得到的类别1至k所对应的判别神经元所处的特征系数之和;所述、、的取值相同。
31.进一步,所述基于代价函数对所述判别模型执行训练,还包括:采用梯度迭代方式迭代优化第一特征系数,以最小化所述代价函数;最小化代价函数表示为:梯度迭代方式迭代的第一特征系数:其中,表示迭代速率;一般取值为0.02。
32.根据梯度迭代方式确定最小化所述代价函数所对应的最优第一特征系数确定为概率子模型的第一特征系数。
33.进一步,所述s3,根据所述概率子模型的输出概率,确定环保监测数据的正常或异常,包括:s51,确定所述输出概率是否大于一定阈值,若大于一定阈值,确定所述输出概率对应的类别为监测数据的类别;s52,若所述监测数据的类别为异常,则触发报警,向终端发送报警信息。
34.此外, 如图2所示,本实施例还提出一种环保数据监测与处理系统,所述系统包括:获取与处理模块10,获取所述环保监测数据,并执行预处理;所述环保监测数据至少包括污水的电导率系数;
判别处理模块20,根据所述监测向量图输入至基于神经网络的判别模型确定所述监测数据是否异常;所述判别模型包括多个判别神经元;所述基于神经网络的判别模型,包括概率子模型:其中,指示在第一特征系数之下,所述判别模型将输入的电导率系数x判别在类别j的概率系数;指示在第一特征系数之下,判别模型根据输入的电导率系数x执行计算得到的类别j所对应的判别神经元所计算出的指数级特征系数;k为分类的总类别数;指示在第一特征系数之下,判别模型根据输入的电导率系数x执行计算得到的类别1至k所对应的判别神经元所处的特征系数之和;为不同类别j下的第一特征系数;为不同类别判别神经元下的第一特征系数;所述、、的取值相同。
35.报警模块30,根据所述概率子模型的输出概率,确定环保监测数据是否正常,并执行触发报警。
36.进一步,所述判别处理模块20还包括:训练子模块201;所述训练子模块201,用于基于代价函数对所述判别模型执行训练;其中,所述代价函数表示为:其中,m表示训练样本总数,i用于表示m个样本中第i个样本;指示在第一特征系数之下,所述判别模型将训练样本的电导率系数判别在类别j的概率系数:其中,表示判别模型对样本分类的结果;指示在第一特征系数之下,判别模型根据输入的电导率系数执行计算得到的类别j所对应的判别神经元所计算出的指数级特征系数;k为分类的总类别数;指示在第一特征系数之下,判别模型根据输入的电导率系数执行计算得到的类别1至k所对应的判别神经元所处的特征系数之和;所述、、的取值相同。
37.进一步,所述训练子模块201,还用于采用梯度迭代方式迭代优化第一特征系数,以最小化所述代价函数:
其中,梯度迭代方式迭代的第一特征系数:其中,表示迭代速率;根据梯度迭代方式确定最小化所述代价函数所对应的最优第一特征系数确定为概率子模型的第一特征系数。
38.此外,本实施例第三方面还提出一种电子装置,所述电子装置包括:一个或多个处理器,存储器,所述存储器用于存储一个或多个计算机程序;所述计算机程序被配置成由所述一个或多个处理器执行,所述程序包括用于执行如上所述环保数据监测与处理方法步骤。
39.此外,本实施例第四方面还提出一种存储介质,所述存储介质存储有计算机程序;所述程序由处理器加载并执行如上所述环保数据监测与处理方法步骤。
40.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
41.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
42.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
43.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
44.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网格设备等)执行本发明各个实施例所述方法的全
部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
45.以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。