本发明涉及数据处理,尤其涉及一种基于大数据的微藻浓度预测方法及系统。
背景技术:
1、随着环境科学技术的发展以及人们的环保意识的加强,相关机构对于利用微藻进行环境治理的需求也在不断提高,其中,利用水产养殖技术进行微藻培育是一种重要的培育手段。在微藻培育过程中,如何有效预测微藻浓度以提高监测效率和培育调整措施的及时性,是一个重要技术问题。但现有技术中对于培养水域中微藻浓度的监测技术仍然停留在采用人工对培养水域采样进行检测或者人工的肉眼经验识别,没有考虑到结合算法模型以及多种历史采样数据来实现对微藻浓度的预测,因此无法达到更好的微藻培育监测效果。可见,现有技术存在缺陷,亟待解决。
技术实现思路
1、本发明所要解决的技术问题在于,提供一种基于大数据的微藻浓度预测方法及系统,能够实现更自动化和高效地对培养水域的微藻浓度进行预测,提高对培养水域的培育效果监测的准确度和采取介入措施的及时性,提高培育效率。
2、为了解决上述技术问题,本发明第一方面公开了一种基于大数据的微藻浓度预测方法,所述方法包括:
3、获取目标培养水域的多个历史采样数据和历史环境参数;
4、根据所述历史采样数据对应的微藻检测浓度和所述历史环境参数,建立所述目标培养水域对应的微藻浓度预测模型;
5、在当前时间段获取所述目标培养水域的当前环境参数;
6、将所述当前时间段和所述当前环境参数输入至所述微藻浓度预测模型,以得到所述目标培养水域的当前微藻浓度预测结果。
7、作为一个可选的实施方式,在本发明第一方面中,所述历史环境参数或所述当前环境参数包括风速、日照强度、水温、关键因子参数和水流速度;所述历史采样数据包括水采样数据、图像数据和红外热成像数据中的至少一种;所述关键因子参数包括盐度、ph值、溶解氧参数、氮含量、磷含量和硅含量。
8、作为一个可选的实施方式,在本发明第一方面中,所述根据所述历史采样数据对应的微藻检测浓度和所述历史环境参数,建立所述目标培养水域对应的微藻浓度预测模型,包括:
9、对于每一所述历史采样数据,基于该历史采样数据的数据类型,确定该历史采样数据的微藻检测规则;所述数据类型为水采样数据、图像数据或红外热成像数据;
10、根据所述微藻检测规则,计算该历史采样数据对应的微藻检测浓度;
11、对于每一历史时间段,根据该历史时间段对应的所有所述历史采样数据的微藻检测浓度,计算该历史时间段对应的时间段微藻浓度参数;
12、计算该历史时间段对应的所有所述历史环境参数的平均值,得到该历史时间段对应的时间段环境参数;所述时间段环境参数包括时间段风速、时间段日照强度、时间段水温、时间段关键因子参数和时间段水流速度;
13、将每一所述历史时间段对应的至少一个所述历史采样数据和所述时间段微藻浓度参数和所述时间段环境参数确定为一个训练数据对,以得到多个训练数据对;
14、根据所述多个训练数据对,建立所述目标培养水域对应的微藻浓度预测模型。
15、作为一个可选的实施方式,在本发明第一方面中,所述根据所述微藻检测规则,计算该历史采样数据对应的微藻检测浓度,包括:
16、当所述微藻检测规则为人工镜检规则时,将该历史采样数据发送至距离最近的人工镜检设备端,并获取所述人工镜检设备端返回的镜检计数结果,以得到该历史采样数据对应的微藻检测浓度;
17、当所述微藻检测规则为算法检测规则时,将该历史采样数据输入至所述数据类型对应的预测神经网络算法模型中,以得到输出的该历史采样数据对应的微藻检测浓度;所述预测神经网络算法模型通过包括有多个所述数据类型对应的训练采样数据和对应的微藻浓度标注的训练数据集训练得到。
18、作为一个可选的实施方式,在本发明第一方面中,所述根据该历史时间段对应的所有所述历史采样数据的微藻检测浓度,计算该历史时间段对应的时间段微藻浓度参数,包括:
19、对于该历史时间段的每一时间点,确定该时间点对应的多个所述历史采样数据对应的微藻检测浓度;
20、计算该时间点对应的所有所述微藻检测浓度的加权求和平均值,得到该时间点的第一微藻浓度参数;其中,每一所述微藻检测浓度的权重包括第一权重和第二权重;所述第一权重和对应的所述历史采样数据的采样量大小成正比;所述第二权重与所述微藻检测浓度与所述目标培养水域对应的标准微藻浓度区间的偏离量成反比;当所述微藻检测浓度在所述标准微藻浓度区间内时,所述偏离量为0;当所述微藻检测浓度在所述标准微藻浓度区间外时,所述偏离量为第一差值和第二差值中更小的一项;所述第一差值为所述微藻检测浓度与所述标准微藻浓度区间的上限值之间的差值;所述第二差值为所述微藻检测浓度与所述标准微藻浓度区间的下限值之间的差值;
21、计算所有所述时间点对应的所述第一微藻浓度参数的加权求和平均值,得到该历史时间段对应的时间段微藻浓度参数;其中,每一所述第一微藻浓度参数对应的权重包括第三权重和第四权重;所述第三权重与对应的所述时间点对应的所有所述历史采样数据的总数量成正比;所述第四权重与对应的所述时间点对应的微藻生长效率成反比;所述微藻生长效率通过将对应的所述时间点输入至预先实验确定的数学关系模型以计算得到;所述数学关系模型为时间点和微藻生长效率测量值之间的数学拟合关系式模型。
22、作为一个可选的实施方式,在本发明第一方面中,所述根据所述多个训练数据对,建立所述目标培养水域对应的微藻浓度预测模型,包括:
23、基于回归拟合算法和自变量贡献计算算法,以所述训练数据对中的所述时间段微藻浓度参数作为因变量,计算所述时间段环境参数中的每一参数作为自变量时对应的贡献值;
24、根据所述多个训练数据对,基于随机挑选放回规则和动态规划算法,组成多个训练数据集;每一所述训练数据集中以所述时间段环境参数中的任意一个参数作为数据标注的训练数据的占比与该参数对应的所述贡献值的大小成正比;
25、将所述多个训练数据集,输入至预先建立的神经网络模型中进行训练,并基于梯度下降算法和预设的损失函数对模型参数进行优化直至收敛,得到所述目标培养水域对应的微藻浓度预测模型。
26、作为一个可选的实施方式,在本发明第一方面中,所述将所述当前时间段和所述当前环境参数输入至所述微藻浓度预测模型,以得到所述目标培养水域的当前微藻浓度预测结果,包括:
27、在所述微藻浓度预测模型的验证阶段的训练数据集中确定出对应的历史时间段与所述当前时间段的相似度大于预设的相似度阈值的多个相似训练数据;所述相似度为所处时间区间的相似度、时间段长度的相似度和时间段差值之间的加权求和值;
28、根据所述微藻浓度预测模型在验证阶段基于所有所述相似训练数据进行预测的准确率的平均值,计算所述当前时间段对应的和所述准确率的平均值成正比的历史预测权重;
29、将所述当前环境参数输入至所述微藻浓度预测模型中,以得到输出的所述目标培养水域的当前微藻浓度;
30、计算所述当前微藻浓度和所述标准微藻浓度区间的中间值的浓度差值;
31、计算所述浓度差值和所述历史预测权重的乘积值;
32、计算所述当前微藻浓度和所述乘积值的和,得到所述目标培养水域的当前微藻浓度预测结果。
33、作为一个可选的实施方式,在本发明第一方面中,所述方法还包括:
34、判断所述当前微藻浓度预测结果是否小于所述当前时间段对应的培育阶段对应的浓度正常阈值,得到第一判断结果;
35、当所述第一判断结果为否时,不执行操作;
36、当所述第一判断结果为是时,获取距离所述目标培养水域最近的多个附近培养水域对应的所述当前微藻浓度预测结果;
37、将所有所述附近培养水域以及所述目标培养水域对应的所有所述当前微藻浓度预测结果根据结果值从大到小进行排序,得到结果序列;
38、计算所述结果序列中符合预设的异常传播位置规则的第一结果的数量以及结果值小于预设的结果值阈值的第二结果的数量;所述异常传播位置规则用于限定所述结果序列中至少三个次序连续的且对应的培养水域的范围存在接壤的当前微藻浓度预测结果;
39、判断所述第一结果的数量和所述第二结果的数量的加权求和平均值是否大于预设的数量阈值,得到第二判断结果;
40、若所述第二判断结果为否,发送与所述目标培养水域对应的培育异常警告至警告终端;
41、若所述第二判断结果是,发送与所有所述第一结果和所述第二结果对应的所述附近培养水域和所述目标培养水域对应的警告至所述警告终端。
42、本发明实施例第二方面公开了一种基于大数据的微藻浓度预测系统,所述系统包括:
43、第一获取模块,用于获取目标培养水域的多个历史采样数据和历史环境参数;
44、建立模块,用于根据所述历史采样数据对应的微藻检测浓度和所述历史环境参数,建立所述目标培养水域对应的微藻浓度预测模型;
45、第二获取模块,用于在当前时间段获取所述目标培养水域的当前环境参数;
46、预测模块,用于将所述当前时间段和所述当前环境参数输入至所述微藻浓度预测模型,以得到所述目标培养水域的当前微藻浓度预测结果。
47、作为一个可选的实施方式,在本发明第二方面中,所述历史环境参数或所述当前环境参数包括风速、日照强度、水温、关键因子参数和水流速度;所述历史采样数据包括水采样数据、图像数据和红外热成像数据中的至少一种;所述关键因子参数包括盐度、ph值、溶解氧参数、氮含量、磷含量和硅含量。
48、作为一个可选的实施方式,在本发明第二方面中,所述建立模块根据所述历史采样数据对应的微藻检测浓度和所述历史环境参数,建立所述目标培养水域对应的微藻浓度预测模型的具体方式,包括:
49、对于每一所述历史采样数据,基于该历史采样数据的数据类型,确定该历史采样数据的微藻检测规则;所述数据类型为水采样数据、图像数据或红外热成像数据;
50、根据所述微藻检测规则,计算该历史采样数据对应的微藻检测浓度;
51、对于每一历史时间段,根据该历史时间段对应的所有所述历史采样数据的微藻检测浓度,计算该历史时间段对应的时间段微藻浓度参数;
52、计算该历史时间段对应的所有所述历史环境参数的平均值,得到该历史时间段对应的时间段环境参数;所述时间段环境参数包括时间段风速、时间段日照强度、时间段水温、时间段关键因子参数和时间段水流速度;
53、将每一所述历史时间段对应的至少一个所述历史采样数据和所述时间段微藻浓度参数和所述时间段环境参数确定为一个训练数据对,以得到多个训练数据对;
54、根据所述多个训练数据对,建立所述目标培养水域对应的微藻浓度预测模型。
55、作为一个可选的实施方式,在本发明第二方面中,所述建立模块根据所述微藻检测规则,计算该历史采样数据对应的微藻检测浓度的具体方式,包括:
56、当所述微藻检测规则为人工镜检规则时,将该历史采样数据发送至距离最近的人工镜检设备端,并获取所述人工镜检设备端返回的镜检计数结果,以得到该历史采样数据对应的微藻检测浓度;
57、当所述微藻检测规则为算法检测规则时,将该历史采样数据输入至所述数据类型对应的预测神经网络算法模型中,以得到输出的该历史采样数据对应的微藻检测浓度;所述预测神经网络算法模型通过包括有多个所述数据类型对应的训练采样数据和对应的微藻浓度标注的训练数据集训练得到。
58、作为一个可选的实施方式,在本发明第二方面中,所述建立模块根据该历史时间段对应的所有所述历史采样数据的微藻检测浓度,计算该历史时间段对应的时间段微藻浓度参数的具体方式,包括:
59、对于该历史时间段的每一时间点,确定该时间点对应的多个所述历史采样数据对应的微藻检测浓度;
60、计算该时间点对应的所有所述微藻检测浓度的加权求和平均值,得到该时间点的第一微藻浓度参数;其中,每一所述微藻检测浓度的权重包括第一权重和第二权重;所述第一权重和对应的所述历史采样数据的采样量大小成正比;所述第二权重与所述微藻检测浓度与所述目标培养水域对应的标准微藻浓度区间的偏离量成反比;当所述微藻检测浓度在所述标准微藻浓度区间内时,所述偏离量为0;当所述微藻检测浓度在所述标准微藻浓度区间外时,所述偏离量为第一差值和第二差值中更小的一项;所述第一差值为所述微藻检测浓度与所述标准微藻浓度区间的上限值之间的差值;所述第二差值为所述微藻检测浓度与所述标准微藻浓度区间的下限值之间的差值;
61、计算所有所述时间点对应的所述第一微藻浓度参数的加权求和平均值,得到该历史时间段对应的时间段微藻浓度参数;其中,每一所述第一微藻浓度参数对应的权重包括第三权重和第四权重;所述第三权重与对应的所述时间点对应的所有所述历史采样数据的总数量成正比;所述第四权重与对应的所述时间点对应的微藻生长效率成反比;所述微藻生长效率通过将对应的所述时间点输入至预先实验确定的数学关系模型以计算得到;所述数学关系模型为时间点和微藻生长效率测量值之间的数学拟合关系式模型。
62、作为一个可选的实施方式,在本发明第二方面中,所述建立模块根据所述多个训练数据对,建立所述目标培养水域对应的微藻浓度预测模型的具体方式,包括:
63、基于回归拟合算法和自变量贡献计算算法,以所述训练数据对中的所述时间段微藻浓度参数作为因变量,计算所述时间段环境参数中的每一参数作为自变量时对应的贡献值;
64、根据所述多个训练数据对,基于随机挑选放回规则和动态规划算法,组成多个训练数据集;每一所述训练数据集中以所述时间段环境参数中的任意一个参数作为数据标注的训练数据的占比与该参数对应的所述贡献值的大小成正比;
65、将所述多个训练数据集,输入至预先建立的神经网络模型中进行训练,并基于梯度下降算法和预设的损失函数对模型参数进行优化直至收敛,得到所述目标培养水域对应的微藻浓度预测模型。
66、作为一个可选的实施方式,在本发明第二方面中,所述预测模块将所述当前时间段和所述当前环境参数输入至所述微藻浓度预测模型,以得到所述目标培养水域的当前微藻浓度预测结果的具体方式,包括:
67、在所述微藻浓度预测模型的验证阶段的训练数据集中确定出对应的历史时间段与所述当前时间段的相似度大于预设的相似度阈值的多个相似训练数据;所述相似度为所处时间区间的相似度、时间段长度的相似度和时间段差值之间的加权求和值;
68、根据所述微藻浓度预测模型在验证阶段基于所有所述相似训练数据进行预测的准确率的平均值,计算所述当前时间段对应的和所述准确率的平均值成正比的历史预测权重;
69、将所述当前环境参数输入至所述微藻浓度预测模型中,以得到输出的所述目标培养水域的当前微藻浓度;
70、计算所述当前微藻浓度和所述标准微藻浓度区间的中间值的浓度差值;
71、计算所述浓度差值和所述历史预测权重的乘积值;
72、计算所述当前微藻浓度和所述乘积值的和,得到所述目标培养水域的当前微藻浓度预测结果。
73、作为一个可选的实施方式,在本发明第二方面中,所述系统还用于执行以下步骤:
74、判断所述当前微藻浓度预测结果是否小于所述当前时间段对应的培育阶段对应的浓度正常阈值,得到第一判断结果;
75、当所述第一判断结果为否时,不执行操作;
76、当所述第一判断结果为是时,获取距离所述目标培养水域最近的多个附近培养水域对应的所述当前微藻浓度预测结果;
77、将所有所述附近培养水域以及所述目标培养水域对应的所有所述当前微藻浓度预测结果根据结果值从大到小进行排序,得到结果序列;
78、计算所述结果序列中符合预设的异常传播位置规则的第一结果的数量以及结果值小于预设的结果值阈值的第二结果的数量;所述异常传播位置规则用于限定所述结果序列中至少三个次序连续的且对应的培养水域的范围存在接壤的当前微藻浓度预测结果;
79、判断所述第一结果的数量和所述第二结果的数量的加权求和平均值是否大于预设的数量阈值,得到第二判断结果;
80、若所述第二判断结果为否,发送与所述目标培养水域对应的培育异常警告至警告终端;
81、若所述第二判断结果是,发送与所有所述第一结果和所述第二结果对应的所述附近培养水域和所述目标培养水域对应的警告至所述警告终端。
82、本发明第三方面公开了另一种基于大数据的微藻浓度预测系统,所述系统包括:
83、存储有可执行程序代码的存储器;
84、与所述存储器耦合的处理器;
85、所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的基于大数据的微藻浓度预测方法中的部分或全部步骤。
86、本发明第四方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的基于大数据的微藻浓度预测方法中的部分或全部步骤。
87、与现有技术相比,本发明实施例具有以下有益效果:
88、本发明能够借助培养水域的历史采样数据和传感数据和环境参数,建立对应的微藻浓度预测模型,再通过当前环境参数对当前的微藻浓度进行预测,从而能够实现更自动化和高效地对培养水域的微藻浓度进行预测,提高对培养水域的培育效果监测的准确度和采取介入措施的及时性,提高培育效率。