一种基于物联网的环境智能监控方法及系统与流程

1.本发明涉及智能监控技术领域，具体涉及一种基于物联网的环境智能监控方法及系统。


背景技术：

2.随着网络技术的发展，生态环境智能监控是一个重要的场景。现有技术， cn202011284481.5公开了一种生态环境智能监控方法、装置及服务器，通过将第一生态环境智能监控信息的监控行为分布节点添加到由全局监控环境模拟程序与从属监控环境模拟程序共享配置的监控运行脚本，由于第一生态环境智能监控信息的建模时间大于第二生态环境智能监控信息的建模时间，这样在第二生态环境智能监控信息的建模时间满足建模处理需求时，即可通过减小数据量极大地提高建模处理效率。在此基础上指示从属监控环境模拟程序按照建模信息数据库中各建模信息类型的建模关联信息，通过各建模信息类型的建模环境信号信息对第二生态环境智能监控信息的监控行为分布节点进行共享建模处理，从而进一步降低建模处理的复杂度。
3.虽然上述现有技术，能够减小数据量极大地提高建模处理效率，但仍存在一定的缺陷，比如：无法自动识别目标对象，以及对目标对象进行实时定位和预测跟踪，仍需要人为接入进行目标对象的识别，自动化程度低。


技术实现要素：

4.本发明的目的在于提供一种基于物联网的环境智能监控方法及系统，以解决现有技术中无法自动识别目标对象，以及对目标对象进行实时定位和预测跟踪，仍需要人为接入进行目标对象的识别，自动化程度低的技术问题。
5.为解决上述技术问题，本发明具体提供下述技术方案：
6.一种基于物联网的环境智能监控方法，包括以下步骤：
7.步骤s1、对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，并在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，以及在包含目标对象的图像中抽取目标对象的图像特征；
8.步骤s2、将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，并将根据特征相似度确定出表征目标对象的疑似目标对象，再获取表征目标对象的疑似目标对象对应的监控装置位置作为目标对象的实时位置，以实现对目标对象的实时锁定；
9.步骤s3、将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，并根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪。
10.作为本发明的一种优选方案，所述对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，包括：
11.将同一监控装置的实时监控图像和初始监控图像进行图像相似度计算，以得到实时监控图像与所述初始监控图像的图像相似度；
12.设定用于目标排查的相似度阈值，并将所述图像相似度与相似度阈值进行比较，其中，
13.当图像相似度高于或等于相似度阈值，则将所述实时监控图像判定为包含疑似目标对象的监控图像；
14.当图像相似度低于相似度阈值，则将所述实时监控图像判定为不包含疑似目标对象的监控图像；
15.优选的，图像相似度计算，包括：
16.分别对所述实时监控图像和初始监控图像进行直方图计算得到实时监控图像的直方图和初始监控图像的直方图，并计算实时监控图像的直方图和初始监控图像的直方图的相似度作为所述图像相似度；
17.所述图像相似度的计算公式为：
[0018][0019]
式中，ii表征为第i个监控装置的实时监控图像和初始监控图像的图像相似度，ai、bi分别表征为第i个监控装置的实时监控图像、初始监控图像的直方图向量，i为计量常数，无实质含义，t为转置运算符。
[0020]
作为本发明的一种优选方案，所述在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，包括：
[0021]
利用区域生长因子算法在包含疑似目标对象的监控图像中获得疑似目标对象的图像区域，并依次在疑似目标对象的图像区域中提取出所述疑似目标对象的图像卷积特征，疑似目标对象的图像结构特征以及疑似目标对象的图像直方图特征；
[0022]
其中，所述疑似目标对象的图像卷积特征由疑似目标对象的图像区域输入至vgg16卷积神经网络得到的特征序列进行表征；
[0023]
所述疑似目标对象的图像结构特征由疑似目标对象的图像区域的像素均值、方差和协方差进行表征；
[0024]
所述疑似目标对象的图像直方图特征由疑似目标对象的图像区域的直方图向量进行表征。
[0025]
作为本发明的一种优选方案，所述在包含目标对象的图像中抽取目标对象的图像特征，包括：
[0026]
依次在包含目标对象的图像中提取出所述目标对象的图像卷积特征，目标对象的图像结构特征以及目标对象的图像直方图特征；
[0027]
其中，所述目标对象的图像卷积特征由目标对象的图像区域输入至 vgg16卷积神经网络得到的特征序列进行表征；
[0028]
所述目标对象的图像结构特征由目标对象的图像区域的像素均值、方差和协方差进行表征；
[0029]
所述目标对象的图像直方图特征由目标对象的图像区域的直方图向量进行表征。
[0030]
作为本发明的一种优选方案，所述将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，包括：
[0031]
依次计算疑似目标对象和目标对象的图像卷积特征的相似度，疑似目标对象和目标对象的图像结构特征的相似度以及疑似目标对象和目标对象的图像直方图特征的相似度，其中，所述图像卷积特征的相似度的计算公式为：
[0032][0033]
式中，pi表征为第i个监控装置的实时监控图像中的疑似目标对象和所述目标对象的图像卷积特征的相似度，ci、di分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的图像卷积特征的特征序列向量，i为计量常数，无实质含义，t为转置运算符；
[0034]
所述图像结构特征的相似度的计算公式为：
[0035][0036]
式中，qi表征为第i个监控装置的实时监控图像中的疑似目标对象和所述目标对象的图像结构特征的相似度，fi、fi分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的像素均值、方差和协方差组合向量， i为计量常数，无实质含义，t为转置运算符；
[0037]
所述图像直方图特征的相似度的计算公式为：
[0038][0039]
式中，ui表征为第i个监控装置的实时监控图像中的疑似目标对象和所述目标对象的图像直方图特征的相似度，gi、hi分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的图像直方图特征的直方图向量，i 为计量常数，无实质含义，t为转置运算符；
[0040]
为所述图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度添加相似度权重，并依据相似度权重得到多算法融合的特征相似度，所述多算法融合的特征相似度的计算公式为：
[0041]
zi＝w1pi+w2qi+w3ui；
[0042]
式中，zi表征为第i个监控装置的实时监控图像中的疑似目标对象和所述目标对象的所述特征相似度，w1、w2和w3分别表征为所述图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度添加相似度权重， w1+w2+w3＝1，w1∈[0,1]、w2∈[0,1]和w3∈[0,1]；
[0043]
优选的，确定出相似度权重，包括：
[0044]
将包含目标对象的图像和监控装置拍摄得到的对应目标对象的历史监控图像一一对应构建为图像样本，并计算出图像样本的图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度；
[0045]
将图像样本运用至训练所述多算法融合的特征相似度以在w1、w2和w3取值范围中依次取值使得识别准确率达到最高来确定出所述相似度权重，其中，所述识别准确率的计算公式为：
[0046][0047]
式中，y表征为利用所述特征相似度得到的图像样本的识别准确度，zo表征为特征相似度阈值，当第j个图像样本的特征相似度大于或等于特征相似度阈值时，则f(zj≥zo)＝1，当第j个图像样本的特征相似度小于特征相似度阈值时，则f(zj≥zo)＝0，max表征为最大化运算符，j为计量常数，无实质含义，m表征为图像样本的总数目。
[0048]
作为本发明的一种优选方案，所述将根据特征相似度确定出表征目标对象的疑似目标对象，包括：
[0049]
当zi≥zo，则判定第i个监控装置的实时监控图像中的疑似目标对象表征为目标对象；
[0050]
当zi《zo，则判定第i个监控装置的实时监控图像中的疑似目标对象不表征为目标对象。
[0051]
作为本发明的一种优选方案，所述将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，包括：
[0052]
提取每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置作为目标对象在每个监控时序处的实时位置，并将目标对象在每个监控时序处的实时位置按时序链接得到目标对象的历史移动路线。
[0053]
作为本发明的一种优选方案，所述根据历史移动路线对目标对象的未来移动路线进行预测，包括：
[0054]
将历史移动路线输入至lstm网络模型中得到表征监控时序与目标对象的实时位置的映射关系的路线预测模型；
[0055]
向路线预测模型中输入未来监控时序得到目标对象在未来监控时序处的实时位置，以实现对目标对象未来移动路线的预测。
[0056]
作为本发明的一种优选方案，所述疑似目标对象的图像特征和目标对象的图像特征在计算前均进行归一化处理以消除量纲误差。
[0057]
作为本发明的一种优选方案，本发明提供了一种根据所述的基于物联网的环境智能监控方法的监控系统，包括：
[0058]
特征提取单元，用于对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，并在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，以及在包含目标对象的图像中抽取目标对象的图像特征；
[0059]
目标抓取单元，用于将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，并将根据特征相似度确定出表征目标对象的疑似目标对象，再获取表征目标对象的疑似目标对象对应的监控装置位置作为目标对象的实时位置，以实现对目标对象的实时锁定；
[0060]
预测追踪单元，用于将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，并根据历史移动路线对目标对象的未
来移动路线进行预测，以实现对目标对象的预测追踪。
[0061]
本发明与现有技术相比较具有如下有益效果：
[0062]
本发明利用图像特征相似度进行目标对象的识别，并获取目标对象的实时位置，以实现对目标对象的实时锁定，再将每个监控时序处表征目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪，在进行图像特征相似度计算时利用多种相似度算法进行融合以提高图像特征识别的精度，进而最终提高目标对象的识别精度。
附图说明
[0063]
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0064]
图1为本发明实施例提供的环境智能监控方法流程图；
[0065]
图2为本发明实施例提供的环境智能监控方法结构框图。
[0066]
图中的标号分别表示如下：
[0067]
1-特征提取单元；2-目标抓取单元；3-预测追踪单元。
具体实施方式
[0068]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0069]
如图1所示，本发明提供了一种基于物联网的环境智能监控方法，包括以下步骤：
[0070]
步骤s1、对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，并在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，以及在包含目标对象的图像中抽取目标对象的图像特征；
[0071]
对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，包括：
[0072]
将同一监控装置的实时监控图像和初始监控图像进行图像相似度计算，以得到实时监控图像与初始监控图像的图像相似度；
[0073]
设定用于目标排查的相似度阈值，并将图像相似度与相似度阈值进行比较，其中，
[0074]
当图像相似度高于或等于相似度阈值，则将实时监控图像判定为包含疑似目标对象的监控图像；
[0075]
当图像相似度低于相似度阈值，则将实时监控图像判定为不包含疑似目标对象的监控图像；
[0076]
初始监控图像是指监控区间中只存在固有环境，无其余目标，将实时监控图像与初始监控图像能够快速识别出实时监控图像中是否存在固有环境中不存在的波动元素作为疑似目标对象，比如非法侵入者，并将此类存在疑似目标对象的实时监控图像筛选出，用
于后续确认疑似目标对象是否属于目标对象，从而实现对目标对象的全覆盖排查，提高排查全面性。
[0077]
优选的，图像相似度计算，包括：
[0078]
分别对实时监控图像和初始监控图像进行直方图计算得到实时监控图像的直方图和初始监控图像的直方图，并计算实时监控图像的直方图和初始监控图像的直方图的相似度作为图像相似度；
[0079]
图像相似度的计算公式为：
[0080][0081]
式中，ii表征为第i个监控装置的实时监控图像和初始监控图像的图像相似度，ai、bi分别表征为第i个监控装置的实时监控图像、初始监控图像的直方图向量，i为计量常数，无实质含义，t为转置运算符。
[0082]
在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，包括：
[0083]
利用区域生长因子算法在包含疑似目标对象的监控图像中获得疑似目标对象的图像区域，并依次在疑似目标对象的图像区域中提取出疑似目标对象的图像卷积特征，疑似目标对象的图像结构特征以及疑似目标对象的图像直方图特征；
[0084]
其中，疑似目标对象的图像卷积特征由疑似目标对象的图像区域输入至 vgg16卷积神经网络得到的特征序列进行表征；
[0085]
疑似目标对象的图像结构特征由疑似目标对象的图像区域的像素均值、方差和协方差进行表征；
[0086]
疑似目标对象的图像直方图特征由疑似目标对象的图像区域的直方图向量进行表征。
[0087]
在包含目标对象的图像中抽取目标对象的图像特征，包括：
[0088]
依次在包含目标对象的图像中提取出目标对象的图像卷积特征，目标对象的图像结构特征以及目标对象的图像直方图特征；
[0089]
其中，目标对象的图像卷积特征由目标对象的图像区域输入至vgg16卷积神经网络得到的特征序列进行表征；
[0090]
目标对象的图像结构特征由目标对象的图像区域的像素均值、方差和协方差进行表征；
[0091]
目标对象的图像直方图特征由目标对象的图像区域的直方图向量进行表征。
[0092]
步骤s2、将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，并将根据特征相似度确定出表征目标对象的疑似目标对象，再获取表征目标对象的疑似目标对象对应的监控装置位置作为目标对象的实时位置，以实现对目标对象的实时锁定；
[0093]
将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，包括：
[0094]
依次计算疑似目标对象和目标对象的图像卷积特征的相似度，疑似目标对象和目标对象的图像结构特征的相似度以及疑似目标对象和目标对象的图像直方图特征的相似
度，其中，图像卷积特征的相似度的计算公式为：
[0095][0096]
式中，pi表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的图像卷积特征的相似度，ci、di分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的图像卷积特征的特征序列向量，i为计量常数，无实质含义，t为转置运算符；
[0097]
图像结构特征的相似度的计算公式为：
[0098][0099]
式中，qi表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的图像结构特征的相似度，ei、fi分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的像素均值、方差和协方差组合向量，i为计量常数，无实质含义，t为转置运算符；
[0100]
图像直方图特征的相似度的计算公式为：
[0101][0102]
式中，ui表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的图像直方图特征的相似度，gi、hi分别表征为第i个监控装置的实时监控图像中的疑似目标对象、目标对象的图像直方图特征的直方图向量，i为计量常数，无实质含义，t为转置运算符；
[0103]
为图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度添加相似度权重，并依据相似度权重得到多算法融合的特征相似度，多算法融合的特征相似度的计算公式为：
[0104]
zi＝w1pi+w2qi+w3ui；
[0105]
式中，zi表征为第i个监控装置的实时监控图像中的疑似目标对象和目标对象的特征相似度，w1、w2和w3分别表征为图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度添加相似度权重，w1+w2+ w3＝1，w1∈[0,1]、w2∈[0,1]和w3∈[0,1]；
[0106]
优选的，确定出相似度权重，包括：
[0107]
将包含目标对象的图像和监控装置拍摄得到的对应目标对象的历史监控图像一一对应构建为图像样本，并计算出图像样本的图像卷积特征的相似度、图像结构特征的相似度和图像直方图特征的相似度；
[0108]
将图像样本运用至训练多算法融合的特征相似度以在w1、w2和w3取值范围中依次取值使得识别准确率达到最高来确定出相似度权重，其中，识别准确率的计算公式为：
[0109][0110]
式中，y表征为利用特征相似度得到的图像样本的识别准确度，zo表征为特征相似度阈值，当第j个图像样本的特征相似度大于或等于特征相似度阈值时，则d(zj≥zo)＝1，当
第j个图像样本的特征相似度小于特征相似度阈值时，则f(zj≥zo)＝0，max表征为最大化运算符，j为计量常数，无实质含义，m表征为图像样本的总数目。
[0111]
利用相似度权重，可以对实时监控图像中的疑似目标对象和目标对象在图像特征方面进行多相似度匹配，以避免单一相似度的片面性，多种相似度能够提高图像比对的全面性，从而提高在疑似目标对象中识别出目标对象的精准度。
[0112]
将根据特征相似度确定出表征目标对象的疑似目标对象，包括：
[0113]
当zi≥zo，则判定第i个监控装置的实时监控图像中的疑似目标对象表征为目标对象；
[0114]
当zi《zo，则判定第i个监控装置的实时监控图像中的疑似目标对象不表征为目标对象。
[0115]
步骤s3、将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，并根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪。
[0116]
将每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，包括：
[0117]
提取每个监控时序处表征目标对象的疑似目标对象对应的监控装置位置作为目标对象在每个监控时序处的实时位置，并将目标对象在每个监控时序处的实时位置按时序链接得到目标对象的历史移动路线。
[0118]
根据历史移动路线对目标对象的未来移动路线进行预测，包括：
[0119]
将历史移动路线输入至lstm网络模型中得到表征监控时序与目标对象的实时位置的映射关系的路线预测模型；
[0120]
向路线预测模型中输入未来监控时序得到目标对象在未来监控时序处的实时位置，以实现对目标对象未来移动路线的预测。
[0121]
疑似目标对象的图像特征和目标对象的图像特征在计算前均进行归一化处理以消除量纲误差。
[0122]
本实施例提供一种移动路线的预测实例，比如目标对象的历史移动路线为{p
t1
，p
t2
，p
t3
，p
t4
，p
t5
}，{p
t1
，p
t2
，p
t3
，p
t4
，p
t5
}输入至lstm网络模型进行模型训练得到路线预测模型，而后在路线预测模型输入未来的监控时序t6，则路线预测模型输出未来的监控时序t6处的实时位置p
t6
，并调整位于 p
t6
处的监控装置，实现对目标对象的提前追踪定位监控。
[0123]
如图2所示，基于上述基于物联网的环境智能监控方法，本发明提供了一种监控系统，包括：
[0124]
特征提取单元1，用于对所有监控装置的实时监控图像进行目标排查得到包含疑似目标对象的监控图像，并在包含疑似目标对象的监控图像中抽取出疑似目标对象的图像特征，以及在包含目标对象的图像中抽取目标对象的图像特征；
[0125]
目标抓取单元2，用于将疑似目标对象的图像特征和目标对象的图像特征进行多算法融合的特征相似度比较，并将根据特征相似度确定出表征目标对象的疑似目标对象，再获取表征目标对象的疑似目标对象对应的监控装置位置作为目标对象的实时位置，以实现对目标对象的实时锁定；
[0126]
预测追踪单元3，用于将每个监控时序处表征目标对象的疑似目标对象对应的监
控装置位置按时序链接得到目标对象的历史移动路线，并根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪。
[0127]
本发明利用图像特征相似度进行目标对象的识别，并获取目标对象的实时位置，以实现对目标对象的实时锁定，再将每个监控时序处表征目标对象对应的监控装置位置按时序链接得到目标对象的历史移动路线，根据历史移动路线对目标对象的未来移动路线进行预测，以实现对目标对象的预测追踪，在进行图像特征相似度计算时利用多种相似度算法进行融合以提高图像特征识别的精度，进而最终提高目标对象的识别精度。
[0128]
以上实施例仅为本技术的示例性实施例，不用于限制本技术，本技术的保护范围由权利要求书限定。本领域技术人员可以在本技术的实质和保护范围内，对本技术做出各种修改或等同替换，这种修改或等同替换也应视为落在本技术的保护范围内。