基于无人机的无人值守智能监控系统及其方法与流程

本申请涉及智能化监控，并且更具体地，涉及一种基于无人机的无人值守智能监控系统及其方法。

背景技术：

1、占道施工会影响道路通行能力，造成交通拥堵和安全隐患，给城市管理带来挑战。

2、目前，对占道施工的监管主要依靠人工巡查和投诉举报，效率低下，难以覆盖全时段和全区域。因此，期待一种解决方案。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于无人机的无人值守智能监控系统及其方法，其获取由无人机采集的施工监控图像；利用无人机采集的施工监控视频，通过深度学习和人工智能技术来自动识别道路目标区域内是否存在占道施工的现象，以提高道路监管的效率和覆盖面，并为城市管理部门提供可靠的数据支持。

2、第一方面，提供了一种基于无人机的无人值守智能监控系统，其包括：监控图像采集模块，用于获取由无人机采集的施工监控图像；道路区域识别模块，用于将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；道路空间特征提取模块，用于将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；施工区域提取模块，用于基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；施工空间特征提取模块，用于将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；空间关联特征提取模块，用于将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；一致性优化模块，用于对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及

3、监控结果生成模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。

4、第二方面，提供了一种基于无人机的无人值守智能监控方法，其包括：获取由无人机采集的施工监控图像；将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及

5、将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。

技术特征：

1.一种基于无人机的无人值守智能监控系统，其特征在于，包括：监控图像采集模块，用于获取由无人机采集的施工监控图像；道路区域识别模块，用于将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；道路空间特征提取模块，用于将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；施工区域提取模块，用于基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；施工空间特征提取模块，用于将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；空间关联特征提取模块，用于将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；一致性优化模块，用于对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及监控结果生成模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。

2.根据权利要求1所述的基于无人机的无人值守智能监控系统，其特征在于，所述道路空间特征提取模块，包括：第一卷积编码单元，用于使用所述空间注意力机制的第一卷积神经网络模型的卷积编码部分对所述道路感兴趣区域图像进行卷积编码以得到道路卷积特征图；第一空间注意力单元，用于将所述道路卷积特征图输入所述空间注意力机制的第一卷积神经网络模型的空间注意力部分以得到道路空间注意力图；第一激活单元，用于将所述道路空间注意力图通过softmax激活函数以得到道路空间注意力特征图；第一空间增强单元，用于计算所述道路空间注意力特征图和所述道路卷积特征图的按位置点乘以得到道路空间增强特征图；以及第一池化单元，用于对所述道路空间增强特征图沿着通道维度进行全局均值池化以得到所述道路空间特征矩阵。

3.根据权利要求2所述的基于无人机的无人值守智能监控系统，其特征在于，所述施工空间特征提取模块，包括：第二卷积编码单元，用于使用所述使用空间注意力机制的第二卷积神经网络模型的卷积编码部分对所述掩码施工监控图像进行卷积编码以得到施工卷积特征图；第二空间注意力单元，用于将所述施工卷积特征图输入所述使用空间注意力机制的第二卷积神经网络模型的空间注意力部分以得到施工空间注意力图；第二激活单元，用于将所述施工空间注意力图通过softmax激活函数以得到施工空间注意力特征图；第二空间增强单元，用于计算所述施工空间注意力特征图和所述施工卷积特征图的按位置点乘以得到施工空间增强特征图；以及第二池化单元，用于对所述施工空间增强特征图沿着通道维度进行全局均值池化以得到所述施工作业对象特征矩阵。

4.根据权利要求3所述的基于无人机的无人值守智能监控系统，其特征在于，所述空间关联特征提取模块，用于：使用所述基于第三卷积神经网络模型的空间关联特征提取器的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于第三卷积神经网络模型的空间关联特征提取器的最后一层的输出为所述分类特征图，所述基于第三卷积神经网络模型的空间关联特征提取器的第一层的输入为所述输入张量。

5.根据权利要求4所述的基于无人机的无人值守智能监控系统，其特征在于，所述一致性优化模块，包括：逐片近似因数计算单元，用于计算所述分类特征图的每个特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个逐片近似因数；以及加权优化单元，用于以所述多个逐片近似因数对各个特征矩阵进行加权以得到所述优化分类特征图。

6.根据权利要求5所述的基于无人机的无人值守智能监控系统，其特征在于，所述逐片近似因数计算单元，用于：以如下优化公式计算所述分类特征图的每个特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个逐片近似因数；其中，所述优化公式为：，其中，是所述分类特征图的第个特征矩阵的第个行向量或者列向量，表示函数，表示函数，表示将各个向量级联，且表示向量的二范数的平方，表示所述多个逐片近似因数。

7.根据权利要求6所述的基于无人机的无人值守智能监控系统，其特征在于，所述监控结果生成模块，包括：展开单元，用于将所述优化分类特征图按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。

8.一种基于无人机的无人值守智能监控方法，其特征在于，包括：获取由无人机采集的施工监控图像；将所述施工监控图像通过道路目标检测网络以得到道路感兴趣区域图像；将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵；基于所述道路感兴趣区域图像在所述施工监控图像的位置对所述施工监控图像施加掩码以得到掩码施工监控图像；将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵；将所述道路空间特征矩阵和所述施工作业对象特征矩阵聚合为输入张量后通过基于第三卷积神经网络模型的空间关联特征提取器以得到分类特征图；对所述分类特征图进行流形几何一致性优化以得到优化分类特征图；以及将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在占道施工的现象。

9.根据权利要求8所述的基于无人机的无人值守智能监控方法，其特征在于，将所述道路感兴趣区域图像通过使用空间注意力机制的第一卷积神经网络模型以得到道路空间特征矩阵，包括：使用所述空间注意力机制的第一卷积神经网络模型的卷积编码部分对所述道路感兴趣区域图像进行卷积编码以得到道路卷积特征图；将所述道路卷积特征图输入所述空间注意力机制的第一卷积神经网络模型的空间注意力部分以得到道路空间注意力图；将所述道路空间注意力图通过softmax激活函数以得到道路空间注意力特征图；计算所述道路空间注意力特征图和所述道路卷积特征图的按位置点乘以得到道路空间增强特征图；以及对所述道路空间增强特征图沿着通道维度进行全局均值池化以得到所述道路空间特征矩阵。

10.根据权利要求9所述的基于无人机的无人值守智能监控系统，其特征在于，将所述掩码施工监控图像通过使用空间注意力机制的第二卷积神经网络模型以得到施工作业对象特征矩阵，包括：使用所述使用空间注意力机制的第二卷积神经网络模型的卷积编码部分对所述掩码施工监控图像进行卷积编码以得到施工卷积特征图；将所述施工卷积特征图输入所述使用空间注意力机制的第二卷积神经网络模型的空间注意力部分以得到施工空间注意力图；将所述施工空间注意力图通过softmax激活函数以得到施工空间注意力特征图；计算所述施工空间注意力特征图和所述施工卷积特征图的按位置点乘以得到施工空间增强特征图；以及对所述施工空间增强特征图沿着通道维度进行全局均值池化以得到所述施工作业对象特征矩阵。

技术总结
一种基于无人机的无人值守智能监控系统及其方法，其获取由无人机采集的施工监控图像；利用无人机采集的施工监控视频，通过深度学习和人工智能技术来自动识别道路目标区域内是否存在占道施工的现象，以提高道路监管的效率和覆盖面，并为城市管理部门提供可靠的数据支持。

技术研发人员：左欢金
受保护的技术使用者：广东特视能智能科技有限公司
技术研发日：
技术公布日：2024/1/14