气泡尺寸监测方法及装置与流程

本发明涉及智能监测技术领域，具体而言，涉及一种气泡尺寸监测方法及装置。

背景技术：

随着社会的发展与进步，各行各业对安全工作的要求和期望也达到了前所未有的高度。在铂金矿的选矿过程中，需要对其分选情况进行实时监测，具体为对识别气泡的尺寸，以及对紧急情况进行预警。目前常用方法是由工作人员观察监控视频并逐帧判断，或是由工作人员在生产作业现场直接判断，在出现气泡异常时紧急采取有效的应急措施。

然而，现有气泡尺寸的人工监测方法的工作量及成本过高，且监测精确度不足。

技术实现要素：

本发明解决的是现有气泡尺寸人工监测方法的工作量及成本过高、监测的精度不足的问题。

为解决上述问题，本发明提供一种气泡尺寸监测方法，所述方法包括：获取待巡检设备的监控视频；根据预先训练的scr-det模型对所述监控视频的图像帧进行目标对象检测，得到所述图像帧的气泡检测结果；所述scr-det模型包括依次连接的特征提取网络、特征融合网络以及多维注意力网络；根据所述气泡检测结果进行气泡尺寸监测。

可选地，所述根据预先训练的scr-det模型对所述监控视频的图像帧进行目标对象检测，得到所述图像帧的气泡检测结果，包括：所述特征提取网络提取所述监控视频的图像帧的第一特征图；所述特征融合网络对所述第一特征图进行特征融合及精细采样，得到第二特征图；所述多维注意力网络的通道注意力网络及像素注意力网络分别对所述第二特征图提取得到第三特征图，以及将所述第三特征图与所述第二特征图相乘得到新特征图；根据所述新特征图预测得到所述图像帧中气泡的位置信息及尺寸信息。

可选地，所述特征融合网络对所述第一特征图进行特征融合及精细采样，得到第二特征图，包括：所述特征融合网络将所述特征提取网络提取的高层特征图进行上采样，得到预设步长的第四特征图；所述特征融合网络将所述特征提取网络提取的低层特征图进行上采样，得到所述预设步长的第五特征图，以及将所述第五特征图进行深度解析得到第六特征图；所述特征融合网络将所述第四特征图及所述第六特征图逐个元素相加获得第二特征图。

可选地，所述方法还包括：采用多种步长对样本集进行上采样及目标识别，得到各所述步长对应的检测精度及网络训练耗时；根据各所述步长对应的检测精度及网络训练耗时确定所述预设步长。

可选地，所述特征提取网络提取所述监控视频的图像帧的第一特征图，包括：所述特征提取网络提取所述监控视频的图像帧中预设区域对应的第一特征图，所述预设区域由预先设置的目标识别区域参数确定。

可选地，所述根据所述气泡检测结果进行气泡尺寸监测，包括：根据所述气泡检测结果确定气泡对应检测框的长度及宽度；若所述长度和/或所述宽度大于气泡尺寸阈值，则进行气泡尺寸异常报警。

可选地，所述方法还包括：根据所述气泡检测结果在所述图像帧中标记气泡对应检测框；将标记有所述检测框的所述图像帧输出至显示装置。

本发明提供一种气泡尺寸监测装置，所述装置包括：获取模块，用于获取待巡检设备的监控视频；气泡检测模块，用于根据预先训练的scr-det模型对所述监控视频的图像帧进行目标对象检测，得到所述图像帧的气泡检测结果；所述scr-det模型包括依次连接的特征提取网络、特征融合网络以及多维注意力网络；尺寸监测模块，用于根据所述气泡检测结果进行气泡尺寸监测。

可选地，所述气泡检测模块，具体用于：所述特征提取网络提取所述监控视频的图像帧的第一特征图；所述特征融合网络对所述第一特征图进行特征融合及精细采样，得到第二特征图；所述多维注意力网络的通道注意力网络及像素注意力网络分别对所述第二特征图提取得到第三特征图，以及将所述第三特征图与所述第二特征图相乘得到新特征图；根据所述新特征图预测得到所述图像帧中气泡的位置信息及尺寸信息。

可选地，所述气泡检测模块，具体用于：所述特征融合网络将所述特征提取网络提取的高层特征图进行上采样，得到预设步长的第四特征图；所述特征融合网络将所述特征提取网络提取的低层特征图进行上采样，得到所述预设步长的第五特征图，以及将所述第五特征图进行深度解析得到第六特征图；所述特征融合网络将所述第四特征图及所述第六特征图逐个元素相加获得第二特征图。

本发明提供的气泡尺寸监测方法及装置，基于包括依次连接的特征提取网络、特征融合网络以及多维注意力网络scr-det模型实现气泡检测，与现有应用于气泡检测的目标检测算法相比，能够更精确地确定气泡大小及位置，实现气泡自动监测和识别，降低监测工作量及成本，提高气泡监测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例中一种气泡尺寸监测方法的示意性流程图；

图2为本发明实施例中scr-det模型的结构示意图；

图3为本发明实施例中金矿设备气泡尺寸监测方法的示意性流程图；

图4为本发明实施例中可视化的气泡尺寸正常输出结果；

图5为本发明实施例中可视化的气泡尺寸异常输出结果；

图6为本发明实施例中一种气泡尺寸监测装置的结构示意图。

附图标记说明：

601-获取模块；602-气泡检测模块；603-尺寸监测模块。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有的气泡尺寸的人工监测方法工作量大，且成本过高；远程监控视频方法的及时性不足，且人员安排难以到位，检测信息不能得到及时传达。本发明实施例提供的气泡尺寸监测方法，替代人工执行气泡尺寸监测，以铂金矿的浮选设备为例，实现远程在线识别，在减少人工的同时，大大提升监测速度和精度，改变传统人工识别方法，实现了监测智能化。

本发明实施例提供的气泡尺寸监测方法，基于scr-det(towardsmorerobustdetectionforsmall,clutteredandrotatedobjects，小型/聚集/旋转目标的稳健检测)神经网络模型实现，利用摄像机实时采集的场景视频，将采集到的视频流同步传输到分析服务器，分析服务器对现场需要跟踪的气泡目标进行识别，以此判断是否需要预警。

本发明实施例提供的上述方法与其它进行气泡尺寸目标检测的不同之处在于，使用了scr-det神经网络模型作为目标检测的检测模型。由于气泡对象的大小和特征不同于通常物体，具有单个图片中数量众多，背景嘈杂等特点，scr-det神经网络模型原本用于遥感检测，对于背景嘈杂和物体数目众多等情况具有很好的解决办法，本发明中将其进行改进并用于气泡尺寸监测场景中。

图1是本发明的一个实施例中一种气泡尺寸监测方法的示意性流程图，该方法包括：

s102，获取待巡检设备的监控视频。

在本实施例中以待巡检设备为金矿的浮选设备为例，在该浮选设备上方安装有高清摄像机，用于清晰拍摄浮选设备的整个待巡检区域，并将视频流上传到服务器，由服务器内的检测模型执行气泡的大小和位置的识别功能。

s104，根据预先训练的scr-det模型对监控视频的图像帧进行目标对象检测，得到图像帧的气泡检测结果。

该scr-det模型包括依次连接的特征提取网络、特征融合网络以及多维注意力网络。该特征提取网络可以采用resnet(residualnetwork，残差网络)主干网，以提取特征图；该特征融合网络可以采用sf-net(finersamplingandfeaturefusionnetwork，更精细的采样和特征融合网络)，以进行多层特征融合和有效锚(anchor)采样，以解决目标信息不够和锚样本不足；该多维注意力网络(multi-dimensionalattentionnetwork，mda-net)，采用空间注意力与通道注意力的组合，增强目标提示并削弱非目标信息，使用注意力机制解决遮挡、噪声和模糊的问题。

本实施例可以利用上述预先训练的scr-det模型执行目标检测方法，对监控视频进行逐帧检测。

s106，根据气泡检测结果进行气泡尺寸监测。

在获取上述图像帧的气泡检测结果后，可以根据该气泡检测结果确定气泡对应检测框的长度及宽度，若上述长度和/或宽度大于气泡尺寸阈值，则进行气泡尺寸异常报警。该气泡尺寸阈值可以根据浮选设备对矿粒浮选要求确定，当气泡粘连达到一定程度，导致气泡尺寸大于上述气泡尺寸阈值时，进行异常警报，并提醒工作人员进行查看。

本发明实施例的气泡尺寸监测方法，基于包括依次连接的特征提取网络、特征融合网络以及多维注意力网络scr-det模型实现气泡检测，与现有应用于气泡检测的目标检测算法相比，能够更精确地确定气泡大小及位置，实现气泡自动监测和识别，降低监测工作量及成本，提高气泡监测精度。

scr-det模型的目标对象检测流程如下：

首先，特征提取网络提取监控视频的图像帧的第一特征图。

参见图2所示的scr-det模型的结构示意图，其中示出了特征提取网络，包括c2、c3、c4三层卷积层，可以分别提取得到不同尺寸的特征图，将图像帧中的特征经过逐步卷积，使得特征所能融合的感受野更多。

其次，特征融合网络对第一特征图进行特征融合及精细采样，得到第二特征图。

如图2所示，scr-det模型还包括特征融合网络sf-net，与特征提取网络的c3、c4卷积层分别连接，将c3、c4输出的特征图在sf-net中进行特征融合，得到新的特征图f3。具体地，可以包括以下步骤：特征融合网络将特征提取网络提取的高层特征图进行上采样(up)，得到预设步长的第四特征图；特征融合网络将特征提取网络提取的低层特征图进行上采样，得到预设步长的第五特征图，以及将第五特征图进行深度解析(inceptionmodule)得到第六特征图；特征融合网络将第四特征图及第六特征图逐个元素相加获得第二特征图。

通常检测小目标有两个障碍：物体特征信息不足和锚不足。由于使用了池化层，小目标在深层网络中丢失了大部分特征信息。特征融合和有效的采样是较好检测小目标的关键。具体地：

(1)特征融合。通常认为低层特征图可以保留小目标的位置信息，而高层特征图可以包含更高层语义特征。特征金字塔网络(featurepyramidnetworks，fpn)自上而下的信息流动是常见的特征融合方法，其中涉及不同特征的高层和低层特征图的组合。

(2)精细采样。训练样本不足和不平衡会影响检测性能。锚的铺设方式直接影响正样本采样率。经典的锚铺设方式和特征图的分别率有关，也就是锚铺设的步长。随着网络加深，特征图分辨率下降，锚的步长扩大，常常会导致小目标的采样丢失。较小的步长可以采样更多高质量的样本，从而很好地捕获了小物体，这对于模型训练和推理都具有帮助。

在基于锚的检测框架中，锚的步长等于相对于原始图像的特征缩放倍数。锚步长只能是2的指数倍。sf-net通过更改特征图的大小来解决此问题，从而使锚步长的设置更灵活以允许更自适应的采样。为了减少网络参数，sf-net仅使用特征提取网络(例如resnet)中的c3和c4进行融合，以平衡语义信息和位置信息，同时忽略其他不太相关的特征。

sf-net的第一个管道对c4进行上采样，使特征图相对于原始图像帧的缩放因子sa等于期望的锚步长；第二个管道也对c3进行上采样至相同大小，增加语义信息。深度解析模块(inceptionmodule)的结构包含各种尺寸的卷积核，以捕获目标形状的多样性。最后，通过将两个通道逐个元素相加获得新的特征图。

可选地，通过采用多种步长对样本集进行上采样及目标识别，得到各步长对应的检测精度及网络训练耗时；然后可以根据各步长对应的检测精度及网络训练耗时确定预设步长。综合考虑检测精度较高及网络训练耗时较小，以确定上述预设步长。因此，sf-net可以将c3和c4特征图融合，丰富特征信息；增加特征图大小(减小sa)来提高锚数。

然后，多维注意力网络的通道注意力网络及像素注意力网络分别对第二特征图提取得到第三特征图，以及将第三特征图与第二特征图相乘得到新特征图。

如图2所示，在多维注意力网络mda-net中包括两部分注意力机制：像素注意力网络(pixelattention)，下侧为通道注意力网络(channelattention)，由于拍摄到的图像的复杂性，区域生成网络(rpn，regionproposalnetwork)产生的建议区域可能引入大量噪声信息，过多的噪音可能会混淆物体信息，物体之间的界限将变得模糊，导致漏检并增加虚警。为了更有效地捕捉复杂背景下的气泡特征，通过有监督的多维注意力网络来减少背景的影响。

mda-net由两部分注意力机制组成，上侧是像素注意力网络，下侧为通道注意力网络，在通道注意力网络和像素注意力网络两个方面对上述第二特征图进行突出主体目标和弱化非主体，获得新特征图。

像素注意力网络，第二特征图经过深度解析模块使用不同的卷积核进行不同尺度的特征提取，然后经过卷积操作得到双通道的显著性映射(前景和背景)，对目标区域进行二值化处理，得到含有目标区域的二值化图(显著性高的区域赋1值，其他不重要的区域赋0值，将图像变成由0\1组成像素点图像)。将二值图进行逻辑回归(softmax)后把数值限制在[0，1]之间。

通道注意力网络，使用全局平均池化(gap，globalaveragepooling)输出c个特征通道的数值分布，然后将特征的维度降低到输入的1/r，经过激活函数relu(rectifiedlinearunits，线性整流函数)后再通过一个全连接层(fc，fullyconnectedlayer)将维度变为原来的维度。然后通过激活函数sigmoid获得[0，1]之间归一化的权重。

将上述三个部分相乘，得到新的特征图。

最后，根据新特征图预测得到气泡的位置信息及尺寸信息。

在此需要说明的是，本实施例针对scr-det模型做了修改，取消了原有的旋转框检测机制，而直接根据mda-net输出的特征进行预测，最后将检测到的气泡大小和位置信息输出。

图3是本发明的一个实施例中金矿设备气泡尺寸监测方法的示意性流程图，该金矿设备气泡尺寸监测流程如下：

s301，高清摄像机拍摄巡检区域，以及将视频流上传至分析服务器。

将高清摄像机安装于生产现场的待巡检设备上方，用于清晰拍摄整个巡检的区域，并上传至分析服务器。

s302，通过scr-det模型进行气泡识别。

利用监督学习的目标对象标注算法，对画面上的所有气泡进行实时的识别和检测，由于普通的目标检测算法所应用的对象和气泡的特征存在一定的差距，本实施例采用特殊的神经网络模型来提高检测的精确度，即scr-det网络模型，通过scr-det网络模型输出检测到的气泡大小和位置。

其中，监督学习的目标对象标注算法的工作原理如下：

根据高清摄像机拍摄的传送带上的气泡流动视频，制作包含不同大小和位置的图像样本；对图像样本中的气泡进行标注，制作成训练样本；利用训练样本对目标检测模型进行训练，使权重数据符合预期；采用训练后的目标检测模型可用于对摄像机实时拍摄的视频中包含的气泡进行实时识别。较佳地，本实施例中目标检测模型采用逐帧的方式对监控视频中的气泡进行检测和报警。

s303，获取气泡位置和大小。

s304，判断气泡的尺寸是否超过阈值。若是，则执行s305；若否，则结束。

s305，执行气泡尺寸异常报警。

s306，输出标记有可视化气泡检测框的图像帧。

具体地，可以根据上述气泡检测结果在图像帧中标记气泡对应的检测框，然后将标记有检测框的图像帧输出至显示装置进行显示。

图4为可视化的气泡尺寸正常输出结果，图5为可视化的气泡尺寸异常输出结果，当图中的气泡粘连使得神经网络识别检测框过大时，判定其存在气泡粘连现象，确定出现尺寸异常并发出警报。为提高识别效率，上述特征提取网络可以仅提取监控视频的图像帧中预设区域对应的第一特征图，然后基于该预设区域对应的第一特征图进行气泡尺寸监测，上述预设区域由预先设置的目标识别区域参数确定。

图4及图5中的两条实线可以通过预先设置参数实现，以识别两条线中间区域的气泡。

图6是本发明的一个实施例中一种气泡尺寸监测装置的结构示意图，该装置包括：

获取模块601，用于获取待巡检设备的监控视频；

气泡检测模块602，用于根据预先训练的scr-det模型对所述监控视频的图像帧进行目标对象检测，得到所述图像帧的气泡检测结果；所述scr-det模型包括依次连接的特征提取网络、特征融合网络以及多维注意力网络；

尺寸监测模块603，用于根据所述气泡检测结果进行气泡尺寸监测。

本发明实施例的气泡尺寸监测装置，基于包括依次连接的特征提取网络、特征融合网络以及多维注意力网络scr-det模型实现气泡检测，与现有应用于气泡检测的目标检测算法相比，能够更精确地确定气泡大小及位置，实现气泡自动监测和识别，降低监测工作量及成本，提高气泡监测精度。

可选地，作为一个实施例，所述气泡检测模块，具体用于：所述特征提取网络提取所述监控视频的图像帧的第一特征图；所述特征融合网络对所述第一特征图进行特征融合及精细采样，得到第二特征图；所述多维注意力网络的通道注意力网络及像素注意力网络分别对所述第二特征图提取得到第三特征图，以及将所述第三特征图与所述第二特征图相乘得到新特征图；根据所述新特征图预测得到所述图像帧中气泡的位置信息及尺寸信息。

可选地，作为一个实施例，所述气泡检测模块，具体用于：所述特征融合网络将所述特征提取网络提取的高层特征图进行上采样，得到预设步长的第四特征图；所述特征融合网络将所述特征提取网络提取的低层特征图进行上采样，得到所述预设步长的第五特征图，以及将所述第五特征图进行深度解析得到第六特征图；所述特征融合网络将所述第四特征图及所述第六特征图逐个元素相加获得第二特征图。

可选地，作为一个实施例，所述装置还包括步长设置模块，用于：采用多种步长对样本集进行上采样及目标识别，得到各所述步长对应的检测精度及网络训练耗时；根据各所述步长对应的检测精度及网络训练耗时确定所述预设步长。

可选地，作为一个实施例，所述气泡检测模块，具体用于：所述特征提取网络提取所述监控视频的图像帧中预设区域对应的第一特征图，所述预设区域由预先设置的目标识别区域参数确定。

可选地，作为一个实施例，所述尺寸监测模块，具体用于：根据所述气泡检测结果确定气泡对应检测框的长度及宽度；若所述长度和/或所述宽度大于气泡尺寸阈值，则进行气泡尺寸异常报警。

可选地，作为一个实施例，所述装置还包括检测框输出模块，用于：根据所述气泡检测结果在所述图像帧中标记气泡对应检测框；将标记有所述检测框的所述图像帧输出至显示装置。

上述实施例提供的气泡尺寸监测装置能够实现上述气泡尺寸监测方法的实施例中的各个过程，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述气泡尺寸监测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。

当然，本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。