一种物料类别检测方法及装置与流程

[0001]
本发明涉及建筑施工技术领域，具体涉及一种物料类别检测方法及装置。


背景技术：

[0002]
在工地施工现场，通常需要将物料运输至指定的作业面进行作业。而在物料运输至作业面时只能通过施工人员眼镜观察的方式来判断作业面当前施工物料的类型，然后可以利用当前物料的类型来推断出当前施工进度以及材料成本核算统计等。但是，由于工地经常处于高空作业，并且不同施工物料间外观存在一定相似性，因此，当物料运输至作业面附近时，大大增加了施工人员的识别难度，并且这种依靠人工识别物料的方式增加了施工人员的工作量，识别准确性也难以保证。


技术实现要素：

[0003]
有鉴于此，本发明实施例提供了一种物料类别检测方法及装置，解决现有技术中采用人工识别物料，进而导致工作量大，识别准确性低的问题。
[0004]
根据第一方面，本发明实施例提供了一种物料类别检测方法，包括：
[0005]
获取预设监控区域的监控视频；
[0006]
基于所述监控视频采用图像差分算法确定包含待识别物料的第一图像；
[0007]
将所述第一图像输入至预设图像识别模型进行物料识别，确定所述待识别物料的物料类别识别结果。
[0008]
可选地，所述基于所述监控视频采用图像差分算法确定包含待识别物料的第一图像，包括：
[0009]
获取所述监控视频中相邻预设时间间隔的两帧图像；
[0010]
采用图像差分算法计算所述两帧图像之间的图像差异度；
[0011]
当所述两帧图像的图像差异度大于预设差异度阈值时，确定后一帧图像为所述第一图像。
[0012]
可选地，所述将所述第一图像输入至预设图像识别模型进行物料识别，确定所述待识别物料的物料类别识别结果，包括：
[0013]
获取所述待识别物料对应目标投放区域的模板图像；
[0014]
根据模板匹配算法对所述模板图像及所述第一图像进行模板匹配，确定待识别物料区域对应的第二图像；
[0015]
将所述第二图像输入至预设图像识别模型进行物料识别，确定所述待识别物料的物料类别识别结果。
[0016]
可选地，所述根据模板匹配算法对所述模板图像及所述第一图像进行模板匹配，确定待识别物料区域对应的第二图像，包括：
[0017]
根据模板匹配算法，确定所述模板图像在所述第一图像上的模板匹配区域；
[0018]
根据预设扩充比例对所述模板匹配区域进行尺寸扩充；
[0019]
根据尺寸扩充后模板匹配区域的坐标位置及所述第一图像，确定所述第二图像。
[0020]
可选地，所述预设扩充比例通过如下方式得到：
[0021]
获取所述目标投放区域的第一尺寸信息及所有类型物料的第二尺寸信息；
[0022]
根据所述第一尺寸信息及所述第二尺寸信息确定所述预设扩充比例。
[0023]
可选地，所述将所述第二图像输入至预设图像识别模型进行物料识别，确定所述待识别物料的物料类别识别结果，包括：
[0024]
获取预设数量的预测物料类别识别结果，所述预测物料类别识别结果为将预设数量的所述第二图像输入至预设图像识别模型中输出的预测物料类别识别结果；
[0025]
根据预设投票机制对所述预测物料类别识别结果进行投票，确定所述待识别物料的物料类别识别结果。
[0026]
可选地，所述预设图像识别模型为resnet50模型。
[0027]
根据第二方面，本发明实施例提供了一种物料类别检测装置，包括：
[0028]
第一获取模块，用于获取第一塔吊预设监控区域的监控视频；
[0029]
第一处理模块，用于基于所述监控视频采用图像差分算法确定包含待识别物料的第一图像；
[0030]
第二处理模块，用于将所述第一图像输入至预设图像识别模型进行物料识别，确定所述待识别物料的物料类别识别结果。
[0031]
根据第三方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现本发明第一方面及其任意一种可选方式所述的方法。
[0032]
根据第四方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面及其任意一种可选方式所述的方法。
[0033]
本发明技术方案，具有如下优点：
[0034]
本发明实施例提供了一种物料类别检测方法及装置，通过获取预设监控区域的监控视频，然后基于监控视频采用图像差分算法确定包含待识别物料的第一图像，然后采用预设图像识别模型对第一图像进行识别，得到待识别物料的物料类别识别结果。从而实现了物料所属类别的自动识别，减少了施工人员工作量，并且通过对监控视频中图像自动提取，并对图像进行处理可得到包含物料的图像进行物料识别，可有效避免由于人工识别造成的识别错误的问题。
附图说明
[0035]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]
图1为本发明实施例中物料类别检测方法的流程图；
[0037]
图2为本发明实施例中塔吊的结构示意图；
[0038]
图3为本发明实施例中从监控视频中提取的第一图像；
[0039]
图4为本发明实施例中吊钩的模板图像；
[0040]
图5为本发明实施例中经过模板匹配后待识别物料区域对应的第二图像；
[0041]
图6为本发明实施例中物料类别检测装置的结构示意图；
[0042]
图7为本发明实施例中的电子设备的结构示意图。
具体实施方式
[0043]
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0045]
在工地施工现场，通常需要将物料运输至指定的作业面进行作业。而在物料运输至作业面时只能通过施工人员眼镜观察的方式来判断作业面当前施工物料的类型，然后可以利用当前物料的类型来推断出当前施工进度以及材料成本核算统计等。但是，由于工地经常处于高空作业，并且不同施工物料间外观存在一定相似性，因此，当物料运输至作业面附近时，大大增加了位于地面的施工人员的识别难度，并且这种依靠人工识别物料的方式增加了施工人员的工作量，识别准确性也难以保证。
[0046]
基于上述问题，本发明实施例提供了一种物料类别检测方法，如图1所示，该物料类别检测方法具体包括如下步骤：
[0047]
步骤s101：获取预设监控区域的监控视频。具体地，该预设监控区域可以设置于建筑当前作业面区域附近，以便于监控作业面物料，具体可通过安装在作业面附近的摄像头来进行视频监控，在本发明实施例中，是以塔吊运输物料至作业面进行作业为例进行的说明，并不以此为限。塔吊的结构示意图如图2所示，在塔吊的吊臂1上设置有吊钩11和吊钩11连接的待识别物料12，待识别物料12通过吊钩11运输至作业面区域进行作业。则该预设监控区域还可以是设置于如图2所示塔吊设备的吊臂上的摄像头的监控范围，只要能够实现监控吊钩所运输作业面物料即可，本发明并不以此为限。
[0048]
步骤s102：基于监控视频采用图像差分算法确定包含待识别物料的第一图像。在塔吊运输作业面物料的过程中，在进入预设监控区域后，监控画面中会出现移动的吊钩及其运输的待识别物料，从而可以从监控视频中提取包含待识别物料的视频图像，采用图像差分算法判断当摄像头区域内出现大于一定面积的移动物体的时候，进行视频图像截取操作，以得到包含待识别物料的第一图像，由于待识别物料由吊钩承载，因此，在实际应用中，也可以通过判断监控画面中是否出现吊钩，从出现吊钩的视频画面中提取包含待识别物料的第一图像，本发明并不以此为限。
[0049]
步骤s103：将第一图像输入至预设图像识别模型进行物料识别，确定待识别物料的物料类别识别结果。具体地，该预设图像识别模型例可以根据实际需求在现有技术中的图像分类算法中进行选择，建立的图像识别模型，例如：resnet50算法等，本发明并不以此为限。
[0050]
通过执行上述步骤，本发明实施例提供的物料类别检测方法，通过获取预设监控区域的监控视频，然后基于监控视频采用图像差分算法确定包含待识别物料的第一图像，
然后采用预设图像识别模型对第一图像进行识别，得到待识别物料的物料类别识别结果。从而实现了物料所属类别的自动识别，减少了施工人员工作量，并且通过对监控视频中图像自动提取，并对图像进行处理可得到包含物料的图像进行物料识别，可有效避免由于人工识别造成的识别错误的问题。
[0051]
具体地，在一实施例中，上述的步骤s102，具体包括如下步骤：
[0052]
步骤s201：获取监控视频中相邻预设时间间隔的两帧图像。具体地，在塔吊没有进行工作或者吊钩及所承载的作业面物料没有进入预设监控区域时，监控视频中的图像的画面仅为环境背景图像，当待识别物料进入监控视频中后，监控视频画面将出现移动的物料，因此，可以通过获取一定时间间隔的两帧图像来判断物料是否进行监控视频内，该预设时间间隔可以根据吊钩实际的上升速度进行设置，只要通过两帧图像可以确定是否出现吊钩及物料即可。
[0053]
步骤s202：采用图像差分算法计算两帧图像之间的图像差异度。具体地，由于背景图像固定，两帧图像的区别仅在于吊钩及运输的物料，因此，可采用图像差分算法将两帧图像上相对应像素点作差，由于背景图像像素值相同，根据做差后像素差值不为0的像素点所构成的区域，即可得到移动目标即吊钩和物料的图像面积，该图像面积与视频图像面积的比值可以用于表示两帧图像之间的图像差异度，即比值越大差异度越大，反之比值越小差异度越小。在实际应用中，为了获得包含物料的完整图像，可以将吊钩及物料完整出现在视频画面所占最小图像面积与整个视频画面的面积比值设置为预设差异度阈值，如果当计算得到的图像差异度大于该预设差异度阈值时，则说明吊钩及物料完整出现在后一帧图像中，将该图像作为对物料进行识别的原始图像，如图3所示。
[0054]
具体地，在一实施例中，上述的步骤s103具体包括如下步骤：
[0055]
步骤s301：获取待识别物料对应目标投放区域的模板图像。具体地，在本发明实施例中，因为物料通过吊钩运输至目标投放区域，因此可将吊钩作为物料的固定参照物，从而采用吊钩模板图像作为待识别物料对应目标投放区域的模板图像。在实际应用中，该模板图像还可以是作业区域固定的参照物对应的模板图像，例如：作业位置建筑物的图像等，本发明并不以此为限。
[0056]
步骤s302：根据模板匹配算法对模板图像及第一图像进行模板匹配，确定待识别物料区域对应的第二图像。具体地，因为建筑施工现场环境复杂，直接对上述的第一图像进行物料识别，由于图像背景干扰严重，将严重影响物料类别识别结果的准确率。因此，为了进一步提高后续物料类别识别结果的准确性，本发明实施例提供利用塔吊的吊钩与吊物即待识别物料之间的位置对应关系，对图像中物料的区域进行定位，从而提取出仅包含物料区域的第二图像，排除图像中环境背景的影响。
[0057]
步骤s303：将第二图像输入至预设图像识别模型进行物料识别，确定待识别物料的物料类别识别结果。具体地，由于第二图像为仅包含物料区域的图像，排除了上述第一图像中环境背景的影响，因此，采用鸡儿图像输入至预设图像识别模型进行物料识别，提高了物料识别准确率。
[0058]
具体地，在一实施例中，上述的步骤s302，具体包括如下步骤：
[0059]
步骤s01：根据模板匹配算法，确定模板图像在第一图像上的模板匹配区域。具体地，由于在同一工程项目中，塔吊上吊钩的形状和颜色基本上都是一样的。因此，可以根据
实际项目的情况，选择固定的仅包含吊钩的吊钩图像作为匹配模板，利用如图4所示吊钩图像中吊钩的图像特征与上述第一图像中所包含的吊钩进行匹配，以得到在第一图像中吊钩的图像区域即模板匹配区域。
[0060]
步骤s02：根据预设扩充比例对模板匹配区域进行尺寸扩充。由于吊钩与物料之间位置关系相对固定，通过将吊钩所在模板匹配区域按照一定比例进行扩充后，即可得到物料所在区域，如图5所示。
[0061]
具体地，在本发明实施例中，可以通过获取目标投放区域的第一尺寸信息及所有类型物料的第二尺寸信息；根据第一尺寸信息及第二尺寸信息确定预设扩充比例。例如，假设上述吊钩的尺寸信息为吊钩的尺寸，其运输的所有物料类型中尺寸最大的物料假设为钢筋物料，并且吊钩与物料之间相对位置固定，则可以根据钢筋物料的尺寸与吊钩的尺寸之间的比例关系再预留一定比例阈值后，得到上述预设扩充比例，假设吊钩长度为3米宽的为1米，而最大尺寸运输物料长度为3米宽度为1米，则上述扩充比例为以吊钩所在区域作为中心，沿物料所在位置方向的长度扩充3倍，宽度扩充3倍。需要说明的是，上述的预设扩充比例也可以根据实际工程需要进行调整，本发明并不以此为限。
[0062]
步骤s03：根据尺寸扩充后模板匹配区域的坐标位置及第一图像，确定第二图像。具体地，根据尺寸扩充后模板匹配区域在上述第一图像中的坐标位置，可以从第一图像中提取出物料区域对应的第二图像。利用该第二图像进行物料识别可以有效避免环境背景对物料类别识别结果的干扰，提高物料类别识别结果的准确性。
[0063]
具体地，在一实施例中，上述的步骤s303，具体包括如下步骤：
[0064]
步骤s001：获取预设数量的预测物料类别识别结果，预测物料类别识别结果为将预设数量的第二图像输入至预设图像识别模型中输出的预测物料类别识别结果。具体地，由于吊钩及物料在监控视频中移动需要一定时间，因此，可以通过上述步骤获取多个不同时刻包含有待识别物料的第一图像，进而确定多个第二图像，然后将每个第二图像分别输入预设图像识别模型中得到该图像对应的预测物料类别识别结果。在本发明实施例中，在对监控视频中所提取的图像进行模板匹配提取第二图像的过程中，存在图像梯度消失的现象，因此本发明实施例采用的预设图像识别模型为resnet50模型，这是由于resnet50算法采用了残差连接方式在一定程度上解决梯度消失问题，因此，采用resnet50算法相对于其他算法其识别性能更为优异，并且该算法具有易于扩展的特点，有利于与后续针对物料类别识别结果的进一步操作进行融合，易于系统集成。
[0065]
步骤s002：根据预设投票机制对预测物料类别识别结果进行投票，确定待识别物料的物料类别识别结果。具体地，为了进一步的提高识别的准确率，避免单次识别可能造成的识别误差，本发明实施例通过利用投票机制，对预测物料类别识别结果进行投票，从而根据投票结果确定待识别物料的物料类别识别结果，该投票机制可以根据实际需求进行设置，例如：可以是将预测物料类别识别结果大于一定阈值的预测物料类别识别结果作为最终的物料类别识别结果，也可以是按照少数服从多数原则，将预测物料类别识别结果中出现频次最高的作为最终物料类别识别结果，例如：一次吊运过程采集了5张图片，有一张识别为“钢筋”，4张识别为“非钢筋”，那么最后投票的结果为“非钢筋”，本发明并不以此为限。从而利用投票机制，可以降低识别错误率。
[0066]
具体地，上述的预设图像识别模型可以通过如下方式训练得到的：
[0067]
获取历史物料图像及对应的目标物料的物料类别识别结果。具体地，该历史物料图像为塔吊上所运输物料的物料区域在监控视频中对应的图像即上述第二图像，历史物料图像上带有标注信息，该标注信息中包括该历史物料图像中目标物料的物料类别识别结果，例如“钢筋”等。
[0068]
将历史物料图像输入至预设图像识别模型中，确定预测物料类别识别结果。该预设图像识别模型中的初始参数可以人为根据经验进行设置，也可以采用随机方式设置。
[0069]
根据目标物料的物料类别识别结果及预测物料类别识别结果，更新预设图像识别模型中的参数。通过将历史物料图像输入至预设图像识别模型中，得到预测物料类别识别结果，然后再利用预测物料类别识别结果与目标物料的物料类别识别结果之间的误差，对预设图像识别模型的参数进行校正。具体在训练过程中，可以在训练一定的次数之后，提高误判样本的采样权重，于此同时，对于识别难度比较大的难样本也同样加大采用权重，例如：将模型识别错误的样本图像以及人工判定识别难度比较大的样本图像，经过图像的尺寸变换等图像操作来丰富样本数量，增加误判样本及难样本的样本数量，以提高模型的训练效果，缩短训练时长。此外，在模型训练过程中，可以采用热力图对训练模型的识别效果进行展示，如果热力图在目标区域即物料所在区域分配的权重更大，说明该模型很好；如果热力图在权重在非目标区域，那么就说明该模型不好，还需要再次调整参数或者数据进行训练，直至训练得到热力图满意的分类模型。本发明实施例训练后的resnet50模型，经过热力图的校验，其分类结果符合工程项目的实际需求，可以准确识别物料的类型。
[0070]
通过执行上述步骤，本发明实施例提供的物料类别检测方法，通过获取预设监控区域的监控视频，然后基于监控视频采用图像差分算法确定包含待识别物料的第一图像，然后利用模板匹配算法将模板图像与第一图像进行模板匹配，进而确定待识别物料所在区域对应的第二图像，然后采用预设图像识别模型对第二图像进行识别，得到待识别物料的物料类别识别结果。从而实现了塔吊运输作业面物料所属类别的自动识别，减少了施工人员工作量，并且通过对监控视频中图像自动提取，并对图像进行处理可得到仅包含物料的图像进行物料识别，从而避免了环境等外部干扰图像对物料识别的影响，提高了物料识别的准确性，并且可有效避免由于人工识别造成的识别错误的问题。
[0071]
本发明实施例还提供了一种物料类别检测装置，如图6所示，该物料类别检测装置具体包括：
[0072]
第一获取模块101，用于获取第一塔吊预设监控区域的监控视频。详细内容参见上述方法实施例中步骤s101的相关描述，在此不再进行赘述。
[0073]
第一处理模块102，用于基于监控视频采用图像差分算法确定包含待识别物料的第一图像。详细内容参见上述方法实施例中步骤s102的相关描述，在此不再进行赘述。
[0074]
第二处理模块103，用于将第一图像输入至预设图像识别模型进行物料识别，确定待识别物料的物料类别识别结果。详细内容参见上述方法实施例中步骤s103的相关描述，在此不再进行赘述。
[0075]
上述各个模块的更进一步的功能描述与上述对应方法实施例相同，在此不再赘述。
[0076]
通过上述各个组成部分的协同合作，本发明实施例提供的物料类别检测装置，通过获取预设监控区域的监控视频，然后基于监控视频采用图像差分算法确定包含待识别物
料的第一图像，然后采用预设图像识别模型对第一图像进行识别，得到待识别物料的物料类别识别结果。从而实现了物料所属类别的自动识别，减少了施工人员工作量，并且通过对监控视频中图像自动提取，并对图像进行处理可得到包含物料的图像进行物料识别，可有效避免由于人工识别造成的识别错误的问题。
[0077]
本发明实施例还提供了一种电子设备，如图7所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图7中以通过总线连接为例。
[0078]
处理器901可以为中央处理器(central processing unit，cpu)。处理器901还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0079]
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法。
[0080]
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0081]
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法。
[0082]
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
[0083]
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
[0084]
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。