基于机器视觉的混凝土振捣施工质量监测方法和系统

本发明涉及一种基于机器视觉的混凝土振捣施工质量监测方法和系统，属于人工智能、混凝土浇筑。

背景技术：

1、混凝土振捣是混凝土浇筑的关键工艺，在实际现场施工中，人工对混凝土质量进行监测和控制，受到操作人员和监理个人经验局限性的影响，容易出现漏振、重复振捣、欠振等问题，造成质量验收水平参差不一，由此引发质量问题。在使用人工手持振捣棒进行振捣作业时，施工现场环境杂乱，监测混凝土振捣施工质量的传统方法大多依赖传感器和物联网技术，连接线复杂，花费较多，并且占地体积较大影响工人施工。

2、现有技术中，如申请公开号为cn114648637a的中国专利申请提出一种基于机器视觉的混凝土自动振捣方法及系统，能够实现自动化控制振捣棒分布和振捣时间。但是该发明仅适用于排式振捣机对混凝土进行振捣作业，并不能运用到人工手持振捣棒这一形式上。

3、申请公开号为cn114776021b的中国专利授权提出一种混凝土智能振捣方法，基于神经网络算法获取某一工况下的最佳振捣参数，能够实现精准控制振捣棒完成振捣操作，提高混凝土振捣及振捣均匀性。但是该发明仅适用于机械臂上绑定振捣棒，难以应对预埋件或钢筋布置较多的情况。

4、申请公开号为cn110555373a的中国专利申请提供一种基于图像识别的混凝土振捣质量实时检测方法，能够有效准确地提取图像中的特征信息，识别出振捣棒和混凝土，根据混凝土表面状态判断振捣质量。但是该发明对采集图像的处理较为复杂，需经过光照补偿、图像灰度化和图像滤波增强预处理才能进行后续步骤。

5、有鉴于此，提出一种新的基于机器视觉技术对混凝土振捣施工质量监测的方法，显然是有必要的。

技术实现思路

1、本发明的发明目的是提供一种基于机器视觉的混凝土振捣施工质量监测方法和系统，针对传统的人工监测手段，将机器视觉技术应用于管理混凝土振捣施工质量。

2、为达到上述发明目的，本发明采用的技术方案是：一种基于机器视觉技术对混凝土振捣施工质量监测方法，包括如下步骤：

3、1、数据实时采集：在混凝土振捣施工现场设置第一摄像头采集工人行为动作视频，设置第二摄像头采集混凝土振捣表面状态视频图像；

4、2、工人动作数据处理：采用滑动窗口实现工人动作的实时检测，通过设定滑动窗口的长度，从输入的视频流中提取在时刻t的滑动窗口内的动作帧，将当前窗口内的序列编码为骨架热图，并且将这个滑动窗口长度的视频输入至训练好的行为识别模型中进行检测，然后输出分类结果及置信度，最后判断当前时刻是否为动作的起始点，当分类结果至少连续三个窗口的动作类别相同，并且置信度分数大于0.9且大于前面至少三个窗口的值，即认为当前时刻为动作的起始点；如果不是动作的起始点，则重复上述步骤，直至检测结束；

5、3、混凝土表面状态数据处理：对混凝土振捣过程表面状态视频信息读取和写入，将视频转为图片，逐帧读取和写入视频帧图像信息，然后送入混凝土表面状态分类模型进行混凝土表面状态检测，并将检测结果输出至视频帧图像上，实现实时监测效果；

6、4、混凝土振捣施工质量监测决策应用：在混凝土振捣过程质量评估框架中，将工人行为类别表示为集合a＝{a1,a2,a3}，混凝土表面状态类别表示为集合b＝{b 1,b2,b3}，其中a1为“振捣”类行为，a2为“移动振捣棒”类行为，a3为“休息”类行为；b 1为不合格状态混凝土，b2为中等状态混凝土，b3为合格状态混凝土，根据不同的工人行为动作和表面状态检测结果，将输出结果分为“移动振捣棒”、“开始振捣”和“继续振捣”；基于混凝土振捣过程质量评估框架，根据工人行为识别模型和混凝土表面状态分类模型输出的检测结果，做出下一步的决策，并对操作人员和监理给出相应的提示语句，提示工人下一步行为动作；

7、5、根据工人动作识别结果，判断工人是否遵从提示进行振捣工作：如果工人遵从提示，则进入下一轮周期流程，进行新一轮的工人动作识别和混凝土表面状态检测；如果工人不遵从提示，则报送监理。

8、优选的技术方案中，在所述步骤(3)中，通过开源的计算机视觉库opencv来逐帧读取和写入视频帧图像信息。

9、优选的技术方案中，在所述步骤(3)中，混凝土表面状态分类模型基于shufflenet v2网络。

10、优选的技术方案中，所述步骤(2)中的工人行为识别模型具体步骤为：

11、(1)、通过python程序提取视频信息，提取信息内容包括：视频的文件名、标签、起始帧、结束帧；依据文件名和标签生成视频文件的路径列表，为后续提取骨骼数据提供路径指引；

12、(2)、将准备好的数据和注释信息输入faster rcnn模型中进行人员检测，并将原始数据及检测结果输入到hrnet-w32中进行姿态估计来获得骨骼及关键点空间变化信息；通过姿态估计模型hrnet-w32生成一个列表用以包含对应视频的字典数据，并将其集合保存为一个pickle文件进行训练和测试；其中list的每一项为单个视频的骨架标注dict；

13、(3)、通过姿态估计模型从视频中提取出二维姿态信息后，将其输入posec3d，二维姿态信息将通过k×h×w的热图来进行表示，其中，k是关键点的数量，h和w分别代表帧的高度和宽度；在给定边界框的条件下，对热图进行零填充以匹配原始帧,依据骨骼关键点的坐标参数(xk，yk，ck)通过拟合以每个关键点为中心的k个高斯变换来得到关键点的热图j以及骨骼的热图l，计算方式分别见公式(1)和(2)：

14、

15、

16、其中σ表示高斯映射的方差，(xk，yk)表示第k个关键点的位置，ck表示置信度得分,第k个骨骼位于两个关键点ak和bk之间，函数d计算从点(i，j)到线段之间的距离。

17、本发明还提供了一种基于机器视觉技术对混凝土振捣施工质量监测方法的系统，包括：用户登录模块、系统管理模块、振捣监测模块和监测结果模块，

18、用户登录模块：登录成功后跳转至系统模块、振捣监测和监测结果模块；

19、系统管理模块：管理员对用户信息进行增删及查找修改，并通过振捣施工记录查询当天的施工日志，直观地查看施工日程；

20、振捣监测模块：打开摄像头1和摄像头2同时对工人的行为及混凝土表面状态进行检测，并依据检测结果及决策逻辑给出相应的操作提示，实现对混凝土振捣过程的监管，在振捣结束后，用户根据需要选择是否信任结果并归档，或者对不信任的结果进行修改；

21、监测结果模块：完成本次振捣后用户需填写混凝土浇筑记录，详细记录混凝土的参数信息及浇筑情况，以备后续查验。

22、由于上述技术方案运用，本发明与现有技术相比具有下列优点：

23、1.本发明方案相较于施工完成后对产品质量进行检验，加强了混凝土振捣施工过程中的质量控制，可以有效降低质量缺陷的发生率，减少返工和人力物力的消耗，提高混凝土的强度和耐久度，提升施工质量和项目生产力，提高施工现场信息化管理水平。

24、2.本发明不仅能够推动实现无人旁站，减少监理旁站，减轻监理工作量；而且能够避免因操作人员或监理的主观判断失误造成的质量缺陷，减少返工，从而减少人力和物力的资源消耗。

25、3.本发明应用机器视觉技术代替人工对混凝土质量进行监测和控制，不仅可以减轻工作量，还可以避免检验受到操作人员和监理个人经验局限性的影响，造成质量验收水平参差不一，有利于制定统一的混凝土振捣质量评价标准，能够有效保证施工质量。

26、4.本发明仅需要两个摄像头用于拍摄工人行为动作和混凝土表面状态，占地面积较小，不会影响工人工作，并且安装和更换方便，花费更少。