一种基于机器视觉的挖运状态检测方法及系统与流程

本申请涉及图像识别领域，特别地涉及一种基于机器视觉的挖运状态检测方法及系统。

背景技术：

1、工程项目的进行，通常伴随着较大体积的泥土搬运，而在搬运的过程中，只有运输车在每一趟的运输过程中，装满货物，才能保证挖运效率，同时，在进行工作计量的时候，才能更加准确，但是，为了增加自己的工作量，在装车的过程中，存在工作人员之间进行约定，挖运装车不装满，进而节省时间，导致计量不准确。

技术实现思路

1、针对上述问题，本申请提供一种基于机器视觉的挖运状态检测方法及系统，本发明通过针对工程问题训练挖运状态识别模型，拍摄每次挖运装车的照片，并对其进行挖运状态的识别，从而通过挖运状态识别模型直接判断运输车的装车情况，规范装车，进而保证挖运计量以及工作量的结算更加准确。

2、本申请的技术方案为：一种基于机器视觉的挖运状态检测方法，包括：

3、s0、检测终止信号，若接收到终止信号，则进入s1，否则拍摄设备每间隔时间t拍摄挖运照片，并将挖运照片存储于拍摄设备内部的照片存储器中，且挖运照片的名称以实时拍摄时间命名，并按照实时拍摄时间从先到后依次向后排列；

4、s1、向拍摄设备发送停止信号，并获取照片存储器中排列在最后的x张挖运照片，并进入s2，同时拍摄设备停止拍摄，并在间隔时间t后，重置照片存储器；

5、s2、将获取的x张挖运照片送入训练好的挖运状态识别模型中，对x张挖运照片进行识别判断，识别判断挖运照片对应的挖运状态为“已装满”或“未装满”，若识别为“已装满”，则输出判断结果wx＝1，x＝1，2，3······x，若识别为“未装满”，则输出判断结果wx＝0，并将判断结果进行排列得到长度为x的判断数据集p＝{w1，w2，w3······wx}，进入s3；

6、s4、遍历判断数据集p中的所有判断结果wx，若存在wx＝1，则输出“运输车已装满”，否则输出“运输车未装满”。

7、作为优选地，在步骤s2中，将每张挖运照片送入挖运状态识别模型前，对每张挖运照片进行预处理，具体步骤为：

8、k1、以挖运照片左下角为原点，建立平面直角坐标系中，x轴的正方向水平向右，y轴的正方向垂直向上，且挖运照片的底边与x轴重合；

9、k2、对挖运照片进行霍夫变换直线检测，获取挖运照片中的所有挖运直线ly，y＝1，2，3······y，y为所有挖运直线的总数，并以坐标系中y轴为基准线，计算并获取所有挖运直线ly对应的挖运直线角度my；

10、k3、判断所有挖运直线角度my是否满足“|my|≥n”，n为垂线误差角度，若满足“|my|≥n”，则将对应挖运直线ly放入直线集合e，并进入k4，若不满足“|my|≥n”，则删除对应的挖运直线ly；

11、k4、遍历直线集合e中所有的挖运直线ly，并依据相等的挖运直线角度my建立直线子集合eq，q＝1，2，3······y，并对每一个直线子集合eq进行如下操作：

12、统计直线子集合eq中挖运直线ly的数量，若挖运直线ly的数量大于或等于2，则在平面直角坐标系中，以直线子集合eq中所有挖运直线ly建立直线函数，并得到直线函数与x轴交点(by，0)，提取所有交点(by，0)中by的值，标记所有by中最大值对应的挖运直线ly为切割直线fy，延长切割直线fy并以切割直线fy为分割线切割挖运照片，删除挖运照片中位于切割直线fy下方的区域，若挖运直线ly的数量小于2，则无操作。

13、作为优选地，在对挖运照片进行预处理前，还包括对所有挖运照片的清晰度进行检测并处理，具体检测步骤为：

14、对所有挖运照片进行对比度检测，分析图像中的亮度差异特征和颜色分布特征，计算挖运照片的挖运对比度值dx；

15、预设的对比度阈值为d'，若满足“dx≤d'”，则启动去雾算法，对挖运照片进行去雾处理，若不满足“dx≤d'”，则无操作。

16、作为优选地，还包括对光线效果检测并更换拍摄设备，具体步骤为：

17、拍摄设备通过光线测量工具实时获取当下环境的光照度g；

18、提取拍摄设备中的光照度g，判定光照度g是否满足“g∈(g'，g")”，(g'，g")为设定光照度适宜阈值范围，若光照度g满足“g∈(g'，g")”，则无操作，否则，启用具有红外摄像功能的拍摄设备进行拍摄。

19、作为优选地，还包括单独调整拍摄设备的拍摄高度，具体步骤为：

20、重置照片存储器后，获取拍摄设备的现有拍摄高度α0，并提取挖运工程地图，在挖运工程地图上标记拍摄设备，获取运输车的位置以及运输车高度β，并对每个拍摄设备进行如下操作；

21、在挖运工程地图以拍摄设备为圆心，每间隔时间t，匹配并获取半径r内所有运输车高度β，并标记最大值为βmax；

22、设定拍摄设备的适宜拍摄高度α需满足α＝γβmax，γ为拍摄高度系数，则拍摄设备需要调整的拍摄高度ε＝|α-α0|，判定“α-α0≥0”是否成立，若“α-α0≥0”成立，则向上调节拍摄设备的拍摄高度ε，否则向下调节拍摄设备的拍摄高度ε；

23、且拍摄设备的拍摄角度与水平面夹角的角度θ＝arctan(α/r)。

24、作为优选地，上述挖运状态识别模型为卷积神经网络。

25、一种基于机器视觉的挖运状态检测系统，包括有：

26、拍摄模块，用于采集运输车辆的挖运照片；

27、挖运状态识别模型模块，用于建立并训练挖运状态识别模型，识别挖运照片的挖运状态；

28、输出模块，用于输出识别结果。

29、作为优选地，还包括有：

30、照片切割模块，用于对挖运照片进行切割；

31、雾化处理模块，用于对挖运照片进行去雾处理；

32、拍摄设备选择模块，用于检测光线情况，并根据光线情况选择拍摄设备；；

33、拍摄高度调整模块，用于调整拍摄设备的拍摄高度。

34、本申请具有以下优点：

35、1、本发明通过针对工程问题训练挖运状态识别模型，拍摄每次挖运装车的照片，并对其进行挖运状态的识别，从而通过挖运状态识别模型直接判断运输车的装车情况，规范装车，进而保证挖运计量以及工作量的结算更加准确。

36、2、本发明在将照片送入挖运状态识别模型前，将照片进行切割，从而缩减图像识别的工作时间，加快识别判断，还针对大雾情况进行检测，并对照片进行去雾处理，在不同光线环境下，能够检测光照度并选择拍摄设备，从而都能保证照片的清晰度，提高挖运状态识别的准确率。

37、3、本发明通过不同的运输车的高度，对拍摄设备的高度和角度进行调节，从而使拍摄的照片能够兼顾完整性和清晰度，提高挖运状态识别的准确率。

技术特征：

1.一种基于机器视觉的挖运状态检测方法，其特征在于，包括：

2.如权利要求1所述的一种基于机器视觉的挖运状态检测方法，其特征在于，在步骤s2中，将每张挖运照片送入挖运状态识别模型前，对每张挖运照片进行预处理，具体步骤为：

3.如权利要求2所述的一种基于机器视觉的挖运状态检测方法，其特征在于，在对挖运照片进行预处理前，还包括对所有挖运照片的清晰度进行检测并处理，具体检测步骤为：

4.如权利要求3所述的一种基于机器视觉的挖运状态检测方法，其特征在于，还包括对光线效果检测并更换拍摄设备，具体步骤为：

5.如权利要求4所述的一种基于机器视觉的挖运状态检测方法，其特征在于，还包括单独调整拍摄设备的拍摄高度，具体步骤为：

6.如权利要求5所述的一种基于机器视觉的挖运状态检测方法，其特征在于，上述挖运状态识别模型为卷积神经网络。

7.一种基于机器视觉的挖运状态检测系统，其特征在于，包括有：

8.如权利要求7所述的一种基于机器视觉的挖运状态检测系统，其特征在于，

技术总结
本申请涉及图像识别领域，特别地涉及一种基于机器视觉的挖运状态检测方法及系统。一种基于机器视觉的挖运状态检测系统，包括有：拍摄模块、挖运状态识别模型模块和输出模块。本发明通过针对工程问题训练挖运状态识别模型，拍摄每次挖运装车的照片，并对其进行挖运状态的识别，从而通过挖运状态识别模型直接判断运输车的装车情况，规范装车，进而保证挖运计量以及工作量的结算更加准确。

技术研发人员：郭军,黄义成
受保护的技术使用者：湖南黑鲸数据科技有限公司
技术研发日：
技术公布日：2024/2/8