基于图像识别的起重工和吊钩检测跟踪方法及系统与流程

本发明涉及起重机，尤其涉及一种基于图像识别的起重工和吊钩检测跟踪方法及系统。

背景技术：

1、起重机属于大型机械设备，为了保障起重机安全作业，在起重机的运行作业过程中，需要对起重机的吊钩、以及操作吊钩和重物的起重工进行实时跟踪。

2、目前，常用于工业领域的目标跟踪方法采用预先设置跟踪目标，在目标移动过程中通过模板、特征匹配和均值漂移的目标跟踪算法来实时跟踪目标。

3、然而，由于起重机所处的作业现场通常具有较多的机械设备和操作人员，并且作业现场的光线通常较差，若采用上述的目标跟踪方法则存在检测精度较低，鲁棒性较差等问题。

技术实现思路

1、为解决上述现有技术中存在的部分或全部技术问题，本发明提供一种基于图像识别的起重工和吊钩检测跟踪方法及系统。

2、本发明的技术方案如下：

3、第一方面，提供了一种基于图像识别的起重工和吊钩检测跟踪方法，包括：

4、获取跟踪时刻的起重机作业现场的视频图像；

5、将所述视频图像分别输入预先训练的人员检测模型和吊钩检测模型，得到所述视频图像对应的人员检测结果，以及所述视频图像对应的吊钩检测结果；

6、确定所述人员检测结果中检测到的人员是否存在起重工，以及所述吊钩检测结果中是否存在吊钩；

7、若存在起重工，且起重工对应的检测置信度大于或等于第一预设置信度阈值，则根据第一设定跟踪策略进行起重工的持续跟踪检测；

8、若存在起重工，且起重工对应的检测置信度小于第一预设置信度阈值，则根据第二设定跟踪策略进行起重工的持续跟踪检测；

9、若不存在起重工，则根据第三设定跟踪策略进行持续跟踪检测；

10、若存在吊钩，则根据第四设定跟踪策略进行吊钩的持续跟踪检测；

11、若不存在吊钩，则根据第五设定跟踪策略进行持续跟踪检测。

12、在一些可能的实现方式中，根据第一设定跟踪策略进行起重工的持续跟踪检测，包括：

13、获取当前时刻之后第一预设时间内包括当前起重工的图像，并利用所述人员检测模型实时检测获取的每一帧图像，计算所有帧图像的检测结果中存在起重工的占比；

14、若占比小于或等于第一预设比值，则停止跟踪检测；

15、若占比大于第一预设比值且小于第二预设比值，则调整起重工在图像中的位置及占比，继续获取之后第一预设时间内包括当前起重工的图像，并利用所述人员检测模型实时检测获取的每一帧图像，计算所有帧图像的检测结果中存在起重工的比例，若比例小于第一预设比例阈值，则停止跟踪检测，若比例大于或等于第一预设比例阈值，则返回步骤“继续获取之后第一预设时间内包括当前起重工的图像”以进行持续跟踪检测；

16、若占比大于或等于第二预设比值，则返回步骤“ 获取当前时刻之后第一预设时间内包括当前起重工的图像，并利用所述人员检测模型实时检测获取的每一帧图像，计算所有帧图像的检测结果中存在起重工的占比”，以进行持续跟踪检测。

17、在一些可能的实现方式中，根据第二设定跟踪策略进行起重工的持续跟踪检测，包括：

18、利用色彩通道差分算法对所述视频图像进行处理，若处理结果中当前人员也为起重工，则根据第一设定跟踪策略进行当前起重工的持续跟踪检测。

19、在一些可能的实现方式中，利用色彩通道差分算法对所述视频图像进行处理，包括：

20、将所述视频图像分离成r、g、b三通道灰度图像；

21、分别计算获取r通道灰度图像减去b通道灰度图像、r通道灰度图像减去g通道灰度图像、以及b通道灰度图像减去r通道灰度图像后的灰度图；

22、利用最大类间方差法计算分割阈值；

23、利用分割阈值将获取的灰度图转化为二值图；

24、根据获取的二值图，判断是否存在起重工。

25、在一些可能的实现方式中，根据第三设定跟踪策略进行持续跟踪检测，包括：

26、获取当前时刻之后第一预设时间内起重机作业现场的图像，并利用所述人员检测模型实时检测获取的每一帧图像，计算所有帧图像的检测结果；

27、若所有帧图像的检测结果中均不存在起重工，则停止跟踪检测，否则调整起重工在图像中的位置及占比，继续获取之后第一预设时间内包括当前起重工的图像，并利用所述人员检测模型实时检测获取的每一帧图像，计算所有帧图像的检测结果中存在起重工的比例，若比例小于第一预设比例阈值，则停止跟踪检测，若比例大于或等于第一预设比例阈值，则返回步骤“继续获取之后第一预设时间内包括当前起重工的图像”以进行持续跟踪检测。

28、在一些可能的实现方式中，根据第四设定跟踪策略进行吊钩的持续跟踪检测，包括：

29、获取当前时刻之后第一预设时间内包括吊钩的图像，并利用所述吊钩检测模型实时检测获取的每一帧图像，计算所有帧图像的检测结果中存在吊钩的占比；

30、若占比小于或等于第三预设比值，则停止跟踪检测；

31、若占比大于第三预设比值且小于第四预设比值，则调整吊钩在图像中的位置及占比，继续获取之后第一预设时间内包括当前吊钩的图像，并利用所述吊钩检测模型实时检测获取的每一帧图像，计算所有帧图像的检测结果中存在吊钩的比例，若比例小于第二预设比例阈值，则停止跟踪检测，若比例大于或等于第二预设比例阈值，则返回步骤“继续获取之后第一预设时间内包括当前吊钩的图像”以进行持续跟踪检测；

32、若占比大于或等于第四预设比值，则返回步骤“获取当前时刻之后第一预设时间内包括吊钩的图像，并利用所述吊钩检测模型实时检测获取的每一帧图像，计算所有帧图像的检测结果中存在吊钩的占比”，以进行持续跟踪检测。

33、在一些可能的实现方式中，根据第五设定跟踪策略进行持续跟踪检测，包括：

34、获取当前时刻之后第一预设时间内起重机作业现场的图像，并利用所述吊钩检测模型实时检测获取的每一帧图像，计算所有帧图像的检测结果；

35、若所有帧图像的检测结果中均不存在吊钩，则停止跟踪检测，否则调整吊钩在图像中的位置及占比，继续获取之后第一预设时间内包括当前吊钩的图像，并利用所述吊钩检测模型实时检测获取的每一帧图像，计算所有帧图像的检测结果中存在吊钩的比例，若比例小于第二预设比例阈值，则停止跟踪检测，若比例大于或等于第二预设比例阈值，则返回步骤“继续获取之后第一预设时间内包括当前吊钩的图像”以进行持续跟踪检测。

36、在一些可能的实现方式中，所述人员检测模型通过如下方式训练：

37、获取第一训练样本集合，第一训练样本包括样本图像、与样本图像对应的起重工及其位置；

38、将所述第一训练样本集合中的所述第一训练样本中的样本图像作为输入，将与输入的样本图像对应的起重工及其位置作为输出，训练所述人员检测模型。

39、在一些可能的实现方式中，所述吊钩检测模型通过如下方式训练：

40、获取第二训练样本集合，第二训练样本包括样本图像、与样本图像对应的吊钩及其位置；

41、将所述第二训练样本集合中的所述第二训练样本中的样本图像作为输入，将与输入的样本图像对应的吊钩及其位置作为输出，训练所述吊钩检测模型。

42、第二方面，还提供了一种基于图像识别的起重工和吊钩检测跟踪系统，包括：

43、图像获取模块，被配置成获取起重机作业现场的视频图像；

44、检测模块，被配置成将所述视频图像分别输入预先训练的人员检测模型和吊钩检测模型，得到所述视频图像对应的人员检测结果，以及所述视频图像对应的吊钩检测结果；

45、检测结果确定模块，被配置成确定所述人员检测结果中检测到的人员是否存在起重工，以及所述吊钩检测结果中是否存在吊钩；

46、第一跟踪检测控制模块，被配置成在存在起重工，且起重工对应的检测置信度大于或等于第一预设置信度阈值时，根据第一设定跟踪策略进行起重工的持续跟踪检测；

47、第二跟踪检测控制模块，被配置成在存在起重工，且起重工对应的检测置信度小于第一预设置信度阈值时，根据第二设定跟踪策略进行起重工的持续跟踪检测；

48、第三跟踪检测控制模块，被配置成在不存在起重工时，根据第三设定跟踪策略进行持续跟踪检测；

49、第四跟踪检测控制模块，被配置成在存在吊钩时，根据第四设定跟踪策略进行吊钩的持续跟踪检测；

50、第五跟踪检测控制模块，被配置成在不存在吊钩时，根据第五设定跟踪策略进行持续跟踪检测。

51、本发明技术方案的主要优点如下：

52、本发明的基于图像识别的起重工和吊钩检测跟踪方法及系统通过利用检测模型检测起重机作业现场的图像，根据不同的检测结果，采用不同的跟踪策略进行起重工和吊钩的跟踪检测，能够提高起重工和吊钩的检测精度，实现起重工和吊钩的工作状态的稳定跟踪监控，保证起重作业的安全性。