一种基于人工智能视频识别技术的抽油机关键位置巡检方法与流程

本发明涉及抽油机智能巡检领域，具体而言是通过人工智能视频识别技术结合井旁摄像头实时视频流对抽油机井关键位置进行检测从而对关键设备故障进行识别，及时发现抽油机井的异常故障，从而为减轻巡井人员的工作强度和提高抽油机井的生产时率提供技术支撑。

背景技术：

1、油田大部分抽油机井分布在距离居民区较为偏远的区域且单井之间的距离相对较远，大部分抽油机井全天候生产。为了保证抽油机井出现故障能够被及时发现，油田巡检人员需要按照固定的排班计划按时巡检，依靠人工巡检存在以下问题：(1)油井数量多分布广，单纯人员巡检工作强大度，且巡检间隔较长，存在故障不能及时发现的情况；(2)油井位置偏远，夜间或者恶劣天气巡检存在一定的安全隐患；(3)人力巡检会产生一定的物料损耗，巡检成本高；

2、经调研发现，为了解决人力巡检存在的问题各油田也在采用新的技术手段来进行巡检，包括在井旁铺设光纤安装摄像头采用远程观看视频来进行巡检，通过无人机搭载摄像头巡检分布范围相对集中的井，以上方式能够在一定程度上缓解人工巡检的工作强度，但是也存在各自的弊端，例如通过远程查看摄像头需要巡检人员依次点开井旁的摄像头通过云台调节来进行视频查看工作量依然很大，通过无人机进行巡检由于续航问题只能覆盖一定距离范围内的抽油机井且需要提前对无人机的飞行路劲进行规划，对于普通的油田工人来说存在非常大的使用门槛。

3、将基于人工智能的视频识别技术应用于抽油机巡检领域，通过定时拉取井旁摄像头的实时画面进行抽油机关键位置的定位和故障分析，辅助人工进行巡检能够有效缩短智能巡检的频次提高故障上报的及时性，延长人工到井旁巡检的频次和巡井的数量从而降低人员的工作强度。

技术实现思路

1、针对上述问题，本发明公开了一种基于人工智能视频识别技术的抽油机关键位置巡检方法，将人工智能视频识别技术和井旁摄像头视频流结合应用于抽油机巡检，该方法具有精准度高、巡检频次低、巡检点位全的特点，方法可以描述为：

2、(1)摄像头交互模块负责采集实时视频流和控制摄像头的角度和焦距；优选的方案中，具体包括：

3、(1-1)巡检任务开始摄像头采集和控制模块通过标准rtsp协议获取摄像头的实时视频流，得到视频帧i且记摄像头当前的角度位置和焦距值为预置点p，

4、(1-2)i输入到抽油机关键位置定位算法输出盘根盒、悬绳器、驴头、曲柄、皮带轮的像素区域rbox、rrod、rdonkey、rcrank、rbelt，r＝(x,y,w,h)，x,y表示矩形左上角的坐标点，w,h表示矩形的宽和高，

5、(1-3)根据rbox中心点的坐标(x+0.5*w,y+0.5*h)计算和视频帧i的中心点的偏差角度α，根据rbox矩形的宽高(w,h)计算需要放大的焦距f，

6、(1-4)通过onvif协议控制摄像头向盘根盒方向转动α，同时放大焦距f，

7、(1-5)盘根盒漏油识别算法分析完成后，控制摄像头恢复到预置点p，

8、(1-6)悬绳器rrod、皮带轮rbelt依次执行(1-3)到(1-5)步骤，完成关键点位置巡检。

9、(2)抽油机关键位置定位算法，根据输入的视频帧i，输出模型检测到的目标类别的像素位置区域，优选的方案中，具体包括：

10、(2-1)抽油机关键位置定位算法分为模型训练和模型推理两个阶段，模型训练采用离线有监督方式，训练好的模型存储转化为推理阶段可以加载使用的格式；

11、(2-2)模型训练阶段录制抽油机井旁摄像头的视频流从中提取视频画面帧，利用目标检测标注工具标注画面中盘根盒、悬绳器、驴头、曲柄、皮带轮的位置和类别信息，形成带标签的数据集，

12、(2-3)划分成训练集、验证集和测试集，

13、(2-4)构建基于卷积神经网络的抽油机关键位置检测模型，模型包括数据输入层input，数据降维层scale，特征提取层feature，目标检测层head，

14、(2-5)设置超参数学习率lr、动量momentum、权重衰减weightdecay、总训练轮次epoch，采用adam优化和模型权重ema方式进行模型训练，

15、(2-6)训练完成后选择在验证集上精度最高的权重保存为模型文件weight,导出为推理阶段加载的模型文件engine，

16、(2-7)模型推理阶段初始化加载engine文件，摄像头视频流图片送入到模型中输出检测到的盘根盒、悬绳器、驴头、曲柄、皮带轮的像素位置。

17、(3)根据送入的盘根盒处图片区域，采用盘根盒处漏油识别算法判断是否存在漏油的情况，优选的方案中，具体包括：

18、(3-1)盘根盒处漏油识别采用基于卷积神经网络的目标检测算法实现，训练阶段通过标注和合成制作训练集，

19、(3-2)摄像头通过云台调节对准盘根盒位置区域录制视频流，提取视频帧利用目标检测标注工具标注图片中漏油的位置区域，形成带标签的数据集d′，

20、(3-3)视频帧中不包含盘根处漏油的图片，采用图像融合的方式模拟出漏油的位置区域，形成合成数据集d″，

21、(3-4)数据集d′和d″合并按照留出法，划分成训练集、验证集和测试集，

22、(3-5)构建基于卷积神经网络的盘根盒处漏油检测模型，模型包括数据输入层input，特征提取层feature，目标检测层head，

23、(3-6)设置超参数学习率lr、动量momentum、权重衰减weightdecay、总训练轮次epoch，采用adam优化和模型权重ema方式进行模型训练，直到损失函数值收敛到设定的阈值η或者达到总训练轮次；

24、(3-7)训练完成后选择在验证集上精度最高的权重保存为模型文件weight,导出为推理阶段加载的模型文件engine，

25、(3-8)模型推理阶段初始化加载engine文件，摄像头聚焦到盘根处的视频画面送入到模型中输出是否存在漏油区域；

26、(4)采用毛辫子打纽识别算法，根据送入的悬绳器附近的图片区域判断是否存在打纽的情况，优选的方案中，具体包括：

27、(4-1)毛辫子打纽识别算法盘采用基于卷积神经网络的目标检测算法实现，

28、(4-2)训练阶段摄像头通过云台调节对准悬绳器位置区域录制视频流，提取视频帧以悬绳器位置中心点，截取320*320的像素区域保存成图片，

29、(4-3)利用目标检测标注工具标注图片中打纽的位置区域，形成带标签的数据集，

30、(4-4)划分成训练集、验证集和测试集，

31、(4-5)构建基于卷积神经网络的毛辫子打纽检测模型，该模型和(3-5)构建的盘根盒处漏油检测模型一致，模型的训练和模型文件导出和(3-6)、(3-7)一致，模型推理阶段初始化加载engine文件，摄像头聚焦到悬绳器位置，以悬绳器为中心点，截取320*320的像素区域画面送入到模型中输出是否存在毛辫子打纽；

32、(5)驴头不动识别算法根据多次调用抽油机关键位置定位算法识别出的驴头中心点位置的变化判断驴头是否静止，优选的方案中，具体包括：

33、(5-1)巡检任务开始每隔α秒拉取一张实时视频流送入到抽油机关键位置定位算法得到驴头的坐标位置r,获得n次驴头的位置集合(r1,r2,…rn)，

34、(5-2)提取n次驴头位置集合的像素中心点坐标(p1,p2,…pn)，

35、(5-3)计算n次驴头中心点之间的欧式距离，当距离小于阈值δ则判定驴头不动，反之驴头正常做功；

36、(6)曲柄不动识别算法根据多次调用抽油机关键位置定位算法识别出的曲柄位置的像素变化判断曲柄是否静止，优选的方案中，具体包括：

37、(6-1)巡检任务开始每隔α秒拉取一张实时视频流送入到抽油机关键位置定位算法得到曲柄的坐标位置r,获得n次曲柄的位置集合(r1,r2,…rn)，

38、(6-2)提取n次曲柄位置集合对应的图像

39、(6-3)利用帧差法估算图像集合的变化信息，当变化量小于阈值β则判定曲柄不动，反之曲柄正常运转；

40、(7)皮带断和皮带打滑识别算法根据摄像头聚焦皮带轮的图像和曲柄的状态判断是否存在皮带断和皮带打滑的情况，优选的方案中，具体包括：

41、(7-1)提取聚焦皮带轮的图像，利用canny边缘检测和霍夫曼直线检测方法，判断是否存在两条长直线，如果存在则认为皮带正常，如果不存在则认为皮带断，

42、(7-2)皮带正常的情况联合曲柄的状态，如果曲柄不动在未停井的情况下则认为出现皮带打滑的情况。

43、有益效果

44、本发明公开了一种基于人工智能视频识别技术的抽油机关键位置巡检方法，将人工智能视频识别技术和井旁摄像头实时视频流进行整合，通过利用定制化的关键点位定位算法和异常故障诊断模型来监测抽油机井的运行状态，该方法具有精准度高、巡检频次低、巡检点位全的特点，能够有效的缩短巡检频次提高故障报警的及时性，降低巡检人员的工作强度为抽油机巡检提供了一种有效的技术支撑。