一种船舶驾驶台值班人员夜航不安全行为辨识和预警方法

本发明涉及海上交通运输，具体而言，尤其涉及一种船舶驾驶台值班人员夜航不安全行为辨识和预警方法。

背景技术：

1、船舶夜航期间驾驶台值班人员(officer of the watch,oow)的行为直接影响船舶的航行安全。传统的视频监控系统无法在驾驶台低亮度环境下对驾驶台值班人员的行为进行有效监视，甚至无法辨别驾驶台上的人员。因此在夜航期间，无法针对驾驶台值班人员抽烟、看手机、躺卧等多种不安全行为进行识别和危险程度预警，而现有的船舶驾驶台航行值班报警系统(bnwas)，仅能确保驾驶台始终有人值班，无法对值班人员值班过程中的具体行为进行检测。

技术实现思路

1、根据上述提出的技术问题，而提供一种船舶驾驶台值班人员夜航不安全行为辨识和预警方法。本发明主要利用利用热成像相机提供的人体红外图像，结合人体关键点检测算法、行为判定指标量、人员不安全行为复核算法和不安全行为风险评估算法，实现在驾驶台低亮度环境下值班人员不安全行为的辨识，降低由于驾驶台人员不安全行为所引发的事故风险。

2、本发明采用的技术手段如下：

3、一种船舶驾驶台值班人员夜航不安全行为辨识和预警方法，包括：

4、s1、实时采集夜航期间船舶驾驶台值班人员的红外视频图像，并进行图像预处理，突出人体特征目标；

5、s2、利用人体关键点检测算法对s1中的人体特征目标进行关键点提取和跟踪，并根据关键点之间的相对位置和动作状态生成行为判定指标量；

6、s3、计算s2中各个指标量的阈值、标准差、峰度值和偏度值，对红外视频图像中人员的不安全行为进行初步识别；

7、s4、利用人员不安全行为复核算法根据人员动作变化中间过程的持续时间判断s3中的初始检测结果是否准确；

8、s5、利用不安全行为风险评估算法评定不安全行为的风险等级，并进行风险等级提示，当风险等级达到高风险时，进行视觉和听觉预警。

9、进一步地，所述红外视频图像利用热成像相机获取，所述图像预处理利用红外图像增强算法去除噪声并增强图像边缘。

10、进一步地，所述关键点包括：鼻子nose、颈部neck、右肩rshoulder、右肘relbow、右腕rwrist、左肩lshoulder、左肘le1bow、左腕lwrist、中髋midhip、右髋rhip、右膝rknee、右踝rankle、左髋lhip、左膝lknee、左踝lankle、右眼reye、左眼leye、右耳rear、左耳lear、左大脚拇指lbigtoe、左小脚拇指lsmalltoe、左脚跟lheel、右大脚拇指rbigtoe、右小脚拇指rsmalltoe和右脚跟rheel。

11、进一步地，所述行为判定指标量的生成包括：

12、选取所述关键点中的颈部neck与中髋midhip组成上身躯干向量vbody，左髋lhip与左膝lknee组成左大腿向量vlthigh，右髋rhip与右膝rknee组成右大腿向量vrthigh；将所述上身躯干向量vbody与所述左大腿向量vlthigh的夹角记为angle1，所述上身躯干向量vbody与所述右大腿向量vrthigh的夹角记为angle2；将所述右髋rhip至所述右踝rankle的距离记为d1，所述左髋lhip至所述左踝lankle的距离记为d2；假设地平线向量为vhorizon，将上身躯干向量vbodv与地平线向量vhorizon组成的夹角记为angle3；

13、将左耳lear与左大脚拇指lbigtoe之间的距离记为人体外接矩形框的长h1，将右耳rear与右大脚拇指rbigtoe的距离记为人体外接矩形框长h2，将右大脚拇指rbigtoe与左大脚拇指lbigtoe的距离记为人体外接矩形框宽w1，将右小脚拇指rsmalltoe与左小脚拇指lsmalltoe的距离记为人体外接矩形框宽w2，得到人体外接矩形长宽比，分别记为h1、h2、h3和h4，其中：

14、

15、假设值班人员未站立状态包括坐下sit-down和平躺lie-down两类行为，将angle1、angle2、d1和d2作为sit-down行为判定指标量；将angle3、h1、h2、h3和h4作为lie-down行为判定指标量。

16、进一步地，所述步骤s3具体包括：

17、将不同分布的数据拟合到相应的概率分布模型中，使用箱型图进行异常数据值的过滤，再通过数理统计的方法确定各个行为判定指标量的阈值；

18、设[α1，α2]为angle1与angle2的阈值；设[α3，α4]作为angle3的阈值；设[β1，β2]作为d1与d2的阈值；设[γ1，γ2]、[γ3，γ4]作为h1、h2、h3和h4的阈值；若人员实际动作状态下，sit-down和lie-down两类行为中某一类的行为判定指标量数据包含于对应的阈值并持续较长时间，则对此时的行为类别作出判断。

19、进一步地，所述人员不安全行为复核算法包括：

20、获取人员动作变化中间过程的起始时间t1、结束时间t2与持续时间t3，并予以记录，得到中间过程持续时间的阈值[δ1，δ2]；当检测到人员行为的持续时间未超出阈值[δ1，δ2]时，则判定此时人员处于动作变化的中间过程；若人员行为的持续时间超出阈值[δ1，δ2]，表示人员不处于动作变化的中间过程，则判定s3中的初始检测结果准确。

21、进一步地，所述不安全行为风险评估算法包括：

22、根据人员不安全行为检测的历史结果，设计低low、中medium、高high三类风险等级；

23、针对低low、中medium、高high三类风险，分别将各类风险持续时间的阈值设置为[μ1，μ2]、[ρ1，ρ2]和利用s4中的人员不安全行为复核算法对初始检测结果进行准确性判断后，利用不安全行为风险评估算法对行为的风险等级进行判定，当不安全行为持续时间达到不同风险等级对应的时间阈值时，进行风险等级提示，当达到高风险时进行视觉和听觉预警。

24、较现有技术相比，本发明具有以下优点：

25、本发明提供的船舶驾驶台值班人员夜航不安全行为辨识和预警方法，采用热成像相机采集驾驶台红外视频图像作为辨识数据源，借助人体表面与环境的温差，可以捕获人体活动画面，解决了传统可见光相机无法在低亮度环境下检测人员行为的问题。基于人体关键点检测算法得到人体关键点空间位置并对关键点位置变化进行持续跟踪，对驾驶台人员的不安全行为进行辨识，并利用风险分析模型对不安全行为进行预警。实现对夜航期间oow的多种不安全行为(包括：抽烟、看手机、非站立状态等)进行检测并根据行为的危险程度进行视觉和听觉预警，规范夜航期间oow的行为，提高船舶夜航期间的安全性。

26、基于上述理由本发明可在海上交通运输等领域广泛推广。

技术特征：

1.一种船舶驾驶台值班人员夜航不安全行为辨识和预警方法，其特征在于，包括：

2.根据权利要求1所述的船舶驾驶台值班人员夜航不安全行为辨识和预警方法，其特征在于，所述红外视频图像利用热成像相机获取，所述图像预处理利用红外图像增强算法去除噪声并增强图像边缘特征。

3.根据权利要求1所述的船舶驾驶台值班人员夜航不安全行为辨识和预警方法，其特征在于，所述关键点包括：鼻子nose、颈部neck、右肩rshoulder、右肘relbow、右腕rwrist、左肩lshoulder、左肘lelbow、左腕lwrist、中髋midhip、右髋rhip、右膝rknee、右踝rankle、左髋lhip、左膝lknee、左踝lankle、右眼reye、左眼leye、右耳rear、左耳lear、左大脚拇指lbigtoe、左小脚拇指lsmalltoe、左脚跟lheel、右大脚拇指rbigtoe、右小脚拇指rsmalltoe和右脚跟rheel。

4.根据权利要求1或3所述的船舶驾驶台值班人员夜航不安全行为辨识和预警方法，其特征在于，所述行为判定指标量的生成包括：

5.根据权利要求1所述的船舶驾驶台值班人员夜航不安全行为辨识和预警方法，其特征在于，所述步骤s3具体包括：

6.根据权利要求1所述的船舶驾驶台值班人员夜航不安全行为辨识和预警方法，其特征在于，所述人员不安全行为复核算法包括：

7.根据权利要求1所述的船舶驾驶台值班人员夜航不安全行为辨识和预警方法，其特征在于，所述不安全行为风险评估算法包括：

技术总结
本发明提供一种船舶驾驶台值班人员夜航不安全行为辨识和预警方法，包括：实时采集夜航期间船舶驾驶台值班人员的红外视频图像，并进行图像预处理，突出人体特征目标；利用人体关键点检测算法对人体特征目标进行关键点提取和跟踪，并根据关键点之间的相对位置和动作状态生成行为判定指标量；计算各个指标量的阈值、标准差、峰度值和偏度值，对不安全行为进行初步识别；利用人员不安全行为复核算法判断不安全行为识别结果是否正确；利用不安全行为风险评估算法评定不安全行为的风险等级，并进行风险提示，当风险等级达到高风险时，进行视觉和听觉预警。本发明能够有效辨识船舶夜航期间驾驶台值班人员的行为是否安全合规。

技术研发人员：邢胜伟,岂瑞,李缙富
受保护的技术使用者：大连海事大学
技术研发日：
技术公布日：2025/2/17