基于人体骨架和目标检测算法的驾驶员违法行为识别方法

本发明涉及计算机视觉，特别是涉及一种基于人体骨架和目标检测算法的驾驶员违法行为识别方法。

背景技术：

1、目前，民众购车力度不断发展，但交通安全问题也造成了不可估量的人员伤亡和财产损失。根据统计数据显示，驾驶员违法驾驶行为是导致我国交通事故发生的主要原因，因此，研究驾驶员是否有违法驾驶行为具有十分重要的意义。驾驶员作为承载交通安全的主体，其驾驶行为和状态是影响交通安全的重要因素，对驾驶员在驾驶时的交通违法行为进行快速、准确识别，能够降低交通事故的发生率，保障人民生命财产安全。

2、现有技术中也存在一些驾驶员违法行为识别的方法，但是识别精度较低，无法对驾驶员的驾驶行为进行准确的评估，因此迫切需要改进。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于人体骨架和目标检测算法的驾驶员违法行为识别方法。

2、为实现上述目的及其他相关目的，本发明提供一种基于人体骨架和目标检测算法的驾驶员违法行为识别方法，包括：

3、s1、通过模拟场景采集驾驶员正常行为与违法行为数据集，对所述驾驶员正常行为与违法行为数据集进行预处理，对预处理后的所述驾驶员正常行为与违法行为数据集进行标记，将标记后的数据集划分为测试集和训练集；

4、s2、构建基于人体骨架网络和目标检测网络的驾驶员违法行为识别模型，得到人体骨架多个关键点信息；

5、s3、利用所述训练集，对所述驾驶员违法行为识别模型进行训练，得到训练后的驾驶员违法行为识别模型；

6、s4、将所述测试集输入至训练后的驾驶员违法行为识别模型进行识别，得到驾驶员行为预测结果，以判断驾驶员是否违法。

7、在本发明的一实施例中，步骤s1中的所述驾驶员正常行为与违法行为数据集包括正常驾驶、右手玩手机、右手打电话、左手玩手机、左手打电话、调整中控显示屏、喝水、回头、化妆、与副驾驶交谈中的一种或几种。

8、在本发明的一实施例中，步骤s1中的对所述驾驶员正常行为与违法行为数据集进行预处理包括：

9、对所述驾驶员正常行为与违法行为数据集依次进行坐标转换、几何校正、图像滤波、图像增强。

10、在本发明的一实施例中，步骤s2中的构建基于人体骨架网络和目标检测网络的驾驶员违法行为识别模型，得到人体骨架多个关键点信息包括：采用body_18模型获得人体关节点信息，包括以所述数据集中的每张图像的左上角顶点位置作为坐标原点(0，0)，建立平面直角坐标系；利用多个编号表示人体关节点所对应的位置。

11、在本发明的一实施例中，编号0表示鼻子，编号1表示脖子，编号2表示右肩，编号3表示右肘，编号4表示右手腕，编号5表示左肩，编号6表示左肘，编号7表示左手腕，编号8表示右胯，编号9表示右膝盖，编号10表示右脚踝，编号11表示左胯，编号12表示左膝盖，编号13表示左脚踝，编号14表示右眼，编号15表示左眼，编号16表示右耳，编号17表示左耳；每个关节点的位置信息由横纵坐标值表示，并且提供每个关节点对应的置信度，在直角坐标系中得到人体的骨架图。

12、在本发明的一实施例中，步骤s2中的目标检测网络为改进的yolov5网络，所述yolov5网络包括依次连接的输入单元、输出单元、特征提取模块backbone、特征融合模块neck和预测模块head；通过所述输入单元对所述数据集中的图像进行mosaic-9数据增强，即为将mosaic-4的四张图像增加到九张图像。

13、在本发明的一实施例中，在所述改进的yolov5网络中，所述特征提取模块backbone中加入senet注意力机制，所述特征融合模块neck的panet层将原有的特征金字塔网络改为双向特征bifpn网络，所述特征融合模块neck输出特征图时，结合senet注意力机制进入预测模块head，所述预测模块head结合所述特征融合模块neck输出特征图，得到预测的行为概率分布。

14、在本发明的一实施例中，步骤s3中的训练后的驾驶员违法行为识别模型中的损失函数的公式为lall＝lcla+lrect+lobj，其中，lcla表示分类损失，lrect表示矩形框损失，lobj表示置信度损失。

15、本发明还提供一种基于人体骨架和目标检测算法的驾驶员违法行为识别系统，包括：

16、采集模块，用于通过模拟场景采集驾驶员正常行为与违法行为数据集，对所述驾驶员正常行为与违法行为数据集进行预处理，对预处理后的所述驾驶员正常行为与违法行为数据集进行标记，将标记后的数据集划分为测试集和训练集；

17、模型构建模块，用于构建基于人体骨架网络和目标检测网络的驾驶员违法行为识别模型，得到人体骨架多个关键点信息；

18、训练模块，用于利用所述训练集，对所述驾驶员违法行为识别模型进行训练，得到训练后的驾驶员违法行为识别模型；

19、识别模块，用于将所述测试集输入至训练后的驾驶员违法行为识别模型进行识别，得到驾驶员行为预测结果，以判断驾驶员是否违法。

20、如上所述，本发明的一种基于人体骨架和目标检测算法的驾驶员违法行为识别方法，具有以下有益效果：

21、本发明的基于人体骨架和目标检测算法的驾驶员违法行为识别方法主要检测打电话、抽烟、交谈等九种异常行为和一种正常行为，通过结合人体骨架和改进的yolov5，判别驾驶员是否违法，提高了识别精度和速度。

22、本发明的基于人体骨架和目标检测算法的驾驶员违法行为识别方法以yolov5网络为基础，改进了mosaic数据增强方法，扩充了数据集，提高了网络鲁棒性，增加了模型泛化能力。

23、本发明的基于人体骨架和目标检测算法的驾驶员违法行为识别方法在改进的yolov5网络引入了senet注意力机制和双向特征bifpn网络，提高了模型的特征提取能力和特征融合表征能力，用更少的计算量得到特征融合图，对下一步的分类判断打下基础；对于损失函数，采用ciou_loss函数与bcewithlogitsloss函数结合的方式计算，加快回归速度，提高了识别速度和预测的准确率。

24、本发明的基于人体骨架和目标检测算法的驾驶员违法行为识别方法帮助减少交通事故的发生，提高人们的生命安全性，保障人们的财产安全。

技术特征：

1.基于人体骨架和目标检测算法的驾驶员违法行为识别方法，其特征在于，包括：

2.根据权利要求1所述的基于人体骨架和目标检测算法的驾驶员违法行为识别方法，其特征在于：步骤s1中的所述驾驶员正常行为与违法行为数据集包括正常驾驶、右手玩手机、右手打电话、左手玩手机、左手打电话、调整中控显示屏、喝水、回头、化妆、与副驾驶交谈中的一种或几种。

3.根据权利要求2所述的基于人体骨架和目标检测算法的驾驶员违法行为识别方法，其特征在于，步骤s1中的对所述驾驶员正常行为与违法行为数据集进行预处理包括：

4.根据权利要求3所述的基于人体骨架和目标检测算法的驾驶员违法行为识别方法，其特征在于，步骤s2中的构建基于人体骨架网络和目标检测网络的驾驶员违法行为识别模型，得到人体骨架多个关键点信息包括：采用body_18模型获得人体关节点信息，包括以所述数据集中的每张图像的左上角顶点位置作为坐标原点(0，0)，建立平面直角坐标系；利用多个编号表示人体关节点所对应的位置。

5.根据权利要求4所述的基于人体骨架和目标检测算法的驾驶员违法行为识别方法，其特征在于：编号0表示鼻子，编号1表示脖子，编号2表示右肩，编号3表示右肘，编号4表示右手腕，编号5表示左肩，编号6表示左肘，编号7表示左手腕，编号8表示右胯，编号9表示右膝盖，编号10表示右脚踝，编号11表示左胯，编号12表示左膝盖，编号13表示左脚踝，编号14表示右眼，编号15表示左眼，编号16表示右耳，编号17表示左耳；每个关节点的位置信息由横纵坐标值表示，并且提供每个关节点对应的置信度，在直角坐标系中得到人体的骨架图。

6.根据权利要求5所述的基于人体骨架和目标检测算法的驾驶员违法行为识别方法，其特征在于，步骤s2中的目标检测网络为改进的yolov5网络，所述yolov5网络包括依次连接的输入单元、输出单元、特征提取模块backbone、特征融合模块neck和预测模块head；通过所述输入单元对所述数据集中的图像进行mosaic-9数据增强，即为将mosaic-4的四张图像增加到九张图像。

7.根据权利要求6所述的基于人体骨架和目标检测算法的驾驶员违法行为识别方法，其特征在于，在所述改进的yolov5网络中，所述特征提取模块backbone中加入senet注意力机制，所述特征融合模块neck的panet层将原有的特征金字塔网络改为双向特征bifpn网络，所述特征融合模块neck输出特征图时，结合senet注意力机制进入预测模块head，所述预测模块head结合所述特征融合模块neck输出特征图，得到预测的行为概率分布。

8.根据权利要求7所述的基于人体骨架和目标检测算法的驾驶员违法行为识别方法，其特征在于：步骤s3中的训练后的驾驶员违法行为识别模型中的损失函数的公式为lall＝lcla+lrect+lobj，其中，lcla表示分类损失，lrect表示矩形框损失，lobj表示置信度损失。

9.基于人体骨架和目标检测算法的驾驶员违法行为识别系统，其特征在于，包括：

技术总结
本发明涉及计算机视觉技术领域，特别涉及一种基于人体骨架和目标检测算法的驾驶员违法行为识别方法。包括通过模拟场景采集驾驶员正常行为与违法行为数据集，对驾驶员正常行为与违法行为数据集进行预处理，对预处理后的驾驶员正常行为与违法行为数据集进行标记，将标记后的数据集划分为测试集和训练集；构建基于人体骨架网络和目标检测网络的驾驶员违法行为识别模型，得到人体骨架多个关键点信息；利用训练集，对驾驶员违法行为识别模型进行训练，得到训练后的驾驶员违法行为识别模型；将测试集输入至训练后的驾驶员违法行为识别模型进行识别，以判断驾驶员是否违法。本发明结合人体骨架和改进的yolov5，判别驾驶员是否违法，提高了识别精度和速度。

技术研发人员：许蓉,丁绪星,任悦悦,钱强,周学顶
受保护的技术使用者：安徽师范大学
技术研发日：
技术公布日：2024/1/12