方向盘持握状态检测方法及装置与流程

1.本发明涉及信息检测技术领域，尤其涉及一种方向盘持握状态检测方法及装置。


背景技术：

2.随着车辆的不断普及，交通事故的数量也在逐年上升，而许多的交通事故都是因为疲劳驾驶或者驾驶不专心导致的。
3.而驾驶者的双手是否持续持握方向盘，是判断驾驶者是否专心驾驶的重要依据之一，而现有技术中通常是在方向盘上加装压力传感器或电磁传感器，通过传感器输出的信号信息来判定驾驶员是否双手脱离方向盘，这个方法的弊端在于不同驾驶员手握方向盘的姿势，位置等存在差异，会大大提高误报率，且性价比并不高。
4.因此，如何更好的实现方向盘持握状态检测已经成为业界亟待解决的问题。


技术实现要素：

5.本发明提供一种方向盘持握状态检测方法及装置，用以解决现有技术中更好的实现方向盘持握状态检测的缺陷。
6.本发明提供一种方向盘持握状态检测方法，包括：
7.获取方向盘区域图像；
8.将所述方向盘区域图像输入训练好的行为分类模型，输出持握状态检测结果，其中，所述训练好的行为分类模型，是基于携带有持握状态类别标签的方向盘区域样本图像训练得到的。
9.可选地，在所述输出检测类别结果的步骤之后，所述方法还包括：
10.在连续获取到所述持握状态检测结果为脱离持握类别的检测结果数量超过第一预设阈值的情况下，生成持握提示预警信息；
11.或，在连续获取到所述持握状态检测结果为无法识别类别的检测结果数量超过第二预设阈值的情况下，生成摄像头设置提示信息；
12.或，在所述持握状态检测结果为正常持握类别的情况下，不生成任何提示信息。
13.可选地，在所述获取方向盘区域图像的步骤之前，所述方法还包括：
14.获取原始目标图像；
15.基于预设方向盘区域信息，对所述原始目标图像进行裁剪，得到方向盘区域图像。
16.可选地，在所述将所述方向盘区域图像输入训练好的行为分类模型的步骤之前，所述方法还包括：
17.将一个包含持握状态类别标签的方向盘区域样本图像作为一组训练样本，获取多组训练样本，
18.利用多组所述训练样本对预设分类模型进行训练，当满足预设收敛条件时，停止训练，得到训练好的行为分类模型。
19.可选地，所述利用多组所述训练样本对预设分类模型进行训练，具体包括：
20.对于任意一组所述训练样本，将所述训练样本输入预设分类模型，输出持握状态检测类别；
21.利用预设损失函数得到所述训练样本对应的损失值，在所述损失值收敛的情况下，停止训练，得到训练好的行为分类模型。
22.本发明还提供一种方向盘持握状态检测装置，包括：
23.获取模块，用于获取方向盘区域图像；
24.检测模块，用于将所述方向盘区域图像输入训练好的行为分类模型，输出持握状态检测结果，其中，所述训练好的行为分类模型，是基于携带有持握状态类别标签的方向盘区域样本图像训练得到的。
25.本发明还提供一种方向盘持握状态检测设，包括：摄像头、检测处理器、提醒设备，所述摄像头设置于方向盘的上方，所述检测处理器分别与所述提醒设备和所述摄像头分别通信连接；还包括存储器及存储在所述存储器上并可在所述检测处理器上运行的程序或指令，所述程序或指令被所述检测处理器执行时执行如第一方面所述方向盘持握状态检测方法的步骤。
26.可选地，所述摄像头为红外摄像头。
27.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述方向盘持握状态检测方法的步骤。
28.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方向盘持握状态检测方法的步骤。
29.本发明提供的一种方向盘持握状态检测方法及装置，通过训练好的行为分类模型能够通过较低的算力，无需太多占据硬件资源即可达到实时检测，并且通过逻辑处理，可以有效识别出驾驶者的方向盘持握状态，提高了车辆驾驶的安全性，降低了车辆维护成本。
附图说明
30.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1为本发明实施例提供的方向盘持握状态检测方法流程示意图；
32.图2为本发明实施例提供的方向盘持握状态检测装置结构示意图；
33.图3为本发明实施例中所描述的方向盘持握状态检测设备结构示意图；
34.图4为本发明实施例中所描述的检测流程图；
35.图5示例了一种电子设备的实体结构示意图。
具体实施方式
36.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.图1为本发明实施例提供的方向盘持握状态检测方法流程示意图，如图1所示，包括：
38.步骤s1，获取方向盘区域图像；
39.具体地，本发明中所描述的方向盘区域图像是指包含有车辆方向盘区域的图像。
40.本发明实施例中所描述的方向盘区域图像具体可以是通过安装在车辆内部的摄像头拍摄的，其具体可以是安装在驾驶者侧的车辆a柱上的摄像头或者车辆台驾驶座顶部的摄像头，其通过预先调整摄像头角度，能够采集到包含方向盘区域的照片。
41.本发明实施例中可以通过对方向盘区域图像进行分析，来判断用户是否持握方向盘。
42.步骤s2，将所述方向盘区域图像输入训练好的行为分类模型，输出持握状态检测结果，其中，所述训练好的行为分类模型，是基于携带有持握状态类别标签的方向盘区域样本图像训练得到的。
43.具体地，本发明实施例中所描述的持握状态类别标签具体可以包括：脱离持握类别标签、无法识别类别标签和正常持握类别标签。
44.具体的，本发明中的脱离持握类别标签具体可以是用于标示用户双手均未持握方向盘的标签信息。
45.本发明中的正常持握类别标签具体可以是用于标识用户一只手或者两只手持握方向盘的标签信息。
46.本发明中所描述的无法识别类别标签是指该图像无法识别的标签信息，用于判断当摄像头模糊、被遮挡或者其他情况下提醒维护人员检查摄像头状况。另一类被身体遮挡的状态也是需要特殊处理的，可能涉及安装角度的问题或者特殊情况如驾驶员在未启动车辆的情况下探身取东西时造成的误判而对客户造成体验问题。
47.本发明中所描述的训练好的行为分类模型，具体可以是搭载在设置在车辆中的本地设备中，也可以是在搭载在设置在远端的服务器中，即将所述方向盘区域图像输入训练好的行为分类模型，输出持握状态检测结果的过程，可以通过设备在车辆中的本地设备实现，也可以是通过远端服务器实现的。
48.本发明中训练好的行为分类模型，只需要对方向盘区域图像所属的类型进行区分，处理的计算量较小，可以迅速识别方向盘区域图像所述的类型，并不需要像传统检测算法，检测方向盘轮廓和手的位置，再比较区域的位置关系进行判定，更有甚者运用分割的方法来进行驾驶员的手和方向盘的像素级定位，因此本发明实施例相对于现有技术可以有效减少算法识别所需的计算量。
49.在本发明实施例中，通过训练好的行为分类模型能够通过较低的算力，无需太多占据硬件资源即可达到实时检测，并且通过逻辑处理，可以有效识别出驾驶者的方向盘持握状态，提高了车辆驾驶的安全性，降低了车辆维护成本。
50.可选地，在所述输出检测类别结果的步骤之后，所述方法还包括：
51.在连续获取到所述持握状态检测结果为脱离持握类别的检测结果数量超过第一预设阈值的情况下，生成持握提示预警信息；
52.或，在连续获取到所述持握状态检测结果为无法识别类别的检测结果数量超过第二预设阈值的情况下，生成摄像头设置提示信息；
53.或，在所述持握状态检测结果为正常持握类别的情况下，不生成提示信息。
54.具体地，在本发明实施例中，在持握状态检测结果为脱离持握类别的情况下，则说明此时驾驶者的双手均未持握方向盘，即此时用户可能并未专心驾驶，可能会有较高的驾驶危险。
55.若只检测到一帧或很少的几帧用户双手均未持握方向盘的图像，此时还可有可能是用户换手的情况，此时不需要频繁预警。
56.因此在本发明实施例中的第一预设阈值可以是预先设定的数量信息，在本发明实施例中，若持握状态检测结果为脱离持握类别的连续方向盘区域图像的数量超过第一预设阈值，则说明此时驾驶者的双手均未持握方向盘。
57.其具体可以是连续15帧的图像，或者连续25帧的图像，其第一预设阈值的具体设置数值，可能和摄像头获取的帧率有关。
58.本发明实施例中所描述的持握提示预警信息具体可以是通过汽车的多媒体平台播放的持握语音提醒，“请检查驾驶员手握方向盘状态”来提醒驾驶者未持握方向盘，需专心驾驶，也可以同时在汽车中控屏中或者抬头显示模块中，同步显示提醒动画。
59.在本发明实施例中，在持握状态检测结果为无法识别类别的情况下，则说明无法识别出该方向盘区域图像是属于脱离持握类别，还是属于正常持握类别，因此此时很可能是摄像头模糊、被遮挡，导致无法获取到清晰的图像。
60.若只检测到一帧或很少的几帧不清晰的图像，可能是摄像头在进行对焦，出现不清晰图像的帧数超过第二预设阈值，则说明很可能是摄像头模糊、被遮挡的问题，需要提醒用户接入进行调整，此时生成摄像头设置提示信息，通过语音或者动画的方式，提醒用户需要对摄像头进行调整。
61.在本发明实施例中，持握状态检测结果为正常持握类别的情况下，则说明此时驾驶者单手或双手持握方向盘，此时驾驶者行驶合规，不需要对驾驶者进行提醒，而为了避免影响到驾驶者的正常行驶，此时不生成提示信息。
62.在本发明实施例中，通过检测结果数量与第一预设阈值和第二预设阈值进行比较，从而能够更准确的对驾驶者未持握方向盘的行为以及摄像头故障的问题进行预警，避免了很多误报警情况的发生，能够有效减少因为双手脱离方向盘的个人驾驶原因造成的事故率和经济的损失。
63.可选地，在所述获取方向盘区域图像的步骤之前，所述方法还包括：
64.获取原始目标图像；
65.基于预设方向盘区域信息，对所述原始目标图像进行裁剪，得到方向盘区域图像。
66.具体地，本发明实施例中所描述的原始图像具体可以是指摄像头直接获取到的图像，而由于很多用户的驾驶室中会加装很多装饰物，导致驾驶室的环境非常复杂，可能会导致检测状态的识别，因此在本发明实施例中，可以通过标定特定区域的方式，对原始目标图像进行处理，得到更准确的区域图像。
67.具体地，本发明实施例中所描述的预设方向盘区域信息，可以是在安装摄像头的过程中预先设定的，其也可以通过终端设备在使用过程中对其进行人工调整，例如在摄像头与终端设备之间存在通信连接的情况下，终端设备通过特定的控制页面或控制程序，进行标定页面，增删改画面中的预设方向盘区域信息。
68.本发明实施例中所描述的预设方向盘区域信息还可以是通过后台服务器直接配置的区域参数信息，通过下发到终端设备从而实现的预设方向盘区域信息设定。
69.本发明实施例中所描述的预设方向盘区域信息还可以是根据汽车中控屏设定的预设方向盘区域信息。
70.具体地，可以是在原始目标图像截取预设方向盘区域信息的位置，得到方向盘区域图像，然后将方向盘区域图像缩放至预设大小。
71.在本发明实施例中，通过对原始目标图像进行处理，能够针对于驾驶室环境较为复杂，难以精准识别持握状态检测结果的问题，通过对对所述原始目标图像进行裁剪，能够有效保证后续检测的准确性。
72.可选地，在所述将所述方向盘区域图像输入训练好的行为分类模型的步骤之前，所述方法还包括：
73.将一个包含持握状态类别标签的方向盘区域样本图像作为一组训练样本，获取多组训练样本，
74.利用多组所述训练样本对预设分类模型进行训练，当满足预设收敛条件时，停止训练，得到训练好的行为分类模型。
75.具体地，本发明实施例中所描述的持握状态类别标签具体可以包括：脱离持握类别标签、无法识别类别标签和正常持握类别标签。
76.本发明中所描述的方向盘区域样本图像是指预先获取的携带有方向盘区域的样本图像，其根据图像中方向盘是否被双手持握来对应设置不同的标签。
77.本发明实施例中所描述的预设分类模型具体可以是densenet模型，也可以是其它模型分类模型。
78.本发明实施例中所描述的预设收敛条件，具体可以是满足预设训练次数，例如训练满500次，也可以是满足预设训练时间，例如训练满30分钟，还可以是损失函数的损失值收敛的情况。
79.在训练过程中，满足预设训练条件的情况下，停止训练，得到训练好的行为分类模型。
80.可选地，所述利用多组所述训练样本对预设分类模型进行训练，具体包括：
81.对于任意一组所述训练样本，将所述训练样本输入预设分类模型，输出持握状态检测类别；
82.利用预设损失函数得到所述训练样本对应的损失值，在所述损失值收敛的情况下，停止训练，得到训练好的行为分类模型。
83.具体地，训练样本输入预设分类模型之后，会输出该训练样本对应的预测结果，得到该预测结果对应的持握状态检测结果，将该持握状态检测结果和该训练样本对应的标签，计算损失值。
84.在损失值收敛后，即得到训练好的模型，该训练好的模型，能够较为准确的对方向盘持握状态进行分类。
85.在本发明实施例中，通过对于预设模型的训练，能够通过较小的计算量，即准确识别用户对于方向盘的持握状态。
86.图2为本发明实施例提供的方向盘持握状态检测装置结构示意图，如图2所示，包
括：获取模块210和检测模块220；其中，获取模块210用于获取方向盘区域图像；其中，检测模块220用于将所述方向盘区域图像输入训练好的行为分类模型，输出持握状态检测结果，其中，所述训练好的行为分类模型是基于携带有持握状态类别标签的方向盘区域样本图像训练得到的。
87.可选地，所述装置还包括：
88.提醒模块，用于在连续获取到所述持握状态检测结果为脱离持握类别的检测结果数量超过第一预设阈值的情况下，生成持握提示预警信息；
89.或，在连续获取到所述持握状态检测结果为无法识别类别的检测结果数量超过第二预设阈值的情况下，生成摄像头设置提示信息；
90.或，在所述持握状态检测结果为正常持握类别的情况下，不生成提示信息。
91.可选地，所述装置还包括：
92.裁剪模块，用于获取原始目标图像；
93.基于预设方向盘区域信息，对所述原始目标图像进行裁剪，得到方向盘区域图像。
94.可选地，所述装置还包括：
95.训练模块，用于将一个包含持握状态类别标签的方向盘区域样本图像作为一组训练样本，获取多组训练样本，
96.利用多组所述训练样本对预设分类模型进行训练，当满足预设收敛条件时，停止训练，得到训练好的行为分类模型。
97.可选地，所述训练模块，还用于：
98.对于任意一组所述训练样本，将所述训练样本输入预设分类模型，输出持握状态检测类别；
99.利用预设损失函数得到所述训练样本对应的损失值，在所述损失值收敛的情况下，停止训练，得到训练好的行为分类模型。
100.本发明提供的一种方向盘持握状态检测方法及装置，通过训练好的行为分类模型能够通过较低的算力，无需太多占据硬件资源即可达到实时检测，并且通过逻辑处理，可以有效识别出驾驶者的方向盘持握状态，提高了车辆驾驶的安全性，降低了车辆维护成本。
101.图3为本发明实施例中所描述的方向盘持握状态检测设备结构示意图，如图3所示，包括：摄像头31、检测处理器32、提醒设备33，所述摄像头31设置于方向盘的上方，所述检测处理器32分别与所述提醒设备33和所述摄像头31分别通信连接；还包括存储器及存储在所述存储器上并可在所述检测处理器32上运行的程序或指令，所述程序或指令被所述检测处理器32执行时执行如上述实施例中方向盘持握状态检测方法的步骤。
102.具体地，本发明实施例中所描述的摄像头，具体可以是带红外功能的摄像头，该摄像头可以设置在驾驶室主驾驶位a柱上方，或者驾驶室主驾驶位上方，可以监视到驾驶员操作方向盘的画面，主要监控驾驶员驾驶时双手的状态，并将采集到的图像输入检测处理器32中进行识别。该摄像头可以是在车辆生产时预先安装的摄像头，也可以是在车辆购买后安装的摄像头。
103.检测处理器32可以对该图像进行标定，再对待检测区域进行判断，也可以不对图像进行标定，对整体图像进行判断，标定可以更有针对性的进行判定，防止驾驶室内其他的背景或物体对识别的结果造成影响。
104.本发明中所描述的提醒设备33可以是单独设置的具备显示功能的多媒体设备，或者只具备语音功能的多媒体设备，还可以是集成在车辆中的多媒体设备。
105.在得到输出持握状态检测结果后，可以通过提醒设备33播放提醒。例如，将检测结果展示在屏幕上，在驾驶员双手脱离方向盘超过一定时间阈值时给予语音提示；所述后台服务器用于接受终端传输的报警信息，便于记录存储，调查分析驾驶员双手脱离方向盘的原因。
106.可选地，图4为本发明实施例中所描述的检测流程图，如图4所示，包括：当终端上电时会通过读取配置文件中该路摄像头中待检测区域的位置信息(终端在在通过任意方式得到待检测区域后均会将信息存于配置文件中)，对于该路没有获取到位置信息的终端会将获取该摄像头的一帧图片完整的送入分类网络中。
107.该分类网络采用适用于嵌入式设备上推理的densenet，并针对应用场景做优化。保证准确率的前提下，尽量精简模型的大小，从而提升了推理速度。
108.除此之外系统提供三种手动标定的方式来定位，旨在当摄像头安装条件苛刻或者驾驶室环境太过复杂，易对识别造成影响时，人工进行调整待检测区域。1、在终端开启wifi，手机连入后通过app进入标定界面，选择需要标定的摄像头通道，终端将对应通道画面和已经存在框(如果有)位置传入手机，用户可以增删改画面中的标定框。2、在多媒体智能中控屏选择标定模式，直接修改视频画面中的框位置。3、后台服务器通过配置终端参数的方式下发给终端框的信息。
109.从摄像头获取一帧图片，送入终端的ai芯片中，截取标定框的位置，将所截图片缩放至宽高112*112像素，送入分类网络进行推理。若无标定框，则将该帧图片直接缩放至112*112像素，并送入分类网络进行推理。
110.最终得出推理的类别，在正常和双手脱离以外还有一类是无法识别的状态，用于判断当摄像头模糊、被遮挡或者其他情况下提醒维护人员检查摄像头状况。另一类被身体遮挡的状态也是需要特殊处理的，可能涉及安装角度的问题或者特殊情况如驾驶员在未启动车辆的情况下探身取东西时造成的误判而对客户造成体验问题。
111.在嵌入式设备算力匮乏的情况下，运用分类的方法足以保证视频实时监控。而实际使用的场景中，除开使用时间久或其他外力导致的摄像头位置偏移或者脱落，驾驶员的手和方向盘在画面中的位置可以认为是不变的，因此在有条件的情况下，还是尽量标定一下，可以过滤一些车厢内其他物体的影响，同时也能够提高算法的运行效率。
112.设置时间阈值，并不是一出现双手脱离方向盘的类别即认定为驾驶员双手脱离，也可能出现换手的空档，因此本文设置15帧，即0.6秒连续为双手脱离方向盘状态即为驾驶员双手脱离方向盘。本专利设置的状态队列长度为25，即25帧(1秒)内如果存在连续15帧的双手脱离方向盘状态，即输出最终的判定结果：双手脱离方向盘，而后将状态队列置位空，重新计数。若25帧内未出现连续15帧的双手脱离方向盘状态则认为是正常状态。同理，若出现连续15帧无法识别或15帧身体遮挡，则输出相应的最终判断结果。否则一律按正常情况处理。
113.当驾驶员状态由正常变成双手脱离方向盘状态时，终端会发出语音“请检查驾驶员手握方向盘状态”，同时多媒体智能中控屏上会在对应通道的画面叠加信息，驾驶员可以立马更正手握方向盘，因为此时无法手动停止报警，需要尽快处理，且该报警状态会由终端
发往后台服务器告知后台管理人员。上传至服务器的报警信息包括：报警时间(年月日时分秒)，地点(gps经纬度)，触发报警时刻的视频画面，报警时刻前后10秒的视频片段
114.在本发明实施例中，通过训练好的行为分类模型能够通过较低的算力，无需太多占据硬件资源即可达到实时检测，并且通过逻辑处理，可以有效识别出驾驶者的方向盘持握状态，提高了车辆驾驶的安全性，降低了车辆维护成本。
115.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行方向盘持握状态检测方法，该方法包括：获取方向盘区域图像；将所述方向盘区域图像输入训练好的行为分类模型，输出持握状态检测结果，其中，所述训练好的行为分类模型是基于携带有持握状态类别标签的方向盘区域样本图像训练得到的。
116.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
117.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的方向盘持握状态检测方法，该方法包括：获取方向盘区域图像；将所述方向盘区域图像输入训练好的行为分类模型，输出持握状态检测结果，其中，所述训练好的行为分类模型是基于携带有持握状态类别标签的方向盘区域样本图像训练得到的。
118.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的方向盘持握状态检测方法，该方法包括：获取方向盘区域图像；将所述方向盘区域图像输入训练好的行为分类模型，输出持握状态检测结果，其中，所述训练好的行为分类模型是基于携带有持握状态类别标签的方向盘区域样本图像训练得到的。
119.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
120.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该
计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
121.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。