一种基于驾驶员身体姿态提高交互准确度的控制方法与流程

本发明属于安全驾驶领域，具体地，涉及一种基于驾驶员身体姿态提高交互准确度的控制方法。

背景技术：

随着车内多媒体技术的多样化以及复杂化，对于车辆和驾驶人员而言，能产生注意力分散的因素也随之增加。尤其是各种针对多媒体系统的触屏交互方式或者是按键操作方式容易将驾驶人的目光转移到路面以外的地方，有更大的几率会产生意外。

而在实际驾驶过程中，往往会需要驾驶员手动调节空调、车窗的开闭，或是观察导航，观察周围车辆，亦或者在驾驶员长时间驾驶过程中出现疲劳驾驶，这些因素都大大增加了驾驶员注意力分散的因素，也大大提高了意外的发生几率。

tof是timeofflight的简写，直译为飞行时间的意思。所谓飞行时间法3d成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离，这种技术跟3d激光传感器原理基本类似，只不过3d激光传感器是逐点扫描，而tof相机则是同时得到整幅图像的深度信息。tof相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比，tof相机具有根本不同3d成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而tof相机是通过入、反射光探测来获取的目标距离获取。

近几年来，人们更多的将tof技术运用到车辆驾驶中，而目前缺少一种通过tof技术判断驾驶员当前驾驶状态，从而实现与驾驶控制系统之间进行交互的方法，并没有一种基于驾驶员身体姿态提高交互准确度的控制方法。

技术实现要素：

针对现有技术存在的技术缺陷，本发明的目的是提供一种基于驾驶员身体姿态提高交互准确度的控制方法，用于辅助驾驶系统中基于驾驶员头部朝向和手势促进交互驾驶控制，包括如下步骤：

a.获取驾驶员的身体骨架信息；

b.基于所述身体骨架信息发出驾驶控制指令；

c.将所述驾驶控制指令反馈给驾驶员。

优选地，所述步骤a包括如下步骤：

a1.基于tof原理识别驾驶员的骨架节点，获取身体骨架信息。

优选地，所述步骤a1包括如下步骤：

a11.实时扫描车内环境以及驾驶员的身体，获得实时的三维点云信息；

a12.对所述三维点云信息进行处理并提取出驾驶员身体骨架节点，基于所述身体骨架节点的骨架模型，获得驾驶员脸朝向以及手势。

优选地，所述步骤a12包括如下步骤：

a121.对所述三维点云信息进行过滤；

a122.基于过滤后的三维点云信息以及所述身体骨架节点的骨架模型，获得驾驶员脸朝向以及手势。

优选地，对所述三维点云信息进行过滤的方式包括飞行像素方法以及denoise降噪方法。

优选地，在所述步骤a11中实时扫描以及处理的频率为30～120帧。

优选地，驾驶员脸朝向车辆的中控系统，相应地，在所述步骤b中包括如下步骤：

b1.基于车辆的感应器判断周边车辆是否在安全距离内；

b2.若所述周边车辆不在安全距离内，则对于驾驶员对中控系统的操作不做出任何反应。

优选地，所述步骤b还包括如下步骤：

b3.若所述周边车辆在安全距离内，则获取所述驾驶员的手势操作信息；

b4.基于所述手势操作信息对中控系统进行操作。

优选地，驾驶员脸朝向空调出风口，相应地，在所述步骤b中包括如下步骤：

b1′.获取所述驾驶员的手势操作信息；

b2′.基于所述手势操作信息对空调系统进行操作。

优选地，所述身体骨架信息包括眼皮在第一阈值时间内闭合时间超出第二阈值，则相应地，所述步骤b包括如下步骤：

b1″.发出警告信息。

优选地，所述步骤b1″.包括向与驾驶员座椅关联的震动装置发出震动指令以及向与驾驶员座椅关联的喷水装置发出喷水指令。

优选地，所述步骤b还包括如下步骤：

b2″.发出降低车速的控制指令。

优选地，在所述步骤a中还包括如下步骤：

-获取驾驶员的所述身体骨架信息；

-根据所述身体骨架信息判断所述驾驶员是否已经进入睡眠状态或疲劳驾驶状态。

优选地，驾驶员脸朝向后视镜，相应地，在所述步骤b中包括如下步骤：

b1″′.根据所述视线信息调整所述后视镜的角度。

优选地，所述步骤b还包括如下步骤：

-开启所述后视镜对应的感应器，并获取所述感应器获取的周边车辆信息；

-判断周边车辆是否在安全距离内；

若周边不在所述安全距离内，则发出警告指令。

本发明通过获取驾驶员的身体骨架信息，基于所述身体骨架信息发出驾驶控制指令，最后将所述驾驶控制指令反馈给驾驶员，解决了车在行驶过程中需要驾驶员手动调节空调、车窗的开闭，或是观察导航，观察周围车辆，亦或者在驾驶员长时间驾驶过程中出现疲劳驾驶的问题，通过与驾驶控制的交互，实现了在特定情况下进行特定控制的目标，降低了驾驶员在驾驶过程中的安全隐患，本发明操作简单，实用性强，具有极高的商业价值。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出了本发明的具体实施方式的，一种基于驾驶员身体姿态提高交互准确度的控制方法的具体流程示意图；

图2示出了本发明的第一实施例的，在所述基于驾驶员身体姿态提高交互准确度的控制方法中，获取驾驶员的身体骨架信息的具体流程示意图；

图3示出了本发明的第二实施例的，对所述三维点云信息进行处理并提取出驾驶员身体骨架节点，基于所述身体骨架节点的骨架模型，获得驾驶员脸朝向以及手势的具体流程示意图；

图4示出了本发明的第三实施例的，一种周边车辆安全控制交互的具体流程流程示意图；

图5示出了本发明的第四实施例的，一种对空调系统安全控制交互的具体流程示意图；以及

图6示出了本发明的第五实施例的，一种在睡眠状态安全控制交互的具体流程示意图。

具体实施方式

为了更好的使本发明的技术方案清晰地表示出来，下面结合附图对本发明作进一步说明。

图1示出了本发明的具体实施方式的，一种基于驾驶员身体姿态提高交互准确度的控制方法的具体流程示意图，本领域技术人员理解，本发明用于辅助驾驶系统中基于驾驶员头部朝向和手势促进交互驾驶控制，通过驾驶员在车内的身体姿态，动作与车内控制装置进行交互，降低了驾驶员在驾驶过程中的安全隐患，具体地，包括如下步骤：

首先，进入步骤s101，获取驾驶员的身体骨架信息，本领域技术人员理解，驾驶员在主驾驶位上，将通过tof原理的深度相机对驾驶员的身体骨架信息进行获取，所述身体骨架信息主要用于判断驾驶员在某一时刻的具体状态，比如，头部左右上下移动，身体坐姿的改变等等，这些将在后述的具体实施方式中做进一步地描述，在此不予赘述。

然后，进入步骤s102，基于所述身体骨架信息发出驾驶控制指令，在这样的实施例中，对所述身体骨架信息进行分析，得出此时驾驶员的驾驶状态，根据不同的驾驶状态，发出不同的驾驶控制指令，例如，关车窗、关空调，触发报警装置等等，使驾驶员在不需要通过转移视线或者手动操作即能完成相应地控制指令，这些将在后述的具体实施方式中做进一步的描述，在此不予赘述。

最后，进入步骤s103，将所述驾驶控制指令反馈给驾驶员，在这样的实施例中，当驾驶员确定某一控制操作时，驾驶控制系统将相应地控制操作反馈给驾驶员，进一步地，驾驶员通过手势与控制系统进行交互，例如，在一个优选地实施例中，驾驶员头部向左移动，旋转一定幅度，视线左移，控制系统识别驾驶员头部动作，并给出需要关窗的控制指令，驾驶员通过手势，控制系统识别驾驶员手势，确定需要关窗，进一步地，智能控制车窗的关闭。

图2示出了本发明的第一实施例的，在所述基于驾驶员身体姿态提高交互准确度的控制方法中，获取驾驶员的身体骨架信息的具体流程示意图，在这样的实施例中，本发明基于tof原理识别驾驶员的骨架节点，获取身体骨架信息，tof是timeofflight的简写，直译为飞行时间的意思。所谓飞行时间法3d成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离，这种技术跟3d激光传感器原理基本类似，只不过3d激光传感器是逐点扫描，而tof相机则是同时得到整幅图像的深度信息，具体地，包括如下步骤：

首先，进入步骤s1011，实时扫描车内环境以及驾驶员的身体，获得实时的三维点云信息，所述车内环境将作为背景，通过驾驶员的身体分析驾驶员在不用时刻的不同状态，进一步地，获取实时的三维点云信息，通常使用三维坐标测量机所得到的点数量比较少点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云点数量比较大并且比较密集，叫密集点云,点云是在和目标表面特性的海量点集合,根据摄影测量原理得到的点云，包括三维坐标(xyz)和颜色信息(rgb),进一步地，实时扫描车内的环境以及驾驶员的身体，也就是在短时间内多次对车内环境以及驾驶员身体进行拍摄。优选地，实时扫描以及处理的频率为30～120帧，例如，当频率为30帧时，扫描的频率较低，当频率为120帧时，此时对于驾驶员的安全性能的保障越大，当频率过高会对扫描设备造成一定的损害且用电量过大，故对于频率的调节可以手动或者自动完成，例如，在省电省油模式下，优选地，频率自动调节为30帧，这都不影响本发明的具体实施方案，在此不予赘述。

然后，进入步骤s1012，对所述三维点云信息进行处理并提取出驾驶员身体骨架节点，基于所述身体骨架节点的骨架模型，获得驾驶员脸朝向以及手势，本领域技术人员理解，所述三维点云信息为三维坐标和颜色信息，通过识别驾驶员的身体颜色以及坐标，提取驾驶员身体的骨架节点，进一步地，所述骨架节点优选地为28个节点，例如，手指关节、手腕关节、颈部关节等等，通过关节坐标的变化，获得驾驶员的脸部朝向以及驾驶员所作出的动作，这些将在后述的具体实施方式中做进一步地描述，在此不予赘述。

图3示出了本发明的第二实施例的，对所述三维点云信息进行处理并提取出驾驶员身体骨架节点，基于所述身体骨架节点的骨架模型，获得驾驶员脸朝向以及手势的具体流程示意图，本领域技术人员理解，图3是基于步骤s1012的具体描述，具体地，包括如下步骤：

首先，进入步骤s10121，对所述三维点云信息进行过滤，在这样的实施例中，对所述三维点云信息进行过滤的方式包括飞行像素方法以及denoise降噪方法，所述denoise降噪方法为一专业的降噪软件，通过所述飞行像素方法以及denoise降噪方法对三维点云信息进行滤波降噪。

然后，进入步骤s10122，基于过滤后的三维点云信息以及所述身体骨架节点的骨架模型，获得驾驶员脸朝向以及手势，进一步地，在对所述三维点云信息以及所述身体骨架节点的骨架模型进行滤波降噪后，直观的获取所述驾驶员脸朝向以及手势，在这样的实施例中，所述驾驶员脸朝向以及手势在滤波降噪后，依然为一些具体的坐标信息，但将所述坐标与之前拍摄的坐标进行比对，分析不同时刻内坐标的差异，从而将具体的数值对应于不同的脸部朝向以及手势，从而获取驾驶员脸朝向以及手势。

图4示出了本发明的第三实施例的，一种周边车辆安全控制交互的具体流程流程示意图，本领域技术人员理解，根据图1至图3中示出的优选实时例，获取驾驶员的脸朝向以及手势，具体地，本步骤将基于驾驶员的脸朝向，进行具体分析，例如，在图4示出的实施例中，驾驶员脸朝向车辆的中控系统，相应地，执行如下步骤：

首先，执行步骤s201，基于车辆的感应器判断周边车辆是否在安全距离内，在这样的实施例中，驾驶员在正常驾驶员过程中，应当脸朝向正前方，通过眼球或者脸部微移动观察前后左右车辆的来往，而当驾驶员的脸朝向明显超过一定角度的阈值范围时，存在极大的安全隐患，而本实施例主要用于在驾驶员朝向车辆中控系统时，驾驶控制系统的实时反馈的实施方式。

本领域技术人员理解，所述车辆中控系统一般位于驾驶员的右下方，驾驶员通过中控系统可以调节空调、fm调频、蓝牙、音乐等等多媒体功能，当驾驶员脸朝向所述中控系统时，车辆前后以及左右优选设置有多个距离传感器，所述距离传感器用于实时检测车辆与其他周围车辆之间的距离，所述距离传感器类似于雷达系统，例如，系统设置安全距离为5m，即当驾驶员的车辆与其他周围车辆在5m之外，即为安全距离，当驾驶员车辆与其他周围车辆之间的距离小于5m，即不在安全距离之内。

然后，进入步骤s202，若所述周边车辆不在安全距离内，则对于驾驶员对中控系统的操作不做出任何反应，在这样的实施例中，当驾驶员脸朝向中控系统，并通过手动对中控系统发出指令时，中控系统不响应任何指令，有效的避免了驾驶员在行驶过程中因为车距太近而带来的安全隐患。

紧接着，进入步骤s203，若所述周边车辆在安全距离内，则获取所述驾驶员的手势操作信息，本领域技术人员理解，对于周边车辆安全距离的判断还可以根据车速来决定，即当车速快时，有效安全距离判断的数值为50m或者更远，当车速较慢时，有效安全距离判断的数值为5m或者更近，而当车处于停止状态下，安全距离的判断为0m，这些将根据具体情况具体考虑，进一步地，基于步骤s101获取所述驾驶员的手势操作信息，所述手势操作信息可以为打招呼手势，不要的手势，竖大拇指的手势等等，系统根据不同的手势进行不同的操作，而在其他的实施例中，驾驶员还可以通过旋转按钮、触屏等方式对中控系统进行控制，在此不予赘述。

最后，进入步骤s204，基于所述手势操作信息对中控系统进行操作，例如，驾驶员通过耸右肩的动作，系统判断所述动作代表打开音乐，系统再次确定是否打开音乐，驾驶员通过竖起大拇指予以确认，从而系统自动开启音乐模式。

图5示出了本发明的第四实施例的，一种对空调系统安全控制交互的具体流程示意图，作为本发明的第四实施例，根据图1至图3中示出的优选实时例，获取驾驶员的脸朝向以及手势，具体地，本步骤将基于驾驶员的脸朝向，进行具体分析，例如，在图5示出的实施例中，驾驶员脸朝向空调出风口，相应地，包括如下步骤：

首先，进入步骤s301，获取所述驾驶员的手势操作信息，所述步骤可以参考s101，在此不予赘述。

最后，进入步骤s302，基于所述手势操作信息对空调系统进行操作，本领域技术人员理解，当驾驶员的脸朝向空调出风口时，驾驶员优选地希望通过手动调节出风口来控制空调的出风速率以及大小，进一步地，系统识别驾驶员脸朝向，并反馈给驾驶员是否调节所述出风大小，驾驶员通过抬手或者放下的手势操作，对空调系统进行调节，系统识别抬手动作为加大风量，识别放下动作为降低风量，从而自动调节风量大小。

图6示出了本发明的第五实施例的，一种在睡眠状态安全控制交互的具体流程示意图，本领域技术人员理解，疲劳驾驶会造成极大的安全隐患，如何通过身体姿态识别判断驾驶员是否进入疲劳驾驶是本发明所要解决的技术核心，具体地，包括如下步骤：

首先，进入步骤s401，获取驾驶员的所述身体骨架信息，所述步骤s401可以参考图1中示出的步骤s101，在此不予赘述。

然后，进入步骤s402，根据所述身体骨架信息判断所述驾驶员是否已经进入睡眠状态或疲劳驾驶状态，本领域技术人员理解，所述身体骨架信息包括眼皮在第一阈值时间内闭合时间超出第二阈值，在一个优选地实施例中，在2秒的时间内闭合时间为1秒，且连续闭合次数超过2次，而在其他实施例中，在1分钟内闭合为20秒，但连续闭合次数超过60次等等，亦或者，在1分钟内虽然闭合次数为1次，但一次闭合时间为50秒等等，这些都代表驾驶员已经进入疲劳驾驶状态，而在睡眠状态下，眼皮一直处于闭合状态。

而在其他的实施例中，还可以通过其他方式判断驾驶员是否进入疲劳驾驶状态，例如，驾驶员身体前倾，扑在方向盘上，驾驶员倒在后座以至于扫描不到驾驶员的面部信息等等，这些都代表驾驶员进入了睡眠状态或者是疲劳驾驶状态。

紧接着，进入步骤s403，发出警告信息，本领域技术人员理解，系统在判断驾驶员进入睡眠状态或者疲劳驾驶状态时，优选地需要驾驶员给出相应地反馈手势信息，当驾驶员不能给出完整的反馈手势信息时，即最终判断驾驶员进入睡眠状态或者疲劳驾驶状态，进一步地，所述警告信息包括向与驾驶员座椅关联的震动装置发出震动指令以及向与驾驶员座椅关联的喷水装置发出喷水指令，上述干预指令可以唤醒驾驶员，使其将车停在安全区域，消除安全隐患。

最后，进入步骤s404，发出降低车速的控制指令，本领域技术人员理解，发出降低车速的控制指令可以是经过驾驶员的手势确认后降低车速，也可以是自动降低车速，同时，实时感应驾驶员车辆的周围车辆的安全距离，在确认可以降低车速以及停车的情况下，车辆自动低速行驶或者自动泊车。

本领域技术人员理解，本发明不仅可以支持确认在安全情况下控制中控系统、判断是否为疲劳驾驶、调节空调风量大小，还可以有更多的运用，例如，在一个优选地实施例中，驾驶员脸朝向后视镜，相应地，车辆将根据所述视线信息调整所述后视镜的角度。

而在这样的实施例中，当驾驶员脸朝向后视镜时，系统优选地开启所述后视镜对应的感应器，并获取所述感应器获取的周边车辆信息，本领域技术人员理解，本实施例主要用于在车辆进行变道操作或者停车时的功能运用，具体地，通过所述感应器判断驾驶员车辆与周边车辆之间的距离，判断周边车辆是否在安全距离内，若在安全距离内，车辆不做任何相应，若周边不在所述安全距离内，则发出警告指令，所述警告指令包括如上述中的向与驾驶员座椅关联的震动装置发出震动指令以及向与驾驶员座椅关联的喷水装置发出喷水指令，或者在中控系统中显示警告信息，这都不影响本发明的具体实施方案，在此不予赘述。

进一步地，本发明中使用的系统由基于深度相机的视觉识别设备和算法处理模块组成。基于深度相机的视觉识别设备用来检测人体姿态并获得关于人体身体姿态和头部动作，以及车内环境，生成具有三维信息的点云。算法处理模块根据深度相机提供的三维信息，结合机器学习算法识别出驾驶人的身体姿态和视线方向，并且根据行驶状态和车内环境布置计算出人眼视线的相对方位。最后，由本系统识别并提供的信息，车内设备作出响应。

具体应用场景的例子有如下几种：

当视线转移到中控台的多媒体系统时，如果车辆在行驶过程当中，车的前后以及左右几个距离传感器将开始探测是否有车辆靠近，若车速在安全范围内时，中控台允许响应并且可以根据本系统提供的身体姿态信息中的手的姿势进行手势控制。当车速超过安全范围时候，中控将不允许响应并且系统将予以警告。这里的安全车速的范围根据响应的交通安全法规进行调整。当驾驶员的视线转移到某一个位置的空调出风口时，此时空调出风口可以根据本系统的驾驶员手部信息做出响应，例如根据手臂的移动来调整风向以及风力的大小。

当车辆在行驶过程中的时候，若本系统的算法识别模块根据驾驶员的身体和头部姿态信息判定驾驶员出现疲劳驾驶的迹象，将会发送警告信息。车辆可以根据此警告信息做出响应，例如座椅的振动等等用来提醒驾驶人员，亦或者降低车速，开启车辆的双闪灯给其他车辆警告。

在行驶过程中，当驾驶员的视线转移到左方后视镜的时候，根据本系统提供的驾驶员身体姿态信息，车的右方位的距离传感器将开启，用于检测右方位来车，并在其他车辆靠近是予以警告，于此同时，驾驶员视线所在的左方后视镜可以根据本系统提供的头部姿态信息作出响应，根据视线方向来控制后视镜的角度，例如，头向上移动时，后视镜跟着往上调整角度，满足驾驶员的视线需求，其他方向以此类推。当驾驶员需要看后视镜的时候，后视镜也可根据驾驶员的视线进行角度的调成。

驾驶员身体和头部姿态识别过程如下：

首先，基于tof技术的深度相机将以30～120帧的速度实时扫描车内环境以及驾驶员的身体，获得实时的三维点云信息，点云信息将送到算法识别模块进行处理。算法识别模块首先将对此时的点云信息进行过滤，除去噪点并且建立模型获得特征信息，包括身体躯干，头部视线以及肢体的特征，车内环境中的特征信息。生成的多种特征信息将进行综合处理，当身体姿态的特征信息与车内的环境特征发生交互时，将发出对应的信息给车辆内的系统，系统可根据此信息进行响应以及交互。整个过程具有高度的实时性和准确的识别率。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。