通过车对车连接警告驾驶员的异常状态的方法和装置与流程

本发明涉及一种方法和装置，其基于深度学习(deeplearning)检测车辆驾驶员的睡意状态和异常状态，从而对所述睡意状态和异常状态给予警告，更具体地，涉及一种方法和装置，其基于所述车辆的室内图像中的所述驾驶员的眨眼状态，检测所述驾驶员的所述睡意状态，并通过参考所述驾驶员的姿势检测所述驾驶员的所述异常状态，并给予警告。

背景技术：

车辆交通事故中，造成最大伤害的事故是在驾驶中发生的，其中大多数是由疲劳驾驶、酒后驾车、注意力分散等引起的。

作为预先防止这种交通事故的方法，过去，只能是驾驶员自己自觉谨慎，但最近，通过运用技术来监视驾驶员的状态，并警告驾驶员，从而引导安全驾驶。作为对其的典型技术，可以举例驾驶员状态监视装置(driven-statemonitoringdevice，dsm)。

驾驶员状态监视装置利用近红外(nearinfra-red，nir)相机，将近红外线投射到驾驶员的面部，由此获取驾驶员的人脸图像来监视驾驶员的人脸。对眨眼频率、眨眼次数等眨眼的特性设置优先顺序，并运用对接近睡意要素分配权重的算法，判断驾驶员是否犯困。另外，通过识别人脸方向和眼睛状态来判断注意力分散状态，并且当判断驾驶员在预设时间内没有注视前方时，驾驶员会受到警告。

然而，这种传统方法中存在的问题为，当驾驶员陷入无法回应这种警告的状态时，对驾驶者的警告将变得毫无意义。

并且，在这种传统方法中，当驾驶员的姿势改变时，利用相机检测驾驶员的异常状态是有限的。

因此，本发明提出一种用于有效地检测表示驾驶员的睡意驾驶或异常状态等的危险状态，以预先防止交通事故的方案。

技术实现要素：

本发明的目的在于解决所有上述问题。

本发明的另一目的在于能够有效地检测特定驾驶员的至少一个异常状态。

本发明的再一目的在于能够向特定驾驶员的周边车辆的驾驶员警告特定驾驶员的异常状态。

本发明的又一目的在于能够防止由于特定驾驶员的异常状态可能发生的交通事故。

为了达到如上所述的本发明的目的，并且实现后述的本发明的特征效果的，本发明的特定结构如下。

根据本发明的一个方面，公开了一种方法，其基于深度学习来检测特定车辆的特定驾驶员的睡意状态和异常状态，并给予警告，其特征在于，包括：

步骤(a)，当获取所述特定车辆内部的至少一个室内图像时，驾驶员状态检测装置执行过程(i)以及过程(ii)中的至少一个，其中，过程(i)，将所述室内图像输入到睡意检测网络中，使所述睡意检测网络，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述面部中检测所述特定驾驶员的至少一个眼部，并检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态，过程(ii)，将所述室内图像输入到姿势匹配网络中，使所述姿势匹配网络，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点(bodykeypoint)，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述特定驾驶员的所述异常状态；以及

步骤(b)，当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及所述姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个，判断所述特定驾驶员处于危险状态时，所述驾驶员状态检测装置执行如下过程，所述过程为通过车对车(vehicle-to-vehicle，v2v)通信，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述危险状态的过程。

一实施例中，在所述步骤(a)中，

所述驾驶员状态检测装置，使所述睡意检测网络，(i)(i-1)通过人脸检测器的卷积(convolution)层，将至少一个卷积运算适用于所述室内图像中，生成至少一个特征图，(i-2)通过所述人脸检测器的区域建议网络(regionproposalnetwork，rpn)生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(i-3)通过所述人脸检测器的池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(i-4)通过所述人脸检测器的全连接层，对所述特征矢量适用至少一个fc运算，生成至少一个fc输出值，(i-5)对所述fc层的所述fc输出值，适用至少一个分类运算和至少一个回归运算，输出每个所述对象的类别信息和回归信息之后，通过所述人脸检测器的分类层和回归层检测所述室内图像上的所述特定驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框，(ii)通过眼睛检测器将所述面部转换为至少一个修正统计变换(modifiedcensustransform，mct)图像，其中，所述面部的亮度与局部的平均亮度之间的差异被编码成所述mct图像，使用自适应提升(adaboost)算法，根据从所述mct图像中获取的眼睛检测用特征数据，检测所述特定驾驶员的所述眼部，并参考所述眼部的所述眼睛的睁闭状态，检测所述眼睛的所述眨眼状态。

一实施例中，在所述步骤(a)中，

所述驾驶员状态检测装置，使所述姿势匹配网络，(i)通过特征提取器在所述室内图像中提取一个以上的特征而生成一个以上的特征张量，(ii)通过关键点热图(keypointheatmap)和部分亲和字段(partaffinityfield)提取器生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和字段，(iii)在每个所述关键点热图中提取一个以上的关键点，并参考每个所述部分对亲和字段，对提取的关键点进行分组(grouping)，从而通过关键点分组层，生成与位于所述室内图像的所述特定驾驶员相对应的所述身体关键点。

一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述特征提取器的至少一个卷积层，对所述室内图像适用至少一个卷积运算，从而生成所述特征张量。

一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点热图和部分亲和字段提取器的全卷积(fullyconvolution)网络或至少一个1×1卷积层，对所述特征张量适用至少一个全卷积运算或至少一个1×1卷积运算，从而生成对应每个所述特征张量的所述关键点热图和所述部分亲和字段。

一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络，通过所述关键点分组层，提取每个所述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。

一实施例中，所述驾驶员状态检测装置，使所述姿势匹配网络通过所述关键点分组层，参考所述部分亲和字段，分别连接在所述被提取的关键点对中具有最高相互连接概率的对，从而对所述被提取的关键点进行分组。

一实施例中，在所述步骤(a)中，当所述特定驾驶员的所述眼睛闭合，且所述眼睛的闭合时间为预设第一阈值以上时，所述驾驶状态检测装置执行，使所述睡意检测网络判断所述特定驾驶员为所述睡意状态的过程。

一实施例中，在所述步骤(a)中，当所述身体关键点不与所述任一驾驶姿势匹配，并且，所述身体关键点与所述任一驾驶姿势保持不匹配的状态的持续时间为预设第二阈值以上时，所述驾驶员状态检测装置，使所述姿势匹配网络，判断所述驾驶员处于所述异常状态。

根据本发明的另一个方面，公开了一种驾驶员状态检测装置，其基于深度学习检测特定车辆的特定驾驶员的睡意状态和异常状态，并给予警告，其特征在于，包括：至少一个存储器，存储指令；以及至少一个处理器，被配置执行所述指令用于执行过程(i)和(ii)，其中，过程(i)，当获取所述特定车辆内部的至少一个室内图像时执行过程(i)和过程(ii)中的至少一个，过程(i)，将所述室内图像输入到睡意检测网络中，使所述睡意检测网络，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述面部中检测所述特定驾驶员的至少一个眼部，并检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态，过程(ii)，将所述室内图像输入到姿势匹配网络中，使所述姿势匹配网络，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点(bodykeypoint)，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而判断所述特定驾驶员的所述异常状态；以及过程(ii)，当参考所述睡意检测网络输出的所述特定驾驶员的所述睡意状态以及所述姿势匹配网络输出的所述特定驾驶员的所述异常状态中的至少一个，判断所述特定驾驶员处于危险状态时，通过车对车(vehicle-to-vehicle，v2v)通信，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员识别所述特定驾驶员的所述危险状态。

一实施例中，在所述过程(i)中，所述处理器，使所述睡意检测网络，(i)(i-1)通过人脸检测器的卷积(convolution)层，将至少一个卷积运算适用于所述室内图像中，生成至少一个特征图，(i-2)通过所述人脸检测器的区域建议网络(regionproposalnetwork，rpn)生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(i-3)通过所述人脸检测器的池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(i-4)通过所述人脸检测器的全连接(fullyconnected，fc)层，对所述特征矢量适用至少一个fc运算，生成至少一个fc输出值，(i-5)对所述fc层的所述fc输出值，适用至少一个分类运算和至少一个回归运算，输出每个所述对象的类别信息和回归信息之后，通过所述人脸检测器的分类层和回归层检测所述室内图像上的所述特定驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框，(ii)通过眼睛检测器将所述面部转换为至少一个修正统计变换(modifiedcensustransform，mct)图像，其中，所述面部的亮度与局部的平均亮度之间的差异被编码成所述mct图像，使用自适应提升(adaboost)算法，根据从所述mct图像中获取的眼睛检测用特征数据，检测所述特定驾驶员的所述眼部，并参考所述眼部的所述眼睛的睁闭状态，检测所述眼睛的所述眨眼状态。

一实施例中，在所述过程(i)中，所述处理器，使所述姿势匹配网络，(i)通过特征提取器在所述室内图像中提取一个以上的特征而生成一个以上的特征张量，(ii)通过关键点热图(keypointheatmap)和部分亲和字段(partaffinityfield)提取器生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和字段，(iii)在每个所述关键点热图中提取一个以上的关键点，并参考每个所述部分对亲和字段，对提取的关键点进行分组(grouping)，从而通过关键点分组层，生成与位于所述室内图像的所述特定驾驶员相对应的所述身体关键点。

一实施例中，所述处理器，使所述姿势匹配网络，通过所述特征提取器的至少一个卷积层，对所述室内图像适用至少一个卷积运算，从而生成所述特征张量。

一实施例中，所述处理器，其特征在于，所述处理器，使所述姿势匹配网络，通过所述关键点热图和部分亲和字段提取器的全卷积(fullyconvolution)网络或至少一个1×1卷积层，对所述特征张量适用至少一个全卷积运算或至少一个1×1卷积运算，从而生成对应每个所述特征张量的所述关键点热图和所述部分亲和字段。

一实施例中，所述处理器，使所述姿势匹配网络，通过所述关键点分组层，提取每个所述关键点热图上的每个最高点作为与每个所述关键点热图相对应的每个所述关键点。

一实施例中，所述处理器，使所述姿势匹配网络通过所述关键点分组层，参考所述部分亲和字段，分别连接在所述被提取的关键点对中具有最高相互连接概率的对，从而对所述提取的关键点进行分组。

一实施例中，在所述过程(i)中，所述特定驾驶员的所述眼睛闭合，且所述眼睛的闭合时间为预设第一阈值以上时，所述处理器执行，使所述睡意检测网络判断所述特定驾驶员为所述睡意状态的过程。

一实施例中，在所述过程(i)中，当所述身体关键点不与所述任一驾驶姿势匹配，并且，所述身体关键点与所述任一驾驶姿势保持不匹配的状态的持续时间为预设第二阈值以上时，所述处理器，使所述姿势匹配网络，判断所述驾驶员处于所述异常状态。

另外，还提供了一种用于存储计算机程序的计算机可读介质，所述计算机程序用于执行本发明的方法。

本发明具有能够通过分别评估特定驾驶员的眨眼状态和驾驶姿势来有效地检测所述特定驾驶员的睡意状态和异常状态的效果。

本发明具有的另一效果为，能够通过v2v通信，向周边车辆传输关于所述特定驾驶员的危险状态的信息，向所述周边驾驶员警告所述特定驾驶员的危险状态。

本发明具有的另一效果为，能够通过v2v通信向周边车辆传输关于所述特定驾驶员的危险状态的信息，防止由于所述特定驾驶员的危险状态而发生的交通事故。

附图说明

用于描述本发明实施例的附图仅是本发明实施例的一部分，并且本发明所属领域的普通技术人员，无需进行创造性劳动即可基于这些附图获得其他附图。

图1是示意性示出根据本发明一实施例检测特定车辆的特定驾驶员的至少一个异常状态和至少一个睡意状态并给予警告的驾驶员状态检测装置的图。

图2是示意性示出根据本发明一实施例检测所述特定车辆的所述特定驾驶员的所述异常状态和所述睡意状态并给予警告的方法的图。

图3是示意性示出根据本发明一实施例检测所述特定驾驶员的所述睡意状态和所述异常状态的方法中，判断所述特定车辆的所述特定驾驶员的所述睡意状态的过程的图。

图4是示意性示出根据本发明一实施例检测所述特定驾驶员的所述睡意状态和所述异常状态的方法中，检测所述特定驾驶员的人脸的过程的图。

图5是示意性示出根据本发明一实施例检测所述特定驾驶员的所述睡意状态和所述异常状态的方法中，通过运用所述特定驾驶员的姿势来判断所述特定驾驶员的所述异常状态的过程的图。

图6是示意性示出根据本发明一实施例检测所述特定驾驶员的所述睡意状态和所述异常状态的方法中，检测所述特定驾驶员的身体关键点的过程的图。

具体实施方式

对于后述的本发明的详细描述，为使本发明的目的、技术方案、以及优点清楚，可以将实施本发明的特定实施例作为示例而参考示出的附图。将会详细描述这些实施例，以使本领域技术人员能够足以实施本发明。

另外，在本发明的详细描述以及权利要求中，术语“包括”及其变形并不意旨在排除其他技术特征、添加物、组件或步骤。对于本领域普通技术人员来说，本发明的其他目的、优点以及特征中一部分从本说明书中、一部分从本发明的实施中揭示。以下示例和附图将作为示例提供，但并不意旨限制本发明。

尤其，本发明涵盖了本说明书中指示的实施例的所有可能的组合。应理解，即使本发明的各种实施例不同，但不一定是相互排斥的。例如，在不脱离与一实施例有关的本发明的精神和范围的情况下，可在其他实施例中实现本文中所记载的特定形状、结构或特性。并且，应理解，在不脱离本发明的精神和范围的情况下，可以修改每个公开的实施例的各元件的位置和配置。因此，以下详细描述不应被理解为限制性的，并且本发明的范围在适当地解释的情况下，仅由所附权利要求以及权利要求所赋予的等同物的全部范围来限定。附图中相似的附图标记是指经过多方面考虑后具有相同或相似的功能。

本发明所涉及的各种图像可包括铺设或未铺设的道路有关的图像，在这种情况下，可以假设可能会出现在道路环境中的物体(例如，汽车、人、动物、植物、物体、建筑物、诸如飞机或无人机的飞行器、其他障碍物)，但不限于此，本发明中涉及的各种图像可以是与道路无关的图像(例如，土路、小巷、空地、海、湖泊、河流、山脉、森林、沙漠、天空、室内)，在这种情况下，可以推断土路、小巷、空地、海、湖泊、河流、山脉、森林、沙漠、天空、室内环境中可能出现的物体(例如，汽车、人、动物、植物、物体、建筑物、诸如飞机或无人机的飞行器、其他障碍物等)，但不限于此。

以下，为便于本发明所属的技术领域的普通技术人员实施本发明，将参考附图详细描述本发明的优选实施例。

图1是示意性示出根据本发明一实施例检测特定车辆的特定驾驶员的至少一个异常状态和至少一个睡意状态并给予警告的驾驶员状态检测装置的图。参考图1，所述驾驶员状态检测装置1000可以包括，存储器1100，用于存储检测所述特定车辆的所述特定驾驶员的所述异常状态和所述睡意状态并给予警告的指令；以及处理器1200，执行与用于检测所述特定驾驶员的所述睡意状态和所述异常状态的、存储于所述存储器1100的指令相对应的过程。

具体地，所述驾驶员状态检测装置1000通常可以是利用至少一个计算装置(例如，可以包括计算机处理器、存储器、储存器、输入/输出装置、其他现有计算装置的组件的装置；诸如路由器或交换机的电子通信装置；诸如网络附加存储(nas)以及存储区域网络(san)的电子信息存储系统)和至少一个计算机软件(具体为使所述计算装置以特定方式运行的指令)的组合来实现所期望的系统性能。

所述计算装置的处理器可包括微处理单元(microprocessingunit，mpu)或中央处理单元(centralprocessingunit，cpu)、高速缓冲存储器存储器(cachememory)、数据总线(databus)等硬件结构。并且，计算装置还可以包括操作系统以及执行特定目的应用程序的软件结构。

但是，这些对所述计算装置的描述并不排除集成为了实施本发明的过程、存储器、介质或其他计算组件的形式的集成处理器的情况。

参考图2，描述利用如上所述构成的根据本发明一实施例的所述驾驶员状态检测装置1000，从特定车辆的至少一个室内图像中检测所述特定驾驶员的所述睡意状态和所述异常状态并给予警告的方法如下。

首先，当获取由至少一个相机10拍摄的所述特定车辆的室内图像时，所述驾驶员状态检测装置1000执行，过程(i)，将所述室内图像输入到睡意检测网络100中，使所述睡意检测网络100，在所述室内图像中检测所述特定驾驶员的至少一个面部，在所述检测到的面部中检测所述特定驾驶员的至少一个眼部，以及过程(ii)，检测所述特定驾驶员的至少一个眼睛的眨眼状态，从而判断所述特定驾驶员的所述睡意状态。此时，所述驾驶员状态检测装置1000执行在所述室内图像中剪裁(cropping)所述特定驾驶员的人脸所在的上半身的过程以及将所述室内图像的所述已剪裁的上半身输入到所述睡意检测网络100中的过程，使所述睡意检测网络100，从所述室内图像的所述已剪裁的上半身中，检测所述特定驾驶员的面部，从而相比于从所述全部室内图像中检测所述面部，可减少所述睡意检测网络100的运算量。

作为一例，参考图3，所述睡意检测网络100将所述室内图像输入到人脸检测器110，使所述人脸检测器110，分析基于深度学习的所述室内图像，从而检测在所述室内图像上的所述特定驾驶员的所述人脸。

此时，所述人脸检测器110可以是基于cnn(convolutionalneuralnetwork)的检测器，但是本发明的范围不限于此。

另一方面，参考图4，基于所述cnn的所述人脸检测器110可以执行如下过程，即，通过至少一个卷积层111，对所述室内图像适用至少一个卷积运算，来生成至少一个特征图，并通过区域建议网络(regionproposalnetwork，rpn)112，来生成与所述特征图上的一个以上的对象相对应的一个以上的建议框。并且，所述人脸检测器110通过池化层113可以执行如下过程，即，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，来生成至少一个特征矢量的过程，以及通过fc层114，对所述特征矢量适用至少一个fc运算，来生成至少一个fc输出值的过程。此后，所述人脸检测器110，将至少一个分类运算与至少一个回归运算适用于所述fc层114的所述fc输出值，输出关于每个所述对象的类别信息与回归信息，可以通过每个所述对象对应于每个建议框的分类层115以及回归层116，检测所述室内图像上的所述特定驾驶员的所述面部。

再次参考图3，所述睡意检测网络100将所述人脸检测器110检测到的所述特定驾驶员的所述面部输入到眼睛检测器120，使所述眼睛检测器120，(i)将所述面部转换为至少一个mct(modifiedcensustransform)图像，以便对所述面部的亮度与局部平均亮度之间的差异进行编码，(ii)使用自适应提升(adaboost)算法，从所述mct图像中获取的眼睛检测用特征数据中检测所述特定驾驶员的所述眼部，(iii)参考所述眼部的所述眼睛的睁闭状态，检测所述眼睛的所述眨眼状态。此时，可以用所述mct图像的眼部上的瞳孔的闭合状态来确认所述眨眼状态，所述睁闭状态可以表示眼睛，即瞳孔是睁开还是闭合。作为一例，检测出的所述特定驾驶员的眼睛完全睁开时的瞳孔大小与所述特定驾驶员的眼睛闭合时的瞳孔大小不同，由此，可以判断所述特定驾驶员的眨眼状态。

并且，可以添加用于检测所述特定驾驶员的眨眼状态的额外的眨眼检测器130。此时，所述眨眼检测器130可以通过跟踪所述眼部的瞳孔来检测所述眨眼状态。

并且，当所述特定驾驶员的所述眼睛闭合，且所述眼睛的闭合时间为预设第一阈值以上时，所述睡意检测装置100，参考所述特定驾驶员的眨眼状态来判断所述特定驾驶员为所述睡意状态。

然后，再次参考图2，所述驾驶员状态检测装置1000可以执行如下过程，即，将所述室内图像输入到姿势匹配网络200中，使所述姿势匹配网络200，在所述室内图像中检测与所述特定驾驶员的身体相对应的一个以上的身体关键点(bodykeypoint)，并判断所述身体关键点是否与预设驾驶姿势中的一个匹配，从而执行判断所述特定驾驶员的所述异常状态的过程。此时，所述驾驶姿势可以是所述驾驶员坐在驾驶座上正常驾驶车辆时的姿势，并且可以作为与驾驶所述车辆的正常位置相应的所述驾驶员的预设姿势来预先存储在数据库中。

作为一例，参考图5，所述姿势匹配网络200可以将所述室内图像输入到身体关键点检测器210，使所述身体关键点检测器210，检测所述特定驾驶员的所述身体关键点。

此时，用设置于所述特定车辆的所述室内的相机获取的视频或图像可能是身体(即人的身体)大部分被遮挡的状态，在驾驶座的情况下，只能看到所述特定驾驶员的上半身。这种情况，传统的对象检测器可能在检测大部分被遮挡的特定驾驶员时失败，但是所述身体关键点检测器210仅利用可见部分来判断是否有所述特定驾驶员。另外，由于所述特定驾驶员姿势多样性范围较大，因此所述身体关键点检测器210比所述传统的对象检测器更有用。

另外，参考图6，下面更详细描述身体关键点检测器210在所述室内图像中检测所述特定驾驶员的所述身体关键点的过程。

所述身体关键点检测器210可以将所述室内图像输入到特征提取网络211，使所述特征提取网络211，从所述室内图像提取一个以上的特征，生成一个以上的特征张量。此时，所述特征提取网络211可以将至少一个卷积运算适用于所述室内图像中，生成与所述室内图像相对应的所述特征张量。另外，所述特征提取网络211可以是包括可以执行至少一个卷积运算的一个以上的卷积层的一个以上的卷积块。

另外，所述身体关键点检测器210可以将所述特征张量输入到关键点热图(keypointheatmap)和部分亲和字段(partaffinityfield)提取器212中，使所述关键点热图和部分亲和字段提取器212生成，(i)与每个所述特征张量相对应的每个关键点热图和(ii)作为表示所述关键点之间的关系的矢量图的部分亲和字段。此时，每个所述部分亲和字段可以是表示特定关键点与其他关键点的连接性的图，并且可以是表示与每个关键点热图对相互连接的概率的图。另外“热图”表示热(heat)与图(map)的组合，并且可以是将用颜色表示的各种信息在一定的图像上生成为热分布形式的图形。

此时，所述关键点热图和部分亲和字段提取器212可以包括全卷积网络。

并且，所述关键点热图和部分亲和字段提取器212可以包括将至少一个1×1卷积运算适用于所述特征张量的至少一个1×1卷积层。

并且，所述关键点热图和部分亲和字段提取器212可以利用二分匹配(bipartitematching)，检测每个关键点之间的关系，从而生成所述部分亲和字段。即，所述关键点之间的关系可以通过所述二分匹配确认。

此后，所述身体关键点检测器210从每个所述关键点热图提取所述关键点，并参考每个所述部分来对亲和字段，对提取的关键点进行分组(grouping)，从而通过关键点分组层213，生成与位于所述室内图像的所述特定驾驶员相对应的所述身体关键点。

即，所述身体关键点检测器210，可以使所述关键点分组层213，从每个所述关键点热图提取所述关键点，参考所述提取的相互连接概率，对具有最高概率的关键点进行配对并连接。此时，所述身体关键点检测器，可以提取与各通道相对应的每个所述关键点热图中每个最高点，即具有最高热值的每个点，作为与每个所述关键点热图相对应的每个所述关键点，并可以参考所述部分亲和字段，对所述已提取的关键点中具有最高连接概率的关键点进行配对并连接，从而可以对所述已提取的关键点进行分组。作为一例，对已提取的所有关键点执行，所述已提取的关键点中任一关键点与具有最高连接概率的另一个关键点连接成对的过程，从而可以对关键点进行分组。

然后，再次参考图5，所述姿势匹配网络200，使姿势匹配装置220，进行从所述身体关键点检测器210获取的所述身体关键点之间的姿势匹配，从而可以知道所述身体关键点是否与所述预设驾驶姿势中的一个匹配。

此时，如果判断所述身体关键点不与任一所述预设驾驶姿势匹配，则所述姿势匹配网络200可以判断，所述身体关键点与任一预设驾驶姿势都不匹配的状态是否持续了第二阈值以上的时间，从而判断所述驾驶员是否处于异常状态。

即，如果所述身体关键点与所述任一驾驶姿势都不匹配的状态持续时间为预设第二阈值以上，则可以判断所述驾驶员为异常状态。例如，所述异常状态可以对应于所述特定驾驶员不专注于驾驶并弯腰捡东西或失去意识而无法驾驶等情况中的一个。

然后，再次参考图2，所述特定驾驶员，参考所述睡意检测网络100中输出的所述特定驾驶员的所述睡意状态和所述姿势匹配网络200输出的所述特定驾驶员的所述异常状态中的至少一个，如果判断为危险状态，所述驾驶员状态检测装置1000执行如下过程，即，通过车对车(vehicle-to-vehicle，v2v)接口20，将关于所述特定驾驶员的所述危险状态的信息传输给一个以上的周边车辆，使所述周边车辆的一个以上的周边驾驶员，识别所述特定驾驶员的所述危险状态。由此，使所述周边驾驶员，对在所述危险状态下所述特定驾驶员所驾驶的所述特定车辆集中注意力，从而减少交通事故危险。

另一方面，当判断所述特定驾驶员处于所述危险状态时，所述驾驶员状态检测装置1000，对在所述危险状态下的所述特定驾驶员给予警告，使所述特定驾驶员，可以意识到这种危险状态。作为一例，当所述驾驶员状态检测装置1000，判断所述驾驶员的状态处于危险状态时，发出警告音，向驾驶座或方向盘提供震动，以使所述驾驶员识别危险状态。

如上所述，本发明可以通过利用所述人的状态识别，来监视驾驶员状态，从而检测所述危险状态之后，进行利用v2v连接的v2v危险警告，可以确保车辆之间的驾驶安全性。

以上描述的根据本发明的实施例可以通过各种计算机部件执行的程序指令的形式来实现并存储在计算机可读存储介质。所述计算机可读存储介质可以单独或组合包括程序指令、数据文件、数据结构等。存储在所述计算机可读存储介质的程序指令，可以是为本发明专门设计并组成的，或者可以是计算机软件领域的技术人员已知并可使用的。计算机可读存储介质的示例包括，如硬盘、软盘和磁带的磁性介质、如cd-rom、dvd的光学记录介质、如软盘的磁光介质以及专门配置用于存储并执行如rom、ram、闪存等存储并执行程序指令的硬件装置。程序指令的示例不仅包括如由编译器产生的机器代码，还包括可以由计算机使用解释器等执行的高级语言代码。所述硬件装置，可配置为一个或多个软件模块来操作，以执行根据本发明的过程，反之亦然。

以上，虽然本发明根据具体的部件等特定实施方案和有限的实施例及附图进行了说明，这只是为了帮助更全面地理解本发明而提供的，本发明并不限于上述实施例，在本发明所属的技术领域中，普通技术人员可以从这些记载中进行各种修改和变化。

因此，本发明的思想不能限于上述说明的实施例而定，不仅是后述的权利范围，与该权利范围均等或等价变形的一切，都属于本发明的思想范畴。