一种基于在线行为建模的驾驶员异常行为检测方法
【专利摘要】本发明涉及一种基于在线行为建模的驾驶员异常行为检测方法，属于图像识别及监测【技术领域】。该方法基于视频分析技术，通过对驾驶员的正常行为建模来检测驾驶员的异常行为，主要包括以下步骤：一、初始化，建立初始模型或对已有的模型进行更新；二、对驾驶过程中驾驶员的行为进行特征提取；三、结合初始模型和驾驶员的行为特征判断驾驶员的行为是否正常；四、对模型进行更新。本发明提供的一种基于在线行为建模的驾驶员异常行为检测方法，采用novelty detection的方式检测异常行为，采用多模态建模的方法，能对多种正常行为和多种异常行为进行处理，辅以人工标注的方法排除虚警，增加了方案的稳定性，减少了方案的错误率。
【专利说明】-种基于在线行为建模的驾驶员异常行为检测方法
【技术领域】
[0001] 本发明设及一种驾驶员异常行为检测方法，特别设及一种基于在线行为建模的驾 驶员异常行为检测方法。
【背景技术】
[0002] 车载视觉系统已成为图像处理、视频分析领域的新兴应用方向，对驾驶员异常行 为检测的研究，属于智能交通领域，是智能辅助驾驶的一项关键技术，此技术通过检测驾 驶员异常行为并发出警告，避免交通事故的发生，有重要应用价值和社会意义。
[0003] 现阶段国内外诸多国家在此领域的研发都受限于异常行为自身特点，比如异常行 为种类多，包括驾驶员长时间闭眼、打哈欠、揉眼、点头等疲劳行为；不正当驾驶行为类别复 杂，包括打电话、吃零食、抽烟、左顾右盼等；数据采集较难，由于驾驶员绝大部分时间行为 正常，因此异常行为出现次数一般较少。因此，已有技术基本分为两类；一种是只是针对某 个特定异常行为进行检测，该种方法只针对疲劳驾驶行为进行检测，但不同驾驶员的异常 行为具体表现可能不同；另一种是训练的方式单一，由于异常行为次数少，样本采集较难， 所W绝大多是方案都是利用人为模拟的数据，采用离线方式进行训练，但模拟的数据又通 常不够真实，因此训练的模型在使用过程中出现问题的可能性较大，该也给离线训练方法 的使用造成了困难。
【发明内容】
[0004] 有鉴于此，本发明的目的在于提供一种基于在线行为建模的驾驶员异常行为检测 方法。
[0005] 为达到上述目的，本发明提供如下技术方案：
[0006] 一种基于在线行为建模的驾驶员异常行为检测方法，该方法基于视频分析技术， 通过对驾驶员的正常行为建模来检测驾驶员的异常行为，具体包括W下步骤：
[0007] 步骤一；初始化，初始化过程中驾驶员的行为为正常行为，对驾驶员的行为进行特 征提取，对模型进行训练，建立初始模型或对已有的模型进行更新；
[000引步骤二：对驾驶过程中驾驶员的行为进行特征提取；
[0009] 步骤结合初始模型和驾驶员的行为特征判断驾驶员的行为是否正常；
[0010] 步骤四：对模型进行更新。
[0011] 进一步，所述步骤一中的初始模型为：巧。二 i=\
[001引其中，P(Ft)为t时刻特征Ft发生的概率，K为分布数量，n (F。2i，t)为时刻 t第i个高斯分布，为其权重，y ,t，分别为其均值和协方差矩阵。
[0013] 进一步，所述步骤二中对驾驶员的行为进行特征提取的方法是，对连续n帖图像 提取特征，n> = 1，t 时刻像素（X，y)处的特征 Ft (X，y) = [It (X，y)，It_i (X，y)，. . .，It_w (X ，y)]，其中It(x，y)为时刻t位置（x，y)的像素值，共n维。
[0014] 进一步，所述步骤二中对驾驶员的行为进行特征提取的方法还可W为，把图像分 成有交叠的图像块，对每一块区域内连续n帖提取特征（如SIFT特征），然后将特征组合起 来构成最后的特征。
[0015] 进一步，所述步骤S具体包括W下步骤：
[0016] 1)通过W下公式判断Ft是否和K个高斯混合模型中的第i个高斯模型匹配，i = 1，…，K;
[0017] 《T ;
[0018] T为匹配阔值，小于等于此阔值说明特征属于此高斯模型；
[0019] 若果满足上述公式，则跳转至步骤2)，否则跳转至步骤3);
[0020] 2)判断与Ft匹配的模型i是否为正常行为模型，若是则判定驾驶员的行为是正常 行为；
[0021] 否则，判定驾驶员的行为为异常行为，发出报警；
[0022] 3)Ft不与K个高斯混合模型中的任何一个模型匹配，判定驾驶员行为为异常行为， 发出
[0023] 报警，并增加一个高斯模型并将其权重置为一个不满足
【权利要求】
1. 一种基于在线行为建模的驾驶员异常行为检测方法，其特征在于：该方法基于视频 分析技术，通过对驾驶员的正常行为建模来检测驾驶员的异常行为，具体包括以下步骤： 步骤一：初始化，初始化过程中驾驶员的行为为正常行为，对驾驶员的行为进行特征提 取，对模型进行训练，建立初始模型或对已有的模型进行更新； 步骤二：对驾驶过程中驾驶员的行为进行特征提取； 步骤三：结合初始模型和驾驶员的行为特征判断驾驶员的行为是否正常； 步骤四：对模型进行更新。
2. 根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征
其中，P(Ft)为t时刻特征Ft发生的概率，K为分布数量，n(Ft，yu，Sit)为时刻t第i个高斯分布，《i;t为其权重，yi;t，Sit分别为其均值和协方差矩阵。
3. 根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征 在于：所述步骤二中对驾驶过程中驾驶员的行为进行特征提取的方法是，对连续n帧图像 提取特征，n> = 1，t时刻像素（X，y)处的特征Ft (X，y) = [It (X，y)，Iw (X，y)，…，It_n+1(X ，7)]，其中11(17)为时刻七位置〇^，7)的像素值，共11维。
4. 根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征 在于：所述步骤二中对驾驶过程中驾驶员的行为进行特征提取的方法还可以为，把图像分 成有交叠的图像块，对每一块区域内连续n帧图像提取特征，然后将特征组合起来构成最 后的特征。
5. 根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征 在于：所述步骤三具体包括以下步骤： 1) 通过以下公式判断Ft是否和K个高斯混合模型中的第i个高斯模型匹配，i= 1，…，K ; (Ft-y,JtS-1 (Ft-Ui^t)T; T为匹配阈值，小于等于此阈值说明特征和模型i相匹配； 若果满足上述公式，则跳转至步骤2)，否则跳转至步骤3); 2) 判断与Ft匹配的模型i是否为正常行为模型，若是则判定驾驶员的行为是正常行 为；否则，判定驾驶员的行为为异常行为，发出报警； 3. Ft不与K个高斯混合模型中的任何一个模型匹配，判定驾驶员行为为异常行为，发出
6. 根据权利要求5所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征 在于：正常行为模型获取方法为：在模型中K个高斯混合模型中，根据《/traCe(2)由高
选取正常行为模型的阈值。
7. 根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征 在于：所述步骤四具体包括以下步骤： 1) 更新第i个模型的均值和协方差矩阵， Uit= (1-a)yi；t_!+aFt, 其中a为学习率； 2) 更新第i个模型的权重， wi,t= (1-0 ) ? i,t-i+0 (Mijt) ^ 其中0为学习率，Mi，t=l，i为被匹配模型；Mj，t=0,j为其它行为模型，即j乒i。
8. 根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征 在于：当驾驶员的行为正常，而被检测为异常行为时，可以人工设定Ft为虚警，并将它和其
行为异常，而被检测为正常行为时，可以人工设定该行为为异常行为，并将降低和其匹配的 模型权重。
9. 根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特征 在于：模型建立的方法包括GMM建模方法、onlineboosting、非参数方法。
10. 根据权利要求1所述的一种基于在线行为建模的驾驶员异常行为检测方法，其特 征在于：异常行为检测方法还可以通过判定在概率模型中概率较低者为异常行为。
【文档编号】G06K9/62GK104504400SQ201510009061
【公开日】2015年4月8日 申请日期:2015年1月8日 优先权日:2015年1月8日
【发明者】李远钱, 周曦, 周祥东, 石宇, 颜卓 申请人:中国科学院重庆绿色智能技术研究院