异常判断装置的制作方法

本发明涉及用于检测异常发生的技术。

背景技术：

近年来，通过以深度学习为代表的人工智能相关技术，图像中映出了什么、图像a与图像b是否类似等、多种场合下的图像识别的精度正在提高。例如，专利文献1中，公开了从大量图像中自动地选择观赏者感兴趣的图像的技术。

现有技术文献

专利文献

专利文献1：日本特开2009-284332号公报

技术实现要素：

发明要解决的课题

用监视摄像机得到的动态图像作为交通违章和犯罪的证据的情况较多。但是，现状下，由人实时地目视动态图像、或事后由人分析动态图像的情况较多，以动态图像为对象的图像识别技术处于发展中阶段。

本发明是本发明人基于上述认识而完成的发明，其主要目的在于提供一种通过对动态图像进行分析而尽早检测出异常现象发生用的技术。

用于解决课题的方法

本发明的某一方式中的异常判断装置，包括：摄像部，其拍摄动态图像；图像识别部，其从动态图像中提取时间上连续的多个静止图像，参考多个静止图像，识别移动或变化的物体；异常判断部，其基于识别出的物体的动作形态，判断异常条件是否成立；和通知部，其在异常条件成立时，对外部装置通知异常发生。

发明的效果

根据本发明，易于基于动态图像，早期检测出异常现象发生。

附图说明

图1是异常判断系统进行动态图像拍摄时的示意图。

图2是动态图像分析过程的概念图。

图3是异常判断装置的功能模块图。

图4是异常判断模型的概念图。

图5是表示异常判断时的处理过程的流程图。

附图标记说明

100异常判断系统

102异常判断装置

104摄像机

106道路

108监视区域

110加工图像

112物体

120通知部

122摄像部

124数据处理部

126数据保存部

128图像识别部

130异常判断部

140异常判断模型

具体实施方式

本实施方式中，用在街道中设置的摄像机对道路进行定点观测，根据此时得到的动态图像自动判断是否发生了“危险驾驶”。危险驾驶指的是违反限速、逆向行驶、挑衅驾驶、蛇行驾驶等、可能引发违反交通法规或交通事故的异常的驾驶。本实施方式中，特别将后方车辆相对于前方车辆极端地拉近车间距离、或长期间地追逐前方车辆等“挑衅驾驶”作为危险驾驶的一例进行说明。

图1是异常判断系统100进行动态图像拍摄时的示意图。

摄像机104固定地设置在道路106的上方，对道路106的一部分俯瞰地进行拍摄。在道路106中设置多个摄像机104。

大量机动车通过摄像机104的拍摄范围及监视区域108。异常判断装置102根据动态图像识别各机动车的形状、位置、方向、速度、加速度等。异常判断装置102对动态图像进行分析，判断道路106中是否发生了危险驾驶(本实施方式中是挑衅驾驶)。异常判断装置102可以与多个摄像机104连接，但本实施方式中按1个摄像机104与1个异常判断装置102连接进行说明。当检测出危险驾驶时，异常判断装置102对该车辆发送消息。

图2是动态图像分析过程的概念图。

摄像机104如上所述对监视区域108进行定点观测。从此时的动态图像中，按时序挑选多个静止图像。可以挑选构成动态图像的全部静止图像，也可以按每几幅中1幅的比例选择性地挑选。

从静止图像中将相当于机动车的部分识别为“物体”。将对静止图像进行图像处理、识别物体的形状、位置、方向的图像称为加工图像110。

图2(a)表示时刻t1的加工图像110。图2(b)表示时刻t2的加工图像110，图2(c)表示时刻t3的加工图像110，图2(d)表示时刻t4的加工图像110。

在时刻t1(图2(a))的静止图像中，异常判断装置102检测出2辆机动车，将其分别识别为物体112a和物体112b。物体112a在加工图像110中的位置坐标是(xa1,ya1)，物体112b在加工图像110中的位置坐标是(xb1,yb1)。加工图像110对应于监视区域108。

在时刻t2(图2(b))，物体112a的位置坐标是(xa2,ya2)，物体112b的位置坐标是(xb2,yb2)。异常判断装置102根据时刻t1和时刻t2的2幅加工图像110，识别出物体112a、物体112b都向x轴负方向移动，物体112a是前方车辆，物体112b是后方车辆。

在时刻t3(图2(c))，物体112b(后方车辆)接近物体112a(前方车辆)，并且物体112b(后方车辆)向物体112a(前方车辆)的右侧移动。根据该状况，推测物体112b(后方车辆)正在对物体112a(前方车辆)从后方进行挑衅。

在时刻t4(图2(d))，物体112b(后方车辆)保持接近物体112a(前方车辆)地，驶出至物体112a(前方车辆)的左后方。一般而言，考虑基于相对于表示前方车辆的两侧面的2根延长线、后方车辆偏离何种程度、前方车辆与后方车辆的车间距离、前方车辆的速度、相对速度、后方车辆的横向摇摆的频度等判别是否相当于“挑衅驾驶”。

异常判断装置102根据机动车的号牌、形状和色彩，识别机动车，对与机动车对应的物体112附加id(以下称为“物体id”)。另外，机动车能够持续发送id信号时，异常判断装置102也可以基于该id信号识别机动车。异常判断装置102检测物体112的中心点的坐标作为物体112的位置坐标。

另外，可以检测物体112(加工图像110中的规定区域)的中心点或重心点这样的代表性的1点的位置坐标作为物体112的位置坐标，也可以将物体112中包括的多个点的位置坐标(集合)作为物体112的位置坐标。例如，可以将加工图像110中的物体112的上述规定区域中包括的全部像素各自的位置坐标(集合)作为物体112的位置坐标，也可以将从上述规定区域中以规定间隔采样得到的多个像素各自的位置坐标(集合)作为物体112的位置坐标。

图3是异常判断装置102的功能模块图。

异常判断装置102的各构成要素，由包括cpu(centralprocessingunit)和各种处理器等运算器、内存和外存等存储装置、将它们连结的有线或无线的通信线路的硬件，和在存储装置中保存、对运算器供给处理命令的软件实现。计算机程序可以由设备驱动程序、操作系统、位于它们的上层的各种应用程序、以及对这些程序提供共用功能的库构成。以下说明的各模块，并非示出硬件单位的结构，而是示出功能单位的模块。

异常判断装置102包括通知部120、摄像部122、数据处理部124和数据保存部126。

通知部120在后述的异常条件成立时，对机动车等外部装置通知异常发生(相当于危险驾驶的消息)。摄像部122持续从摄像机104取得动态图像。数据保存部126保存包括计算机程序的各种数据。数据处理部124基于从摄像部122和数据保存部126取得的数据执行各种处理。数据处理部124也发挥通知部120、摄像部122和数据保存部126的接口的功能。

数据处理部124包括图像识别部128和异常判断部130。

图像识别部128从摄像部122取得动态图像，提取按时序排列的静止图像。另外，图像识别部128从静止图像中识别物体112，检测其形状、位置、方向，生成加工图像110。更具体而言，图像识别部128将在多个静止图像中具备机动车的特征、且移动或变形的识别为物体112(移动物体)。进而，图像识别部128对物体112附加物体id。异常判断部130基于动态图像判断异常条件是否成立(在后文中叙述)。本实施方式中的异常条件是检测出“危险驾驶”。异常判断部130通过用异常判断模型140对动态图像进行分析，而判断是否发生了挑衅驾驶等危险驾驶。

图4是异常判断模型140的概念图。

本实施方式中的异常判断模型140由神经网络形成。图4所示的异常判断模型140包括输入层、输出层和2层中间层1、2，但中间层的数量是任意的。异常判断模型140对于危险驾驶的每个种类准备。认为图4的异常判断模型140是判断是否相当于“挑衅驾驶”的模型进行说明。另外，异常判断模型140用于对于加工图像110中识别出的2个物体112的每个组合判断是否发生了“挑衅驾驶”。例如，检测出物体112a、物体112b和物体112c时，对于物体112a与物体112b、物体112a与物体112c、物体112b与物体112c这三个组合，分别判断是否发生了“挑衅驾驶”。

输入层包括n个节点(以下也称为“输入节点”)。输入节点记作“x”。中间层1包括n1个节点(以下也称为“第1中间节点”)。第1中间节点记作“u1”。中间层2包括n2个节点(以下也称为“第2中间节点”)。第2中间节点记作“u2”。

输出层包括2个节点(以下也称为“输出节点”)。输出节点记作“y”。输出节点y1对应于假(不是“挑衅驾驶”)，输出节点y2对应于真(是“挑衅驾驶”)。输出节点y1(假)的输出值是正、输出节点y2(真)的输出值是负时判断为是挑衅驾驶的可能性低，输出节点y1(假)的输出值是负、输出节点y2(真)的输出值是正时“异常条件”成立，判断为是挑衅驾驶的可能性高。

输入节点x对应于输入项目。例如，判断在物体112a与物体112b之间是否发生了“挑衅驾驶”时，输入物体112a的分别在时刻t1、t2、t3、t4时的速度、位置、车的方向、物体112b的分别在时刻t1、t2、t3、t4时的速度、位置、车的方向。另外，也输入物体112a与物体112a的分别在时刻t1、t2、t3、t4时的相对速度和车间距离。

节点与节点的联系的强度(连接度)用“权重系数”表达。各节点的激活函数f(x)用relu(rectifiedlinearunit)函数等已知的函数表达。例如，第1中间节点u11从输入节点x1～xn合计n个节点取得输入值。第1中间节点u11的relu函数取得该n个输入值的合计值作为其输入值x。relu函数f(x)是在x≥0时f(x)＝x、x<0时f(x)＝0的线性函数。

最终，输出值能够表达为将输入项目1～n各自的影响度累积得到的结果。

异常判断装置102的运营者预先对异常判断模型140输入包括相当于挑衅驾驶的动态图像和不相当于挑衅驾驶的动态图像双方的大量动态图像，对于各动态图像输入是否相当于挑衅驾驶。通过这样的控制方法，异常判断模型140进行“监督式学习”，学习挑衅驾驶的判断基准。

图5是表示异常判断时的处理过程的流程图。

图像识别部128从由摄像机104取得的动态图像中提取各种输入值并对异常判断模型140输入。异常判断部130用异常判断模型140实时地判断异常条件是否成立。异常判断模型140在异常条件成立时(s10的y)，对于后方车辆(图2的物体112b)，用具有指向性的无线通信发送“请拉大车间距离”等消息(s12)。对应于物体112b的后方车辆具备接收了该消息时、在驾驶员能够看到的显示器上显示消息的功能。异常条件不成立时(s10的n)，不发送消息。

异常条件成立时的消息的发送目标，不限于驾驶员，也可以是警察等监视者。另外，通知部120在异常条件成立时，也可以对正在进行危险驾驶的后方车辆发送控制信号。后方车辆在接收了该控制信号时，可以受到减速、在路肩停止等强制的控制。

以上基于实施方式对异常判断系统100进行了说明。

根据本实施方式，能够通过对动态图像进行分析而早期且自动地检测出多种“异常现象”。因此，不限于交通违章和事故发生时的事后验证，对可能导致事故的危险驾驶能够早期发现、预防。特别是，“挑衅驾驶”需要基于多辆机动车的关系判断是否相当。本实施方式中，不仅将加工图像110中映出的2辆机动车各自的参数(位置、速度等)、也将2辆机动车的相对的位置关系(车间距离等)作为输入值，由此能够根据多个物体112的关系判断挑衅驾驶这样的异常现象。

认为今后自动驾驶车辆会逐渐普及。自动驾驶车辆自身变得智能是重要的，但认为也需要如有必要则从外部使自动驾驶车辆强制停止的功能。根据本实施方式中的异常判断系统100，不仅对危险驾驶、对正在进行异常动作的机动车也能够基于图像分析早期发现，通过对该车辆发送指示停止、减速的控制信号而预防事故。

另外，本实施方式中，使异常判断模型140学习挑衅驾驶的动态图像，进行监督式学习。因此，异常判断模型140易于识别多种类型的挑衅驾驶。

另外，本发明不限定于上述实施方式和变形例，能够在不脱离主旨的范围内将构成要素变形并具体化。也可以通过将上述实施方式和变形例中公开的多个构成要素适当组合而形成各种发明。另外，也可以从上述实施方式和变形例所示的全部构成要素中删除某些构成要素。

[变形例]

本实施方式中，按用基于多层神经网络(深度学习)的异常判断模型140判断是否发生了挑衅驾驶进行了说明。作为变形例，也可以基于动态图像中包括的多个静止图像的差异判断是否发生了挑衅驾驶。具体而言，图像识别部128通过参考图2(a)至图2(d)的加工图像110，而识别出物体112a和物体112b向同一方向行驶，物体112a对应于前方车辆，物体112b对应于后方车辆。此处，对时刻t1的加工图像110(图2(a))与时刻t2的加工图像110(图2(b))进行比较时，可知物体112b(后方车辆)向物体112a(前方车辆)的右方向移动。另外，对时刻t3的加工图像110(图2(c))与时刻t4的加工图像110(图2(d))进行比较时，物体112b(后方车辆)相对于物体112a(前方车辆)此时向左方向移动。异常判断部130在后方车辆向前方车辆的右方向移动规定值以上、且向左方向也移动规定值以上时，判断“挑衅驾驶”这一异常条件成立。通过这样的控制方法，能够简易且高速地判断是否发生了“挑衅驾驶”。

本实施方式中，作为危险驾驶的一例以“挑衅驾驶”为对象进行了说明。除此以外也可以为了判断“逆向行驶”“违反限速”而准备多个种类的异常判断模型140。判断逆向行驶的情况下，例如可以预先基于规则地设定“机动车a在应当向左行驶的车道中向右行驶”这样的用于检测逆向行驶的异常条件。判断违反限速的情况下，可以根据多个加工图像110中映出的机动车的位置坐标求出推定速度，在该推定速度超过规定速度时，异常判断部130判断为违反限速。

也可以考虑通过用gps(globalpositioningsystem)确认各机动车的速度和行进方向、而检测违反限速和逆向行驶的方法。

除此以外，也可以考虑饮酒驾驶和疲劳驾驶的判断。例如，通过使异常判断模型140学习饮酒驾驶的动态图像，异常判断模型140学习饮酒驾驶特有的机动车的移动方式(例如摇摆方式)。通过进行了这样的学习的异常判断模型140，能够早期检测出存在饮酒驾驶的嫌疑的机动车。通知部120在发现了存在饮酒驾驶的嫌疑的机动车时，如果对警察等通知该状况，则能够预防饮酒驾驶引发的交通事故。

认为如果机动车中装备酒精浓度检测装置则能够更可靠地判断饮酒驾驶。酒精浓度检测装置在车内检测出酒精的气味时，对异常判断装置102等外部装置发送酒精检出信号。但是，即使在检测出酒精气味时，也可能存在仅同乘者饮酒、驾驶员本人并未饮酒的情况。于是，也可以在发送酒精检出信号、且异常判断装置102根据机动车的行驶状态检测出饮酒驾驶的嫌疑时，异常判断装置认为存在饮酒驾驶的嫌疑而对该车辆发送强制进行临时停止等的控制信号。

除此以外，也可以考虑违反交通信号的检测。例如，可以在某一路口是红灯时，在检测出以规定速度以上的行驶速度侵入该路口的机动车时，判断为发生了违反交通信号。

本实施方式中，按通知部120对机动车发送消息进行了说明。作为变形例，通知部120也可以对警察通知正在进行危险驾驶的车辆的物体id。警察可以具备以该物体id为对象的通信手段。然后，警察可以对该车辆用声音等直接通知消息。

异常判断装置102的图像识别部128在发现危险驾驶车辆时，也可以记录号牌、车辆种类等。也可以预先准备登记了机动车的特征信息的数据库，异常判断装置102根据这些检测信息找出危险驾驶车辆。假设异常判断装置102在地点p1检测出机动车c1进行的危险驾驶。异常判断装置102在另一地点p2再次检测出机动车c1时，可以对警察等运营的外部装置通知“在地点p1进行了危险驾驶的机动车c1存在于地点p2”的消息。通过这样的控制方法，异常判断装置102能够记录进行了危险驾驶的机动车的特征，并且在其他摄像机104中再次检测出具有同样特征的机动车时进行通知，所以易于追踪危险驾驶车辆。

异常判断装置102也可以与多个摄像机104连接。例如，假设异常判断装置102根据摄像机104a得到的动态图像识别出发生机动车c2进行的危险驾驶。此时，图像识别部128记录进行了危险驾驶的机动车c2的特征信息。接着，在摄像机104b中检测出相当于该特征信息的机动车c2时，异常判断装置102判断机动车c2是否继续进行危险驾驶。异常判断装置102的异常判断部130可以在识别出在n台(n≥2)摄像机104的监视区域108中、判断为m次(n≥m≥2)以上危险驾驶的机动车时判断为异常条件成立。通过这样的控制方法，与仅用1个监视区域108的动态图像判断危险驾驶时相比，易于更可靠地判断危险驾驶。另外，如果对在摄像机104a中存在危险驾驶的嫌疑的机动车c2进行标记，用其他摄像机104b、摄像机104c在大量机动车中对于机动车c2优先地执行基于异常判断模型140的异常判断，则能够更高速地判断危险驾驶。

本实施方式中，以机动车的危险驾驶为对象进行了说明，但基于动态图像自动检测各种事件的技术能够应用于多种场合。

(1)溺水事故

可以在能够对泳池或海水浴场进行定点观测的位置设置摄像机104。异常判断装置102可以根据此时的动态图像实时地检测溺水的人。具体而言，可以在剧烈地挥手、反复浮起和下沉、持有游泳圈但手离开游泳圈等条件成立时，判断为存在溺水的可能性。

(2)鲨鱼接近

近年来，在海外的海水浴场中游泳者被鲨鱼袭击的事故多发。异常判断装置102可以检测鲨鱼的背鳍的移动，在鲨鱼接近时用鸣响警笛等方法提醒游泳者注意。

(3)海啸前兆的早期发现

可以用人造卫星等对沿岸和近海进行拍摄，根据波浪的上升和下降的状态，检测海啸的可能性。

(4)滑坡可能性的检测

可以对山和悬崖进行定点观测，根据基岩的裂纹和岩石落下检测泥石流发生的可能性。人察觉到泥石流时大多为时已晚。通过检测山上的地形变化，能够在泥石流发生之前进行早期避难。对于雪崩也是同样的。

(5)陨石等落下的检测

用人造卫星对宇宙空间进行观察。可以检测陨石或人造卫星向地球落下，并对地上的系统通知。

(6)军事威胁的早期发现

可以用来自人造卫星的动态图像，检测来自别国的弹道导弹接近、侵犯领空、侵犯领海、非法登陆岛屿等。

(7)路上的人流

可以通过用摄像机104进行定点观测而不仅检测机动车、也检测人的移动。例如，能够检测跟踪骚扰行为、争斗、性骚扰、店铺的排队等。

(8)野鸟的计数

通过用摄像机104进行定点观测，能够对野鸟等特定生物的数量进行计数。

(9)商品的库存盘点

可以对店铺内的商品货架进行定点观测，检测陈列商品的日期时间、顾客拿取的次数、售罄等。另外，可以考虑如果是服装业界，则如果按每件服装计测顾客拿取的次数则对于得知畅销商品是有效的。另外，可以考虑通过以将商品放入带来的袋中等为异常条件进行判断，能够检测盗窃行为。

(10)自动驾驶的辅助

自动驾驶车辆用车载摄像机识别外部状况。但是，认为存在仅用车载摄像机并不充分的情况。例如，自动驾驶车辆的前方车辆是车高较高的卡车的情况下，存在误识别为能够在卡车下的空间中移动的可能性。但是，如果从上空拍摄该自动驾驶车辆和卡车，则在进行基于这样的误识别的自动驾驶时，从异常判断装置102对自动驾驶车辆发送指示减速的控制信号即可。这样，异常判断装置102对于辅助自动驾驶也是有效的。

(11)供应链的自动优化

能够用摄像机104识别配送车辆从哪个仓库出发、选择了哪条路线。在此基础上，异常判断装置102可以对多辆配送车辆通知最佳路径。

(12)拥堵的解决

通过定点观测，异常判断装置102可以计测交通量的变化。对于交通量较多的地点的机动车，异常判断装置102可以一并发送指示速度限制的控制信号，由此确保安全。除此以外，也可以将一部分机动车引导至迂回路线，也可以鉴于拥堵状况对出发前的机动车通知最佳的出发时间。