一种交通监控复眼动态识别交通事故自我进化系统的制作方法

本发明实施例涉及交通技术领域，尤其涉及一种交通监控复眼动态识别交通事故自我进化系统。

背景技术：

随着中国经济的迅猛发展，中国城市人口规模及城市车辆规模在迅速增长，虽然城市道路也在不断扩容，但却跟上不车辆交通流的喷涌发展。同时，车辆驾驶人的良好习惯还需要长期培养，城市公路上车辆超速、超载、大车违法占道、非紧急情况停车、交通拥堵等诸多问题也逐步凸显出来。复杂的交通环境，让交通道路上发生交通事故数量、伤亡人数呈逐步升高的趋势，给国家和人民群众的生命财产安全造成了重大的损失。

目前交通事故主要通过被动上报，例如，涉事人员电话接警。这种情况会导致长时间拥堵后被动发现，事故不能及时上报到交通指挥处理人员，而接到事故报警到警员到达现场，并完成事故处理，这个过程相对缓慢，非常容易造成事故后的二次性交通损失，例如交通拥堵或二次事故。

技术实现要素：

本发明实施例提供一种交通监控复眼动态识别交通事故自我进化系统，用以提高交通事故发现的效率，以便及时处理交通事故，避免造成交通拥堵或二次事故。

第一方面，本发明实施例提供一种交通监控复眼动态识别交通事故自我进化系统，包括：

单眼交通事故甄别检测系统、区域自组织复眼精准识别系统、交通领域知识库和云控制决策中心；

所述单眼交通事故甄别检测系统用于检测分析交通道路的交通流量，识别异常车辆，并将所述异常车辆的信息上报给区域自组织复眼精准识别系统；

所述交通领域知识库用于向所述单眼交通事故甄别检测系统和所述区域自组织复眼精准识别系统提供交通领域知识数据库；

所述区域自组织复眼精准识别系统用于根据所述异常车辆的信息判断发生交通事故的可信度，并在所述发生交通事故的可信度大于阈值后，上报给所述云控制决策中心，供交通事故处理决策使用。

上述技术方案中，通过单眼交通事故甄别检测系统先检查出疑似交通事故的异常车辆，然后再由区域自组织复眼精准识别系统进行精细的多角度多层次结合先验交通知识来准确判别交通事故发生的可信度，从而可以精确的识别出交通事故，提供了交通事故识别的效率和准确率。

可选的，所述单眼交通事故甄别检测系统包括智能交通场景分割模块、车辆目标跟踪模块和离群车辆异常检测模块；

所述智能交通场景分割模块用于识别交通道路中功能区和关键实体的像素分割，得到所述交通道路中物体类别集合；

所述车辆目标跟踪模块用于跟踪所述物体类别集合中目标车辆的轨迹；

所述离群车辆异常检测模块用于根据所述目标车辆的轨迹确定所述目标车辆是否偏离车道，若是，则将所述目标车辆确定为异常车辆。

可选的，所述车辆目标跟踪模块用于使用多目标检测模型从所述物体类别集合识别出目标候选框，根据所述目标候选框得到质心位置，根据所述质心位置确定所述目标车辆的轨迹。

可选的，所述离群车辆异常检测模块用于根据所述目标车辆的轨迹，实时计算第t时刻与前t-1时刻的所述目标车辆的余弦偏离距离，在确定所述目标车辆的行驶状态异常时，将所述目标车辆确定为异常车辆。

可选的，所述区域自组织复眼精准识别系统包括多角度高分辨率精细识别模块、知识库推理应用模块和交通场景上下文模块；

所述交通场景上下文模块用于通过交通主体动态运动检测模型检测交通主体的动作以及识别交通主体的运动轨迹；

所述知识库推理应用模块用于依据交通知识库进行启发式推理；

所述多角度高分辨率精细识别模块用于根据所述异常车辆的信息调用事故检测模型检测所述异常车辆的受影响车身的位置，根据所述受影响车身的位置和所述交通知识库中的信息，确定所述异常车辆的发生交通事故的可信度。

可选的，所述多角度高分辨率精细识别模块在确定所述事故检测模型无法检测出所述异常车辆的受影响车身的位置时，通过色块聚类分析法确定出所述异常车辆的车辆变形或变色区域，根据所述异常车辆的车辆变形或变色区域的位置以及所述交通知识库中的信息，确定所述异常车辆的发生交通事故的可信度。

可选的，所述多角度高分辨率精细识别模块在确定所述色块聚类分析法无法确定出所述异常车辆的车辆变形或变色区域时，通过人员动作检测模型检测出所述异常车辆的乘坐人的动作，根据所述乘坐人的动作确定所述异常车辆的异常位置，根据所述异常位置和所述交通知识库中的信息，确定所述异常车辆的发生交通事故的可信度。

可选的，所述交通领域知识库包括启发式推理算子模块、动态知识提取模块和交通规则自学习模块；

所述启发式推理算子模块用于为知识库的推理应用提供启发式推理算子；

所述动态知识提取模块用于交通领域的知识提取；

所述交通规则自学习模块用于使用神经网络模型学习交通规则，得到交通规则知识库。

可选的，所述云控制决策中心包括模型精细训练模块和边缘模型更新模块；

所述模型精细训练模块用于训练所述单眼交通事故甄别检测系统和所述区域自组织复眼精准识别系统使用的各种网络模型；

所述边缘模型更新模块用于优化所述单眼交通事故甄别检测系统和所述区域自组织复眼精准识别系统使用的各种网络模型。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种交通监控复眼动态识别交通事故自我进化系统的结构示意图；

图2为本发明实施例提供的一种交通功能区域的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例所适用的一种交通监控复眼动态识别交通事故自我进化系统的结构，如图1所示，该系统可以包括单眼交通事故甄别检测系统100、区域自组织复眼精准识别系统200、交通领域知识库300和云控制决策中心400。

其中，单眼交通事故甄别检测系统100用于检测分析交通道路的交通流量，识别异常车辆，并将异常车辆的信息上报给区域自组织复眼精准识别系统200；交通领域知识库300用于向单眼交通事故甄别检测系统100和区域自组织复眼精准识别系统200提供交通领域知识数据库，区域自组织复眼精准识别系统200用于根据异常车辆的信息判断发生交通事故的可信度，并在发生交通事故的可信度大于阈值后，上报给云控制决策中心400，供交通事故处理决策使用。

在实际应用过程中，单眼交通事故甄别检测系统100，在平时，负责指定方向一个或多个方向车道车流的异常行为检测，当发现异常事件时，通知区域自组织复眼精准识别系统200，区域自组织复眼精准识别系统200通过深度强化学习得到的复眼摄像机动作控制模型，以最优行动路径，调动区域中的交通监控或治安监控相机从不同侧面聚焦到疑似交通事故的目标点位上，实现疑似事故现场多角度采样。区域自组织复眼精准识别系统200根据现场采样得到的现场特征，开始启发式搜索中心交通状态与事故知识库，实现交通事故记性式推理判断，从而达到多角度多层次结合先验知识的事故采样与准确事故判别的目标。

单眼交通事故甄别检测系统100运行在路口或路段的边缘计算服务器上，它独立快速分析接入每一路，检测分析路面交通流量，识别异常，发现交通事故后，上报区域自组织复眼精准识别系统200，区域自组织复眼精准识别系统200综合多角度的复眼精准识别系统的分析，最终判断发生交通事故可信度，当发生交通事故可信度超过指定阈值后(例如85％)时，上报云控制决策中心400，供交警事故处理决策使用。

具体的，如图1，上述单眼交通事故甄别检测系统100可以包括智能交通场景分割模块110、车辆目标跟踪模块120和离群车辆异常检测模块130。

其中，智能交通场景分割模块110用于识别交通道路中功能区和关键实体的像素分割，得到交通道路中物体类别集合。

在具体应用过程中，智能交通场景分割模块110可以综合路标检测算法与交通场景实例分割算法，实现识别交通道路功能区与关键实体的像素分割，包括不同的车道实例，转向标志、行人斑马线、路口区域等。如图2所示的交通功能区。交通道路功能区分割的格式定义为l：＝{0，...，l-1}编码的l个语义类的预定集合，语义类是智能交通控制领域中，涉及的关键要素，例如车道n、斑马线、左转标志、直行标志、车辆、人行道功能区与交通实体等，分割算法来将图像的每个像素i映射到数据对(li，zi)∈l×n，其中li表示第i像素的语义类别和zi表示它的实例id。zi的同一类像素组成不同的段。真值注释的编码方式相同。可以为模糊或不合格的像素分配特殊的空白标签；也就是说，并非所有像素都必须具有语义标签。

物料与物体标签。这里物料类，指当前项目中不需要考虑的天空、树冠等，而物体是指对本项目智能交通分析控制有用的交通标志标识以及交通参与实体。标签集l^st代表物料类，通过使用空标签表示，标签集l^th代表交通标志与实体，有明确的功能定义。语义标签集包括子集l^st和l^th，使得交通场景标签全集l＝l^st∪l^th，并且即交集为空。当像素被li∈l^st标记，它其相应的实例idzi是无关联的。也就是说，对于物料类，所有像素都属于同一实例，使用空白标签表示。否则，在li∈l^th情况下，被分配相同数据对(li，zi)的所有像素，属于同一实例(例如，同一辆车)，对过来也成立，属于同一个实例的所有像素必须有同样的数据对(li，zi)。

交通场景分割过程中，要为图像中的每个像素分配一个语义标签。如果真值未指定实例，或者所有类都是物料类。分割任务只允许为每个像素分配一个语义标签和一个实例id不能构造重叠片段。

定义好交通场景分割指标，以便更准确真实的评估分割任务，它需要考虑以下的度量标准：

完整性：度量标准应该以统一的方式处理事物类，捕获任务的各个方面。

可解释性：我们寻求一种具有可识别含义的度量标准，以促进沟通和理解。

简单性：此外，该指标应易于定义和实施。这样可以提高透明度，并易于重新实现。与此相关的是，该度量应该有效地计算以实现快速评估。

在这些原则的指导下，预测交通场景分割质量将涉及以下两个步骤：

(1)分割段匹配：

指定预测分割段和真值分割段只有在它们的联合交并集(iou)严格大于0.5时才算是匹配，而且交通场景分割段不能重叠，分割段需要是唯一的匹配，也就是至多有一个预测的分段与一个真值分割段匹配。

(2)给定匹配项下的指标计算：

独立计算每个分割段类的指标，并且计算类分割指标的平均值。这使得指标对类不平衡不敏感。对于每个分类，唯一匹配将预测和真值分段分为三组：真阳性(tp)，假阳性(fp)和假阴性(fn)，分别代表分段的匹配对，不匹配的预测分段和不匹配真值段。给定这三组，分割指标(segmentindex，si)定义为：

si很直观：是匹配分割段的平均iou，而被添加到分母中以惩罚没有匹配的分割段。请注意，无论其区域大小，所有部分都具有同等的重要性。

上述车辆目标跟踪模块120用于跟踪物体类别集合中目标车辆的轨迹，具体是使用多目标检测模型从物体类别集合识别出目标候选框，根据目标候选框得到质心位置，根据质心位置确定目标车辆的轨迹。

举例来说，记交通领域中需要从图片中检出的物体类别集合为c＝{c1，c2，c3，.....，cn}，其中ci(i＝1，2，3，n)表示第i类识别目标物体，比如，私家车、公共bus，自行车、三轮车，行人等，这些都各代表一个目标物体的类别。

记时间序列为t＝{t1，t2，t3，......，tm}，其中tj表示时间采样序列中第j个采样值。

通过使用多目标检测模型，在第tj从发现类别为ci的目标物体，得到目标候选框ab(anchorbox)：[x，y，w，h]，这里x，y分别表示目标锚点的在图片上横向和纵向坐标，w，h分别是候选框的宽度与高度。根据这个目标候选框，得到一个质心位置

记不同类别物体队列q＝{q1，q2，q3，......qk}，其中qk表示一个检出物体属于类别集合中ck类的对象的队列集合，qk＝{o1，o2，o3，......}，o1，o2，o3分别是属于ck类的检出对象。

定义t时刻第k类组成的检出对象队列q(t，k)，t-1时刻第k类组成的检出对象队列q(t-1，k)。将q(t-1，k)和q(t，k)中检出对象进行两两计算，得到距离集合l＝{l(1，2)，l(1，3)...l(i，j)...}，其中l(i，j)表示检出对象队列q(t-1，k)的第i个对象和q(t，k)中第j个对象之间的距离，q(t-1，k)和q(t，k)队列中检出对象的数量分别是m和n。

假设通过argmin(q(t-1，k)和q(t，k)对象之间的距离函数)，取最短距离的max(m，n)个元素，从而得到q(t-1，k)和q(t，k)队列中，确定同类不同检出对象在时序相接的ti-1和ti时刻，哪两个对象是同一个不同时刻出现的检出对象。

根据同一个对象oi在tj-1和tj不同的轨迹点(xj-1，yj-1)与(xj，yj)计算轨迹向量计算和的余弦距离且中θ代表两个梯度向量的夹角。

上述离群车辆异常检测模块130用于根据目标车辆的轨迹确定目标车辆是否偏离车道，若是，则将目标车辆确定为异常车辆。具体为根据目标车辆的轨迹，实时计算第t时刻与前t-1时刻的目标车辆的余弦偏离距离，在确定目标车辆的行驶状态异常时，将目标车辆确定为异常车辆。

举例来说，将智能交通场景分割模块110分解出的同一车道区域，在相同车道区域内检测出来的车辆归到同一簇中。

在同一簇中的车辆，计算簇内车辆在t时刻的梯度向量并计算与前一时刻的余弦距离，如果同一车道内的车辆，保持固定方向行驶，那么θ角应该为零，cosθ＝0，前后两时刻的余弦距离为0。

根据车辆目标跟踪轨迹，计算各目标车辆的质心位置的速度相关量。例如以速度计算为例，以(加权像素/秒)来表示，加权系数由同一目标ci在摄像机图像中检测出的边界框面积si的速度vi做为基准，在跟踪序列中t时刻检测边界框面积为s′(t，i)，像素移动速度v(t，i)，那么t时刻的速度相关量即为再目标ci的采样速度集{v′(t，i)}，计算得到采样点上加速度

同一检测车道区域内的车辆，不断实时计算t时刻车辆余弦偏离距离、速度、加速度，行驶状态，一旦发现行驶状态与区域内车辆不同，尤其是出现同区域内其他车辆按照预期行进，则状态异常区域内的目标车辆列入异常车辆。

如图1所示，区域自组织复眼精准识别系统200可以包括多角度高分辨率精细识别模块210、知识库推理应用模块220和交通场景上下文模块230。其中，交通场景上下文模块230用于通过交通主体动态运动检测模型检测交通主体的动作以及识别交通主体的运动轨迹。知识库推理应用模块220用于依据交通知识库进行启发式推理；多角度高分辨率精细识别模块210用于根据异常车辆的信息调用事故检测模型检测异常车辆的受影响车身的位置，根据受影响车身的位置和交通知识库中的信息，确定异常车辆的发生交通事故的可信度。

此外，多角度高分辨率精细识别模块210在确定事故检测模型无法检测出异常车辆的受影响车身的位置时，通过色块聚类分析法确定出异常车辆的车辆变形或变色区域，根据异常车辆的车辆变形或变色区域的位置以及交通知识库中的信息，确定异常车辆的发生交通事故的可信度。

进一步的，多角度高分辨率精细识别模块210在确定色块聚类分析法无法确定出异常车辆的车辆变形或变色区域时，通过人员动作检测模型检测出异常车辆的乘坐人的动作，根据乘坐人的动作确定异常车辆的异常位置，根据异常位置和交通知识库中的信息，确定异常车辆的发生交通事故的可信度。

在本发明实施例中，事故识别模型在交通场景实例分割所建立起来的交通背景下，通过离群车辆异常检测模块130在低分辨率目标视频流中，快速筛检疑似交通异常或事故。区域自组织复眼精准识别系统200得到疑似交通事故(异常车辆)上报时，调用区域内(尤其是路口区域)摄像机监控，从各角度聚焦疑似交通事故车辆，拍摄高分辨率的目标车辆及其周边环境的实时视频，结合后台交通知识库，分析这些多维度实时视频，精细化检测交通事故。从技术上，需要解决几个关键领域的知识表达与推理：

一、交通场景上下文：

通过视频图像的实例分割处理，得到区域集合：

区域r：{

区域id：regionid；

监控唯一标识：cameraid；

预置位：{pan，tilt，zoom}；

区域范围：{(x1，y1)，(x2，y2)，(x3，y3)...}；

}。

区域静态属性rp：{

区域id：regionid；

区域类型：{左转车道、左直车道、直行车道、直右车道，右转车道，公交车道，人行道...}；

...，

}。

具有动态调整的潮汐车道，根据动态指示标识确定：

区域动态态属性rp：{

区域id：regionid；

时段：{指定时间段，通过是上下游路口信号周期的3～5倍，或者固定10分钟，例如：2020年6月6:00-6:10}；

关键属性：{时段平均车速，车辆构成比例(机动车、非机动车)，行人过街数量，道路施工，车道}；

交通关联规则：知识启发式推理激活关联规则；

}。

建立交通主体动态运动检测模型，包括车辆运动检测模型、人员动作检测模型等。建立交通主体关键运动组件的mdnn(motiondetectionneuralnetwork，动作识别神经网络)与mpnn(motionpredictionneuralnetwork，动作预测神经网络)两部分，mdnn负责根据输入的视频帧序列，准确的识别车辆或人的动作，mpnn负责预测随后的时间内，交通主体的可能运动轨迹。

训练mdnn和mpnn时，需要先将车辆的运动组织，如车轮，或者人员的手、眼、头、关节等进行标注，并对录像产生的帧序列进行运动标注，建立起关键运动组件与动作、预期轨迹之间的关系，通过深度学习神经网络学习动作模式。

当处于高密度的交通环境中，交通主体之间的遮挡经常会发生，mpnn网络可以通过未遮挡时刻的预测，评估交通主体后续动作，以及动作之间的逻辑关系。

这些动作检测与预测包括车辆行驶方向、身体运动趋势、手与胳膊指向的方向、眼睛看向的方向等。

在通过离群车辆异常检测发现疑似区域后，回溯异常发生前1分钟的历史视频，通过车辆动作检测mdnn和mpnn网络模型分析可能涉事车辆，结合交通知识库，初步推测交通事故可能及类型。

交通知识库分为两部分：

(1)道路交通规则库：

规则以算子operator的形式定义，定义不同规则下车辆正常的行为规则，比如直行车道只允许车辆直行；行进方向上红灯时，不能进入交叉口。

在需要推理时，通过factory模式为不同区域的不同实体，创造不同的规则实例进行实时启发式推理。

(2)交通实体属性库：

这里面包括不同交通实体，尤其是车辆相关属性，包括不同车型不同款式的3d模型、车辆行驶速度、载客量、历史交通违法信息等。其中3d模型的建立，需要根据人为标注车辆关键的轮廓及关键活动件连接处。

在获得疑似交通异常区域的高分辨率多角度的视频流后，将调用事故检测深度学习模型，检测受影响车身的位置。如果模型无法检测得，则通过传统色块聚类分析方法，首先从知识库中检索疑似事故360度全方位车型图，根据车头方向角度，对比匹配关键活动组件，寻找车辆变形或变色区域，针对变形与变色区域，采用色差平方和来表示影响度的大小，调节影响度来决定事故的严重程度。

如果无法检测到车辆变形或变色区域，或者由于遮挡，或者刮擦很轻无法识别通过摄像机检测到，则通过人员动作检测的mdnn和mpnn网络，检测车辆出来人员的动作特性。如果涉事车辆下车人员同时存在手指动作指向某一位置，或者多人都检测车辆相似位置，同时根据知识库中的信息，正常情况车辆不会在此停车，则判断发生交通事故。

上述交通领域知识库300包括启发式推理算子模块310、动态知识提取模块320和交通规则自学习模块330。启发式推理算子模块310用于为知识库的推理应用提供启发式推理算子。动态知识提取模块320用于交通领域的知识提取。交通规则自学习模块330用于使用神经网络模型学习交通规则，得到交通规则知识库。

上述云控制决策中心400包括模型精细训练模块410和边缘模型更新模块420。模型精细训练模块410用于训练单眼交通事故甄别检测系统100和区域自组织复眼精准识别系统200使用的各种网络模型；边缘模型更新模块420用于优化单眼交通事故甄别检测系统100和区域自组织复眼精准识别系统200使用的各种网络模型。

当事故检测结果一旦确认将收集事故发生前1分钟，到事故结束的视频，上传云控制决策中心400，加入训练数据集，系统检测为事故，但未被确认的视频，做为负样本加入到训练数据集中。

云控制决策中心400以当前事故检测模型作为神经网络原型，训练两个模型：

以事故检测准确率和定位准确率为关键指标的神经网络：

针对云端积累的训练数据集，人工标注视频中事故碰撞或刮擦等影响的位置，通过调整神经网络的感知域、以及将浅层网络与全连接层直连等方式，训练准确更优的神经网络检测模型。

以第一个模型为基础，训练计算复杂度低性能更优边缘事故检测模型：

将神经网络进行剪枝、二值化网络等后，不断训练调优，选择准确率最高，性能更优的检测模型，更新到边缘区域自治网络中。

本发明实施例根据城市道路交通流运行特点，基于现有的城市道路交通视频布设特点，充分分析路段和交叉口不同位置的交通视频监控，从多维度，由粗到精的识别交通事故，由单个交通视频监控首先进行快速交通事故疑似检测，然后通过区域内其他监控从不同角度聚焦事故疑似区域，从多角度更精细的检测交通事故及其严重程度。同时考虑到交通事故是小概率事件，收集几万到几十万的样本是非常困难的事，所以在方案中，在深度学习模型检测事故精度未达到95％前，同时结合传统机器学习辅助事故检测模型的升级改进，例如，使用的色块聚类检测车辆受损区域，受损区域色差平方表达受损严重程度。一旦事故正负样本被收集到云端，将进一步训练升级尝试学习模型。

既考虑深度学习神经网络在识别分析交通事故方面的强大特征提取能力，又考虑到训练尝试学习神经网络需要解决的样本问题，同时结合了交通实际场景中监控的安装布设的特点，以及区域监控群控制协调检测交通事故，综合性自我演进的方案，将不断提升对交通事故的检测能力，对降低交通事件造成的损失，具有十分重要的意义。

本发明实施例表明，该交通监控复眼动态识别交通事故自我进化系统包括单眼交通事故甄别检测系统、区域自组织复眼精准识别系统、交通领域知识库和云控制决策中心，单眼交通事故甄别检测系统用于检测分析交通道路的交通流量，识别异常车辆，并将异常车辆的信息上报给区域自组织复眼精准识别系统，交通领域知识库用于向单眼交通事故甄别检测系统和区域自组织复眼精准识别系统提供交通领域知识数据库，区域自组织复眼精准识别系统用于根据异常车辆的信息判断发生交通事故的可信度，并在发生交通事故的可信度大于阈值后，上报给云控制决策中心，供交通事故处理决策使用。通过单眼交通事故甄别检测系统先检查出疑似交通事故的异常车辆，然后再由区域自组织复眼精准识别系统进行精细的多角度多层次结合先验交通知识来准确判别交通事故发生的可信度，从而可以精确的识别出交通事故，提供了交通事故识别的效率和准确率。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。