用于自动检测交通交叉路口的异常的方法和系统与流程

实施例一般涉及交通系统的管理。实施例还涉及基于视频的监控。实施例还涉及交通交叉路口的异常的检测以供管理交通中使用。

背景技术：

随着对治安和安全的增加需求，基于视频的监控系统正用于各种各样的城乡地区。例如，能够针对交通违规、事故、犯罪、恐怖主义、破坏行为和其它可疑活动来收集和分析大量录像。因为这类大量数据的人工分析费用高得惊人，所以存在对开发能够帮助视频数据的自动或半自动解释和分析以用于监控、执法以及交通控制和管理的有效软件工具的迫切需要。

基于视频的异常检测表示识别数据中不符合预计行为并且可能使特殊注意或行动有正当理由的模式的问题。运输领域的异常的检测能够包括例如交通违规、不安全驾驶员/行人行为、事故等。图1-2示出例如从视频监测照相装置所捕获的示范运输相关异常的示图。在图1所示的场景中，无人看管的行李100被示出并且通过圆圈来标识。在图2所示的场景中，车辆示为接近行人130。车辆和行人130均示为通过圆圈围绕。

该模式能够对应于整个视频流，和/或能够在空间或时间上定位。已提出若干方式来检测交通相关异常。一类技术基于对象跟踪。在一种现有技术方式中，得出标称车辆路径，并且在即时交通视频数据中搜索其偏差。车辆路径在训练阶段期间分类为通常遇到的(或标称)类。各种各样的聚类技术能够用于形成类，例如支持向量机(SVM)分类器、基于豪斯多夫距离的分类器、谱聚类或分级聚类。能够跟踪车辆，并且能够在测试或评估阶段期间将车辆路径针对标称类进行比较。与所有标称类的统计有效偏差指示异常路径。

与仅表征空间轨迹路径关联的问题在于，无法识别沿给定路径的车辆轨迹中的变化和异常。为了应对这个问题，能够引入分析各路径类中的特征的第二阶段，以便采集各路径类中的速率统计。但是，对整个路径计算统计，使得无法识别在空间和时间上定位的异常。还能够引入第二特征分析阶段，以便采集沿该路径的各点的车辆速度统计。但是，在对象运动的方向可能是重要因素的一些情况下，这类车辆速度统计可能不充分。

图3示出停车标志交叉路口150的图形视图。图3所示的停车标志交叉路口150包括共用同一路径的轨迹110和120。轨迹110表示从边道向大街左转弯、在停车标志处停靠的车辆。轨迹120表示从大街向边道右转弯、具有极小停靠概率的车辆。轨迹110和120能够分类为相同路径类；但是，沿各轨迹的运动特性极为不同，并且基于路径类中的速度/速率的汇总统计的任何异常检测可能产生不可靠的结果。能够想到其它类似场景，其中沿路径的运动的仔细辨别对于异常检测是必要的。

基于前面所述，我们认为，存在对用于自动检测交通交叉路口的异常的改进系统和方法的需要，如本文将更详细进行描述。

技术实现要素：

因此，所公开实施例的一个方面是提供改进的交通管理方法和系统。

所公开实施例的另一方面是提供改进的基于视频的监控方法和系统。

所公开实施例的另一方面是提供用于自动检测交通交叉路口的异常以供交通控制、管理和/或监控应用中使用的改进方法和系统。

所公开实施例的又一方面是提供改进的轨迹聚类和轨迹异常检测技术。现在能够如本文所述来实现上述方面和其它目的及优点。本文中公开用于自动检测交通交叉路口的异常的方法和系统。标称车辆路径的聚类集合以及标称车辆路径中的标称轨迹的聚类集合能够在离线过程中得出。标称轨迹的聚类集合之中的各标称轨迹中的特征集合能够在离线过程中选择。能够得出指示标称轨迹中的标称车辆行为的特征的概率分布。

能够接收输入视频序列，以及输入视频序列之内的车辆路径、轨迹和特征中的异常的存在能够利用所得出的路径聚类、轨迹聚类和特征分布来检测。

车辆路径能够利用背景减除技术(例如高斯混合模型)来跟踪，以便识别和隔离视频序列的静止区域。然后，blob分析能够用于识别移动车辆的位置以及消除噪声影响。能够计算相关前景像素的数量，以及如果前景像素超过阈值，则能够假定相关段为车辆。blob的质心能够相对时间来计算，以便得到车辆轨迹。该过程能够对数据库中的每一个视频剪辑重复进行，以便提取所有车辆路径。路径能够通过对沿各路径的点进行取样并且定义两个路径上的点之间的对应性，利用基于长度的方式来分类。取样沿路径的长度是等距的。能够对聚类间距离设置阈值，以及如果路径之间的距离处于该阈值之内，则路径处于同一类中，否则将其指配到不同类。

能够通过将单调增加的索引序列指配给沿路径的样本点(称作节点)的每个来执行轨迹聚类，以便基于预定义规则来区分相异车辆轨迹。车辆轨迹则能够按照某个顺序来表征，使得节点提供与车辆运动方向有关的信息。不同轨迹则能够利用聚类技术沿同一路径来分类。轨迹聚类能够用于检测更细微的异常，诸如(例如)超过停车标志然后倒车并且再次向前行驶的车辆、沿标称路径行驶但因另外某种故障/损坏而在停车标志附近之外停车的车辆。

各特征能够基于场景来检测异常，以及各轨迹聚类包括若干单独轨迹。在与沿聚类中的单独轨迹的索引对应的位置所采集的速度数据的概率分布能够对于沿该轨迹的各索引来得出。数据能够利用统计分布(例如高斯混合模型(GMM))来建模。能够在测试阶段期间将在那个对应位置的测试轨迹的特征针对标称分布进行比较。能够识别异常的空间位置，因而向监控操作人员提供有用信息。如果对车辆路径而不是轨迹来执行速度分析，则沿相反方向(例如从大街到边道)移动的车辆的速度数据也能够包含在统计中。这种方式区分沿相同路径但以不同运动轨迹移动的两个车辆。因为轨迹距离定义是简单的，所以评估测试视频剪辑的计算复杂度比较低。

附图说明

图1-2示出运输相关异常的示范视图；

图3示出停车标志交叉路口的透视图；

图4示出按照所公开实施例的计算机系统的示意图；

图5示出按照所公开实施例、包括基于视频的异常检测模块、操作系统和用户界面的软件系统的示意图；

图6示出按照所公开实施例的基于视频的异常检测系统的框图；

图7是示出按照所公开实施例、用于在训练阶段自动检测交通交叉路口的异常的方法的逻辑操作步骤的操作的高层流程图；

图8示出按照所公开实施例的停车标志交叉路口的透视图；

图9示出按照所公开实施例、利用背景减除和blob分析来识别车辆的经处理的视频图像；

图10示出按照所公开实施例、利用blob质心计算和路径偏差来跟踪车辆路径的经处理的视频图像；

图11示出按照所公开实施例的路径长度的等距取样的示意图；

图12示出按照所公开实施例、利用基于路径的距离量度的经处理的视频图像；

图13示出按照所公开实施例、在相似路径上但沿不同轨迹移动的两个车辆的透视图；

图14是示出按照所公开实施例、图13的车辆运动的路径节点访问顺序的图表；

图15是示出按照所公开实施例、在沿轨迹的特定位置的特征(速度)分析的图表；

图16-17是示出按照所公开实施例、相对整个轨迹的速度曲线的图表；以及

图18是示出按照所公开实施例、用于在评估阶段自动检测交通交叉路口的异常的方法的逻辑操作步骤的操作的高层流程图。

具体实施方式

现在将参照附图在下文中更全面地描述实施例，附图中示出本发明的说明性实施例。本文所公开的实施例能够通过许多不同形式来实施，而不应当被理解为局限于本文所述实施例；相反，提供这些实施例以使得本公开将是透彻和全面的，并且将向本领域的技术人员全面地传达本发明的范围。相似标号通篇表示相似元件。本文所使用的术语“和/或”包括关联所列项的一个或多个的任何以及所有组合。

本文所使用的术语仅为了便于描述具体实施例，而不是意在限制本发明。如本文中所使用，单数形式“一”、“一个”和“该”预计也包括复数形式，除非上下文另加明确说明。还将会理解，在本说明书中使用时，术语“包括”和/或“包含”表示存在所述特征、整体、步骤、操作、元件和/或组件；但并不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或上述各项的编组。

本领域的技术人员将会理解，本发明能够作为方法、数据处理系统或计算机程序产品来实施。相应地，本发明可采取完全硬件实施例、完全软件实施例或者组合了本文中全部一般称作“电路”或“模块”的软件和硬件方面的实施例的形式。此外，本发明可采取计算机可用存储介质上的计算机程序产品的形式，介质中包含有计算机可用程序代码。可利用任何适当计算机可读介质，包括硬盘、USB Flash驱动器、DVD、CD-ROM、光存储装置、磁存储装置等。

用于执行本发明的操作的计算机程序代码可通过面向对象的编程语言(例如Java、C++等)来编写。但是，用于执行本发明的操作的计算机程序代码也可通过诸如“C”编程语言之类的常规过程编程语言或者通过诸如(例如)Visual Basic之类的可视化编程环境来编写。

程序代码可完全在用户计算机上、部分在用户计算机上、作为独立软件包、部分在用户计算机并且部分在远程计算机上或者完全在远程计算机上运行。在较后的场景下，远程计算机可通过局域网(LAN)或广域网(WAN)、无线数据网络(例如WiFi、Wimax、802.xx和蜂窝网络)连接到用户计算机，或者可经由大多数第三方支持网络(例如通过利用因特网服务提供商的因特网)进行到外部计算机的连接。

本文中至少部分参照按照本发明的实施例的方法、系统和计算机程序产品的流程图图示和/或框图以及数据结构来描述实施例。将会理解，图示的每个框以及框的组合能够通过计算机程序指令来实现。可将这些计算机程序指令提供给通用计算机、专用计算机或者其它可编程数据处理设备的处理器以产生机器，使得经由计算机或其它可编程数据处理设备的处理器运行的指令创建用于实现在一个或多个框中所指定的功能/动作的部件。

这些计算机程序指令还可存储在计算机可读存储器中，它们能够指导计算机或者其它可编程数据处理设备以特定方式起作用，使得计算机可读存储器中存储的指令产生一种制造产品，该制造产品包括实现一个或多个框中所指定的功能/动作的指令部件。

计算机程序指令还可加载到计算机或者其它可编程数据处理设备上，以便使一系列操作步骤在计算机或者其它可编程设备上执行，从而产生计算机实现过程，使得在计算机或者其它可编程设备上运行的指令提供用于实现一个或多个框中所指定的功能/动作的步骤。

图4-5作为其中可实现本发明的实施例的数据处理环境的示范简图来提供。应当理解，图4-5只是示范性的，而不是要主张或暗示针对其中可实现所公开实施例的方面或实施例的环境的任何限制。可进行对所述环境的许多修改，而没有背离所公开实施例的精神和范围。

如图4所示，所公开实施例可在数据处理系统200的上下文中实现，数据处理系统200包括例如中央处理器201、主存储器202、输入/输出控制器203、键盘204、输入装置205(例如，诸如鼠标、轨迹球和笔类装置等的指示装置)、显示装置206、大容量存储装置207(例如硬盘)、图像捕获单元208和USB(通用串行总线)外设连接211。如图所示，数据处理系统200的各种组件能够通过系统总线210或类似架构以电的方式进行通信。系统总线210例如可以是一种子系统，该子系统在例如数据处理系统200中的计算机组件之间或者向/从其它数据处理装置、组件、计算机等传递数据。

图5示出用于指导图4所示数据处理系统200的操作的计算机软件系统250。主存储器202中和大容量存储装置207上存储的软件应用254一般包括内核或操作系统251以及外壳或界面253。一个或多个应用程序、例如软件应用254可被“加载”(即，从大容量存储装置207传递到主存储器202中)以供数据处理系统200执行。数据处理系统200通过用户界面253接收用户命令和数据；然后可由数据处理系统200按照来自操作系统模块252和/或软件应用254的指令对这些输入起作用。

以下论述预计提供对其中可实现系统和方法的适当计算环境的一般简要描述。虽然不作要求，但是所公开实施例将在由单个计算机所运行的诸如程序模块之类的计算机可执行指令的一般上下文中来描述。在大多数情况下，“模块”构成软件应用。

一般来说，程序模块包括但不限于执行特定任务或者实现特定抽象数据类型和指令的例程、子例程、软件应用、程序、对象、组件、数据结构等。此外，本领域的技术人员将会理解，所公开的方法和系统可采用其它计算机系统配置来实施，诸如(例如)手持装置、多处理器系统、数据网络、基于微处理器或者可编程消费电子产品、连网PC、小型计算机、大型计算机、服务器等。

注意，本文所使用的术语“模块”可表示执行特定任务或者实现特定抽象数据类型的一批例程和数据结构。模块可由两个部分组成：界面，列示能够由其它模块或例程来访问的常数、数据类型、变量和例程；以及实现，通常是秘密的(仅那个模块可访问的)，并且包括实际上实现模块中的例程的源代码。术语“模块”还可以只表示应用，例如设计成辅助执行特定任务(例如字处理、记帐、库存管理等)的计算机程序。

优选地作为图形用户界面(GUI)的界面253还用于显示结果，于是用户可提供附加输入或者终止会话。在一个实施例中，操作系统251和界面253能够在“Windows”系统的上下文中实现。当然能够理解，其它类型的系统是可能的。例如，不是传统的“Windows”系统，对于操作系统251和接口253，而是还可采用诸如(例如)Linux等的其它操作系统。软件应用254能够包括用于自动检测交通交叉路口的异常的基于视频的异常检测模块252。另一方面，软件应用254能够包括指令，例如本文中针对本文所述各种组件和模块所述的各种操作，诸如(例如)图7和图18所示的方法400和900等。

因此，图4-5预计作为示例而不是作为所公开实施例的架构限制。另外，这类实施例并不局限于任何特定应用或者计算或数据处理环境。相反，本领域的技术人员将会理解，所公开方式可有利地应用于各种各样的系统和应用软件。此外，所公开的实施例能够在包括Macintosh、UNIX、LINUX等的各种各样的不同计算平台上实施。

图6示出按照所公开实施例的基于视频的异常检测系统300的框图。注意，在图4-18中，相同或相似部件或元件一般通过相同参考标号来表示。基于视频的异常检测系统300从录像中检测异常或不正常模式302，以便识别不安全驾驶员/行人行为、事故、交通违规、可疑活动等。基于视频的异常检测系统300在其中存在可能沿复杂轨迹移动的多个车辆的一般场景下以及在喧闹和其它背景噪声存在的情况下检测不正常模式302。

基于视频的异常检测系统300一般包括用于捕获在有效视场之内运动的车辆350的图像捕获单元355(例如照相装置)。图像捕获单元355能够经由网络345在操作上连接到视频处理单元305。注意，本文中更详细描述的图像捕获单元355与图1所示的数据处理系统100的图像捕获单元108类似或相似。图像捕获单元355可包括内置集成功能，诸如图像处理、数据格式化和数据压缩功能等。

注意，网络345可采用任何网络拓扑、传输介质或网络协议。网络345可包括连接，例如有线、无线通信链路或者光纤电缆。网络345也能够是表示使用传输控制协议/因特网协议(TCP/IP)协议族来相互通信的一批全球网络和网关的因特网。在因特网的中心是由路由数据和消息的成千上万个商业、政府、教育和其它计算机系统所组成的主要节点或主计算机之间的高速数据通信线的主干。

基于视频的异常检测系统300包括用于自动检测交通交叉路口处的异常302的基于视频的异常检测模块252。基于视频的异常检测模块252还包括数据获取单元310、路径生成单元315、路径聚类单元335、轨迹聚类单元360和特征分析单元375。能够理解，数据获取单元310、路径生成单元315、路径聚类单元335、轨迹聚类单元360和特征分析单元375能够实现为软件模块。

本发明的概念将经由在停车标志交通交叉路口处的异常检测的示例来公开。要理解，概念能够适用于与运输领域相关的各种各样的场景。

在训练阶段中，数据获取单元310采集在停车标志交叉路口处的一段时长的录像。该录像可包括自然以及分阶段事件的组合，使得存在标称和异常活动的充分表示。能够自动提取包含车辆运动和活动390的段，以便生成短视频剪辑的数据库395。这些剪辑的一部分能够用于训练异常检测算法，以及其余数据能够用作测试集。

路径生成单元315和路径聚类单元335利用聚类技术370来生成和聚集一类标称车辆路径。路径经由空间(x-y)坐标的轨迹来定义。聚类技术370能够是例如背景减除320、blob分析325、blob质心计算330和基于长度的方式340。

轨迹聚类单元360经由轨迹分类单元365和聚类技术370来得出和聚集各路径类的轨迹类。将轨迹定义成包含空间和时间维，并且能够捕获空间位置以及运动方向。轨迹聚类单元360实现沿相似空间路径的不同车辆轨迹的消除二义性，以及检测沿某路径的车辆运动中的细微异常302。特征分析单元375分析视频，并且利用特征分析380来计算和分类沿轨迹的适当特征。特征分类则用于特征异常检测385。

一旦训练阶段完成，能够从图像捕获单元355来接收用于异常检测的输入视频序列，以及输入视频序列之内的路径、轨迹和特征中的异常302的存在能够分别利用所得出的路径聚类、轨迹聚类和特征分布来检测。这种方式能够易于通过设计涉及相同车辆路径但相异车辆轨迹的测试视频剪辑来检测/实施。

图7是示出按照所公开实施例、用于在训练阶段构建路径、轨迹和特征类的方法400的逻辑操作步骤的操作的高层流程图。图18示出输入视频序列中分别与路径、轨迹和特征相关异常对应的异常的三阶段检测。能够理解，图7和图18所示的逻辑操作步骤能够经由例如模块(诸如图2所示的模块等)来实现或提供，并且能够经由处理器、诸如(例如)图1所示的处理器等来处理。方法400示出对运输应用的视频异常检测的三阶段框架。在第一阶段，异常路径能够使用路径聚类技术来识别。在第二阶段，异常轨迹能够使用轨迹聚类技术来识别。在一个实施例中，轨迹经由分类索引函数来定义。在第三阶段，能够通过识别相关特征并且使用多维分类技术以得出关于这些特征的类，来检测轨迹中的异常车辆行为。三个阶段产生优良异常检测结果，并且克服了先前方式所遇到的某些限制。

最初，如框410所示，离线过程用于利用聚类技术来生成和聚集一类标称车辆路径。路径生成要求若干视频处理步骤来识别和跟踪车辆，随后进行描述。图8示出按照所公开实施例的停车标志交叉路口500的透视图。交叉路口是两条或更多道路在同一水平面上(它们处于同一水平)汇合或相交的道路交汇。交叉路口可以是3向–T交汇或岔路、4向–十字路口或者5向或以上。停车管制交叉路口具有一个或多个“停”标志。

图9示出按照所公开实施例、利用背景减除320和blob分析325来识别车辆350的经处理的视频图像550。背景减除320识别静止物并且将其与视频序列的移动区域分离。背景减除320例如能够经由高斯混合模型(GMM)来得出。GMM是表示为高斯概率密度函数的加权和的参数概率密度函数。随时间所采集的各像素的强度或颜色值经由GMM来建模。诸如混合中的各高斯分布的变化和持久性之类的参数被连续计算，并且用于确定像素是前景还是背景的一部分。

然后，blob分析325能够用于识别移动车辆350的位置，同时消除噪声影响。blob分析325表示视觉模块，视觉模块旨在检测图像中在例如亮度或颜色等性质方面与周围区域不同的点和/或区域。能够计算相关前景像素的数量，以及如果前景像素超过阈值，则能够假定相关段为车辆350。图9示出利用blob分析325的所检测车辆350的示例。

图10示出按照所公开实施例、利用blob质心计算330和路径偏差来跟踪车辆路径的经处理的视频图像600。blob的质心330能够相对时间来计算和收集，以便得到车辆轨迹。图10示出提取路径的示例。该过程能够对数据库395中的每一个视频剪辑重复进行，以便提取所有车辆路径。

一旦识别了路径，则能够将其聚集到标称路径类中。聚类要求定义路径之间的距离的方式。现在详细描述一个示范定义。首先沿给定路径的长度对该给定路径均匀地取样，以便形成沿该路径的等距点集合。图11示出按照所公开实施例的两个路径长度650的等距取样的示意图。例如，设L定义路径的总长度，N表示样本点的数量，以及T(x)是表示沿路径的与一个端点距离x的点的路径函数。样本点能够如下面等式(2)所示来表示：

随后，对于第一路径上的给定点，我们将第二路径上的对应点定义为最接近第一路径上的点的样本点。形式上，设p为第一路径上的点，以及设c(p,T)定义第二路径上由路径函数T所定义的对应点，定义为：

等式(3)用于建立沿第一路径的所有点p_i的对应对{p_i,C(p_i,T)}。随后，得到各对应对之间的距离。最后，将第一与第二路径之间的距离定义为所有对应对之间的距离的平均数。这是豪斯多夫距离量度的变体。形式上，设D(S,T)定义从S到T的路径距离。然后，能够如等式(4)所示来给出路径S(x)与T(x)之间的距离：

给定路径距离的上述定义，这时能够执行路径的聚类。对聚类间距离设置阈值TH。即，如果路径T与S之间的距离D(S,T)处于阈值TH之内，则将路径S和路径T指配到同一类，否则将其指配到不同类。图12示出按照所公开实施例、利用基于路径的距离量度的经处理的视频图像700。不同轨迹720和730能够通过不同颜色来表示，并且相似路径能够分类为同一类。

对于各路径类，随后如框420所示来定义轨迹类。与仅定义空间坐标的路径相反，将轨迹定义成还包括时间维，并且传送运动方向。在优选实施例中，将单调增加的索引序列指配给沿路径的样本点。该指配按照预定义规则进行–例如开始于最左(或最上)端点并且结束于最右(或最下)端点。这形成分类索引函数。轨迹则定义为其中作为时间的函数的访问样本点的顺序。这种定义实现沿同一路径的不同车辆轨迹的消除二义性。图13示出按照所公开实施例、在相同路径上但沿不同轨迹移动的两个车辆500和750的透视图。图14示出与这两个车辆对应的路径访问顺序。清楚地看到，轨迹提供与沿给定路径的车辆运动的方向有关的重要信息。轨迹能够使用与用于聚集路径相同或相似的方法来聚集和分类。

注意，沿相反方向移动的车辆500和750描述为示出相异轨迹如何能够共用同一空间路径；但是，它们不应当按照任何限制方式来理解。本领域的技术人员将会清楚地知道，所述方式能够用于检测更细微异常，例如超过停车标志然后倒车并且再次向前行驶的车辆或者沿标称路径行驶但因另外某种故障/损坏而在停车标志附近之外停车的车辆。

为了分析和检测轨迹中的车辆运动的其它异常，沿该轨迹的一个或多个适当特征能够利用已知分类技术来得出和分类，如框440所示。能够基于特定场景和应用来采用不同特征。表1示出不同类型的特征以及能够采用这些特征来检测的对应异常302。

在示范实施例中，在停车标志交叉路口的异常能够利用x和y方向的速度作为特征来有效地描述，如图15的图表855所示。注意，在前一个训练步骤中，各轨迹聚类包括若干单独轨迹。能够对沿该轨迹的各索引来得出速度数据的概率分布。分布能够是例如高斯混合模型(GMM)。图表855中的圆圈860的中心表示在沿停车标志附近的给定轨迹的特定空间位置所采集的所有标称速度数据的平均数。圆圈860的半径表示特征的协方差。由于在所有标称情况下，车辆在停车标志附近达到完全或滑行停止，所以标称速度在这个位置接近零。

在测试阶段期间，能够将在那个对应位置的测试轨迹的特征针对标称分布进行比较，如图15所示。点865对应于对没有在交叉路口停车的车辆350所计算的特征。这些点位于在那个位置的标称速度聚类外部(与没有在交叉路口停车的车辆350对应)，并且因而被认为是异常的302。还能够识别异常302的空间位置，因而向监控操作人员提供有用信息。图16-17是示出按照所公开实施例、对整个轨迹的速度曲线的图表870和875。图表870和875示出分别在标称轨迹和异常轨迹中的样本点的速度。

图18是示出按照所公开实施例、用于在评估阶段自动检测交通交叉路口的异常302的三阶段方法900的逻辑操作步骤的操作的高层流程图。能够接收用于异常检测的输入视频序列，以及输入视频序列之内的路径、轨迹和特征中的异常302的存在能够在连续阶段利用所得出路径聚类、轨迹聚类和特征分布来检测，如框910、920和930所示。三阶段方式的优点之一在于，由于在各阶段的计算比较简单，所以用于评估新测试视频剪辑的计算复杂度较低。