专利名称：基于混杂特征的交通流信息感知方法及系统的制作方法
技术领域：
本发明属于智能交通领域，尤其涉及到基于视频信号分析、图像特征提取以及统计学习理论的交通信息流感知方法及系统。
背景技术：
随着全国交通系统的发展，逐渐增多的车辆给交通系统带来了极大的压力。早期对交通智能监管系统主要依靠环形检测线圈检测车辆，通过光缆传输交通实时视频。这样的设施在短距离公路具有较大的实用性，但是对大范围的交通网络而言，其成本过高。基于视频的智能交通系统(ITS)在近年来发展较快，很多国内外大学和企业致力于研发基于视频的智能交通系统的实际应用产品。基于视频的ITS的优点在于设施成本比较低，铺设方便，可以利用但摄像头观测较大范围内的交通信息。但是基于视频的交通场景分析在具体实现时存在以下问题采集的是视频信号， 其中图像中的目标是实际道路上目标的二维投影，确定图像处理的结果与实际交通信息之间的关系通常会存在误差，这会影响交通场景分析的准确性；基于视频的场景分析通常采用的方法是运动检测，例如帧差法和背景差法，这些方法在光线、雨雪天气场景下的分析效果很差。近年来出现了基于特征的统计学习目标检测技术，并得到了较快的发展。基于特征的统计学习的目标检测算法能抵抗光线变化、强噪声干扰等。但是存在的问题是对场景的敏感性较大。在交通场景的分析中，不同的道路级别的交通场景之间差别很大，车辆的形状也不同。例如，在城市道路中常见的车辆为轿车和大巴，在一级公路、二级公路上常见的车辆为卡车、拖车。针对不同的交通场景需要分别训练。这在操作上使得基于特征的统计学习的交通场景分析算法变得很繁琐，在一定程度上限制了这种方法的实用性。
发明内容
鉴于此，本发明的主要目的为提供基于混杂特征的交通流信息感知方法及系统， 分析对象为交通场景的视频信号。本发明中对图像进行Harris (Chris Harris于1988 年提出了在图像中角点的方法，称此角点检测方法为Harris角点补充中文释义)角点特征提取，充分采用统计学习的方法，推断视频图像中像素坐标与世界坐标系中坐标之间的变换关系；为了弥补传统运动检测算法鲁棒性低以及基于特征的统计学习的检测算法对环境的敏感性，本发明结合这两种算法，即在较好的天气环境条件下用运动检测检测车辆，并将检测结果作为统计学习的样本，离线提取训练样本的Haar-Iike (中文通常称Haar-Iike 为类哈尔小波特征，是用在图像中物体识别的一种图像特征，补充中文释义)特征，得到的 Haar-Iike (中文通常称Haar-Iike为类哈尔小波特征，是用在图像中物体识别的一种图像特征补充中文释义)特征用于在线检测，在这样的诱导性学习机制下，系统的鲁棒性和环境适应性将得到极大提高。
为达到上述目的一方面，提供一种有效的基于混杂特征的交通流信息感知方法， 其特征在于包括以下步骤
利用Harris角点特征实现对摄像头的自动标定，适应无标准尺寸参照物的场景，使系统能适应绝大部分的交通场景；
获取车辆样本，该样本作为训练的输入，提取并训练车辆样本中的Haar-Iike特征，生成特征信息库；
利用离线操作单元的特征信息库进行车辆实时检测； 进行车辆前后帧追踪，记录车辆在观测区域内的状态信息，设置车辆置信度； 根据车辆置信度进行交通流信息的统计，并创建交通流信息文件； 根据检测到的车辆在线地更新车辆图像库。本发明的另一目的在于提供一种基于混杂特征的交通流信息感知系统，其特征在于所述系统包括
离线操作单元2000 利用Harris角点特征实现对摄像头的自动标定，适应无标准尺寸参照物的场景，使系统能适应绝大部分的交通场景；获取车辆样本，对车辆样本进行特征提取与训练，生成特征信息库；
在线分析单元2100 利用离线操作单元2000的特征信息库进行车辆实时检测，进行车辆追踪，设置车辆置信度，根据车辆置信度进行交通流信息的统计，并创建交通流信息文件，同时根据检测到的车辆在线地更新车辆图像库。其中离线操作单元2000包括
基于Harris角点的摄像头标定器2010 利用Harris角点特征实现对摄像头的自动标定，适应无标准尺寸参照物的场景，使系统能适应绝大部分的交通场景； 车辆样本获取器2020 获取得到图像中的样本，该样本作为训练的输入。车辆Haar-Iike特征提取器及训练器2030 提取并训练样本中的Haar-Iike特征，生成特征信息库。车辆Haar-Iike特征信息库2040 包含了训练得到的Haar-like特征库，该库用于车辆的在线检测；
其中，在线分析单元2100包括 交通视频采集器2110 采集实时交通视频流；
车辆检测器2120 使用Haar-Iike特征信息库，进行车辆在线准实时检测； 车辆前后帧追踪器2130 车辆前后帧追踪，记录车辆在观测区域内的状态信息； 车辆检测置信度更新器2140 根据车辆检测结果设置并更新车辆存在置信度； 交通流信息更新器2150 更新车辆状态信息，根据一段时间内缓存的车辆状态信息等，创建交通信息流文件；
车辆图像在线更新器2160 根据检测到的车辆在线地更新车辆图像库。有益效果本发明的交通信息感知方法及系统的优点在于通过利用图像中 Harris角点特征的自动标定以及通过分析视频中车辆的运动状态推断当前观测区域在世界坐标中的状态；采用运动检测方法收集观测区域的车辆样本，并提取车辆样本的 Haar-Iike特征、利用统计学算法建立车辆检测的Haar-Iike特征信息库；在利用此特征信息库检测车辆时，首先粗略地检测视频中的运动区域，这减小了车辆检测的搜索范围，然后再运动区域中检测车辆；在车辆追踪过程中，根据不同的追踪状况调整车辆存在性的置信度，这种非线性的车辆检测可靠性判决准则，能有效地抵抗车辆部分遮挡、路面干扰物等影响。
图1基于混杂特征的交通流信息感知方法及系统的方法流程图
图2为本发明实现基于Harris角点特征对摄像头进行标定的实现流程图； 图3为本发明实现根据车辆运动检测的结果更新车辆图像样本，并基于车辆图像样本的Haar-Iike特征提取及特征训练的实现流程图4为本发明实现基于车辆图像的Haar-Iike特征信息的车辆实时检测的过程的流程
图5为本发明实现采集系统对一段时间内采集的车辆信息汇总、生成交通信息流文件，并定时向服务器发送交通信息流文件的流程图6为本发明创建交通信息流文件，同时根据检测到的车辆在线地更新车辆图像库的过程的流程图7为本发明的用于基于混杂特征的交通流信息感知的设备的方框图，图中各标记意义如下离线操作单元2000、在线分析单元2100、基于Harris角点的摄像头标定器2010、 车辆样本获取器2020、车辆Haar-Iike特征提取器及训练器2030、车辆Haar-Iike特征信息库2040、交通视频采集器2110、车辆检测器2120、车辆前后帧追踪器2130、车辆检测置信度更新器2140、交通流信息更新器2150、车辆图像在线更新器2160。
具体实施例方式本发明实现基于Harris角点特征对摄像头进行标定的实现流程图如图2所示，包括
步骤101 提取观测范围内当前帧中车辆的Harris特征点集合，记为Pi=^ ρ…pt，Ni}， 其中Ni表示当前帧中提取得到的特征点个数，中包含了第i个特征点的位置等信息；
步骤102 设前一帧图像中车辆上的特征点集合为Pg= {p^p "Tt^J,其中I表示特征点个数，利用KLT特征点追踪算法，对前一帧和当前帧中提取的特征点进行一一匹配； 步骤103 记录每个特征点在前后帧图像上的位移大小，记不同位置上的特征点的位移大小为ClPt=Wpiil, ···，(! 。}，这里的位移是以像素为单位的，k表示前后帧中匹配的特征点的个数；
步骤104 重复以上步骤，获取足够多的特征点位置及位移大小，这里的特征点位于不同车辆上，记为Kp1, dPl); (p2, dp2);…；(pN, dpN)}，其中Pi表示特征点在图像上的的位置，dPi表示特征点在图像上的位移；例如，在图像上由近及远的三个位置的坐标为(10， 20)，(10，30)，(10，40)，三个位置上的特征点在前后两帧的(像素)位移分别为5，3. 5，2， 则记为(10，20，5)，(10，30，3. 5)，(10，40，2)；
步骤105 假设在观测区域内不同车辆的运动速度差异不大，则Clp1，…dpN对应的世界坐标系中的大小应差异不大，根据这个假设可以估计图像上不同位置的像素单位的尺寸与世界坐标系中的实际尺寸大小的比例系数随位置变化的规律Kp1, c); (p2,CO2);…；(pN，e<%)}，其中c为常数，％为比例系数的变化因子；例如104中所举的例子， 图像上坐标为(10，20)，(10，30)，(10，40)的特征点，在世界坐标系中对应的车辆的前后帧运动距离可以认为是相同的，假设为10米。则(10，20)处的像素单位的尺寸与世界坐标系中的实际尺寸大小的比例系数为c=10/5=2，(10，30)处的比例系数为5/3. 5c，(10， 40)处的比例系数为H本发明实现根据车辆运动检测的结果更新车辆图像样本，并基于车辆图像样本的 Haar-Iike特征提取及特征训练的实现流程，如图3所示，包括
201利用运动检测结果收集较长时间内观测区域内的车辆图像，作为以下训练过程的正样本，选择与正样本数量相当的无关图像作为以下训练过程的负样本；
202提取正负样本的Haar-Iike特征向量，利用AdaB00st(是一种迭代算法，其核心思想是针对同一个训练集训练不同的弱分类器，然后把这些弱分类器集合起来，构成一个更强的最终分类器。补充中文释义)算法对特征进行学习，形成识别车辆的Haar-Iike特征信息库；
203:利用学习得到的Haar-Iike特征信息库，检测车辆并循环更新车辆图像样本，用以进一步特征提取及特征训练。本发明实现基于车辆图像特征信息的车辆实时检测的过程的流程，如图4所示， 包括
301对前后图像做帧间差操作，获得前一帧图像与当前帧之间的帧间差图像，记为 dip其像素组成为dlji，j) = | 1,(1, j) - 1^(1, j) I，其中t代表图像帧的时间标号，i 表示图像像素行号，j表示图像像素列号，Ii为当前图像，。为前一帧图像，ClIi为帧间差图像，具体为两帧差的绝对值构成的图像，Ii (i，j)就表示时刻t的图像I在位置(i，j)的像素值，ClIi (i，j)就表示时刻t的帧间差图像在位置(i，j)上的像素值；
302根据ClIi图像上每一像素点大小，对当前帧图像做如下调整，其过程为若ClIi (i， j) < \，贝Ijlji，j) = 0，例如，图像二值化阈值1\的值可以取为20;否则，IJi，j)不做改变，这种方式缩小了车辆检测在图像中的搜索范围；
303根据202或203中产生的Haar-Iike特征信息库，在Ii中检测车辆。本发明实现感知装置对一段时间内采集的车辆信息汇总、生成交通信息流文件， 并定时向服务器发送交通信息流文件的流程，如图5所示，包括
401 将车辆在观测区域内的动态信息表示为以P, 6)，其中S表示车辆大小，/7表示在图像中车辆动态位置，C表示检测车辆实际为车辆的置信度；根据历史动态信息，预测车辆在当前帧中的大小信息和位置；
402:利用最近距离匹配方法，追踪历史观测车辆在当前帧中相匹配的信息，在这一过程中除了追踪成功的情况之外，还有新的车辆进入观测区域，历史车辆离开观测区域，也会有当前阵中追踪失败的情况发生；
403 对追踪成功的车辆增加其置信度；对新出现的车辆，创建新的动态信息用以记录其状态；对离开观测空间的车辆则将车辆状态移至车辆状态缓存文件；对检测失败的车辆根据预测状态更新车辆的状态，同时削弱车辆的置信度；
本发明创建交通信息流文件，同时根据检测到的车辆在线地更新车辆图像库的过程的流程，如图6，包括501对一段时间内缓存的车辆状态信息，添加附属信息等创建交通信息流文件；
502将交通信息流文件和车辆图像传送至中心服务器。503 中心服务器根据权利要求1中的摄像头标定结果计算这段时间内的交通信息；
504 根据需要将车辆图像加入车辆图像库，对车辆图像库进行更新。本发明的基于混杂特征的交通流信息感知系统框图如图7所示，该系统包括 离线操作单元2000 利用Harris角点特征实现对摄像头的自动标定，适应无标准尺寸
参照物的场景，使系统能适应绝大部分的交通场景；获取车辆样本，对车辆样本进行特征提取与训练，生成特征信息库；
在线分析单元2100 利用离线操作单元2000的特征信息库进行车辆实时检测，进行车辆追踪，设置车辆置信度，根据车辆置信度进行交通流信息的统计，并创建交通流信息文件，同时根据检测到的车辆在线地更新车辆图像库。其中离线操作单元2000包括
基于Harris角点的摄像头标定器2010 利用Harris角点特征实现对摄像头的自动标定，适应无标准尺寸参照物的场景，使系统能适应绝大部分的交通场景； 车辆样本获取器2020 获取得到图像中的样本，该样本作为训练的输入。车辆Haar-Iike特征提取器及训练器2030 提取并训练样本中的Haar-Iike特征，并生成车辆的Haar-Iike特征信息库。车辆Haar-Iike特征信息库2040 包含了训练得到的Haar-Iike特征信息库，该库用于车辆的在线检测；
其中，在线分析单元2100包括 交通视频采集器2110 采集实时交通视频流；
车辆检测器2120 使用Haar-Iike特征信息库，进行车辆在线准实时检测； 车辆前后帧追踪器2130 车辆前后帧追踪，记录车辆在观测区域内的状态信息，设置
车辆置信度；
车辆检测置信度更新器2140 根据车辆检测结果更新车辆存在置信度； 交通流信息更新器2150 更新车辆状态信息，根据一段时间内缓存的车辆状态信息等，创建交通信息流文件；
车辆图像在线更新器2160 根据检测到的车辆在线地更新车辆图像库。以上内容是结合最佳实施方案对本发明所作的进一步详细说明，不能认定本发明的具体实施局限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的本发明的精神和范围的情况下，还可以对其进行形式和细节上的各种修改，都应当视为属于本发明的保护范围。
权利要求
1.基于混杂特征的交通流信息感知方法，其特征在于包括以下步骤利用Harris角点特征实现对摄像头的自动标定，适应无标准尺寸参照物的场景，使系统能适应绝大部分的交通场景；获取车辆样本，该样本作为训练的输入，提取并训练车辆样本中的Haar-Iike特征，生成特征信息库；利用离线操作单元的基于特征信息库的车辆实时检测；进行车辆前后帧追踪，记录车辆在观测区域内的状态信息，设置车辆置信度；根据车辆置信度进行交通流信息的统计，并根据一段时间内缓存的车辆状态信息创建交通流信息文件，并根据检测到的车辆在线地更新车辆图像库。
2.根据权利要求1所述的基于混杂特征的交通流信息感知方法，其特征在于，利用 Harris角点特征实现对摄像头的自动标定，适应无标准尺寸参照物的场景，使系统能适应绝大部分的交通场景的方法为101提取观测范围内当前帧中车辆的Harris特征点集合，记为Pi= {pi; -pt;Ni}, ρ ; i 中包含了第i个特征点的位置信息，其中，i=丨，…队，队表示当前帧中提取得到的特征点个数；102设前一帧图像中车辆上的特征点集合为Pp1= {p^i，"Tt^J,其中I表示特征点个数，利用KLT特征点追踪算法，对前一帧和当前帧中提取的特征点进行一一匹配；103记录每个特征点在前后帧图像上的位移大小，记不同位置上的特征点的位移大小为ClPt=Wpiil, ···，(! 。}，这里的位移是以像素为单位的，k表示前后帧中匹配的特征点的个数；104:重复以上步骤，获取足够多的特征点位置及位移大小，这里的特征点位于不同车辆上，记为Kp1, (Ip1) ； (p2, dp2);…；(pN, dpN)}，其中Pi表示特征点在图像上的的位置，dPi表示特征点在图像上的位移，i= 1，…N，N表示特征点的个数；105假设在观测区域内不同车辆的运动速度差异不大，则Clp1，…办，对应的世界坐标系中的大小应差异不大，根据这个假设估计图像上不同位置的像素单位的尺寸与世界坐标系中的实际尺寸大小的比例系数随位置变化的规律{(Pl，c)； (p2, CO2);…；(PN，cq)}，其中位置上的像素单位的尺寸与世界坐标系中的实际尺寸大小的比例系数为比例系数的变化因子，1= 1，…N ；106在观测区域选择已知尺寸的物体作为参考，求得c的大小，到此为止，求得采集的图像中位置坐标与观测区域世界坐标之间的变换关系。
3.根据权利要求1所述的基于混杂特征的交通流信息感知方法，其特征在于，所述方法获取车辆样本，该样本作为训练的输入，提取并训练车辆样本中的Haar-Iike特征，生成特征信息库的方法为201利用运动检测结果收集较长时间内观测区域内的车辆图像，作为以下训练过程的正样本，选择与正样本数量相当的无关图像作为以下训练过程的负样本；202提取正负样本的Haar-Iike特征向量，利用AdaBoost算法对特征进行学习，形成识别车辆的特征信息库；203:利用学习得到的特征信息库，检测车辆并循环更新车辆图像样本，用以进一步 Haar-Iike特征提取及特征训练。
4.根据权利要求1所述的基于混杂特征的交通流信息感知方法，其特征在于，所述方法基于特征信息库的车辆实时检测的方法为301对前后图像做帧间差操作，获得前一帧图像与当前帧之间的帧间差图像，记为 dip其像素组成为dlji，j) = | 1,(1, j) - 1^(1, j) I，其中t代表图像帧的时间标号，i 表示图像像素行号，j表示图像像素列号，Ii为当前图像，。为前一帧图像，ClIi为帧间差图像，具体为两帧差的绝对值构成的图像，Ii (i，j)就表示时刻t的图像I在位置(i，j)的像素值，ClIi (i，j)就表示时刻t的帧间差图像在位置(i，j)上的像素值；302根据ClIi图像上每一像素点大小，对当前帧图像做如下调整，其过程为若ClIi (i， j) < TijPJ 1,(1, j) =0，否则；1力，j)不做改变，这种方式缩小了车辆检测在图像中的搜索范围，其中T1为图像二值化的阈值；303根据202或203中产生的车辆的特征信息库，在Ii中检测车辆，其中Ii为当前图像。
5.根据权利要求1所述的基于混杂特征的交通流信息感知方法，其特点在于，所述车辆前后帧追踪，记录车辆在观测区域内的状态信息，设置车辆置信度的方法为401 将车辆在观测区域内的动态信息表示为以P, 6)，其中S表示车辆大小，/7表示在图像中车辆动态位置，C表示检测车辆实际为车辆的置信度；根据历史动态信息，预测车辆在当前帧中的大小信息和位置；402:利用最近距离匹配方法，追踪历史观测车辆在当前帧中相匹配的信息，在这一过程中除了追踪成功的情况之外，还有新的车辆进入观测区域，历史车辆离开观测区域，也会有当前帧中追踪失败的情况发生；403 对追踪成功的车辆增加其置信度；对新出现的车辆，创建新的动态信息用以记录其状态；对离开观测空间的车辆则将车辆状态移至车辆状态缓存文件；对检测失败的车辆根据预测状态更新车辆的状态，同时削弱车辆的置信度。
6.根据权利要求1所述的基于混杂特征的交通流信息感知方法，其特点在于，所述方法根据车辆置信度进行交通流信息的统计，并根据一段时间内缓存的车辆状态信息创建交通流信息文件，并根据检测到的车辆在线地更新车辆图像库的方法为501对一段时间内缓存的车辆状态信息，添加附属信息等创建交通信息流文件；502将交通信息流文件和车辆图像传送至中心服务器；503中心服务器根据权利要求1中的摄像头标定结果计算这段时间内的交通信息；504:将检测到的车辆图像加入车辆图像库，对车辆图像库进行更新。
7.基于混杂特征的交通流信息感知系统，其特征在于所述系统包括离线操作单元(2000)利用Harris角点特征实现对摄像头的自动标定，适应无标准尺寸参照物的场景，使系统能适应绝大部分的交通场景；获取车辆样本，对车辆样本进行特征提取与训练，生成特征信息库；在线分析单元(2100)利用离线操作单元(2000)的特征信息库进行车辆实时检测，进行车辆追踪，设置车辆置信度，根据车辆置信度进行交通流信息的统计，并创建交通流信息文件，同时根据检测到的车辆在线地更新车辆图像库；其中，离线操作单元(2000 )包括基于Harris角点的摄像头标定器(2010)利用Harris角点特征实现对摄像头的自动标定，适应无标准尺寸参照物的场景，使系统能适应绝大部分的交通场景； 车辆样本获取器(2020)获取得到图像中的样本，该样本作为训练的输入； 车辆Haar-Iike特征提取器及训练器(2030)提取并训练样本中的Haar-Iike特征信息，生成特征信息库；车辆Haar-Iike特征信息库(2040):包含了训练得到的Haar-Iike特征信息库，该库用于车辆的在线检测；在线分析单元(2100)包括 交通视频采集器(2110)采集实时交通视频流；车辆检测器(2120)使用Haar-Iike特征信息库，进行车辆在线准实时检测； 车辆前后帧追踪器(2130)车辆前后帧追踪，记录车辆在观测区域内的状态信息； 车辆检测置信度更新器(2140)根据车辆检测结果设置并更新车辆存在置信度； 交通流信息更新器(2150)更新车辆状态信息，根据一段时间内缓存的车辆状态信息等，创建交通信息流文件；车辆图像在线更新器(2160):根据检测到的车辆在线地更新车辆图像库。
全文摘要
本发明公开一种基于混杂特征的交通流信息感知方法及系统，具体是一种基于Harris角点特征的摄像头标定方法，基于车辆图像样本的Haar-like特征提取、训练，以及基于Haar-like特征信息库的在线准实时检测，基于置信度的车辆跟踪，以及训练样本库的自动更新的交通流信息感知方法和系统。本发明利用统计学习工具，训练车辆Haar-like特征并在线更新车辆样本集，能够诱导性地学习新的交通场景并有效地对抗车辆阴影、雨雪气候、潮湿道路倒影、摄像头抖动等干扰。本发明设置置信度来量化车辆的存在性，提出一种非线性的车辆检测可靠性判决准则，能有效地抵抗车辆部分遮挡、路面干扰物等影响，使系统具有很高的鲁棒性。
文档编号G06K9/66GK102393901SQ20111036747
公开日2012年3月28日 申请日期2011年11月18日 优先权日2011年11月18日
发明者丁小羽, 何佩君, 刘小虎, 娄蔓睿, 朱矿岩, 李平, 林云龙, 王桥, 陆巍, 陈硕, 黄凯明 申请人:东南大学