一种动态交通异常数据检测与修复方法
【专利摘要】本发明公开了一种动态交通异常数据检测与修复方法，包括异常数据检测和修复两部分，异常数据检测采用一种基于密度的局部异常孤立点发现的方法，异常数据修复采用一种基于灰色系统理论的修复方法。本发明实时有效地对动态交通中车辆运行数据中的异常数据进行了检测和修复，提高了数据质量，从而最终保障交通安全。
【专利说明】一种动态交通异常数据检测与修复方法
【技术领域】
[0001] 本发明涉及一种数据检测与修复方法，具体是一种动态交通异常数据检测与修复 方法，属于动态交通中异常数据的检测与修复【技术领域】，
【背景技术】
[0002] 动态交通车辆在运营过程中，由于受到道路环境、天气、车辆自身设备故障、甚至 一些人为因素的影响，其车载系统采集到的车辆运营和运行状况等数据可能会出现丢失、 错误、冗余等异常状况。异常数据的出现可能会给客运车辆的动态监管带来困难，并可能威 胁到交通安全。
[0003] 传统的处理方法是：首先采用基于统计、基于距离和基于偏差等传统的方法来对 异常数据进行检测，或者采用聚类、支持向量机和神经网络等基于学习的算法来对异常数 据进行检测，并在此基础上，采用相应的修复方法来对异常数据进行修复。然而，这些方法 需要大量的统计数据或者需要大量的高质量的数据来对模型进行训练，实际操作中难以推 广。
[0004] 因此，需要设计一种局部异常孤立点发现方法来对异常数据进行检测，并采用实 时修复方法来对异常数据进行实时修复，以保证运营企业和政府相关部门对车辆进行准 确、有效地监控，提高车辆运营的效率和保障交通安全。
【发明内容】
[0005] 为解决上述技术问题，本发明提供一种动态交通异常数据检测与修复方法，利用 采集的车辆数据的密度信息与局部异常因子之间的关系对异常数据进行检测，并利用异常 数据的偶然性和模糊性与灰色系统理论的相关性来实现对检测出的异常数据进行修复，能 够有效保证运营企业和政府相关部门对车辆进行准确、有效地监控，提高车辆运营的效率 和保障交通安全。
[0006] 为了实现上述目的，本发明一种动态交通异常数据检测与修复方法，包括以下步 骤：
[0007] (S1)将动态交通中实时采集的数据按照时间顺序通过长度为N的滑动窗 (Sliding Window)模型；
[0008] (S2)滑动窗中接收到新采集的交通数据后，立即开始计算滑动窗中所有数据对象 的MinPts-距离邻域NminPts，并计算其到领域中每个对象的距离，其中，MinPts-距离邻域 的计算式为：
[0009] NMinPts(p) = {q e D\p|d(p, q) ^ k-di stance (p)} (1)
[0010] (S3)计算滑动窗中所有数据点的可达密度lrdMinPts，其计算式为：
[0011]
【权利要求】
1. 一种动态交通异常数据检测与修复方法，其特征在于，包括以下步骤： (51) 将动态交通中实时采集的数据按照时间顺序通过长度为N的滑动窗（Sliding Window)模型； (52) 滑动窗中接收到新采集的交通数据后，立即开始计算滑动窗中所有数据对象的 MinPts-距离邻域NminPts，并计算其到领域中每个对象的距离，其中，MinPts-距离邻域的 计算式为： NiinPts(p) = {q e D\p|d(p, q) ^ k-distance(p)} (1) (53) 计算滑动窗中所有数据点的可达密度lrdMinPts，其计算式为：
⑵ (54) 计算滑动窗中所有数据点的局部异常因子L0FMinPts，其计算式为：
(3) (55) 计算局部异常因子的标准差〇U)F其计算式为：
(4) (56) 计算数据更新前后局部异常因子标准差的比值R，其计算式为：
(5) (57) 当R的值小于阈值时，新更新的交通数据不是异常数据，不需要对数据进行修复， 返回步骤（S1)，直接等待新的交通数据的到来；当R的值等于或大于阈值时，新更新的交通 数据是异常数据，需要对其进行修复，进入异常数据修复。 (58) 提取滑动窗中除去新更新的数据，构成一个原始数据序列X?，数据序列形式为： X(0) = (X(0) (1)，X(0) (2)，· · ·，X(0) (n)) (6) (59) 计算原始序列的邻均值等权生成序列Z(1)，其计算式为：
(7) (510) 计算原始序列的一次累加X(1)，其计算式为： Χ(1) = (Χω(1),Χω (2),..., X(1) (η)) (8) (511) 建立灰色模型GM(1，1)的矩阵形式Υ: (9) Υ = Β? (512) 求解在式（9)中的最小化问题，灰色模型GM(1，1)参数4:的估计值为： (10) α = [α,Μ]τ=(Β'Β) !Β'Υ (513) 计算出异常数据的修复值Χω，异常数据得到修复：
(11) (514) 若车辆继续行驶，则返回步骤（S1)，若车辆停止，则结束； 所述步骤（S1)中的滑动窗模型中的数据包括已处理的数据和待辨识的数据； 所述步骤（S2)中的MinPts-距离定义为：任意的自然数k，定义对象ρ的k-距 离（k-distance (p))为p和集合中D中某个对象〇之间的距离；所述对象〇至少存 在k个对象，使得成ρ，?)5：β?(ρ，ο)，并且至多存在k-Ι个对象，使得 --(ρ,?)<?Ι(μ,ο), ? 步骤（S5)中局部异常因子的标准差〇U)F的初始值取0。
2.根据权利要求1所述的一种动态交通异常数据检测与修复方法，其特征在于，所述 步骤（S7)中数据更新前后局部异常因子标准差的比值R的阈值的实验取值为2. 5。
【文档编号】G08G1/01GK104156579SQ201410375544
【公开日】2014年11月19日 申请日期:2014年7月31日 优先权日:2014年7月31日
【发明者】陈志勇, 黄 俊, 杨乐, 彭力, 莫子兴, 蔡岗 申请人:江南大学