基于特征聚类的批量二次规划交通异常检测方法及系统与流程

本发明属于基于深度学习的异常检测，具体涉及基于特征聚类的批量二次规划交通异常检测方法及系统。

背景技术：

1、交通异常检测是在给定的交通数据集中，针对可能与正常交通模式明显不同的异常或异常行为进行识别和监测的关键过程。交通异常检测面临着诸多独特挑战，包括复杂的交通场景、非线性的交通流动模式以及高维度的数据。这使得传统的异常检测方法在交通领域应用受限，难以有效捕捉交通数据中的非典型模式和隐含关系，从而制约了其在实际交通异常场景中的适用性。

2、近年来，基于深度学习的方法在交通异常检测领域得到了广泛应用。交通异常检测不仅仅是深度学习领域的热门研究课题，更是交通运输、城市规划等领域的紧迫需求。传统异常检测方法由于对于交通数据中异常数据的稀疏性表现出限制，而基于深度学习的方法能够更好地适应复杂的、非线性的交通数据，提高在真实世界交通异常场景中的检测效果。

3、目前一些研究人员提出了基于深度支持向量数据描述的方法，试图通过学习正常特征样本分布来实现交通异常检测。这些方法通过构造超球并最小化超球半径，从而学习正常数据特征的样本分布。但是这种方法存在如下缺陷：

4、在面对真实交通应用环境时，由于交通异常的随机性和稀疏性，无监督训练数据中可能包含少量异常样本，导致模型很难捕捉到异常信息，同时模糊了基于支持向量数据描述方法的分类边界，导致异常和正常的界限变得模糊不清，降低了模型的交通异常检测精度。

5、因此，设计一种能够更好地适应交通数据的特殊性，缓解因为异常数据稀疏且随机导致的分类边界模糊不清的问题，提高交通异常检测的检测精度和鲁棒性的基于特征聚类的批量二次规划交通异常检测方法及系统，就显得十分重要。

技术实现思路

1、本发明是为了克服现有技术中，现有交通异常检测模型，因为异常数据稀疏且随机导致分类边界模糊不清，进而降低了模型交通异常检测精度的问题，提供了一种能够更好地适应交通数据的特殊性，缓解因为异常数据稀疏且随机导致的分类边界模糊不清的问题，提高交通异常检测的检测精度和鲁棒性的基于特征聚类的批量二次规划交通异常检测方法及系统。

2、为了达到上述发明目的，本发明采用以下技术方案：

3、基于特征聚类的批量二次规划交通异常检测方法，包括如下步骤；

4、s1，获取交通异常检测数据集；

5、s2，对获取的交通异常检测数据集进行数据预处理；

6、s3，利用步骤s2中预处理好的数据，构建深度学习模型；所述深度学习模型中引入特征聚类和批量二次规划方法；

7、s4，构造支持向量数据描述二次规划函数，将批次数据分为模糊集和确定集；

8、s5，构建特征聚类模块，对所述模糊集进行特征聚类：

9、s6，将步骤s5获得的聚类结果融入确定集中进行异常暴露；

10、s7，定义模型损失函数，对经过聚类优化的数据进行约束；

11、s8，对批量二次规划聚类方法进行参数设置；

12、s9，迭代深度学习模型中的超球参数，并保存迭代训练好的深度学习模型；

13、s10，导入步骤s8的参数设置，将待检测的交通数据输入步骤s9中保存的深度学习模型进行异常检测。

14、作为优选，步骤s1中，所述交通异常检测数据集中，按照设定的混入比例混入异常数据。

15、作为优选，步骤s2中，所述数据预处理包括对数据进行缩放、中心裁剪以及归一化操作。

16、作为优选，步骤s4包括如下步骤：

17、s41，在特征空间中构造一个球心为m，半径为r的超球；用样本特征的均值作为球心、特征到球心的欧式距离作为半径，具体表示为：

18、；

19、其中，表示批次数据中的每个样本特征；表示批次样本数量；同时引入松弛变量对边界的样本进行约束，并通过引入惩罚因子 c对所述松弛变量进行限制；具体目标函数表示为：

20、；

21、其中表示样本点到超球球心的距离，通过，将样本点约束到半径为的超球空间中；

22、s42，通过拉格朗日对偶变换，得到所述目标函数优化问题的对偶问题，具体表示为：

23、；

24、其中，是待求解的对偶变量, b表示样本批次数量，表示第 b个样本的对偶变量的值；、表示第 i， j个样本，表示样本、对应的对偶变量；表示的转置； c为原问题中的惩罚因子；表示批次样本对应的对偶变量解的和需满足等于1；

25、s43，通过利用二次规划问题条件确定特征空间中特征向量与超球的位置关系，从而明确划分出确定正常样本、确定异常样本和模糊样本集，具体为：

26、当时，根据目标函数公式得到，即样本点位于超球内，则对应的样本为确定的正常样本；

27、当时，根据目标函数公式得到，即样本点位于超球外，则对应的样本为确定的异常样本；

28、当时，根据目标函数公式得到，即样本点位于超球面上，则对应的样本为模糊样本。

29、作为优选，步骤s5包括如下步骤：

30、s51，在模糊样本集中，随机选择一个样本作为初始类心；

31、s52，根据数据点与初始类心的余弦相似度，将余弦相似度小于设定阈值的对应数据点分配给当前簇，将余弦相似度大于设定阈值的对应数据点分配给另外簇；

32、s53，循环步骤s52，直到模糊样本集中全部聚类完毕。

33、作为优选，步骤s6包括如下步骤：

34、s61，比较聚类后两个簇的数量，将较少的一类样本赋予异常标签并添加到确定的异常样本集合；相对应的，将较多的一类样本赋予正常标签并添加到确定的正常样本集合，即：

35、；

36、；

37、其中，表示批次样本中的正常样本，表示批次样本中的异常样本。

38、作为优选，步骤s7包括如下步骤：

39、s71，通过预测的正常样本计算出超球球心m，具体表示为：

40、；

41、在反向传播中，根据输出预测的正常样本和异常样本，来施加不同的约束，具体为：

42、引入均方误差损失函数mse，使得预测的正常样本，减小与超球球心之间的距离，而预测的异常样本，增大与超球球心之间的距离，具体表示公式如下所示：

43、；

44、其中，表示样本和球心的均方误差损失，表示对于样本是否异常的预测函数，当时，=0，即样本预测为正常；时，=0，即样本预测为异常。

45、作为优选，步骤s9包括如下步骤：

46、s91，根据每一批次训练样本所建立的超球参数,构建一种用于检测全局最优超球的系统，具体表示公式如下所示：

47、；

48、其中，表示第次迭代后的超球半径，表示第次迭代后的超球球心；，表示初始化的半径和球心，其中半径表示初始化半径为1，球心表示初始化球心为b行零矩阵，其中b表示批次数量；表示第次迭代时模型输出的超球半径，表示第次迭代时模型输出的超球球心；和均表示每次迭代时的权重；

49、s92，在模型训练过程中，一旦模型训练达到预设的轮次，系统自动停止迭代过程；同时，将经过训练的模型和相应的超球参数进行存储，用于后续检测应用。

50、作为优选，步骤s10包括如下步骤：

51、s101，利用训练好的模型得到测试交通数据的样本特征，并将样本特征与训练时保存的最优超球中心的距离作为测试样本的异常分数，具体定义如下：

52、；

53、其中，为测试样本，为最优超球中心；异常分数用于衡量测试样本与最优超球中心之间的欧氏距离；

54、为了实现异常检测，采用以下公式来进行判断：

55、；

56、其中，为设定的阈值；通过比较测试样本的异常分数与设定阈值的大小，得到异常检测结果；当测试数据的异常分数小于等于阈值时，则判定对应的测试数据为正常数据；反之，当测试数据的异常分数大于阈值时，则判定对应的测试数据为异常数据。

57、本发明还提供了基于特征聚类的批量二次规划交通异常检测系统包括：

58、数据获取模块，用于获取交通异常检测数据集；

59、预处理模块，用于对获取的交通异常检测数据集进行数据预处理；

60、模型构建模块，用于利用预处理好的数据，构建深度学习模型；所述深度学习模型中引入特征聚类和批量二次规划方法；

61、批量二次规划模块，用于构造支持向量数据描述二次规划函数，将批次数据分为模糊集和确定集；

62、特征聚类模块，用于对所述模糊集进行特征聚类：

63、异常暴露模块，用于将获得的聚类结果融入确定集中进行异常暴露；

64、损失函数定义模块，用于定义模型损失函数，对经过聚类优化的数据进行约束；

65、参数设置模块，用于对批量二次规划聚类方法进行参数设置；

66、模型迭代与存储模块，用于迭代深度学习模型中的超球参数，并保存迭代训练好的深度学习模型；

67、异常检测模块，用于导入参数设置，将待检测的交通数据输入保存的深度学习模型进行异常检测。

68、本发明与现有技术相比，有益效果是：（1）本发明在训练数据集中混入了异常数据，以此来模拟真实道路交通环境中异常事件的随机性，增强了模型鲁棒性；（2）本发明通过使用特征聚类算法，将批次数据中的模糊数据聚为两类，并各自添加到确定正常和异常数据集中，缓解了分类边界模糊不清的问题，最大程度的实现的正常异常分离；（3）本发明解决了在真实交通环境异常检测应用中，由于交通异常发生概率较小且随机导致不易检测出异常的问题，提高了对于交通异常检测应用中的准确性。