一种基于MAE的交通路网数据修复方法

本发明涉及一种基于mae交通路网数据修复的方法，本发明属于智能交通领域。

背景技术：

1、随着人工智能不断地发展，道路的交通状态流数据实时状况监测、预测和控制在智能交通领域发挥着重要的作用。然而在现实的生活中，可能存在着传感器故障、网络通信终断等问题导致采集数据的缺失。数据缺失不但影响交通系统的服务质量，甚至可能对后续的统计预测造成错误的判断。

2、现阶段的道路交通预测方法有：历史平均法、k近邻法，生成对抗网络插补算法等；数据恢复方法主要有：dtw-rgcn方法，dvgae-gan方法等。本发明提出一种基于maskautoencoder(mae)自编码器的交通路网数据修复的方法，编码器的结构是vit。它可以将观察到的数据映射成一个潜在的表示，最后将这些表示和未观测数据输入到解码器，尽可能地还原完整的交通数据。

技术实现思路

1、本发明要克服现有技术的上述缺点，提供一种基于mae的交通路网数据修复的方法，实现对交通路网缺失的数据修复。

2、本发明解决其技术问题所采用的技术方案是：根据道路检测器采集的交通路网数据，对数据进行补丁划分，并按照一定比例随机掩码补丁，再利用编码器对正常的未被掩码的数据进行编码提取特征，并将其映射成一种特征向量的表示方法。编码器采用的是vit的架构，首先，编码器通过添加位置嵌入的线性投影嵌入补丁，然后通过vit局部模块转化成特征向量。最后，将编码器提取的特征，连同缺失数据保留各自的位置信息同时输入给解码器，解码器采用一种轻量级的transformer结构，从而最终还原为完整的交通路网数据。

3、一种基于mae交通路网数据修复方法，含有以下步骤：

4、步骤1：获取mae的自编码器提取缺失数据的特征。

5、获取交通路网状态数据，将数据划分为训练集和测试集。对于每一部分的路网数据进行补丁划分，数据随机掩盖掉按照一定比例数据(随机掩码),由此得到实际存在缺失的交通路网数据的步骤。

6、步骤2：构建mae的自编码器提取缺失数据的特征。

7、mae的自编码器结构与经典的自编码器结构不同，它采用一种非对称的设计方式。只允许编码器观察到没有被掩码的信号，而结构相对简单轻量级的解码器用来重构完整的信号。编码器采用vit结构，将观察的信号切分成不重叠的补丁之后，进行线性映射，再添加对应的位置嵌入，送入到transformer block提取抽象的被编码过的补丁特征。

8、步骤3：构建轻量级的解码器用于恢复掩码数据。

9、解码器的结构同样是vit，较编码器相比更加轻量级，将掩码补丁与编码器生成编码可见的补丁作为解码的输入，加上位置编码信息。解码器的最后一层是线性映射，输出通道数量和一个补丁内的数量相同，然后经过reshape，重构交通数据。

10、步骤4：训练模型与测试。

11、将数据输入到编码器之前进行补丁划分操作，训练集输入mae模型训练，通过不断优化mae模型的参数，能恢复出原始交通数据，在测试集上验证恢复数据的误差度的步骤。

12、本发明的有益效果：(1)编码器结构是vit,它只应用于未被掩码的补丁。就像在标准的vit中，编码器通过添加位置嵌入的线性投影嵌入补丁，然后通过一系列的transformer处理结果。这就使得只用一小部分的内存来训练非常大的编码器。(2)mae解码器只在训练前用于执行图像重建的任务。所以解码器架构可以以独立于编码器设计的方式灵活设计。通过这种不对称的设计，可以大大的减少训练前的时间。(3)在交通路网数据的基础之上，通过对正常的数据进行特征提取，然后根据掩码数据和提取数据之间的位置关系，通过解码器将其解码，可以更有效提高交通路网状态数据修复的精度。

13、本发明通过对数据进行补丁划分，随机掩码等一系列的操作，可以得到近似的交通缺失数据，将缺失的数据通入到训练好的mae模型结构中，可以尽可能恢复原来的数据值，mae模型的强大效果，依赖于vit架构中的transformer结构，以及mae采用的一种非对称设计。该方法可以有效地提高交通数据的精度。

技术特征：

1.一种基于mae交通路网数据修复方法，含有以下步骤：

2.如权利要求1所述的一种基于mae交通路网数据修复方法，其特征在于：步骤1具体包括：

3.如权利要求1所述的一种基于mae交通路网数据修复方法，其特征在于：步骤2具体包括：将未被掩码的补丁块按照一定的位置排列生成flatten补丁矩阵，再通过全连接层生成线性映射的补丁嵌入，与数据的位置嵌入结合作为transformer block输入，表示如下：

4.如权利要求1所述的一种基于mae交通路网数据修复方法，其特征在于：步骤3具体包括：

5.如权利要求1所述的一种基于mae交通路网数据修复方法，其特征在于：步骤4具体包括：

技术总结
一种基于MAE模型交通数据恢复的方法，首先将数据划分训练集和测试集部分，构建交通路网数据矩阵，对交通路网路网数据进行补丁划分，随机掩码操作，获得数据缺失的交通数据；然后使用非对称的编码‑解码器(MAE)架构，其中一个编码器只在补丁的可见子集(没有掩码令牌)上操作，还有一个轻量级解码器从潜在表示和掩码令牌重构原始图像；最后在训练好的模型上对测试集验证。本发明在测试集上损失值较低，修复效果较好。

技术研发人员：徐东伟,刘鑫瑞,彭航
受保护的技术使用者：浙江工业大学
技术研发日：
技术公布日：2024/1/15