基于自编码器的DEM异常值检测方法与流程

本发明涉及地理空间数据处理，尤其涉及一种基于自编码器的dem异常值检测方法。

背景技术：

1、数字高程模型(digital elevation model，dem)作为数字地形分析理论的基础地理信息数据源，通常被应用于测绘、水文、地貌等领域，dem数据的准确性对地学分析、地理信息及军事战场模拟等领域具有重要意义。在dem数据生产的过程中，由于差值算法、人工编辑判断等会导致部分非地面点错分为地面点，产生明显高于或低于真实地表形态的异常地面点，该类异常地面点会对dem成果精度产生较大的影响。传统基于概率统计与特征工程的dem异常值检测方法存在适应复杂地形变化不足、处理噪声和数据缺失能力有限以及自动化和泛化能力局限的问题，而自编码器(auto encoder，ae)作为一种重要的无监督式学习模型，可以自动学习数据的有用特征，无需手动定义特征，被广泛应用于数据异常检测领域。因此，如何基于自编码器高效、准确地检测出dem数据的异常值，成为一个亟待解决的问题。

2、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供了一种基于自编码器的dem异常值检测方法，旨在解决现有技术无法高效、准确地检测出dem数据的异常值的技术问题。

2、为实现上述目的，本发明提供了一种基于自编码器的dem异常值检测方法，所述方法包括以下步骤：

3、对dem图像进行图像分割处理，获得图像块集合；

4、通过基于变分自编码器的背景重构网络对所述图像块集合进行数据重构处理，获得重构后的背景图像块集合；

5、对所述重构后的背景图像块集合进行拼接处理，获得重构后的dem背景图像；

6、计算所述dem图像和所述重构后的背景dem图像之间的残差，并通过基于马氏距离的检测器对所述残差进行异常检测，以获得dem异常值检测结果。

7、可选地，所述通过基于变分自编码器的背景重构网络对所述图像块集合进行数据重构处理，获得重构后的背景图像块集合的步骤，包括：

8、将所述图像块集合输入至基于变分自编码器的背景重构网络中通过编码器进行特征提取处理，获得所述图像块集合的均值和标准差；

9、通过隐空间对所述均值和所述标准差进行随机采样，获得所述图像块集合的隐变量；

10、通过解码器对所述隐变量进行重构处理，获得重构后的背景图像块集合。

11、可选地，所述将所述图像块集合输入至基于变分自编码器的背景重构网络中通过编码器进行特征提取处理，获得所述图像块集合的均值和标准差的步骤，包括：

12、将所述图像块集合输入至基于变分自编码器的背景重构网络中，通过编码器使用下式进行特征提取处理，获得所述图像块集合的均值和标准差；

13、μ(i，j),σ(i，j)＝pooling(conv2(conv1(i(i，j))))

14、式中，i(i，j)表示所述图像块集合中的每个图像块，μ(i，j)表示所述图像块集合的均值，σ(i，j)表示所述图像块集合的标准差，(i，j)表示像素的位置坐标，1≤i≤w，1≤j≤h，w表示所述dem图像的长度，h表示所述dem图像的宽度，conv1、conv2分别表示第一次进行卷积运算和第二次进行卷积运算，pooling表示进行池化处理。

15、可选地，所述基于所述均值和所述标准差通过隐空间进行随机采样，获得所述图像块集合的隐变量的步骤，包括：

16、基于所述均值和所述标准差通过隐空间使用下式进行随机采样，获得所述图像块集合的隐变量；

17、z(i，j)＝μ(i，j)+σ(i，j)⊙∈(i，j)

18、式中，z(i，j)表示所述图像块集合的隐变量，表示随机噪声。

19、可选地，所述通过解码器对所述隐变量进行重构处理，获得重构后的背景图像块集合的步骤，包括：

20、通过解码器使用下式对所述隐变量进行重构处理，获得每个图像块对应的重构后的背景图像块，以构成重构后的背景图像块集合；

21、

22、式中，表示每个图像块对应的重构后的图像块，deconv1、deconv2分别表示第一次进行转置卷积运算和第二次进行转置卷积运算。

23、可选地，所述背景重构网络包括三维卷积模块、三维转置卷积模块、三维池化模块、三维批归一化模块以及prelu激活函数模块；

24、其中，所述三维卷积模块通过下式使用卷积核对输入数据进行三维卷积运算；

25、

26、

27、式中，表示使用3d卷积核w提取到的位置坐标为(x,y,z)的像素的特征，(sx,sy,sz)表示三个维度的步长，b表示偏置，和分别表示输出o在三个维度上的尺寸，表示向下取整运算符，和分别表示输入数据i在长度、宽度和高程维度上的尺寸，表示三维卷积核的长度，表示三维卷积核的宽度，表示三维卷积核在dem高程维度上的尺寸，k表示需要训练的卷积核权值，p表示在卷积核长度上的位置，q表示在卷积核宽度上的位置，r表示在卷积核高程维度上的位置；

28、所述三维池化模块通过下式进行三维池化处理；

29、

30、式中，ox，y，z代表位置坐标为(x，y，z)的像素进行三维最大池化后的特征。

31、可选地，所述三维批归一化模块通过下式进行批归一化处理；

32、

33、式中，d表示归一化后结果，mean(c)和var(c)分别表示在进行特征提取的三维卷积运算中输出的数据c的均值和标准差，γ和β表示可学习的参数，∈表示预设常数。

34、可选地，所述prelu激活函数模块所使用的prelu激活函数为：

35、

36、式中，f(di)表示激活值，di表示输入值，即，将输入数据i经所述三维卷积模块进行三维卷积运算或经所述三维转置卷积模块进行三维转置卷积运算后的值，ai表示可学习的参数。

37、可选地，所述背景重构网络对应的损失函数为：

38、

39、w(i,j)＝max(e)-e(i，j)

40、式中，l表示损失函数的输出结果，λ1表示用于控制kl散度对整体损失函数的影响程度的超参数，dkl表示kl散度的正则项，qφ(z|x)表示表示后验近似值，pθ(z)表示隐变量z的后验分布，λ2表示自适应权重正则项占总损失的比例，(i，j)表示像素的位置坐标，1≤i≤w，1≤j≤h，w表示所述dem图像的长度，h表示所述dem图像的宽度，i(i，j)表示所述图像块集合中的每个图像块，w(i,j)表示所述图像块集合中每个图像块i(i，j)所对应的权重，表示每个图像块对应的重构后的图像块，e(i,j)表示所述图像块集合中每个图像块对应的重构误差，e表示重构误差矩阵。

41、可选地，所述计算所述dem图像和所述重构后的背景dem图像之间的残差，并通过基于马氏距离的检测器对所述残差进行异常检测，以获得dem异常值检测结果的步骤，包括：

42、通过下式计算所述dem图像和所述重构后的背景dem图像之间的残差；

43、a＝h-b

44、式中，a表示所述dem图像和所述重构后的背景dem图像之间的残差，h表示所述dem图像，b表示重构后的背景dem图像；

45、采用基于马氏距离的异常检测算法通过下式对所述残差中的异常像素进行检测，以获得dem异常值检测结果；

46、r(a(i,j))＝(a(i,j)-∈)t∑-1(a(i,j)-μ)

47、式中，r(a(i,j))表示所述残差中的每个向量a(i,j)对应的异常值检测结果，μ表示所述残差的均值向量，∑表示所述残差的协方差矩阵。

48、本发明中，对dem图像进行图像分割处理，获得图像块集合；通过基于变分自编码器的背景重构网络对所述图像块集合进行数据重构处理，获得重构后的背景图像块集合；对所述重构后的背景图像块集合进行拼接处理，获得重构后的dem背景图像；计算所述dem图像和所述重构后的背景dem图像之间的残差，并通过基于马氏距离的检测器对所述残差进行异常检测，以获得dem异常值检测结果。通过3d卷积学习输入进重构网络中的dem图像块的空间特征，进而对dem图像的背景进行重构。在重构过程中，通过引入自适应权重正则项的方式，进一步对异常像素的表达进行限制，以重构出较为纯净的背景，学习更加有判别性的dem数据特征表达。采用基于马氏距离的rx异常检测算法，对重构背景和输入dem图像之间的残差进行异常检测，提高了dem异常值检查的准确率和效率，也提升了dem数据质量检查的智能化水平。

49、本发明还可实现以下有益效果：

50、1)无监督学习，在少量训练数据的前提下即可训练模型，有效利用dem数据的空间信息，学习更加有判别性的dem数据特征表达，提高了dem异常值检查的准确率和效率，在大规模dem生产中具有实际应用价值。

51、2)编码器和解码器均具有丰富的可扩展性，对于不同的任务需求可随意更换网络结构或添加针对当前任务的有效模块，且提取dem数据特征的过程具有降维和降噪的特性，鲁棒性更强。