基于特征学习与协同表示网络的高光谱图像异常检测方法与流程

本发明属于高光谱图像处理，更具体地，涉及一种基于特征学习与协同表示网络的高光谱图像异常检测方法。

背景技术：

1、异常检测是指将目标信息(异常信息)从背景和噪声中分离。高光谱传感器能够同时采集到图像的光谱特征信息和空间特征信息，这使得高光谱图像在图像异常检测领域有突出优势。

2、高光谱异常检测算法的关键问题在于对背景的建模以及衡量像素到背景模型的距离。如最经典的rx(由reed和xiaoli yu提出)算法假设背景模型的数据分布符合高斯分布，在估计出背景高斯分布的参数后，目标像素与背景分布的马氏距离可作为衡量目标像素异常程度的异常值。

3、但是实际图像服从何种数据分布是难以确定的。因此除了直接假设背景的数据分布模型之外，也可以通过背景字典来对背景模型进行间接建模。背景字典是从图像背景像素中找到一组特殊的稀疏元素，这一组稀疏元素能够线性表示所有的背景像素。使用背景字典中的元素对目标像素进行表示，表示的误差即为衡量异常的标准。这类方法被称为基于表示的异常检测方法。

4、背景字典直接使用图像像素作为字典元素，或者以聚类算法计算得到的聚类中心作为字典元素。而使用背景字典中的元素根据一定的权重向量进行线性组合可以对目标像素进行表示，根据求解最优权重向量的目标函数的不同，可以分为协同表示、低秩表示与稀疏表示等异常检测方法。传统的基于表示的异常检测算法的关键问题在于背景字典容易被异常像素污染且权重向量求解耗时长。

5、近年来深度学习方法由于其卓越的特征学习能力被应用到高光谱图像异常检测领域中，深度神经网络在异常检测中的主要应用是作为特征提取器，对原始高光谱图像进行降维的同时提取特征。其中大多数研究采用生成模型，通过最小化原始光谱和重建光谱之间的误差来提取隐层空间或重建空间中的特征。随后，研究者们将传统的异常检测器应用在深度神经网络提取的特征上完成最后的检测。

6、深度神经网络的主要作用是对提取高光谱图像的光谱特征并对其进行降维，网络训练的目标函数并没有针对异常检测问题进行设计。特征提取部分与异常检测部分的分离使得深度神经网络无法发挥其优势。同时深度神经网络锁提取的特征着重于光谱特征而忽视了局部空间特征与全局特征，这两个特征也是区分异常的关键因素。因为图像中的异常是一个相对于全图中的背景区域而得到的概念，异常的重要特征就是其与背景的显著差异性。

技术实现思路

1、针对现有技术的缺陷，本发明的目的在于提供一种基于特征学习与协同表示网络的高光谱图像异常检测方法，旨在解决传统的基于表示的异常检测算法中背景字典容易被异常像素污染且权重向量求解耗时长的问题。

2、本发明提供了一种基于特征学习与协同表示网络的高光谱图像异常检测方法，包括下述步骤：

3、s1选择待处理的高光谱图像数据，并随机抽取所述高光谱图像数据的70％作为训练数据，剩下的30％作为测试数据；

4、s2构建网络结构；所述网络结构包括重建网络和协同表示网络，所述重建网络用于通过重建实现对高光谱图像数据的特征进行挖掘与降维处理；所述协同表示网络用于根据重建网络输出的中间特征获得重建图像c；

5、s3根据所述训练数据对所述网络结构进行训练后获得异常检测网络；

6、s4将所述测试数据输入至所述异常检测网络中，提取高光谱图像数据x的隐层特征图像z，并根据协同表示网络对所述隐层特征图像z进行重建获得重建图像c，通过计算所述重建图像c与所述隐层特征图像z中各个对应像素的欧氏距离获得异常检测图a。

7、现有基于图像重建的深度学习异常检测算法大都使用的是重建图与原图的误差作为衡量异常水平的依据，而我们认为原图像中波段数量多，信息冗余较多，不利于检测且求解耗时长。因此本发明采用自编码器的中间特征作为进行重建的对象，以中间特征与其重建图像之间的误差来评估异常水平，中间特征作为原始高光谱图像的一种密集表达形式，能够取得更好的检测效果，提高检测效率。

8、其中，采用pytorch架构搭建所述网络结构。

9、更进一步地，重建网络包括编码器和解码器；编码器包括用于提取图像的光谱特征与局部结构特征的卷积网络，以及用于通过计算每个像素与全局图像的相似度来提取图像的全局对比特征的自注意力模块；解码器用于在对所述网络结构进行训练时，通过对所述编码器输出的中间特征进行处理后获得重建图像r。

10、更进一步地，编码器中的卷积网络包括两个残差单元，其中第一个残差单元用于将特征数量由b降至b/2；第二个残差单元用于将特征数量由b/2降至k并获得输出特征v，尺寸为h×w×k；其中，k为中间特征z的特征维数，b为原始高光谱图像的波段数量，且k<<b。

11、其中，自注意力模块为z＝h(y)+v，+v表示残差连接，z为中间特征，y＝softmax(vtv)g(v)为自注意力图，v是输入高光谱图像的特征图，y为原始高光谱图像，h(*)代表一层卷积层，包含k个大小为1×1的卷积核。

12、在本发明使用的自编码器中，通过在用于生成中间特征的编码网络部分中加入了自注意力模块，传统的编码网络部分只有卷积层构成，由于卷积核的大小限制，提取的特征主要为局部空间特征，而自注意力模块的可以提取图像的全局相关性信息。由于异常目标最重要的一个特点为其与全图背景的差异性，且事先不知道目标的尺寸，无法针对性地设计卷积核的大小，卷积层提取的局部空间特征不能完全反应异常目标的特征，而自注意力模块提取的全局相关性特征则可以使得自编码器提取的中间特征更加完善、丰富，有利于更加精准的将图像异常检测出来。

13、更进一步地，协同表示网络包括：字典网络和权重网络，所述字典网络用于根据中间特征z生成全局背景字典d；所述权重网络用于根据中间特征z和全局背景字典d输出权重矩阵α，尺寸为h×w×k。

14、将传统的基于表示的高光谱异常检测方法以深度神经网络的形式进行实现；部分深度学习异常检测方法在利用自编码器生成中间特征之后，直接在中间特征上使用一些传统的统计的高光谱异常检测算法，检测算法与生成特征的自编码器网络是割裂的，无法影响自编码器网络参数的优化。基于协同表示神经网络的高光谱图像异常检测算法，将传统的基于表示的高光谱异常检测方法以深度神经网络的形式进行实现，利用神经网络生成字典与表达权重系数，并以协同表示方法的优化目标函数来设计损失函数。因此检测部分与自编码器部分共同训练、优化，自编码器生成的中间特征将更有利于更快的将图像异常检测出来。

15、更进一步地，采用损失函数对生成的字典元素进行约束；其中zi为中间特征z中第i个像素，dj为全局背景字典d中第j个像素，m为中间特征z的像素总数，n为那句背景字典d的像素总数。

16、更进一步地，重建图像c与中间特征z之间的误差将驱动作为权重网络与字典网络的优化。具体地，可以根据协同表示方法的优化目标函数来获得损失函数其中，优化目标函数为α为权重向量，y为原图像，xs为背景向量矩阵，zi为中间特征z中第i个像素，ci为重建图像c中第i个像素，αi为α的第i个权重向量，λ为训练时的超参数。

17、通过本发明所构思的以上技术方案，与现有技术相比，本发明将自编码器与自注意力模块相结合，更好地提取图像的全局特征，利用训练好的协同表示网络生成全局背景字典以及权重矩阵，对特征进行表示，通过表示结果与原特征图的误差图来检测异常目标，耗时短，精度高。