一种全天空极光图像分类与关键局部结构定位方法及系统与流程

本发明属于数据识别及数据表示技术领域，尤其涉及一种全天空极光图像分类与关键局部结构定位方法及系统。

背景技术

极光是由来自地磁层或太阳的高能带电粒子流使高层大气分子或原子激发而产生，它反映了太阳活动与地球磁层的变化，是监测和探索近地空间物理过程的重要手段。在众多极光观测设备中，地面光学全天空成像仪能够捕捉极光的二维形态信息，同时具备良好的空间和时间分辨率，其拍摄的全天极光图像被广泛用于研究极光的物理演变过程。由于极光形态与特定的磁层状态和动态活动相关，并受太阳风参数影响，因此以全天空极光图像分类与关键局部结构定位技术为核心的极光自动分析系统不仅有助于研究极光在时间和空间的物理演变过程，而且能够实时预测太阳活动，从而避免由空间的强磁干扰造成的损失，如：磁层亚暴对通信系统、电力供应系统以及全球定位系统的损害。

全天空极光图像分类指辨别图像中极光的形态类型，关键局部结构定位指分割出决定极光形态的局部区域。然而，在全天空极光图像自动分析领域中，现有全天空极光图像分类和分割等自动分析技术不能同时实现极光图像分类与关键局部结构定位。在计算机视觉领域中，弱监督语义分割技术将图像分割成若干个互不相交的区域，并给每个区域赋予一个类别，分割模型的训练只需要弱标记信息，如图像级标签。因此，使用与极光图像分类方法同样的训练样本，弱监督语义分割技术能够同时完成全天空极光图像的分类与关键局部结构定位。然而，极光图像具有独特的性质，即极光结构的大尺度变化会导致形态类型的改变。但现有的绝大多数弱监督语义分割方法假设：如果两个物体具有相似的外观，则这两个物体属于同一类别，而不考虑尺度变化。因此，绝大多数弱监督语义分割方法无法直接用于全天空极光图像的自动分析。目前，可直接应用于全天空极光图像自动分析的弱监督语义分割方法是基于深度卷积神经网络实现的。现有技术一“learningdeepfeaturesfordiscriminativelocalization”(ieeeinternationalconferenceoncomputervisionandpatternrecognition:2016,39(3):2921-2929)提出了cam方法，该方法将分类网络的输出类别通过权值映射到特征图上，得到类别特异的激活图，再将激活图上采样至原图尺寸，得到关键局部结构的位置。由于该分类网络只能定位到最显著的局部结构，所以无法准确的实现关键局部结构定位；另外，该方法只提取全局特征，不能捕捉细节差异，所以不能准确实现全天空极光图像的分类。现有技术二“weaklysupervisedsemanticsegmentationusingsuperpixelpoolingnetwork”(aaaiconferenceonartificialintelligence:2017:4111-4117)提出了sp-cam方法，该方法通过判断超像素的类别实现图像的分类与定位。由于该方法只提取了局部特征，而无法捕捉全局特征，使其分类与定位的准确率降低。

综上所述，现有技术存在的问题是：现有的全天空极光图像的分类和分割等技术不能同时实现极光图像的分类与关键局部结构定位；绝大多数弱监督语义分割方法无法直接用于全天空极光图像的自动分析；可直接应用到全天空极光图像的弱监督语义分割方法无法同时捕捉整体形态特征和局部细节差异，导致分类与关键局部结构定位准确率均偏低。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种全天空极光图像分类与关键局部结构定位方法及系统。

本发明是这样实现的，一种全天空极光图像分类与关键局部结构定位方法，训练阶段：在带有图像标签的全天空极光图像数据上，构建图像块尺度模型；使用图像块尺度模型将图像标签转化为区域边界框标签；在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；推理阶段：使用图像区域尺度模型对输入的全天空极光图像进行分类和关键局部结构的边界框级粗定位；使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位。

进一步，所述全天空极光图像分类与关键局部结构定位方法包括以下步骤：

步骤一、训练阶段：

(1)在带有图像标签的全天空极光图像数据库上，构建图像块尺度模型；构建语义码书；根据语义码书构建k近邻图像块概率密度估计器；

(2)使用图像块尺度模型将图像标签转化为区域边界框标签：对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；对于超像素集合中的每个超像素，以超像素内的每个像素点为中心取16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；使用图像块尺度模型估计上一步选出的每个图像块相对其标记图像类别的概率密度；通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度，根据超像素的概率密度构建属于其图像类别的特有超像素集合，和同时属于该类别和其他图像类别的共有超像素集合；利用主成分分析方法分别对特有超像素区域和共有超像素区域进行旋转，使它们的最大变化方向为水平方向；

分别对属于图像类别特有和共有超像素进行分级聚类，得到特有和共有两组多尺度图像区域集合；通过对多尺度图像区域集合中的每个图像区域取包含它的最小矩形边界框，将每幅图像的图像类标转换为一组属于该图像标记类别特有区域边界框和一组共有区域边界框；通过对任意类别t∈{1，2，…，t}的特有边界框区域标记为类别t，对共有边界框区域标记为0，0表示背景，将全天空极光图像数据库中t个图像类别标签转化为t+1个边界框区域类别标签；

(3)在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；

步骤二、推理阶段：

(1)使用图像区域尺度模型对输入的全天空极光图像进分类和关键局部结构的边界框级粗定位：基于无监督学习的候选区域提取方法，对输入的全天空极光图像提取候选区域；输入全天空极光图像和候选区域边界框，图像区域尺度模型对所有的候选区域进行分类，得到每个边界框区域的类别及其概率；通过整合所有候选区域类别，预测输入全天空极光图像的类别，并给出属于该预测类别的关键局部结构的边界框级位置；

(2)使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位：对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；构建全天空极光图像的区域极光检测模型；使用区域极光检测模型检测超像素集合中的每个超像素是否包含极光，并将不包含极光的超像素从超像素集合中删除；对包含极光超像素集合中的每个超像素，以超像素内的每个像素点为中心取16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；输入表征包含极光超像素的图像块集合和极光图像预测类别，用图像块尺度模型估计每个图像块的概率密度；

通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度；根据超像素的概率密度选择属于预测极光类别的特有超像素，作为像素级关键局部结构；融合边界框级和像素级关键局部结构位置信息，得到最终属于预测类别的像素级关键局部结构的精确位置。

进一步，所述步骤一中的在带有图像标签的全天空极光图像数据库上构建语义码书的具体步骤如下：

(1)分别对每类全天空极光图像数据集中的每幅图像进行滑窗取图像块，其中窗的大小为16×16，步长为10，得到t类图像块集合；

(2)使用局部描述子对t类图像块集合中的每个图像块提取特征，其中局部描述子为lbp，得到t类图像块特征集合；

(3)对于某一极光类别t∈{1，2，…，t}，使用聚类方法分别对属于类别t和不属于类别t的图像块特征集合进行聚类，其中使用k-means聚类方法，两个图像块特征集合均聚100类，得到两组词袋，其中词袋中的每一个词为一个聚类中心；

(4)将上一步得到的某一极光类别的两组词袋转化为一组语义词袋，其中属于类别t的词袋表示为不属于类别t的词袋表示为vt和vrt分别表示属于类别t和不属于类别t词袋中词的个数，均取值为100，具体步骤如下：

5)按照下列公式，计算两组词袋的类内距离矩阵，和类间距离矩阵，

其中，|a-b|表示表示向量a到向量b的欧式距离；

6)按照以下公式，计算相似度阈值α：

α＝max(min_l(d^tt),min_l(d^rr))；

其中，max(a,b)表示a和b中的最大值，min_l(d)表示矩阵d中第l小的元素，l取1；

7)根据类间距离矩阵，给两组词袋中的每个词赋予一个语义标签，得到相对应的两组语义标签集合，和其中，分别是词和的语义标签，

8)词袋wt，wrt及其对应的语义标签ct，crt共同构成类别极光类别t的语义词袋；

(5)对全天空极光图像数据库中每一个标记的类别，重复(1)～(4)，得到每个极光类别的语义词袋，所有极光类别的语义词袋构成语义码书。

进一步，所述步骤一中的根据语义码书构建k近邻图像块概率密度估计器的具体步骤如下：

第一步：输入图像块和图像块所在图像的极光类别，使用特征描述子提取图像块特征，其中图像块特征用表示，极光类别用t表示，特征描述子采用lbp；

第二步：计算图像块特征p与语义码书中类别t的语义词袋中的每个词的欧式距离，其中表示语义词袋中第i个词，di表示p与的欧式距离；

第三步：按照di按照从小到大将排序，取前k个词对应的语义标签，并按照下列公式计算输入图像块在语义标签集合{特种，共用，其他}上的概率密度：

其中ps，pc，pr分别表示图像块属于特有，共有，和其他的概率，ns，nc，nr分别表示在取出的k个语义标签中属于特有，共有，和其他的个数。

进一步，所述步骤一的构建特有超像素集合和共有超像素集合的具体步骤如下：

第一步：已知某个超像素内图像块的集合的概率密度，按照下列公式计算该超像素的概率密度：

其中分别表示超像素o属于特有，共有，和其他语义的概率，ko表示超像素o包含图像块的个数，分别表示超像素o中第k个图像块属于特有，共有，和其他语义的概率；

第二步：对于图像中的每个超像素o，如果则将超像素o划分到特有超像素集合，如果则将超像素o划分到共有超像素集合中。

进一步，所述步骤一中的在带有边界框标签的全天空极光图像数据库上训练图像区域尺度模型的具体步骤如下：

第一步：图像区域尺度模型建立的fastr-cnn模型为基础，输入为一幅图像及其边界框集合，计算每个边界框的类别；

第二步：按照下列公式计算图像区域模型的输出与边界框框类标的误差：

l(p,t)＝-logpt；

其中，边界框的类别用一个t+1维向量表示，t表示极光类别的数量，类别向量的第1位代表背景，背景为极光类别0，第2～t+1位依次代表极光类型1～t，如果边界框标记为类别t，则类别向量的第t+1上的值其他位上的数值均为0，pt为属于类别t的预测概率；

第三步：基于随机梯度下降法优化模型参数，直到模型收敛。

进一步，所述步骤二中的通过整合所有候选区域类别，预测输入全天空极光图像的类别，并给出属于该预测类别的关键局部结构的边界框级位置，具体步骤如下：

第一步：按照下式计算每类极光的概率图，用{ht,-}，t∈[0,t]表示：

1≤x≤w,1≤y≤h；

其中，bi表示第i个边界框区域，b表示边界框的数量，表示边界框bi属于类别t的概率，i(·)为指示函数，如果坐标(x,y)在边界框bi内，i((x,y)∈bi)＝1，否则，i((x,y)∈bi)＝0，n(x,y)表示b个边界框中包含像素(x,y)的个数，即w和h分别表示极光图像的宽和高；

第二步：按照下式计算全天空极光图像的类别l：

其中，area{ht＞0.8}表示类别t概率图中概率大于0.8像素的个数；

第三步：将预测类别l的概率图hl作为关键局部结构的边界框级定位结果。

进一步，所述步骤二中的构建全天空极光图像的区域极光检测模型，具体步骤如下：

第一步：按照下式计算全天空极光图像的极光检测阈值，用th表示：

th＝min(25+0.05s180,80)；

其中，s180表示全天空极光图像中像素值大于180的个数，图像像素值的范围为0～255，min(a,b)表示取a和b中的最小值；

第二步：输入超像素区域，计算超像素区域内像素值的平均值vm；

第三步：如果vm≥th，则该超像素区域包含极光，如果vm＜th，则该超像素区域不包含极光。

进一步，所述步骤二中的融合边界框级和像素级关键局部结构位置信息，得到最终属于预测类别的像素级关键局部结构的精确位置，具体步骤如下：

第一步：按照下式计算关键局部结构的融合概率密度图，用表示：

其中，hl(x,y)为边界框级关键局部结构概率图在(x,y)处的概率，s(x,y)表示像素级关键局部结构概率图在(x,y)处的概率，w和h分别表示极光图像的宽和高；

第二步：根据下式计算属于预测类别l的关键局部结构精确位置，用表示：

其中，1表示存在关键局部结构，0表示不存在关键局部结构。

本发明的另一目的在于提供一种应用所述全天空极光图像分类与关键局部结构定位方法的极光观测系统。

综上所述，本发明的优点及积极效果为：本发明提出的基于弱监督语义分割方法能够同时实现全天空极光图像的分类与关键局部结构定位，并且只需要带有图像级标签的全天空极光图像数据集作为训练样本。本发明提出的方法能够同时分析极光形态的时间和空间演化过程，能够提高现有全天空极光图像分析系统的自动分析能力。

由于本发明从多个不同大小的视野预测全天空极光图像的类型，既能捕捉到局部结构特征，也能捕捉到极光的整体形状，使得本发明具有更高的分类准确率。由于本发明由粗到细的关键局部结构定位过程，即区域尺度模型计算关键局部结构的粗略位置，是一个自底向上的视觉处理过程，能够捕捉到极光的整体结构信息；图像块尺度模型根据类别信息进一步计算关键局部结构的精确位置，是一个自顶向下的视觉处理过程，能够捕捉到类型特异的小尺度结构细节。因此，本发明具有更高的关键局部结构定位准确率。

附图说明

图1是本发明实施例提供的全天空极光图像分类与关键局部结构定位方法流程图。

图2是本发明实施例提供的训练和推理整体过程示意图。

图3是本发明实施例提供的语义码书构建过程示意图。

图4是本发明实施例提供的图像级标签转变为边界框级标签过程示意图和图像区域尺度模型示意图。

图5是本发明实施例提供的推断具体过程示意图。

图6是本发明实施例提供的在2000幅全天空极光图像组成的测试数据集上分类准确率与现有三种方法分类准确率的对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有的全天空极光图像的分割方法无法辨别全天空极光图像中极光的形态类型，绝大多数弱监督语义分割方法无法直接用于分析全天空极光图像；导致可直接应用到全天空极光图像上的弱监督语义分割方法不能准确的定位出极光的关键局部结构，本发明提出一种基于弱监督语义分割的全天空极光图像分类与关键局部结构定位方法，以提高全天空极光图像的分类准确性与关键局部结构定位准确性。本发明能够同时对全天空极光图像进行图像级分类与像素级关键局部结构定位，可用于全天空极光图像中极光形态和空间位置演变过程的自动分析。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的全天空极光图像分类与关键局部结构定位方法包括以下步骤：

s101：在带有图像标签的全天空极光图像数据上，构建图像块尺度模型；

s102：使用图像块尺度模型将图像标签转化为区域边界框标签；

s103：在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；推理阶段：

s104：使用图像区域尺度模型对输入的全天空极光图像进行分类和关键局部结构的边界框级粗定位；

s105：使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位。

下面结合附图对本发明的应用原理作进一步的描述。

如图2所示，本发明实施例提供的全天空极光图像分类与关键局部结构定位方法包括以下步骤：

步骤一，训练阶段：

在带有图像标签的全天空极光图像数据库上，构建图像块尺度模型：

(1)如图3所示，按照以下步骤，构建语义码书：

1)分别对每类全天空极光图像数据集中的每幅图像进行滑窗取图像块，其中窗的大小为16×16，步长为10，得到t类图像块集合；

2)使用局部描述子对t类图像块集合中的每个图像块提取特征，其中局部描述子为lbp，得到t类图像块特征集合；

3)对于某一极光类别t∈{1，2，…，t}，使用聚类方法分别对属于类别t和不属于类别t的图像块特征集合进行聚类，其中使用k-means聚类方法，两个图像块特征集合均聚100类，得到两组词袋，其中词袋中的每一个词为一个聚类中心；

4)将上一步得到的某一极光类别的两组词袋转化为一组语义词袋，其中属于类别t的词袋表示为不属于类别t的词袋表示为vt和vrt分别表示属于类别t和不属于类别t词袋中词的个数，均取值为100，具体步骤如下：

按照下列公式，计算两组词袋的类内距离矩阵，和类间距离矩阵，

其中，|a-b|表示表示向量a到向量b的欧式距离；

按照以下公式，计算相似度阈值α：

α＝max(min_l(d^tt),min_l(d^rr))；

其中，max(a,b)表示a和b中的最大值，min_l(d)表示矩阵d中第l小的元素，l取1；

根据类间距离矩阵，给两组词袋中的每个词赋予一个语义标签，得到相对应的两组语义标签集合，和其中，分别是词和的语义标签，

词袋wt，wrt及其对应的语义标签ct，crt共同构成类别极光类别t的语义词袋；

5)对全天空极光图像数据库中每一个标记的类别，重复第1～4步，得到每个极光类别的语义词袋，所有极光类别的语义词袋构成语义码书；

(2)根据语义码书构建k近邻图像块概率密度估计器：

1)输入图像块和图像块所在图像的极光类别，使用特征描述子提取图像块特征，其中图像块特征用表示，极光类别用t表示，特征描述子采用lbp；

2)计算图像块特征p与语义码书中类别t的语义词袋中的每个词的欧式距离，其中表示语义词袋中第i个词，di表示p与的欧式距离；

3)按照di按照从小到大将排序，取前k个词对应的语义标签，并按照下列公式计算输入图像块在语义标签集合{特种，共用，其他}上的概率密度：

其中ps，pc，pr分别表示图像块属于特有，共有，和其他的概率，ns，nc，nr分别表示在取出的k个语义标签中属于特有，共有，和其他的个数；

如图4所示使用图像块尺度模型将图像标签转化为区域边界框标签：

(1)使用论文“efficientgraph-basedimagesegmentation”(internationaljournalofcomputervision:2004，59(2):167–181)提出的基于图模型的图像分割方法对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；

(2)对于超像素集合中的每个超像素，以超像素内的每个像素点为中心取16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；

(3)使用图像块尺度模型估计上一步选出的每个图像块相对其标记图像类别的概率密度；

(4)通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度，根据超像素的概率密度构建属于其图像类别的特有超像素集合，和同时属于该类别和其他图像类别的共有超像素集合，具体步骤如下：

1)已知某个超像素内图像块的集合的概率密度，按照下列公式计算该超像素的概率密度：

其中分别表示超像素o属于特有，共有，和其他语义的概率，ko表示超像素o包含图像块的个数，分别表示超像素o中第k个图像块属于特有，共有，和其他语义的概率；

2)对于图像中的每个超像素o，如果则将超像素o划分到特有超像素集合，如果则将超像素o划分到共有超像素集合中；

(5)利用主成分分析方法分别对特有超像素区域和共有超像素区域进行旋转，使它们的最大变化方向为水平方向；

(6)用论文“selectivesearchforobjectrecognition”(internationaljournalofcomputervision:2013，104(2):154–171)提出的selectivesearch方法分别对属于图像类别特有和共有超像素集合进行分级聚类，得到特有和共有两组多尺度图像区域集合；

(7)通过对多尺度图像区域集合中的每个图像区域取包含它的最小矩形边界框，将每幅图像的图像类标转换为一组属于该图像标记类别特有区域边界框和一组共有区域边界框；

(8)通过对任意类别t∈{1，2，…，t}的特有边界框区域标记为类别t，对共有边界框区域标记为0，0表示背景，将全天空极光图像数据库中t个图像类别标签转化为t+1个边界框区域类别标签；

按照以下步骤，在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型：

(1)图像区域尺度模型建立以论文“fastr-cnn”(ieeeinternationalconferenceoncomputervision:2015，1440-1448)提出的fastr-cnn模型为基础，输入为一幅图像及其边界框集合，计算每个边界框的类别；

(2)按照下列公式计算图像区域模型的输出与边界框框类标的误差：

l(p,t)＝-logpt；

其中，边界框的类别用一个t+1维向量表示，t表示极光类别的数量，类别向量的第1位代表背景，背景为极光类别0，第2～t+1位依次代表极光类型1～t，如果边界框标记为类别t，则类别向量的第t+1上的值其他位上的数值均为0，pt为属于类别t的预测概率；

步骤二，推理阶段：

如图5所示使用图像区域尺度模型对输入的全天空极光图像进分类和关键局部结构的边界框级粗定位：

(1)使用selectivesearch候选区域提取方法，对输入的全天空极光图像提取候选区域；

(2)输入全天空极光图像和候选区域边界框，图像区域尺度模型对所有的候选区域进行分类，得到每个边界框区域的类别及其概率；

(3)通过整合所有候选区域类别，预测输入全天空极光图像的类别，并给出属于该预测类别的关键局部结构的边界框级位置，具体步骤如下：

1)按照下式计算每类极光的概率图，用{ht,-}，t∈[0,t]表示：

1≤x≤w,1≤y≤h；

其中，bi表示第i个边界框区域，b表示边界框的数量，表示边界框bi属于类别t的概率，i(·)为指示函数，如果坐标(x,y)在边界框bi内，i((x,y)∈bi)＝1，否则，i((x,y)∈bi)＝0，n(x,y)表示b个边界框中包含像素(x,y)的个数，即w和h分别表示极光图像的宽和高；

2)按照下式计算全天空极光图像的类别l：

其中，area{ht＞0.8}表示类别t概率图中概率大于0.8像素的个数；

3)将预测类别l的概率图hl作为关键局部结构的边界框级定位结果；

如图5所示使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位：

(1)使用基于图模型的图像分割方法对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；

(2)构建全天空极光图像的区域极光检测模型，具体步骤如下：

1)按照下式计算全天空极光图像的极光检测阈值，用th表示：

th＝min(25+0.05s180,80)；

其中，s180表示全天空极光图像中像素值大于180的个数，图像像素值的范围为0～255，min(a,b)表示取a和b中的最小值；

2)输入超像素区域，计算超像素区域内像素值的平均值vm；

3)如果vm≥th，则该超像素区域包含极光，如果vm＜th，则该超像素区域不包含极光；

(3)使用区域极光检测模型检测超像素集合中的每个超像素是否包含极光，并将不包含极光的超像素从超像素集合中删除；

(4)对包含极光超像素集合中的每个超像素，以超像素内的每个像素点为中心取16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；

(5)输入表征包含极光超像素的图像块集合和极光图像预测类别，用图像块尺度模型估计每个图像块的概率密度；

(6)通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度；

(7)根据超像素的概率密度选择属于预测极光类别的特有超像素，作为像素级关键局部结构；

(8)融合边界框级和像素级关键局部结构位置信息，得到最终属于预测类别的像素级关键局部结构的精确位置，具体步骤如下：

1)按照下式计算关键局部结构的融合概率密度图，用表示：

1≤x≤w,1≤y≤h；

其中，hl(x,y)为边界框级关键局部结构概率图在(x,y)处的概率，s(x,y)表示像素级关键局部结构概率图在(x,y)处的概率，w和h分别表示极光图像的宽和高；

2)根据下式计算属于预测类别l的关键局部结构精确位置，用表示：

其中，1表示存在关键局部结构，0表示不存在关键局部结构。

下面结合实验对本发明的应用效果做详细的描述。

1.实验条件：

本发明实验的硬件条件为：一台普通计算机，inteli7cpu，8g内存，一块英伟达geforcegtx750ti显卡；软件平台：ubuntu14.04，caffe深度学习框架，python2.7语言；本发明所使用的全天空极光图像拍摄于中国北极黄河站，时间为2003年12月到2009年二月，波段为557.7nm。

2.训练数据与测试数据：

本发明所使用的训练数据集由极光专家标记的4000幅带有图像标签的全天空极光图像，这些图像拍摄于2003年12月至2004年1月。测试数据包括分类测试集和分割测试集，这些图像拍摄于2004年至2009年。其中，分类数据集由2000幅带有图像标签的全天空极光图像组成，用于测试本发明与现有技术的分类准确率。分割数据集由200幅带有像素级标记的全天空极光图像组成。其中，全天空极光图像被分为四类：弧状，帷幔状，射线状和极光热点。

3.实验内容：

按照上述的训练步骤，本发明使用训练数据集分别训练图像块尺度模型和图像区域尺度模型，以及现有技术提出的模型。

按照上述的推理步骤，分别在分类测试集和分割测试集上测试本发明的分类准确率和关键局部结构定位准确率；并在同样的测试数据集上测试现有技术的分类与关键局部结构定位准确率。

4.实验结果分析：

表1是本发明与现有技术在分类测试集上分类准确率对比结果。结果表明本发明的分类准确率高于现有技术的分类准确率，其中，比传统卷积神经网络方法的分类准确率高5.5％。因此，本发明更有实际应用价值。

表2是本发明与现有技术在分割测试集上关键局部结构定位准确率对比结果。结果表明本发明的关键局部结构定位准确率远远高于现有技术，约21.5％。因此，本发明极大的提高现有技术对全天空极光图像的自动分析能力，具有更广的应用前景。

图6是本发明在分割测试集上的分类与关键局部结构定位结果图。其中，a1-5、d1-5、r1-5、h1-5分别表示全天空极光图像分别被本发明预测为弧状、帷幔状、射线状、极光热点，每一类展示了5幅示例图。该结果表明本发明能够准确的预测复杂多变的全天天空极光图像的类别。在每类预测样本中，第1至3列分别表示原图、预测关键局部结构的掩膜、极光专家标记的关键局部结构掩膜。该结果表明，本发明预测的关键局部结构结果与极光专家的标记基本一致。

表1

表2

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。