帧x(t)表征m维极光视频帧y(t): "v(/) =Cx-⑴+h?⑴+ 。其中，y(t)GRm，m = 1'12, 1'12为当前视频帧像素矩阵的维 数，t=l，...，t，t是视频总帧数；x(t)GRn并且11<<!11;(：￡1?"1>〇1表示观测矩阵； w(t)eRm为平均值为0,方差矩阵为zl^高斯白噪声；；表示观测到的极光序列y(t)在 时间方向上的平均。并将动态纹理特征序列x(t)表示为一个二阶平稳随机过程：x(t+l) =Ax(t)+v(t)。其中，参数AeRnXn表示状态转移矩阵；v(t)~N(0，?表示平均值为0， 方差矩阵为Q的高斯白噪声。
[0034] 用观测到的极光视频帧y(t)减去所有帧的均值;)；，得到视频矩阵Y:
[0035]
[0036] 对视频矩阵Y进仃SVD分鮮，将具分鮮为￡基矩阵UG RmXn;奇异值矩阵S G RnXn; 右基矩阵VGRnXT，即Y=USVT。
[0037] 用左基矩阵U表示极光视频的观测矩阵C，即C=U，并求极光视频的动态纹理特 征矩阵X=SVT，这里XGRnXT，提取动态纹理特征矩阵X的每一列作为动态纹理特征帧 x⑴，即X=[x(1)，x(2)，? ??，x⑴，? ??，x(t)];
[0038] 用得到的动态纹理特征矩阵X，计算第t个动态纹理特征帧x(t)到第t+1个动态 纹理特征帧x(t+1)的状态转移矩阵A，
[0039]
[0040]式中X1;...，"!=[x(l)，x(2)，...，x(t)，...，x(T-l)];X2，...，t= [X(2)，x(3)，...，x(t)，...，x(T)] 表示求矩阵的F范数。
[0041]对于测试极光视频ytest和任意一个训练集样本yk，按上述方法求测试极光视频ytost和训练集样本yk的观测矩阵C和Ck以及状态转移矩阵A和Ak，并根据观测矩阵(；和 Cb以及状态转移矩阵A3和Ab，构建扩展观测矩阵：
[0042]Otest=[CT,AtCt, (At)2Ct, . . . , (AT)nCT,...]
[0043] d>, = [c[，4cAr,(4)2c[,.."(4rc[,...]
[0044]根据扩展观测矩阵〇test*〇k之间的第i个特征角0i，计算马丁距离
[0045] 根据极光视频间的马丁距离，对测试极光视频ytest进行最近距离分类。
[0046] 二.实现步骤
[0047] 步骤1 :获取训练极光视频和测试极光视频。
[0048] 从已标记类别的极光视频数据库中任取N个视频组成训练集 {yi，y2,. ?.，yk，. ?.，yN}，其中yk是第k个训练极光视频，k= 1，2,...，N;
[0049] 将剩余的极光视频组成测试集，从测试集中取一个样本作为测试极光视频ytest。
[0050] 步骤2:提取测试极光视频ytest的动态纹理特征。
[0051](2a)将测试极光视频ytest表示为y (t)，y (t) G Rm，m = LX 12, I:为当前视频帧 像素矩阵的行数，I2为当前视频帧像素矩阵的列数，t = 1，. . .，t，t是视频总帧数；
[0052] (2b)用观测到的极光视频帧y(t)减去所有帧的均值;得到视频矩阵Y:
[0053]
[0054] (2c)对视频矩阵Y进行SVD分解，即Y=USVT，其中，UGRmXn为左基矩阵；SGRnXn 为奇异值矩阵；VeRnxT为右基矩阵；
[0055] (2d)用左基矩阵U表示极光视频的观测矩阵C，即C=U，并求极光视频的动态纹 理特征矩阵X=SVT，这里XGRnXT，提取动态纹理特征矩阵X的每一列作为动态纹理特征 帧x(t)，即X=[x(1)，x(2)，? ? ?，x(t)，? ? ?，x(t)];
[0056] 步骤3:用得到的动态纹理特征矩阵X，计算第t个动态纹理特征帧x(t)到第t+1 个动态纹理特征帧x(t+1)的状态转移矩阵A，
[0057]
[0058]式中X1;...，"!=[x(l)，x(2)，...，x(t)，...，x(T-l)];X2，...，t= [X(2)，x(3)，...，x(t)，...，x(T)] 表示求矩阵的F范数；
[0059] 步骤4 :求测试极光视频ytesjlj训练集样本yk的马丁距离。
[0060] (4a)用计算测试极光视频ytest的观测矩阵C和状态转移矩阵A的方法，计算训练 集{yi，y2,. . .，yk，. . .，yN}中训练集样本yk的观测矩阵Ck和状态转移矩阵Ak，得到观测矩阵 集 ％，A2,. . .，Ak，. . .，AN}和状态转移矩阵集IA，C2,. . .，Ck，. . .，CN}，其中k= 1，2,. . .，N;
[0061] (4b)根据观测矩阵以及状态转移矩阵，计算测试极光视频ytest到训练集样本yk的 马丁距离d2 (ytest,yk)，k=1，2,? ? ?，N;
[0062] (3bl)用观测矩阵C和Ck以及状态转移矩阵A和Ak，构建扩展观测矩阵：
[0063]Otest=[CT,AtCt, (At)2Ct, . . . , (AT)nCT,...]
[0064]
[0065] (3b2)根据扩展观测矩阵①^和〇k之间的第i个特征角0i，计算马丁距离
[0066]步骤5:根据极光视频间的马丁距离，对测试极光视频ytest进行最近距离分类。[0067]将步骤3中得到的N个马丁距离d2 (ytest，yk)按从小到大的顺序排列，取出最小的 马丁距离对应的极光序列ymin，并将与该极光序列ymin形态相似的测试极光视频ytest分 为与极光序列ymin同一类，完成对测试极光视频ytest的分类。
[0068] 本发明的效果通过以下仿真实验进一步说明：
[0069] 1?仿真条件与方法：
[0070]硬件平台为：IntelCorei5、2. 93GHz、3. 45GBRAM;
[0071] 软件平台为：Windows7操作系统下的MATLABR2012b;
[0072] 实验的数据：对我国北极黄河站的全天空极光数据中2003年12月到2004年共 115557幅G波段图像进行手工标记，去除天气等因素造成的无效数据，标记出93个辐射状 极光序列，102个弧状极光序列，73个热点状极光序列，95个帷幔状极光序列，序列长度为 15帧到35帧之间，组成典型极光视频数据库进行四分类实验。
[0073] 2?仿真内容与结果：
[0074] 实验仿真1，从典型极光视频数据库中随机挑选出四类典型极光视频各一个，即弧 状极光视频、辐射状极光视频、热点状极光视频和帷幔状极光视频。对每幅视频帧进行下采 样处理，即将512X512大小的视频帧下采样为128X128。用本发明的方法求解观测矩阵 C，得到的C为16384X10大小的矩阵，将观测矩阵C的每一列重新转化为128X128大小矩 阵，然后以图像的形式显示。
[0075] 对弧状极光视频的显示结果如图2所示，其中图2(a)是原视频帧，图2 (b)是弧状 极光视频的观测矩阵的可视化结果；
[0076] 对辐射状极光视频的显示结果如图3所示，其中图3 (a)是原视频帧，图3 (b)是辐 射状极光视频的观测矩阵的可视化结果；
[0077] 对热点状极光视频的显示结果如图4所示，其中图4 (a)是原视频帧，图4 (b)是热 点状极光视频的观测矩阵的可视化结果；
[0078] 对帷幔状极光视频的显示结果如图5所示，其中图5 (a)是原视频帧，图5 (b)是帷 幔状极光视频的观测矩阵的可视化结果；
[0079] 图2-图5表明，观测矩阵C通常只有前几列含有极光图像序列的纹理信息，证明 极光图像序列确实存在时间方向的重复相关性，动态纹理模型能够有效提取出其空间纹理 特征。
[0080] 实验仿真2,在训练集视频个数N= 30, 50, 80, 100, 120个时，分别用本发明对典型 极光视频数据库分类实验，得到如下表所示的分类准确率。
[0081] 表1极光视频分类准确率
[0082]
[0083]从表1可以看出，当训练样本数超过100时，分类准确率为77. 09%，模型分类准确 率较高，能够实现计算机对极光视频的自动分类。
【主权项】
1. 一种基于动态纹理模型表征的极光视频分类方法，包括如下步骤： (1) 从已标记类别的极光视频数据库中任取N个视频组成训练集 {yi，y2,...，yk，...，yiJ，yk是第k个训练集样本，k= 1，2,...，N，将剩余极光视频组成测试 集，从测试集中取一个样本作为测试极光视频ytest; (2) 提取极光视频的动态纹理特征； (2a)将测试极光视频ytest表示为y(t)，y(t)eRm，m=X12,I,为当前视频帧像素 矩阵的行数，12为当前视频帧像素矩阵的列数，t= 1，. . .，T，T是视频总帧数； (2b)用观测到的极光视频帧y(t)减去所有帧的均值.]；，得到视频矩阵Y:(2c)对视频矩阵Y进行SVD分解，即Y=USVT，其中，UGRmXn为左基矩阵；SGRnXn为 奇异值矩阵；VeRnxT为右基矩阵； (2d)用左基矩阵U表示极光视频的观测矩阵C，即C=U，并求极光视频的动态纹理 特征矩阵X=SVT，这里XGRnXT，提取动态纹理特征矩阵X的每一列作为动态纹理特征帧 x⑴，即X=[x(1)，x(2)，? ? ?，x⑴，? ? ?，x(t)]; (3) 用得到的动态纹理特征矩阵X，计算第t个动态纹理特征帧x(t)到第t+1个动态 纹理特征帧x(t+1)的状态转移矩阵A，式中X"...，：<=[x(l)，x(2)，...，x(t)，...，x(T-l)];x2，...，t= [X(2)，x(3)，...，x(t)，...，x(T)] ;|*|￡表示求矩阵的F范数； (4) 求测试极光视频训练集样本yk的马丁距离： (4a)用计算测试极光视频ytest的观测矩阵C和状态转移矩阵A的方法，计算训练集 {yi，y2, . . .，yk，. . .，yN}中训练集样本yk的观测矩阵Ck和状态转移矩阵Ak，得到观测矩阵集 %，A2,? ? ?，Ak，? ? ?，AN}和状态转移矩阵集IA，C2,? ? ?，Ck，? ? ?，CN}，其中k= 1，2,? ? ?，N; (4b)根据观测矩阵以及状态转移矩阵，计算测试极光视频ytesjlj训练集样本yk的马丁 距离d2 (ytest，yk)，k=1，2,? ? ?，N; (5) 根据极光视频间的马丁距离，对测试极光视频ytest进行最近距离分类： 将步骤3中得到的N个马丁距离d2 (ytest，yk)按从小到大的顺序排列，取出最小的马丁 距离尤n对应的极光序列ymin，并将与该极光序列ymin形态相似的测试极光视频ytost分为与 极光序列ymin同一类，完成对测试极光视频ytest的分类。2. 根据权利要求1所述的方法，其中所述步骤（4b)中求解测试极光视频ytest到训练 集样本yk的马丁距离d2(ytest，yk)，按如下步骤进行： (4bl)用观测矩阵C和Ck以及状态转移矩阵A和Ak，构建扩展观测矩阵：(4b2)根据扩展观测矩阵〇test和〇k之间的第i个特征角0i，计算马丁距离：
【专利摘要】本发明公开了基于动态纹理模型的极光视频分类方法。其技术方案是利用极光视频帧之间的重复相关性，从极光视频帧之间的动态变化特性入手，对四类形态极光视频进行普适性建模并提取特征，对极光视频进行分类。实现步骤是：(1)获取训练极光视频和测试极光视频；(2)提取测试极光视频的动态纹理特征；(3)提取测试极光视频的状态转移矩阵；(4)求测试极光视频到训练集样本的马丁距离；(5)根据极光视频间的马丁距离，对测试极光视频进行最近距离分类。本发明能实现对四类极光视频的计算机自动分类，且具有分类准确率高的优点。可用于极光视频的特征提取和计算机图像识别。
【IPC分类】G06K9/62
【公开号】CN104992186
【申请号】CN201510412383
【发明人】韩冰, 宋亚婷, 高新波, 李洁, 贾中华, 王平, 王颖, 王秀美
【申请人】西安电子科技大学
【公开日】2015年10月21日
【申请日】2015年7月14日