一种基于特征轨迹的交通视频去抖方法与流程

本发明涉及一种基于前景和背景特征轨迹的交通视频去抖算法，计算机视觉，视频去抖。

背景技术：

近些年来，越来越多的摄像机被应用于现实生活中的各种场景，其中包括大量的便携可移动的摄像设备，手持设备和车载设备由于人为抖动或者发动机的抖动导致了摄录的视频质量的大幅度下降，剧烈的抖动造成了人感官上的不适。交通视频和一般的手持设备摄录视频相比具有一些特殊性：第一，剧烈的车辆抖动导致交通视频具有更高频率的抖动；第二，交通视频中具有更多的前景运动；第三，交通视频中很容易产生大前景物体遮挡的问题。

目前进行交通视频去抖的研究比较少，【1,2】利用了路面白线等一些先验知识进行去抖，a.broggi【3】等使用分块的方式进行水平和垂直方向的运动估计，【4】使用反馈的方式将前景和背景轨迹进行区分，并仅针对背景轨迹进行去抖。这些方法在前景物体遮挡严重时容易造成去抖算法的失效。因此人们也倾向于使用针对手持设备摄录视频进行去抖的方法进行交通视频的去抖。

普通的手持设备摄录视频去抖方法大致分为三类，2d,2.5d和3d方法。2d方法通常使用帧间矩阵序列进行相机运动的建模然后进行平滑【5,6,7】。平滑方法包括高斯低通滤波【8】，粒子滤波【9】，正则化技术【10】等。3d方法对于视差的处理效果更好，通过运用运动恢复结构(structurefrommotion,sfm)进行相机路径的估计【11】，然后利用内容保持的扭曲变换(content-preservingwarping)【12】进行平滑轨迹的重建。但3d方法耗时严重，并且当视差不明显时容易造成算法失效。2.5d方法结合了2d算法和3d算法的优势，lee【13】首先提取特征轨迹，然后进行轨迹的平滑处理。liu【14】使用子空间约束【15】进行平滑轨迹的生成。liu【16】使用帧间变换建立约束并使用steadyflow进行运动的平滑。

以上方法主要针对背景进行相机运动的估计和平滑，因此对于前景物体遮挡严重的交通视频适用性不强，本发明通过对前景和背景同时施加约束，利用全图信息进行相机运动估计，因此增强了针对交通视频的去抖能力。

【1】zhangy,xiem,tangd.acentralsub-imagebasedglobalmotionestimationmethodforin-carvideostabilization[c]//knowledgediscoveryanddatamining,2010.wkdd'10.thirdinternationalconferenceon.ieee,2010:204-207.

【2】zhangy,xiem.robustdigitalimagestabilizationtechniqueforcarcamera[j].informationtechnologyjournal,2011,10(2):335-347.

【3】broggia,grislerip,graft,etal.asoftwarevideostabilizationsystemforautomotiveorientedapplications[c]//vehiculartechnologyconference,2005.vtc2005-spring.2005ieee61st.ieee,2005,5:2760-2764.

【4】lingq,dengs,lif,etal.afeedback-basedrobustvideostabilizationmethodfortrafficvideos[j].ieeetransactionsoncircuitsandsystemsforvideotechnology,2016.

【5】chenby,leeky,huangwt,etal.capturingintention‐basedfull‐framevideostabilization[c]//computergraphicsforum.blackwellpublishingltd,2008,27(7):1805-1814.

【6】gleicherml,liuf.re-cinematography:improvingthecameraworkofcasualvideo[j].acmtransactionsonmultimediacomputing,communications,andapplications(tomm),2008,5(1):2.

【7】morimotoc,chellappar.evaluationofimagestabilizationalgorithms[c]//acoustics,speechandsignalprocessing,1998.proceedingsofthe1998ieeeinternationalconferenceon.ieee,1998,5:2789-2792.

【8】matsushitay,ofeke,gew,etal.full-framevideostabilizationwithmotioninpainting[j].ieeetransactionsonpatternanalysisandmachineintelligence,2006,28(7):1150-1163.

【9】yangj,schonfeldd,mohamedm.robustvideostabilizationbasedonparticlefiltertrackingofprojectedcameramotion[j].ieeetransactionsoncircuitsandsystemsforvideotechnology,2009,19(7):945-954.

【10】changhc,laish,lukr.arobustandefficientvideostabilizationalgorithm[c]//multimediaandexpo,2004.icme'04.2004ieeeinternationalconferenceon.ieee,2004,1:29-32.

【11】hartleyr,zissermana.multipleviewgeometryincomputervision[m].cambridgeuniversitypress,2003.

【12】liuf,gleicherm,jinh,etal.content-preservingwarpsfor3dvideostabilization[c]//acmtransactionsongraphics(tog).acm,2009,28(3):44.

【13】leeky,chuangyy,chenby,etal.videostabilizationusingrobustfeaturetrajectories[c]//computervision,2009ieee12thinternationalconferenceon.ieee,2009:1397-1404.

【14】liuf,gleicherm,wangj,etal.subspacevideostabilization[j].acmtransactionsongraphics(tog),2011,30(1):4.

【15】iranim.multi-framecorrespondenceestimationusingsubspaceconstraints[j].internationaljournalofcomputervision,2002,48(3):173-194.

【16】lius,yuanl,tanp,etal.steadyflow:spatiallysmoothopticalflowforvideostabilization[c]//computervisionandpatternrecognition(cvpr),2014ieeeconferenceon.ieee,2014:4209-4216.

技术实现要素：

本发明技术解决问题：克服现有技术的不足，提供一种基于特征轨迹的交通视频去抖算法，本发明将交通视频的去抖看成特征轨迹(相机路径)的平滑问题，从交通视频中逐帧提取特征点，根据特征点匹配进行特征轨迹(相机路径)的估计，通过基于时间和空间的优化函数进行特征轨迹(相机路径)的平滑处理。本发明方法基于所有的前景和背景特征轨迹，不需要区分前景和背景特征轨迹，因此不会引入这一步骤的误差；能够更加全面的估计并有效地减小了仅仅利用背景估计进行仿射变换导致的误差和前景、视差处的失真；尤其在存在大前景和严重视差时的性能改善更为明显。

本发明提出的基于特征轨迹的交通视频去抖算法，具体实现步骤如下：

step1：从交通视频中逐帧提取特征点，根据特征点匹配得到对应的特征轨迹；为了适应场景不同的交通视频采用基于反馈的自适应分块特征点数量控制算法。

step2：基于时间和空间的优化函数对step1得到的特征轨迹进行平滑处理得到平滑的特征轨迹；在平滑处理中使用分布式优化方法可以极大地提高平滑处理速度。

step3：基于平滑前后的特征轨迹逐帧进行抖动视角到稳定视角的仿射变换。

进一步的，上述基于特征轨迹的交通视频去抖方法中，所述step1中特征轨迹提取方式如下：

特征点提取使用的是harris角点提取；特征描述符使用的是freak描述符；对每一条特征轨迹建立矩阵存储每一帧的位置信息和特征描述符信息；对于新的一帧提取到的特征点进行freak描述符的最近邻匹配；所使用的连续特征轨迹指的是在平滑窗口长度ω长的时间内被连续匹配上的特征点。

进一步的，为了适应场景不同的交通视频，上述基于特征轨迹的交通视频去抖方法中，所述step1采用基于反馈的自适应分块特征点数量控制算法对特征点数量进行控制。

进一步的，上述基于特征轨迹的交通视频去抖方法中，所述基于反馈的自适应分块特征点数量控制算法具体步骤如下：

对交通视频中的图像进行分块，在每个图像块中单独检测特征点；为了能控制特征点的分布，我们对图像进行分块，在每个图像块中单独检测特征点，

而为了增加特征轨迹比较少的区域的数量，减少特征轨迹过多的数量，需要根据每个图像块中特征轨迹的数量来调整每个图像块中的特征点数量：

首先统计出每个图像块内的特征轨迹数量，记为tc,r,t，(c,r)对应图像块索引，t表示帧数，对于下一帧中索引为(c,r)图像块中提取的特征点的数量计算如下：

其中θ表示比例因子，每次调整增加或者减少的幅度；ε表示限制变化的最大幅度，用于抑制每次调整增加或者减少的幅度；；表示第t帧每一个图像块中特征轨迹数量的平均值，表示第t帧每一个图像块提取的特征点的平均值：

然后对每一个图像块提取的特征点数量进行归一化操作：

其中，f表示每帧中确定的提取的特征点的总数量，p和q表示分块的行数和列数。

进一步的，上述基于特征轨迹的交通视频去抖方法中，所述step2中基于时间和空间的优化函数对step1得到的特征轨迹进行平滑处理得到平滑的特征轨迹具体步骤如下：

基于以下三个假设设计优化函数：

(1)在同一帧内所有的特征轨迹包含相同的相机抖动；

(2)当两条特征轨迹来源于相同的背景或者前景时，它们包含相同的主动运动；

(3)对于所有的特征轨迹来说，平滑之后的帧间运动应该是缓慢变化的；

基于以上假设设计如下最小化无约束优化函数：

其中

其中ωt表示在t帧时的平滑窗口长度，ωt＝{t-ω,...,t,...,t+ω}，s表示在t帧时的连续特征轨迹集合，pi,k表示在k帧时第i条特征轨迹的坐标，表示在k帧时第i条特征轨迹进行平滑处理后对应的坐标，αi，j，k、βi，j，k、λm，n、ξ分别表示o1、o2、o3、o4各项的权重参数；

(1)o1对同一帧内前景和背景的特征轨迹的抖动量的相似性进行限制，即任意两条特征轨迹包含相同的相机抖动量；其中：

w,h表示视频的宽度和高度，表示k帧时第i条特征轨迹的横纵坐标，αi,j,k越大表示两条特征轨迹距离越近，这两条特征轨迹之间的相似约束越强；

(2)o2对所有特征轨迹的帧间运动相似性进行约束，即相同的前景或背景上的特征轨迹帧间运动相同；是否来源于相同的前景或背景使用βi,j,k来度量：

βi,j,k＝αi,j,k×γi,j,k，

其中，γi,j,k描述两条特征轨迹的帧间运动的一致性，γi,j,k越大，它们的帧间运动越相似，约束也应该越强；

(3)o3对特征轨迹的平滑性进行约束，即平滑后的特征轨迹的帧间运动应该是缓慢变化的，

其中σ＝2ω+1；

(4)o4约束平滑后的特征轨迹尽可能靠近原始特征轨迹，从而避免过大的仿射变换，其中ξ对取值不敏感，为方便计算取值为1。

进一步的，上述基于特征轨迹的交通视频去抖方法中，所述step2中在平滑处理中使用分布式优化方法具体步骤如下：

对于每一条特征轨迹单独进行约束和平滑处理，对于任意一条特征轨迹i0，对于优化函数考虑以下两个和轨迹i0距离相近的集合和

其中η设置为0.7，并定义轨迹i0的邻居轨迹集合

对于第i0条轨迹的平滑轨迹求解如下：

然后求解如下分布式优化问题，逐条求取在当前帧的平滑特征轨迹对应的坐标

通过求取所有的pi,t和进行仿射变换，将抖动帧映射到稳定帧。

本发明与现有技术相比的优点在于：

(1)根据前景和背景特征轨迹计算基于时间和空间的优化函数得到平滑的特征轨迹。本发明利用全部的轨迹进行相机运动的估计和平滑，解决了交通视频中大前景遮挡时相机运动平滑估计不准确的问题。同时提出使用分布式优化的方式可以极大地提高计算速度。

(2)进一步的，在进行特则轨迹提取时，综合利用harris角点检测和freak描述子进行特征轨迹的提取。

(3)进一步的,为了适应场景不同的交通视频，采用基于反馈的自适应分块特征点提取算法。

附图说明

图1为本发明方法实现流程图。

具体实施方式

如图1所示，本发明方法包括如下步骤：

特征轨迹生成的步骤，从交通视频中逐帧提取特征点，根据特征点匹配得到对应的特征轨迹；

时间和空间的优化函数对相机路径(即特征轨迹)进行平滑处理的步骤，基于时间和空间的优化函数对step1得到的特征轨迹进行平滑处理得到平滑的特征轨迹；在平滑处理中使用分布式优化方法；

抖动视角到稳定视角的仿射变换的步骤，基于平滑前后的特征轨迹逐帧进行抖动视角到稳定视角的仿射变换。

下面对上述步骤的具体实施方式进行详细说明。

1.特征轨迹生成

1.1连续轨迹提取

特征点提取可以使用harris角点提取、也可以采用surf进行提取，本发明的实施例采用harris角点提取。特征描述符可以使用的是freak描述符、sift描述符，本发明的实施例采用freak描述符。对每一条轨迹建立矩阵存储每一帧的位置信息和描述符信息。对于新的一帧提取到的特征点进行freak特征的最近邻匹配。而我们所使用的连续轨迹指的是在ω长的时间内被连续匹配上的特征点。

1.2基于反馈的自适应分块特征点数量控制算法

为了能控制特征点的分布，我们对图像进行分块，在每块中单独检测特征点，而为了增加特征轨迹比较少的区域的数量，减少特征轨迹过多的数量，需要根据每个图像块中轨迹的数量来调整每个图像块中的特征点数量。首先统计出每个块内的轨迹数量，记为tc,r,t，(c,r)对应图像块索引，t表示帧数。对于下一帧中索引为(c,r)图像块中提取的特征点的数量计算如下：

其中θ表示比例因子，每次调整增加或者减少的幅度，为了防止每次调整的幅度过大或者过小，在该实施例中设置为1.5；由于每个区域块内的内容不同，信息丰富程度不同，我们也需要抑制每个区域块内提取特征的变化范围，ε用来限制最大变化幅度，为了防止不同图像块内检测的特征点的数量相差过多，该实施例中设置2；表示第t帧每一个图像块轨迹的平均值，表示第t帧每一个图像块提取的特征点的平均值。

最后我们对每一块提取的特征点数量进行归一化操作。

f表示每帧中确定的提取的特征点的总数量，p和q表示分块的行数和列数。通过这样的方法可以在一定程度上平衡各个区域特征点的数量，进而平衡各个区域连续轨迹的数量。但同时我们需要注意的是我们通过限制每个区域的最大数量和最小数量来允许特征轨迹在不同区域的数量的不一致性，因为对于天空等区域本身包含的信息就是少，某些区域信息丰富在视觉上引起的关注度更多，消除抖动的需求更大，因此确实应该多提取一些特征点。

2.基于时间和空间的优化函数对相机路径进行平滑处理

2.1全局相机路径平滑处理

本发明将前景和背景特征轨迹的平滑看成一个优化问题。同时基于以下三个假设设计优化函数：

(1)在同一帧内所有的特征轨迹包含相同的相机抖动。

(2)当两条特征轨迹来源于相同的背景或者前景物体时，它们包含相同的主动运动。

(3)对于所有的轨迹来说，平滑之后的帧间运动应该是缓慢变化的。基于以上假设我们设计最小化如下无约束优化函数：

其中

其中ωt表示在t帧时的平滑窗口长度，ωt＝{t-ω,...,t,...,t+ω}，s表示在t帧时的连续特征轨迹集合，pi,k表示在k帧时第i条特征轨迹的坐标，表示在k帧时第i条特征轨迹进行平滑处理后对应的坐标，αi，j，k、βi，j，k、λm，n、ξ分别表示o1、o2、o3、o4各项的权重参数。

(1)o1对同一帧内前景和背景的特征轨迹的抖动量的相似性进行限制，即任意两条轨迹包含相同的相机抖动量。其中

w,h表示视频的宽度和高度，表示k帧时第i条轨迹的横纵坐标。αi,j,k越大表示两条轨迹距离越近，这两条轨迹之间的相似约束应该越强。

(2)o2对所有特征轨迹的帧间运动相似性进行约束，即相同的前景或背景上的特征轨迹帧间运动相同；是否来源于相同的前景和背景使用βi,j,k来度量：

βi,j,k＝αi,j,k×γi,j,k，

其中，γi,j,k描述两条特征轨迹的帧间运动的一致性，γi,j,k越大，它们的帧间运动越相似，约束也应该越强。

(3)o3对特征轨迹的平滑性进行约束，即平滑后的特征轨迹的帧间运动应该是缓慢变化的，

其中σ＝2ω+1。

(4)o4约束平滑后的特征轨迹尽可能靠近原始特征轨迹，从而避免过大的仿射变换，其中ξ对取值不敏感，可以设置为1。

2.2分布式相机路径平滑处理

对于每一条轨迹单独进行约束和平滑轨迹求解，对于任意一条轨迹i0，我们对于(4)中的优化函数只考虑以下轨迹i0的邻居轨迹集合集合：

η设置为0.7，并定义轨迹i0的邻居轨迹集合

对于第i0条轨迹的平滑轨迹求解如下：

然后求解如下分布式优化问题，逐条求取在当前帧的平滑特征轨迹对应的坐标

通过求取所有的pi,t和进行仿射变换，将抖动帧映射到稳定帧。

3.抖动视角到稳定视角的仿射变换

根据第t帧的抖动视角下特征轨迹坐标pi,t和估计出的稳定视角下特征轨迹坐标进行单应矩阵计算，并进行仿射变换。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。