一种利用IMU增强的事件相机光流估计方法及系统与流程

文档序号:22579250发布日期:2020-10-20 16:55阅读:来源:国知局

技术特征:

1.一种利用imu增强的事件相机光流估计方法,其特征在于:首先利用edi模型,将任意时刻模糊亮度图像重建为清晰亮度图像,再结合亮度恒定假设,建立基础光流模型,所述edi表示基于事件的二重积分;然后将imu作为约束加入基础光流模型,实现任意运动一致场景下的连续光流估计;当出现混合运动场景时将背景与前景分割开来处理,在估计背景光流时引入imu约束,估计前景光流时引入稀疏约束,通过交替迭代更新方式联合估计混合运动场景的背景光流和前景光流,最后组合得到场景的整体连续光流。

2.根据权利要求1所述利用imu增强的事件相机光流估计方法,其特征在于:建立基础光流模型的实现方式包括以下步骤,

步骤1.1,将在曝光时间t内生成的第i帧模糊亮度图像表示为y[i],使用edi模型,用亮度图像生成时间段内的事件点补偿模糊亮度图像,计算出任意时刻f的清晰亮度图像i(f):

其中,ei(f)表示第i帧模糊亮度图像的生成时间t内产生事件点的二重积分;

步骤1.2,基于亮度恒定假设的光流公式,得到光流计算的表达式如下,

其中,δ是狄拉克函数,v为待求光流,表示求空间梯度,c是相机激发事件点的阈值,p为相机激发事件点的极性,te为相机激发事件点的时刻;

简化表示为,

a·v=b+ε1

其中,变量ε1表示edi模型估计光流的误差项。

3.根据权利要求2所述利用imu增强的事件相机光流估计方法,其特征在于:将imu作为约束加入基础光流模型,实现任意运动一致场景下的连续光流估计,实现方式包括以下步骤,

步骤2.1,事件相机运动过程中,同时输出一系列事件点和imu数据,imu数据包括线加速度和角速度,利用输出数据的时间戳,将事件点和imu数据在时间上对齐;通过线性插值,得到任意事件点ej的变换矩阵tj表示该事件点的时间戳;

步骤2.2,每个事件点都带有坐标信息,将事件点ej的原始像素坐标表示为xj,运动补偿后的像素坐标表示为xj′,根据相机投影模型π(.)和事件点ej的深度信息z(xj),得到运动补偿后的事件点像素坐标:

步骤2.3,已知原始像素坐标xj和时间间隔δt,则用imu和事件点估计光流,

v=m+ε2(9)

其中,变量ε2表示imu运动补偿模型估计光流的误差项;

步骤2.4,将imu作为约束引入edi模型中来估计光流,利用最小二乘法写出代价函数,

其中,||.||2表示矩阵的l2范数,λ1表示imu约束的权重系数;

步骤2.5,设光流值v*=argminf(v),通过二乘法得到估计结果:

v*=(ata+λ1e)-1(atb+λ1m)

其中,e表示单位矩阵。

4.根据权利要求2所述利用imu增强的事件相机光流估计方法,其特征在于:当出现混合运动场景时,处理方式包括以下步骤,

步骤3.1,通过鲁棒性主成分分析法(robustpca),可以将图像矩阵表示为背景矩阵l和前景稀疏矩阵s,得到凸优化问题:

其中,||.||*表示矩阵的核范数,||.||1表示矩阵的l1范数,λ2为正则化参数,用来调节稀疏矩阵的权重;

步骤3.2,将前景光流vf加入稀疏项约束,而背景光流vb加入imu约束,得到:

v=vb+vf

参考运动一致场景,得到加入前景光流稀疏项约束的代价函数,

步骤3.3,得到优化问题minvf(vf,vb),采用交替迭代更新的方法,联合估计背景和前景的光流;

步骤3.4,交替迭代更新至迭代收敛后,将前景光流和背景光流相加,得到混合运动场景下的连续光流。

5.根据权利要求4所述利用imu增强的事件相机光流估计方法,其特征在于:步骤3.3中联合估计背景和前景的光流的实现方式为,

若固定前景光流vf,通过下式求解背景光流vb:

vb=(ata+λ1e)-1[at(b-a·vf)+λ1m]

得到背景光流vb后,固定vb,更新前景光流vf,得到以下优化问题:

其中变量变量b′=b-a·vb。

应用ista方法,迭代求解该优化问题,通过不断的迭代更新直至收敛,最终求解得到前景光流vf。

6.一种利用imu增强的事件相机光流估计方法,其特征在于:用于执行如权利要求1至5所述利用imu增强的事件相机光流估计系统。


技术总结
本发明提供一种利用IMU增强的事件相机光流估计方法及系统,首先利用EDI模型,将任意时刻模糊亮度图像重建为清晰亮度图像,再结合亮度恒定假设,建立基础光流模型,所述EDI表示基于事件的二重积分;然后将IMU作为约束加入基础光流模型,实现任意运动一致场景下的连续光流估计;当出现混合运动场景时将背景与前景分割开来处理,在估计背景光流时引入IMU约束,估计前景光流时引入稀疏约束,通过交替迭代更新方式联合估计混合运动场景的背景光流和前景光流,最后组合得到场景的整体连续光流。本发明适于应用的场景分包括单独背景运动或前景物体一致运动的运动一致场景,以及背景与前景的运动方向和大小不同的混合运动场景。

技术研发人员:余磊;付婧祎;杨文;叶琪霖
受保护的技术使用者:武汉大学
技术研发日:2020.06.30
技术公布日:2020.10.20
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1