1.一种利用imu增强的事件相机光流估计方法,其特征在于:首先利用edi模型,将任意时刻模糊亮度图像重建为清晰亮度图像,再结合亮度恒定假设,建立基础光流模型,所述edi表示基于事件的二重积分;然后将imu作为约束加入基础光流模型,实现任意运动一致场景下的连续光流估计;当出现混合运动场景时将背景与前景分割开来处理,在估计背景光流时引入imu约束,估计前景光流时引入稀疏约束,通过交替迭代更新方式联合估计混合运动场景的背景光流和前景光流,最后组合得到场景的整体连续光流。
2.根据权利要求1所述利用imu增强的事件相机光流估计方法,其特征在于:建立基础光流模型的实现方式包括以下步骤,
步骤1.1,将在曝光时间t内生成的第i帧模糊亮度图像表示为y[i],使用edi模型,用亮度图像生成时间段内的事件点补偿模糊亮度图像,计算出任意时刻f的清晰亮度图像i(f):
其中,ei(f)表示第i帧模糊亮度图像的生成时间t内产生事件点的二重积分;
步骤1.2,基于亮度恒定假设的光流公式,得到光流计算的表达式如下,
其中,δ是狄拉克函数,v为待求光流,
简化表示为,
a·v=b+ε1
其中,变量
3.根据权利要求2所述利用imu增强的事件相机光流估计方法,其特征在于:将imu作为约束加入基础光流模型,实现任意运动一致场景下的连续光流估计,实现方式包括以下步骤,
步骤2.1,事件相机运动过程中,同时输出一系列事件点和imu数据,imu数据包括线加速度和角速度,利用输出数据的时间戳,将事件点和imu数据在时间上对齐;通过线性插值,得到任意事件点ej的变换矩阵
步骤2.2,每个事件点都带有坐标信息,将事件点ej的原始像素坐标表示为xj,运动补偿后的像素坐标表示为xj′,根据相机投影模型π(.)和事件点ej的深度信息z(xj),得到运动补偿后的事件点像素坐标:
步骤2.3,已知原始像素坐标xj和时间间隔δt,则用imu和事件点估计光流,
v=m+ε2(9)
其中,变量
步骤2.4,将imu作为约束引入edi模型中来估计光流,利用最小二乘法写出代价函数,
其中,||.||2表示矩阵的l2范数,λ1表示imu约束的权重系数;
步骤2.5,设光流值v*=argminf(v),通过二乘法得到估计结果:
v*=(ata+λ1e)-1(atb+λ1m)
其中,e表示单位矩阵。
4.根据权利要求2所述利用imu增强的事件相机光流估计方法,其特征在于:当出现混合运动场景时,处理方式包括以下步骤,
步骤3.1,通过鲁棒性主成分分析法(robustpca),可以将图像矩阵表示为背景矩阵l和前景稀疏矩阵s,得到凸优化问题:
其中,||.||*表示矩阵的核范数,||.||1表示矩阵的l1范数,λ2为正则化参数,用来调节稀疏矩阵的权重;
步骤3.2,将前景光流vf加入稀疏项约束,而背景光流vb加入imu约束,得到:
v=vb+vf
参考运动一致场景,得到加入前景光流稀疏项约束的代价函数,
步骤3.3,得到优化问题minvf(vf,vb),采用交替迭代更新的方法,联合估计背景和前景的光流;
步骤3.4,交替迭代更新至迭代收敛后,将前景光流和背景光流相加,得到混合运动场景下的连续光流。
5.根据权利要求4所述利用imu增强的事件相机光流估计方法,其特征在于:步骤3.3中联合估计背景和前景的光流的实现方式为,
若固定前景光流vf,通过下式求解背景光流vb:
vb=(ata+λ1e)-1[at(b-a·vf)+λ1m]
得到背景光流vb后,固定vb,更新前景光流vf,得到以下优化问题:
其中变量
应用ista方法,迭代求解该优化问题,通过不断的迭代更新直至收敛,最终求解得到前景光流vf。
6.一种利用imu增强的事件相机光流估计方法,其特征在于:用于执行如权利要求1至5所述利用imu增强的事件相机光流估计系统。